Backup Kafka topics to S3

MSK is a great service, which considerably reduces operational overhead. One remaining piece is backing up Kafka topics. In particular, when connecting microservices via Kafka this is quite important, i.e. there is high screw up potential if it fails.
Hence, do you have plans to provide backups for MSK, e.g. stream Kafka topics to S3 via Firehose?

Argomenti: Analisi
Tag: Streaming gestito da Amazon per Apache Kafka (Amazon MSK)
Lingua: English

ronnyroe

posta 7 anni fa1K visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

Risposta accettata

Hi Ronny - yes, we have plans to make this easier for customers. In the meantime we recommend using a Kafka to S3 connector. There are multiple options offered by AWS partners or from the community on GitHub.

AWS-User-5769575

con risposta 7 anni fa

ESPERTO

Giovanni Lauria

verificato 2 anni fa

Contenuto pertinente

Come posso risolvere i problemi dei trigger Lambda che effettuano il polling dei cluster Amazon MSK e Apache Kafka self-managed?
AWS UFFICIALEAggiornata 2 anni fa
Come posso trasferire dati tra cluster Amazon MSK in account diversi con MirrorMaker 2 in esecuzione su MSK Connect?
AWS UFFICIALEAggiornata 9 mesi fa
Come posso configurare il periodo di conservazione per il mio cluster MSK?
AWS UFFICIALEAggiornata un anno fa
Come posso risolvere gli errori che ricevo quando provo a connettermi al mio cluster Amazon MSK?
AWS UFFICIALEAggiornata un anno fa

Backup Kafka topics to S3

Aggiungi la tua risposta

Contenuto pertinente