Kafka to Redshift

Hello, is there a recommended best practice for moving data from Kafka on MSK to Redshift? Use Kafka Connector? Thanks!

Argomenti

Analisi

Tag

Amazon Redshift

Lingua

English

AWS-User-6566683

posta 4 anni fa1541 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

Risposta accettata

If you are looking for AWS native server-less solution then use Glue ETL for streaming. https://aws.amazon.com/blogs/aws/new-serverless-streaming-etl-with-aws-glue/ This new feature lets you connect MSK to Redshift using AWS Glue. The auto-populated Glue Job will have take care of mapping and creating table in to the target Redshift. Let me know if you need help with configuration.

AWS-User-3964373

con risposta 4 anni fa

Contenuto pertinente

Come posso connettermi al mio cluster Amazon MSK utilizzando il connettore Kafka-Kinesis?
AWS UFFICIALEAggiornata 3 anni fa
Quali sono le best practice per la migrazione di un database RDBMS ad Amazon Redshift utilizzando AWS DMS?
AWS UFFICIALEAggiornata 2 anni fa
Come posso risolvere i problemi relativi ai trigger Lambda che eseguono il polling da MSK e dai cluster Kafka autogestiti?
AWS UFFICIALEAggiornata un anno fa
Come faccio a trasferire dati tra cluster Amazon MSK in account diversi con MirrorMaker 2 in esecuzione su MSK Connect?
AWS UFFICIALEAggiornata un anno fa