Kafka to Redshift

Hello, is there a recommended best practice for moving data from Kafka on MSK to Redshift? Use Kafka Connector? Thanks!

Themen

Analysen

Tags

Amazon Redshift

Sprache

English

AWS-User-6566683

gefragt vor 4 Jahren1540 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

Akzeptierte Antwort

If you are looking for AWS native server-less solution then use Glue ETL for streaming. https://aws.amazon.com/blogs/aws/new-serverless-streaming-etl-with-aws-glue/ This new feature lets you connect MSK to Redshift using AWS Glue. The auto-populated Glue Job will have take care of mapping and creating table in to the target Redshift. Let me know if you need help with configuration.

AWS-User-3964373

beantwortet vor 4 Jahren

Relevanter Inhalt

Wie behebe ich Fehler bei Lambda-Auslösern für diese Abfrage von MSK- und selbstverwalteten Kafka-Clustern?
AWS OFFICIALAktualisiert vor einem Jahr
Wie behebe ich Fehler, wenn ich versuche, einen Connector mit Amazon MSK Connect zu erstellen?
AWS OFFICIALAktualisiert vor einem Jahr
Wie übertrage ich Daten zwischen Amazon MSK-Clustern in verschiedenen Konten mit MirrorMaker 2, das auf MSK Connect läuft?
AWS OFFICIALAktualisiert vor einem Jahr
Wie stelle ich mithilfe des Kafka-Kinesis-Connectors eine Verbindung zu meinem Amazon MSK-Cluster her?
AWS OFFICIALAktualisiert vor 3 Jahren