En utilisant AWS re:Post, vous acceptez les AWS re:Post Conditions d’utilisation
AWS re:Postre:Post

Incremental archive from DynamoDB, Glue Bookmarking?

0

My customer is currently archiving DynamoDB data to their data lake with a Glue job and the DynamoDB connector. They've asked if instead of a full load each day they can do an incremental.

I see Glue supports bookmarking which looks like what I need but it only supports S3 (and some JDBC) sources for this.

Is there a way to achieve this?

Sujets
AnalytiqueBase de données
Balises
AWS GlueAmazon DynamoDB
Langue
English
AWS-User-2651784
demandé il y a 5 ans822 vues
1 réponse
0
Réponse acceptée

Hi,

Have they considered using DynamoDB Streams + Lambda + Kinesis Data Firehose to continuously feed the data lake in S3?

This blog post describes something similar for expired items with a TTL.

profile pictureAWS
EXPERT
Tasio
répondu il y a 5 ans

Vous n'êtes pas connecté. Se connecter pour publier une réponse.

Une bonne réponse répond clairement à la question, contient des commentaires constructifs et encourage le développement professionnel de la personne qui pose la question.

Instructions pour répondre aux questions

Contenus pertinents