来自DynamoDB的增量归档,Glue书签?

0

【以下的问题经过翻译处理】 我的客户目前正在使用Glue作业和DynamoDB连接器将DynamoDB数据归档到他们的数据湖中。他们询问是否可以进行增量加载,而不是每天进行全量加载。我看到Glue支持bookmark,这个看起来就像我所需要的,但它只支持S3(和某些JDBC)源。是否有办法实现这个需求?

profile picture
EXPERTO
preguntada hace 6 meses9 visualizaciones
1 Respuesta
0

【以下的回答经过翻译处理】 可以使用DynamoDB流+Lambda+KinesisData Firehose持续地向S3数据湖提供数据。可以参考这篇博客文章,其中描述了一个类似的处理方法。

profile picture
EXPERTO
respondido hace 6 meses

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas