在Glue DataBrew中刷新数据集

0

【以下的问题经过翻译处理】 我在Glue DataBrew中有一个由JSON和gzipped csv文件支持的S3数据集。我从S3存储桶中删除了JSON文件,需要刷新数据集或重新添加以便更改生效吗?我该如何操作?我没有在文档中找到答案,可能我漏看了。

profile picture
EXPERTO
preguntada hace 6 meses22 visualizaciones
1 Respuesta
0

【以下的回答经过翻译处理】 你好,

如果你已经从连接到Glue DataBrew作业的S3存储桶中删除了文件,请手动重新运行该作业,它将会注意到更改。此外,你可以使用动态数据集来自动处理或刷新观察S3中的文件,其中你可以指定基于时间、基于模式和可自定义参数来创建动态数据集。

下面是一篇更详细介绍的博客链接:https://aws.amazon.com/blogs/big-data/simplify-incoming-data-ingestion-with-dynamic-parameterized-datasets-in-aws-glue-databrew/

希望能帮到你!

profile picture
EXPERTO
respondido hace 6 meses

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas