在Glue DataBrew中刷新数据集

0

【以下的问题经过翻译处理】 我在Glue DataBrew中有一个由JSON和gzipped csv文件支持的S3数据集。我从S3存储桶中删除了JSON文件,需要刷新数据集或重新添加以便更改生效吗?我该如何操作?我没有在文档中找到答案,可能我漏看了。

profile picture
EXPERTE
gefragt vor 6 Monaten22 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 你好,

如果你已经从连接到Glue DataBrew作业的S3存储桶中删除了文件,请手动重新运行该作业,它将会注意到更改。此外,你可以使用动态数据集来自动处理或刷新观察S3中的文件,其中你可以指定基于时间、基于模式和可自定义参数来创建动态数据集。

下面是一篇更详细介绍的博客链接:https://aws.amazon.com/blogs/big-data/simplify-incoming-data-ingestion-with-dynamic-parameterized-datasets-in-aws-glue-databrew/

希望能帮到你!

profile picture
EXPERTE
beantwortet vor 6 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen