Glue ETL: Set output files to replaces existing files in source

0

Hello, I have recently had to move one of our Jobs from Glue DataBrew to Glue ETL - which is now up and running.

The issue I am having is that everytime the job runs it creates a new series of files. Can we set it so it overwrites the existing files in the S3 bucket source?

In Glue Databrew this option is in settings, "Replace output files for each job run" - but I cannot see it clearly in ETL, can anyone advise how to turn this on?

Thanks, Rob

質問済み 8ヶ月前270ビュー
1回答
0
承認された回答

I managed to achieve this by creating a Lifetime Cycle Rule in my S3 Bucket

回答済み 8ヶ月前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ