如何在AWS Glue执行错误后,重试作业?

0

【以下的问题经过翻译处理】 我们的作业需要与OnPrem进行通信,当通信失败时,需要自动重新执行作业以保证数据完整性。但目前我们还没有找到一种可行的失败后重试的方法。

是否有任何方式可以实现这一点?比如使用 AWS Eventbridge 或相关的解决方法?

1回答
0

【以下的回答经过翻译处理】 Glue内置了重试功能,可以通过MaxRetries参数来实现。该参数可通过程序定义或使用Glue Studio在“作业详情”选项卡中设置。

MaxRetries是一个整数,代表在作业运行失败后重试的最大次数。如果此参数不足以满足您的需求,请考虑将Glue作业包装在[Step Function](https://docs.aws.amazon.com/step-functions/latest/dg/concepts-error-handling.html )中,在此处可以实现更复杂的重试/控制机制。

profile picture
エキスパート
回答済み 5ヶ月前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ