Glue书签可以在Glue工作流步骤之间使用吗?

0

【以下的问题经过翻译处理】 大家好,

我正在阅读有关Glue书签的页面:https://docs.aws.amazon.com/glue/latest/dg/monitor-continuations.html

看起来,书签功能仅限于单个Glue作业随着时间的增长逐步处理一个增长的输入数据文件。

一个客户有一个包含许多步骤(例如5个)的Glue工作流程。他们想知道是否有一种方法,当他们的Glue工作流程在第4个步骤中停止时,可以在重试时跳过前3个步骤。

他们遇到的问题是达到了DPU限制。如果内置的Glue重试不等待一段时间,那么所有的即时重试都会失败,并且工作流程会崩溃。

我告诉他们, Step Functions可能是一个更好的解决方案,可以使用指数回退进行捕捉和重试,但如果可能的话,他们希望将所有东西都保留在Glue中,以保持简单。

有人可以告诉我Glue书签和重试是否可用于在Glue工作流程中的作业之间,并且Glue重试是否可以设置为具有指数回退的长重试间隔(类似于Step Functions那样)吗?

profile picture
专家
已提问 5 个月前5 查看次数
1 回答
0

【以下的回答经过翻译处理】 似乎无法在Glue Jobs中配置重试行为,因此您提出使用StepFunctions或Airflow进行细粒度流控的想法是更好的方法。

AWS Glue监视作业事件指标和错误,并将所有通知推送到Amazon CloudWatch。使用Amazon CloudWatch,您可以配置一系列可以根据来自AWS Glue的特定通知触发的操作。例如,如果您从Glue获取错误或成功通知,您可以触发一个AWS Lambda函数。Glue还提供默认的重试行为,在发送出错误通知之前,会将所有失败重试三次。

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则