Glue书签可以在Glue工作流步骤之间使用吗?

0

【以下的问题经过翻译处理】 大家好,

我正在阅读有关Glue书签的页面:https://docs.aws.amazon.com/glue/latest/dg/monitor-continuations.html

看起来,书签功能仅限于单个Glue作业随着时间的增长逐步处理一个增长的输入数据文件。

一个客户有一个包含许多步骤(例如5个)的Glue工作流程。他们想知道是否有一种方法,当他们的Glue工作流程在第4个步骤中停止时,可以在重试时跳过前3个步骤。

他们遇到的问题是达到了DPU限制。如果内置的Glue重试不等待一段时间,那么所有的即时重试都会失败,并且工作流程会崩溃。

我告诉他们, Step Functions可能是一个更好的解决方案,可以使用指数回退进行捕捉和重试,但如果可能的话,他们希望将所有东西都保留在Glue中,以保持简单。

有人可以告诉我Glue书签和重试是否可用于在Glue工作流程中的作业之间,并且Glue重试是否可以设置为具有指数回退的长重试间隔(类似于Step Functions那样)吗?

profile picture
EXPERTE
gefragt vor 5 Monaten8 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 似乎无法在Glue Jobs中配置重试行为,因此您提出使用StepFunctions或Airflow进行细粒度流控的想法是更好的方法。

AWS Glue监视作业事件指标和错误,并将所有通知推送到Amazon CloudWatch。使用Amazon CloudWatch,您可以配置一系列可以根据来自AWS Glue的特定通知触发的操作。例如,如果您从Glue获取错误或成功通知,您可以触发一个AWS Lambda函数。Glue还提供默认的重试行为,在发送出错误通知之前,会将所有失败重试三次。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen