Glue书签可以在Glue工作流步骤之间使用吗?

0

【以下的问题经过翻译处理】 大家好,

我正在阅读有关Glue书签的页面:https://docs.aws.amazon.com/glue/latest/dg/monitor-continuations.html

看起来,书签功能仅限于单个Glue作业随着时间的增长逐步处理一个增长的输入数据文件。

一个客户有一个包含许多步骤(例如5个)的Glue工作流程。他们想知道是否有一种方法,当他们的Glue工作流程在第4个步骤中停止时,可以在重试时跳过前3个步骤。

他们遇到的问题是达到了DPU限制。如果内置的Glue重试不等待一段时间,那么所有的即时重试都会失败,并且工作流程会崩溃。

我告诉他们, Step Functions可能是一个更好的解决方案,可以使用指数回退进行捕捉和重试,但如果可能的话,他们希望将所有东西都保留在Glue中,以保持简单。

有人可以告诉我Glue书签和重试是否可用于在Glue工作流程中的作业之间,并且Glue重试是否可以设置为具有指数回退的长重试间隔(类似于Step Functions那样)吗?

profile picture
EXPERT
asked 5 months ago8 views
1 Answer
0

【以下的回答经过翻译处理】 似乎无法在Glue Jobs中配置重试行为,因此您提出使用StepFunctions或Airflow进行细粒度流控的想法是更好的方法。

AWS Glue监视作业事件指标和错误,并将所有通知推送到Amazon CloudWatch。使用Amazon CloudWatch,您可以配置一系列可以根据来自AWS Glue的特定通知触发的操作。例如,如果您从Glue获取错误或成功通知,您可以触发一个AWS Lambda函数。Glue还提供默认的重试行为,在发送出错误通知之前,会将所有失败重试三次。

profile picture
EXPERT
answered 5 months ago

You are not logged in. Log in to post an answer.

A good answer clearly answers the question and provides constructive feedback and encourages professional growth in the question asker.

Guidelines for Answering Questions