通过Step Function并行启动超过15个Glue Job时,遇到Glue Throttling Exception

Question

【以下的问题经过翻译处理】 我们正在使用Step Functions作为ETL 流程的一部分。我们需要启动21个任务，每个任务需要1-3分钟，消耗5 DPUs。当尝试并行运行超过15个Glue Jobs时，Step Function会出现以下错误。我们使用arn:aws:states:::glue:startJobRun.sync 任务来同步调用作业。我需要请求增加配额吗？并行启动21个作业似乎相当合理。

```
{ "resourceType": "glue", "resource": "startJobRun.sync", "error": "Glue.AWSGlueException", "cause": "Rate exceeded (Service: AWSGlue; Status Code: 400; Error Code: ThrottlingException; Proxy: null)"

```

Answer

【以下的回答经过翻译处理】 你好！好问题。

有关通用Glue服务限额，请参见此处：

默认的Glue限额包括：

* 每个账户的最大并发作业运行次数（50）
* 每个触发器的最大作业数（50）

如果要增加这些限额，可以创建“服务限额增加”请求。

对于限流异常（），我不确定API调用受限的确切限制是什么-如果情况是这样的，您可能需要使用exponential backoff 方式进行重试（我看到过其他API调用的情况）：

通过Step Function并行启动超过15个Glue Job时,遇到Glue Throttling Exception

相关内容