GLUE作业导致“分配任务容量限制超出”的异常?错误代码400 InvalidInputException”

Question

【以下的问题经过翻译处理】 我的Glue作业默认假定了48小时的超时时间（最初我不知道），因为它们陷入了一个延迟循环测试特定S3存储桶中从未创建的特定文件，所以现在当我运行一个简单的基本的Hello World类型的Glue作业时，它总是以以下错误失败：

```
JobName：test和JobRunId：jr_6eb6af04d2a560f71d935ab3fca35504d7fdb99b748c0e0266e71402ced4437f_attempt_3无法执行，产生异常分配的任务容量超过了限制。（服务：AWSGlueJobExecutor；状态代码：400；错误代码：InvalidInputException；请求ID：7e43f436-4ca4-403e-a50f-8a15672ea2ef；代理：null）

```

我认为这个错误可能是由于Glue作业任务可能仍在运行，因此分配的容量限制被超过了，尽管24小时后我看不到任何云监控日志被更新。

**问题：**

**1）** 这个错误是否因为Glue作业可能仍在后台运行？

**2）** 有没有一种方法来列出和结束这些仍在运行的Glue作业以释放这些资源？我已经尝试过使用awscli aws glue batch-get-jobs --job-names ...，但没有列出它们的快乐。

现在，我已经在我的terraform代码中将Glue作业的超时时间更新为60分钟，作为一种保障。

任何帮助或指导将不胜感激，谢谢。

Answer

【以下的回答经过翻译处理】 你在运行作业“test”时出现的错误，其作业运行ID“jr_6eb6af04d2a560f71d935ab3fca35504d7fdb99b748c0e0266e71402ced4437f”确实是由于为你的帐户分配的资源被限制导致的。

你可以参考以下文档，了解更多默认配额限制的详细信息:

请参考以下回答您的问题:

Q1) 这个错误是因为后台仍有glue作业正在运行吗?

你的假设是正确的。如果有glue作业在运行，资源就会被分配给那个作业，如果你尝试并行运行另一个作业，并且没有足够的资源满足要求，该作业将失败。这是因为配额限制是针对整个帐户设置的。

请参考以下步骤从控制台增加服务配额限制:

1. 在AWS中打开服务配额控制台
2. 在左侧面板中单击AWS服务，然后搜索Glue
3. 单击AWS Glue，然后搜索要增加的配额名称
4. 单击相应的服务配额，然后选择“请求配额增加”
5. 添加新值到“更改配额值”下，它将被自动批准。

Q2) 有没有一种方法列出和终止这些仍在运行的glue作业以释放这些资源？我已经尝试了awscli aws glue batch-get-jobs --job-names ...，但是无法列出它们。

为了查看给定作业的所有运行的元数据，你可以使用“get-job-runs”。
使用方法: aws glue get-job-runs --job-name“test”

请参考

GLUE作业导致“分配任务容量限制超出”的异常?错误代码400 InvalidInputException”

相关内容