AWS Glue中的“资源不可用”（Resource Unavailable）？

Question

【以下的问题经过翻译处理】 在给定时间窗口内，我同时运行了大约80个AWS Glue作业（已经将默认的50个并发作业限制提高到了150个），但遇到了AWS Glue需要36分钟才能回复“资源不可用”错误的情况。

这些作业运行标准的worker类型，最大容量在2-5之间，账户中DPU数量的限制已经提高到了600个。

是否有人知道可能导致这种情况的原因，而且通常情况下推荐如何处理此错误并重新提交AWS Glue作业？

Answer

【以下的回答经过翻译处理】 针对任何使用的 AWS Glue 作业、连接和开发端点，请检查您的群集是否已用完弹性网络接口。
根据[在线文档]（https://docs.aws.amazon.com/glue/latest/dg/glue-troubleshooting-errors.html#error-resource-unavailable）这可能是由于可用的ENI不足。我也有这种经历。在 AWS Glue 作业中增加自动重试的次数，也可以自动处理此错误。

AWS Glue中的“资源不可用”（Resource Unavailable）？

Relevanter Inhalt