最大Worker 节点数量与glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors

0

【以下的问题经过翻译处理】 在定义G1X Worker 节点类型的Glue Spark Job时,我将最大Worker 节点指定为4个。 如果我检查Cloudwatch作业监视器,我会看到一些指标在曲线图上达到20+,如下所示。

  1. glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
  2. glue.driver.ExecutorAllocationManager.executors.numberAllExecutors

我理解对于G1X Worker 节点类型, 每个Worker节点只有一个executor。有人可以解释我是否正确阅读图表或是否有遗漏之处吗?

这是3个作业的曲线图,每个作业只配置了4个工作者。

job mertics

profile picture
专家
已提问 5 个月前12 查看次数
1 回答
0

【以下的回答经过翻译处理】 请注意,指标 glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors 不取决于您为作业配置的Worker 节点数。它在作业进行时动态计算。通常,此指标在作业开始时具有更高的值。它只显示当前所需的最大executor 数,以满足工作负载。这是与Spark相关的指标,它是通过使用分区数量和每个执行程序的任务数量来计算的。

有关Glue作业各种指标的更多详细信息,请参阅此文档

您可以参考此文档,了解涉及执行程序的各种计算的示例。

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则