最大Worker 节点数量与glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors

0

【以下的问题经过翻译处理】 在定义G1X Worker 节点类型的Glue Spark Job时,我将最大Worker 节点指定为4个。 如果我检查Cloudwatch作业监视器,我会看到一些指标在曲线图上达到20+,如下所示。

  1. glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
  2. glue.driver.ExecutorAllocationManager.executors.numberAllExecutors

我理解对于G1X Worker 节点类型, 每个Worker节点只有一个executor。有人可以解释我是否正确阅读图表或是否有遗漏之处吗?

这是3个作业的曲线图,每个作业只配置了4个工作者。

job mertics

profile picture
전문가
질문됨 5달 전15회 조회
1개 답변
0

【以下的回答经过翻译处理】 请注意,指标 glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors 不取决于您为作业配置的Worker 节点数。它在作业进行时动态计算。通常,此指标在作业开始时具有更高的值。它只显示当前所需的最大executor 数,以满足工作负载。这是与Spark相关的指标,它是通过使用分区数量和每个执行程序的任务数量来计算的。

有关Glue作业各种指标的更多详细信息,请参阅此文档

您可以参考此文档,了解涉及执行程序的各种计算的示例。

profile picture
전문가
답변함 5달 전

로그인하지 않았습니다. 로그인해야 답변을 게시할 수 있습니다.

좋은 답변은 질문에 명확하게 답하고 건설적인 피드백을 제공하며 질문자의 전문적인 성장을 장려합니다.

질문 답변하기에 대한 가이드라인