最大Worker 节点数量与glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors

Question

【以下的问题经过翻译处理】 在定义G1X Worker 节点类型的Glue Spark Job时，我将最大Worker 节点指定为4个。
如果我检查Cloudwatch作业监视器，我会看到一些指标在曲线图上达到20+，如下所示。
 
1. glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors
2. glue.driver.ExecutorAllocationManager.executors.numberAllExecutors

我理解对于G1X Worker 节点类型, 每个Worker节点只有一个executor。有人可以解释我是否正确阅读图表或是否有遗漏之处吗？

这是3个作业的曲线图，每个作业只配置了4个工作者。

![job mertics](https://repost.aws/media/postImages/original/IM7pdSUHl0ReCC_TJgCuJmtQ)

Answer

【以下的回答经过翻译处理】 请注意，指标 **glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors** 不取决于您为作业配置的Worker 节点数。它在作业进行时动态计算。通常，此指标在作业开始时具有更高的值。它只显示当前所需的最大executor 数，以满足工作负载。这是与Spark相关的指标，它是通过使用分区数量和每个执行程序的任务数量来计算的。

有关Glue作业各种指标的更多详细信息，请参阅此[文档](https://docs.aws.amazon.com/glue/latest/dg/monitoring-awsglue-with-cloudwatch-metrics.html)。

您可以参考此[文档](https://docs.aws.amazon.com/glue/latest/dg/monitor-debug-capacity.html)，了解涉及执行程序的各种计算的示例。

最大Worker 节点数量与glue.driver.ExecutorAllocationManager.executors.numberMaxNeededExecutors

Conteúdo relevante