如何解决 Amazon EMR 上 Spark 中的“Container killed on request. Exit code is 137”错误？

简短描述

当容器（Spark 执行程序）内存不足时，YARN 会自动将其终止。这会导致出现“Container killed on request.Exit code is 137”错误。这些错误可能会发生在不同的作业阶段，无论是窄转换还是宽转换。当操作系统内存不足时，YARN 容器也可能会被操作系统 oom_reaper 终止，从而导致出现“Container killed on request.Exit code is 137”错误。

解决方法

使用以下一种或多种方法来解决“Exit status: 137”阶段故障。

增加驱动程序或执行程序内存

通过调整 spark.executor.memory 或 spark.driver.memory 参数（取决于导致错误的容器）来增加容器内存。

在正在运行的集群上：

修改主节点上的 spark-defaults.conf。示例：

sudo vim /etc/spark/conf/spark-defaults.conf
spark.executor.memory 10g
spark.driver.memory 10g

对于单个作业：

运行 spark-submit 时，使用 --executor-memory 或 --driver-memory 选项来增加内存。示例：

spark-submit --executor-memory 10g --driver-memory 10g ...

添加更多 Spark 分区

如果无法增加容器内存（例如，如果在节点上使用的是 maximizeResourceAllocation），则可增加 Spark 分区的数量。这样做可以减少单个 Spark 任务处理的数据量，从而减少单个执行程序使用的总内存。使用以下 Scala 代码添加更多 Spark 分区：

val numPartitions = 500
val newDF = df.repartition(numPartitions)

增加随机分区的数量

如果在宽转换过程中发生错误（例如 join 或 groupBy），请添加更多随机分区。默认值为 200。

在正在运行的集群上：

修改主节点上的 spark-defaults.conf。示例：

sudo vim /etc/spark/conf/spark-defaults.conf
spark.sql.shuffle.partitions 500

对于单个作业：

运行 spark-submit 时，使用 --conf spark.sql.shuffle.partitions 选项添加更多随机分区。示例：

spark-submit --conf spark.sql.shuffle.partitions=500 ...

减少执行程序内核的数量

减少执行程序内核的数量会减少执行程序同时处理的最大任务数。由此可以减少容器使用的内存量。

在正在运行的集群上：

修改主节点上的 spark-defaults.conf。示例：

sudo vim /etc/spark/conf/spark-defaults.conf
spark.executor.cores  1

对于单个作业：

使用 --executor-cores 选项减少在运行 spark-submit 时执行程序内核的数量。示例：

spark-submit --executor-cores 1 ...

增加实例大小

当操作系统内存不足时，YARN 容器也可能会被操作系统 oom_reaper 终止。如果此错误是由 oom\ _reaper 导致的，请使用具有更多 RAM 内存的更大实例。您还可以降低 yarn.nodemanager.resource.memory-mb，以防止 YARN 容器耗尽 Amazon EC2 的所有 RAM 内存。

您可以通过检查 Amazon EMR 实例日志来获取 dmesg 命令输出，从而检测错误是否是由 oom_reaper 引起的。首先找到被终止的 YARN 容器在运行的核心或任务节点。您可以通过 YARN 资源管理器用户界面或日志找到此信息。然后，查看容器被终止之前和之后此节点上的 Amazon EMR 实例状态日志，确定导致进程终止的原因。

在以下示例中，对应于 YARN container_165487060318_0001_01_000244 的 ID 为 36787 的进程被内核（Linux 的内存耗尽终止程序）终止：

# hows the kernel looking
dmesg | tail -n 25

[ 3910.032284] Out of memory: Kill process 36787 (java) score 96 or sacrifice child
[ 3910.043627] Killed process 36787 (java) total-vm:15864568kB, anon-rss:13876204kB, file-rss:0kB, shmem-rss:0kB
[ 3910.748373] oom_reaper: reaped process 36787 (java), now anon-rss:0kB, file-rss:0kB, shmem-rss:0kB

相关信息

如何解决 Amazon EMR 上 Spark 中的“Container killed by YARN for exceeding memory limits”错误？

如何排查 Amazon EMR 上 Spark 任务中的阶段故障？