如何排查 Amazon EMR 中失败的步骤?

1 分钟阅读
0

我想排查我的 Amazon EMR 集群中一个失败的步骤。

简短描述

Amazon EMR 为使用 Step API 操作提交的步骤进行识别并返回步骤失败的根本原因。Amazon EMR 5.x 及更高版本还会通过 API 返回相关日志文件的名称和部分应用程序堆栈跟踪。

**注意:**您可以使用以下信息对任何应用程序的 Amazon EMR 步骤进行故障排除。有关失败的 Apache Spark 步骤的特定信息,请参阅如何对 Amazon EMR 中失败的 Spark 步骤进行故障排除?

解决方法

**注意:**有关步骤日志类型的描述,请参阅检查步骤日志

使用 AWS 管理控制台查看步骤日志

有关更多信息,请参阅增强步骤调试中的使用 AWS 管理控制台查看故障详情

使用 AWS CLI 查看步骤详情

**注意:**如果您在运行 AWS 命令行界面(AWS CLI)命令时收到错误,请确保您使用的是最新的 AWS CLI 版本

使用 describe-step 命令,如下例所示。在以下命令中,将 cluster-idstep-id 替换为适合您用例的正确值。

aws emr describe-step --cluster-id j-1K48XXXXXHCB --step-id s-3QM0XXXXXM1W

有关更多信息,请参阅增强步骤调试中的使用 AWS CLI 查看故障详情

使用 SSH 查看主节点上的步骤日志文件

有关更多信息,请参阅查看主节点上的日志文件

查看在 Amazon S3 中存档的日志文件

1.    打开 Amazon Simple Storage Service (Amazon S3) 控制台

2.    选择指定为 S3 日志 URI 的 S3 存储桶,日志文件在该存储桶中归档。

3.    导航到以下路径并下载日志文件对象:cluster-id/steps/step-id/

有关更多信息,请参阅查看归档到 Amazon S3 的日志文件

在调试工具中查看步骤日志

**注意:**在 Amazon EMR 中,调试工具不会自动开启。有关打开调试工具的信息,请参阅打开调试工具

有关在调试工具中查看步骤日志的信息,请参阅在调试工具中查看日志文件


相关信息

如何取消 Amazon EMR 步骤?

AWS 官方
AWS 官方已更新 1 年前