如何访问 Amazon EMR 中的 Spark 用户界面？

解决方法

Spark History Server 是一个 Web 用户界面，您可以在其中查看 Amazon EMR 集群上正在运行和已完成的 Spark 作业的状态。

要访问公有或私有子网中托管的 Spark 用户界面，请使用持久性应用程序用户界面或集群上的应用程序用户界面。

持久性应用程序用户界面

在您的 Amazon EMR 集群中，apppusher 进程守护程序会定期向 Amazon EMR 生产存储桶发送 Spark 事件日志。持久性 Spark 用户界面使用事件日志来显示 Spark 应用程序。

当应用程序的事件日志目录位于 Hadoop Distributed File System (HDFS) 中时，此功能有效。默认情况下，Amazon EMR 将事件日志存储在 HDFS 的 /var/log/spark/apps 目录中。如果您将默认目录更改为其他文件系统，例如 Amazon Simple Storage Service (Amazon S3)，则此功能不起作用。有关详细信息，请参阅注意事项和限制。

您可以访问活动和已终止集群的应用程序历史记录和相关日志文件。日志在应用程序结束后 30 天内可用。有关详细信息，请参阅查看 Amazon EMR 中的持久性应用程序用户界面。

集群上的应用程序用户界面

主节点托管集群上的用户界面，您需要 SSH 连接才能访问 Web 服务器。

要访问集群上的用户界面，请完成以下步骤：

1. 使用 SSH 连接到主节点。
2. 使用动态端口转发配置 SSH 隧道。
3. 将您的互联网浏览器配置为使用适用于 Firefox 的 FoxyProxy 或适用于 Chrome 的 SwitchyOmega 等插件来管理您的 SOCKS 代理设置。
   **注意：**此方法会根据文本模式自动筛选 URL。此外，此方法将代理设置限制为与主节点 DNS 名称形式相匹配的域。

除非您通过 VPN 连接或 AWS Direct Connect 使用本地网络，否则无法直接访问私有子网中的集群上用户界面。而且，您必须配置路由，以便通信跨越 AWS 和本地网络。

或者，您可以使用托管在公有子网中的堡垒机或跳板机连接到私有子网。然后，使用动态端口转发创建 SSH 隧道。有关详细信息，请参阅 Securely access web interfaces on Amazon EMR launched in a private subnet（安全访问在私有子网中启动的 Amazon EMR 上的 Web 界面）。