How to set up / access the Spark UI for AWS Glue jobs and notebooks

0

The checkbox in a Glue job is select to enable the Spark UI, and an s3 path is specified as the location for those logs. How can I access the Spark UI URL?

profile picture
Jaime
質問済み 1年前824ビュー
1回答
1
承認された回答

You need to deploy you own history server to visualize those longs, you can use a CloudFormation template, a docker container (you can also run locally a history server from a Spark distribution but adding s3 support requires a bit of work). See steps here: https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html

profile pictureAWS
エキスパート
回答済み 1年前
profile picture
エキスパート
レビュー済み 1年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ