如何设置/访问 AWS Glue Job 和 Notebook的 Spark UI

0

【以下的问题经过翻译处理】 在Glue作业中,勾选复选框可以启用Spark UI,并指定一个S3路径作为日志存储的位置。那该如何访问Spark UI的URL?

profile picture
EXPERTE
gefragt vor 10 Monaten108 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 要想查看这些日志,您需要部署自己的历史服务器,可以使用CloudFormation模板、docker容器(也可以从Spark发行版本中本地运行历史服务器,但添加s3支持需要一些工作)。 请参考以下步骤: https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html

profile picture
EXPERTE
beantwortet vor 10 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen