如何设置/访问 AWS Glue Job 和 Notebook的 Spark UI

【以下的问题经过翻译处理】在Glue作业中，勾选复选框可以启用Spark UI，并指定一个S3路径作为日志存储的位置。那该如何访问Spark UI的URL？

Tópicos

Análise

Tags

AWS Glue

Idioma

中文 (简体)

ESPECIALISTA

rePost Polyglot

feita há 10 meses106 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

【以下的回答经过翻译处理】要想查看这些日志，您需要部署自己的历史服务器，可以使用CloudFormation模板、docker容器（也可以从Spark发行版本中本地运行历史服务器,但添加s3支持需要一些工作）。请参考以下步骤： https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html

ESPECIALISTA

rePost Polyglot

respondido há 10 meses

Conteúdo relevante

Como resolvo o erro “java.lang.ClassNotFoundException” do Spark no Amazon EMR?
AWS OFICIALAtualizada há 3 anos
Como resolvo o erro “java.lang.OutOfMemoryError: Java heap space" em uma tarefa do AWS Glue Spark?
AWS OFICIALAtualizada há 3 anos
Como posso solucionar problemas com a visualização da interface do usuário do Spark para trabalhos de ETL do AWS Glue?
AWS OFICIALAtualizada há 3 anos
Como posso usar o Apache Iceberg com um catálogo de dados do AWS Glue entre contas no Spark?
AWS OFICIALAtualizada há 2 anos