How to set up / access the Spark UI for AWS Glue jobs and notebooks

The checkbox in a Glue job is select to enable the Spark UI, and an s3 path is specified as the location for those logs. How can I access the Spark UI URL?

Tópicos

Análise

Tags

AWS Glue

Idioma

English

Jaime

feita há um ano823 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Resposta aceita

You need to deploy you own history server to visualize those longs, you can use a CloudFormation template, a docker container (you can also run locally a history server from a Spark distribution but adding s3 support requires a bit of work). See steps here: https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html

ESPECIALISTA

Gonzalo Herreros

respondido há um ano

ESPECIALISTA

Antonio_Lagrotteria

avaliado há um ano

Conteúdo relevante

Como faço para resolver o erro “The final policy size is bigger than the limit” (O tamanho final da política é maior que o limite) do Lambda?
AWS OFICIALAtualizada há 2 anos
How do I connect to my WorkSpace with RDP?
AWS OFICIALAtualizada há 2 anos
Como soluciono o erro “The security token included in the request is expired” (O token de segurança incluído na solicitação está expirado) ao executar aplicações Java no Amazon EC2?
AWS OFICIALAtualizada há 2 anos
Como posso solucionar o erro do AWS STS “the security token included in the request is expired” (o token de segurança incluído na solicitação expirou) ao usar a AWS CLI para assumir uma função do IAM?
AWS OFICIALAtualizada há 2 anos