如何设置/访问 AWS Glue Job 和 Notebook的 Spark UI

【以下的问题经过翻译处理】在Glue作业中，勾选复选框可以启用Spark UI，并指定一个S3路径作为日志存储的位置。那该如何访问Spark UI的URL？

Sujets

Analytique

Balises

AWS Glue

Langue

中文 (简体)

EXPERT

rePost Polyglot

demandé il y a 10 mois108 vues

1 réponse

Le plus récent
Le plus de votes
La plupart des commentaires

Ces réponses sont-elles utiles ? Votez pour la bonne réponse pour aider la communauté à bénéficier de vos connaissances.

【以下的回答经过翻译处理】要想查看这些日志，您需要部署自己的历史服务器，可以使用CloudFormation模板、docker容器（也可以从Spark发行版本中本地运行历史服务器,但添加s3支持需要一些工作）。请参考以下步骤： https://docs.aws.amazon.com/glue/latest/dg/monitor-spark-ui-history.html

EXPERT

rePost Polyglot

répondu il y a 10 mois

Contenus pertinents

accélérer les stockage S3
Réponse acceptée
jerome
demandé il y a 6 mois
accélération S3
jerome
demandé il y a 6 mois
Virtual hosting S3
Alan
demandé il y a 9 mois
Désactiver le chiffrement côté serveur sur Amazon S3
rePost-User-6017646
demandé il y a 2 ans
Comment résoudre l’erreur « java.lang.OutOfMemoryError: Espace de stockage Java » dans une tâche AWS Glue Spark ?
AWS OFFICIELA mis à jour il y a 3 ans
Comment puis-je résoudre les problèmes liés à l'affichage de l'interface utilisateur Spark pour les tâches ETL AWS Glue ?
AWS OFFICIELA mis à jour il y a 3 ans
Comment accéder à l'interface utilisateur Spark dans Amazon EMR ?
AWS OFFICIELA mis à jour il y a 2 ans
Pourquoi ne puis-je pas consulter les événements ou les journaux de l'historique Apache Spark depuis l'interface utilisateur Web de Spark dans Amazon EMR ?
AWS OFFICIELA mis à jour il y a 2 ans