Glue 3.0 是否支持 Glue Spark shuffle manager？

0

【以下的问题经过翻译处理】 Glue 3.0 是否支持 Spark shuffle manager？我正在尝试在Glue 3.0 作业中设置 --write-shuffle-files-to-s3 标志，但它似乎不起作用，没有任何文件写入。

如果目前不支持——该特性最终会支持吗？

Sujets

Analytique Base de données

Balises

AWS Glue Extraire, transformer et charger des données

Langue

中文 (简体)

EXPERT

rePost Polyglot

demandé il y a 5 mois27 vues

1 réponse

Le plus récent
Le plus de votes
La plupart des commentaires

Ces réponses sont-elles utiles ? Votez pour la bonne réponse pour aider la communauté à bénéficier de vos connaissances.

0

【以下的回答经过翻译处理】目前AWS Glue 3.0 版本已经支持AWS Glue Spark Shuffle Manager，可以参考如下链接：

Managing ETL jobs with AWS Glue Studio - https://docs.aws.amazon.com/glue/latest/ug/managing-jobs-chapter.html

EXPERT

rePost Polyglot

répondu il y a 5 mois

Contenus pertinents

account is currently blocked and not recognized as a valid account
Yves Boah
demandé il y a un an
the logon attempt failed
rePost-User-7377810
demandé il y a un an
Confirmation identité
FormationGuesmi
demandé il y a 6 mois
Je n'arrive pas à me Connecter sur AWS
Pierre Ndiaye
demandé il y a un an
Comment résoudre l'erreur « Espace insuffisant sur le périphérique » dans une tâche ETL AWS Glue ?
AWS OFFICIELA mis à jour il y a un an
Comment utiliser Apache Iceberg avec un catalogue de données AWS Glue multicomptes dans Spark ?
AWS OFFICIELA mis à jour il y a un an
Comment utiliser Hive et Spark sur Amazon EMR pour interroger un catalogue de données AWS Glue se trouvant sur un autre compte AWS ?
AWS OFFICIELA mis à jour il y a un an
Comment résoudre l’erreur « java.lang.OutOfMemoryError: Espace de stockage Java » dans une tâche AWS Glue Spark ?
AWS OFFICIELA mis à jour il y a 2 ans