Passer au contenu

Comment puis-je résoudre les problèmes liés à une tâche de streaming AWS Glue ?

Lecture de 2 minute(s)
0

Je souhaite résoudre les problèmes liés à l'échec de ma tâche de streaming AWS Glue.

Résolution

Utilisez Amazon CloudWatch pour surveiller les métriques de tâche de streaming AWS Glue. Puis, consultez les journaux de la tâche de streaming ayant échoué pour détecter les messages d'erreur, les avertissements ou les horodatages. Pour plus d'informations, consultez la section Collecte des informations de dépannage d'AWS Glue.

Vérifiez que les sources et les récepteurs de données de la tâche sont accessibles et configurés correctement. Pour plus d'informations, consultez la page Sources d'entrée et Récepteurs de sortie sur le site Web d'Apache Spark.

Utilisez le registre de schémas AWS Glue pour détecter, contrôler et faire évoluer les schémas de flux de données. Vérifiez que les schémas de données d’entrée correspondent aux schémas attendus dans la tâche de streaming.

Avant de déployer la tâche de streaming, utilisez les images Docker AWS Glue ou la bibliothèque ETL AWS Glue pour la développer et la tester localement.

Informations connexes

Comment puis-je optimiser les tâches de streaming sur AWS Glue ?

Résolution des problèmes liés à AWS Glue

Connexions Kinesis

Connexions Kafka

Développement à l'aide d'une image Docker

AWS OFFICIELA mis à jour il y a 2 ans