Comment puis-je dépanner et résoudre les problèmes liés aux signets de tâches AWS Glue ?

Lecture de 2 minute(s)
0

Mes tâches AWS Glue et leurs signets ne s'exécutent pas correctement ou ne traitent pas correctement les données requises.

Résolution

Configurer correctement votre signet

Lorsque vous configurez votre signet, effectuez les actions suivantes :

  • Activez l'option Activer le signet pour la tâche.
  • Définissez le nombre maximal d'exécutions simultanées pour la tâche à 1.

Implémenter correctement votre signet

Dans votre tâche d'extraction, de transformation et de chargement (ETL), utilisez l'API DynamicFrame pour lire les données depuis la source de données.

Remarque : N'utilisez pas l'API DataFrame ou Apache Spark SQL pour lire les données depuis la source de données. Ces méthodes ne prennent pas en charge la fonctionnalité de signet de tâche AWS Glue.

Incluez les éléments suivants dans votre script :

`job.init(args['JOB_NAME'], args) `  
`datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "db_name",table_name = "table_name", transformation_ctx = "datasource0")`  
`job.commit()`

Lorsque vous créez l’API DynamicFrame, vous devez ajouter le paramètre transformation_ctx en tant qu'identifiant unique pour l'instance d'opérateur ETL.

Remarque : Ne modifiez pas le paramètre transformation_ctx lorsque vous mettez à jour ou modifiez le script.

Résoudre les problèmes liés aux signets pour les sources JDBC

Si vous rencontrez des problèmes avec un signet vers une source JDBC (Java Database Connectivity), effectuez les actions suivantes :

  • Si votre script AWS Glue ne spécifie pas les colonnes à utiliser comme clés de signet, triez la clé primaire du tableau par ordre croissant ou décroissant, sans interruption.
  • Si le script utilise des signets définis par l'utilisateur comme clés, triez les clés par ordre croissant ou décroissant. Vous pouvez inclure les interruptions.
  • N'utilisez pas de colonnes avec des noms sensibles à la casse comme clés de signet.

Informations connexes

Suivi des données traitées à l'aide de signets de tâche

AWS OFFICIEL
AWS OFFICIELA mis à jour il y a 3 mois