Come posso risolvere i problemi relativi ai segnalibri dei processi AWS Glue?

Risoluzione

Configura correttamente il segnalibro

Quando configuri un segnalibro, esegui le seguenti azioni:

• Attiva l'opzione Enable Bookmark (Abilita segnalibro) per il processo.
• Imposta il numero massimo di esecuzioni simultanee per il processo su 1.

Implementa correttamente il segnalibro

Nel processo di estrazione, trasformazione e caricamento (ETL), utilizza l'API AWS Glue DynamicFrame per leggere i dati dall'origine dati.

Nota: non utilizzare l'API DataFrame o Apache Spark SQL per leggere i dati dall'origine dati. Questi metodi non supportano la funzionalità segnalibro per i processi AWS Glue.

Includi nello script quanto segue:

`job.init(args['JOB_NAME'], args) `  
`datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "db_name",table_name = "table_name", transformation_ctx = "datasource0")`  
`job.commit()`

Quando crei il DynamicFrame, devi aggiungere il parametro transformation_ctx come identificatore univoco per l'istanza dell'operatore ETL.

Nota: non modificare il parametro transformation_ctx quando aggiorni o modifichi lo script.

Risolvi i problemi relativi ai segnalibri per le sorgenti JDBC

Se riscontri problemi con un segnalibro a un'origine Java Database Connectivity (JDBC), intraprendi le seguenti azioni:

• Se lo script AWS Glue non specifica le colonne da utilizzare come chiavi dei segnalibri, ordina la chiave primaria della tabella in ordine crescente o decrescente senza spazi vuoti.
• Se lo script utilizza come chiavi segnalibri definiti dall'utente, ordina le chiavi in ordine crescente o decrescente. Puoi includere spazi vuoti.
• Non utilizzare come chiavi dei segnalibri colonne che hanno nomi con distinzione tra maiuscole e minuscole.

Informazioni correlate

Tracking processed data using job bookmarks