Por que meus trabalhos de ETL do AWS Glue estão reprocessando dados mesmo quando os marcadores de trabalhos estão habilitados?

Resolução

Aqui estão alguns motivos comuns pelos quais um trabalho de extração, transformação e carregamento (ETL) pode reprocessar dados mesmo que os marcadores de trabalho estejam habilitados:

• Você tem vários trabalhos simultâneos com marcadores de trabalhos e a simultaneidade máxima não está definida como 1.
• O objeto job.init() está ausente.
• O objeto job.commit() está ausente.
• O parâmetro transformation_ctx está ausente.
• As chaves primárias da tabela não estão em ordem sequencial (somente conexões do JDBC).
• Os dados de origem foram modificados após a execução do seu último trabalho.

Para obter mais informações sobre cada um desses problemas, consulte Erro: Um trabalho está reprocessando dados quando os marcadores de trabalhos estão habilitados.

Informações relacionadas

Rastreamento de dados processados usando marcadores de trabalhos