glue treat empty string as null values

0

Hi Team,

I run an AWS glue job that reads data from a CSV file located on an S3 bucket to my aurora MySQL DB. My job fails because it interprets an empty string from the CSV ("") as a null value then try to insert it in a non-nullable column. is there a specific configuration in glue / pyspark code to prevent the job to treat an empty string as null?

Argomenti

Analisi Archiviazione Database

Tag

Analisi AWS Glue Data lake Estrazione trasformazione e caricamento dati Aurora MySQL

Lingua

English

posta 2 anni fa3775 visualizzazioni

1 Risposta

Più recenti
Maggior numero di voti
Maggior numero di commenti

Queste risposte sono utili? Dai un voto positivo alla risposta corretta per aiutare la community a trarre vantaggio dalle tue conoscenze.

0

Risposta accettata

I added this workaround on my pySpark script and that solve the issue :

data_frame = data_frame.na.fill('', subset=['MY_EMPTY_STRING_COL'])

con risposta 2 anni fa

Contenuto pertinente

Come posso risolvere l'errore "Got an error reading communication packets" in Amazon RDS per MySQL o Aurora compatibile con MySQL?
AWS UFFICIALEAggiornata 3 anni fa
Come faccio a risolvere il "java.lang.OutOfMemoryError": Errore "Java heap space" in un job di AWS Glue Spark?
AWS UFFICIALEAggiornata 2 anni fa
Come posso impostare parametri speciali in un job AWS Glue utilizzando AWS CloudFormation?
AWS UFFICIALEAggiornata 2 anni fa
Come posso risolvere l'errore "User/IAM role X is not authorized to perform Y on resource Z" error in AWS Glue (L'utente/ruolo IAM X non è autorizzato a eseguire Y sulla risorsa Z in AWS Glue)?
AWS UFFICIALEAggiornata un anno fa