AWS Glue read a csv file encoded in Windows 1252 with extended characters

0

Is there an option to enable the Dyanmicframe Reader to open a file encoded in cp1252 charset (Windows latin with extended characterset) ?

AWS
EXPERTE
gefragt vor 2 Jahren721 Aufrufe
1 Antwort
0
Akzeptierte Antwort

Currently, you would need to read the file using the spark.read and than convert to DynamicFrame, see an example below:


df_1252_all = spark.read.option("header", "true").option("charset", "cp1252").csv("s3a://My-BUCKET/cp1252_all.csv")
dyn_all= DynamicFrame.fromDF(df_1252_all, glueContext, "dyn_all")
AWS
EXPERTE
beantwortet vor 2 Jahren

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen