AWS Glue read a csv file encoded in Windows 1252 with extended characters

Is there an option to enable the Dyanmicframe Reader to open a file encoded in cp1252 charset (Windows latin with extended characterset) ?

Tópicos

Análise Banco de dados

Tags

AWS Glue Extrair, transformar e carregar dados

Idioma

English

ESPECIALISTA

Fabrizio@AWS

feita há 2 anos721 visualizações

1 Resposta

Mais recentes
Mais votos
Mais comentários

Essas respostas são úteis? Vote a favor da resposta correta para ajudar a comunidade a se beneficiar de seu conhecimento.

Resposta aceita

Currently, you would need to read the file using the spark.read and than convert to DynamicFrame, see an example below:


df_1252_all = spark.read.option("header", "true").option("charset", "cp1252").csv("s3a://My-BUCKET/cp1252_all.csv")
dyn_all= DynamicFrame.fromDF(df_1252_all, glueContext, "dyn_all")

ESPECIALISTA

Fabrizio@AWS

respondido há 2 anos

Conteúdo relevante

Como soluciono o erro “User/IAM role X is not authorized to perform Y on resource Z” (O usuário/perfil X do IAM não está autorizado a executar Y no recurso Z) no AWS Glue?
AWS OFICIALAtualizada há um ano
Como posso solucionar o erro do AWS STS “the security token included in the request is expired” (o token de segurança incluído na solicitação expirou) ao usar a AWS CLI para assumir uma função do IAM?
AWS OFICIALAtualizada há 2 anos
Como soluciono o erro “The security token included in the request is expired” (O token de segurança incluído na solicitação está expirado) ao executar aplicações Java no Amazon EC2?
AWS OFICIALAtualizada há 2 anos
How do I connect to my WorkSpace with RDP?
AWS OFICIALAtualizada há 2 anos