Glue PySpark - JSON table - Serde error

0

I created table with Glue Crawler op top of JSON files lying on s3. I can successfully query this table with Athena. However while trying to read it with Glue PySpark I am got error:

Error Category: IMPORT_ERROR; An error occurred while calling o355.showString. java.lang.ClassNotFoundException: org.openx.data.jsonserde.JsonSerDe

I added jar json-serde-1.3.7.3.jar

Now I got this error:

Error Category: UNCLASSIFIED_ERROR; An error occurred while calling o97.table. The SerDe interface removed since Hive 2.3(HIVE-15167). Please migrate your custom SerDes to Hive 2.3. See HIVE-15167 for more details.

Appreciate any help.

  • can you paste an example json message to try recreate the issue?

feita há 3 meses76 visualizações
Sem respostas

Você não está conectado. Fazer login para postar uma resposta.

Uma boa resposta responde claramente à pergunta, dá feedback construtivo e incentiva o crescimento profissional de quem perguntou.

Diretrizes para responder a perguntas