Glue PySpark - JSON table - Serde error

0

I created table with Glue Crawler op top of JSON files lying on s3. I can successfully query this table with Athena. However while trying to read it with Glue PySpark I am got error:

Error Category: IMPORT_ERROR; An error occurred while calling o355.showString. java.lang.ClassNotFoundException: org.openx.data.jsonserde.JsonSerDe

I added jar json-serde-1.3.7.3.jar

Now I got this error:

Error Category: UNCLASSIFIED_ERROR; An error occurred while calling o97.table. The SerDe interface removed since Hive 2.3(HIVE-15167). Please migrate your custom SerDes to Hive 2.3. See HIVE-15167 for more details.

Appreciate any help.

  • can you paste an example json message to try recreate the issue?

preguntada hace 3 meses76 visualizaciones
No hay respuestas

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas