Glue PySpark - JSON table - Serde error

0

I created table with Glue Crawler op top of JSON files lying on s3. I can successfully query this table with Athena. However while trying to read it with Glue PySpark I am got error:

Error Category: IMPORT_ERROR; An error occurred while calling o355.showString. java.lang.ClassNotFoundException: org.openx.data.jsonserde.JsonSerDe

I added jar json-serde-1.3.7.3.jar

Now I got this error:

Error Category: UNCLASSIFIED_ERROR; An error occurred while calling o97.table. The SerDe interface removed since Hive 2.3(HIVE-15167). Please migrate your custom SerDes to Hive 2.3. See HIVE-15167 for more details.

Appreciate any help.

  • can you paste an example json message to try recreate the issue?

gefragt vor 3 Monaten76 Aufrufe
Keine Antworten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen