Glue PySpark - JSON table - Serde error

0

I created table with Glue Crawler op top of JSON files lying on s3. I can successfully query this table with Athena. However while trying to read it with Glue PySpark I am got error:

Error Category: IMPORT_ERROR; An error occurred while calling o355.showString. java.lang.ClassNotFoundException: org.openx.data.jsonserde.JsonSerDe

I added jar json-serde-1.3.7.3.jar

Now I got this error:

Error Category: UNCLASSIFIED_ERROR; An error occurred while calling o97.table. The SerDe interface removed since Hive 2.3(HIVE-15167). Please migrate your custom SerDes to Hive 2.3. See HIVE-15167 for more details.

Appreciate any help.

  • can you paste an example json message to try recreate the issue?

demandé il y a 3 mois76 vues
Aucune réponse

Vous n'êtes pas connecté. Se connecter pour publier une réponse.

Une bonne réponse répond clairement à la question, contient des commentaires constructifs et encourage le développement professionnel de la personne qui pose la question.

Instructions pour répondre aux questions