Athena Error- HIVE_BAD_DATA: Not valid Parquet file: s3://deng-utube-raw-us-east-1-dev/youtube/raw_stats_reference_data/FR_category_id.json expected magic number: PAR1 got: ] }

0

【以下的问题经过翻译处理】 我编写了一个lambda函数,将原始s3存储桶中的json文件转换为parquet文件,并将其直接上传到经过清理的s3存储桶中。我不能删除json文件,因为我想再将其转换为parquet。在测试lambda函数时,存储桶中显示是parquet格式,并且目标表也采用parquet格式,但不知道为什么Athena会提示这个错误。请帮我解决这个问题。谢谢!

1 回答
0

【以下的回答经过翻译处理】 根据错误信息,看起来表似乎指向了一个包含 json 文件的位置 s3://deng-utube-raw-us-east-1-dev/youtube/raw_stats_reference_data/FR_category_id.json

你能验证以下内容吗?

1- 显示为 LOCATION 的 Athena 表 DDL 是什么?

2-如果该位置指向原始桶,那么它是一个有效的错误。

3-验证表的位置并将其指向只有parquet文件的目标存储桶/位置。

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则