Athena Error- HIVE_BAD_DATA: Not valid Parquet file: s3://deng-utube-raw-us-east-1-dev/youtube/raw_stats_reference_data/FR_category_id.json expected magic number: PAR1 got: ] }

Question

【以下的问题经过翻译处理】 我编写了一个lambda函数，将原始s3存储桶中的json文件转换为parquet文件，并将其直接上传到经过清理的s3存储桶中。我不能删除json文件，因为我想再将其转换为parquet。在测试lambda函数时，存储桶中显示是parquet格式，并且目标表也采用parquet格式，但不知道为什么Athena会提示这个错误。请帮我解决这个问题。谢谢！

rePost Polyglot · Answer

【以下的回答经过翻译处理】 根据错误信息，看起来表似乎指向了一个包含 json 文件的位置
`s3://deng-utube-raw-us-east-1-dev/youtube/raw_stats_reference_data/FR_category_id.json`

你能验证以下内容吗？

1- 显示为 LOCATION 的 Athena 表 DDL 是什么？

2-如果该位置指向原始桶，那么它是一个有效的错误。

3-验证表的位置并将其指向只有parquet文件的目标存储桶/位置。

Athena Error- HIVE_BAD_DATA: Not valid Parquet file: s3://deng-utube-raw-us-east-1-dev/youtube/raw_stats_reference_data/FR_category_id.json expected magic number: PAR1 got: ] }

相关内容