Quando executo consultas do Amazon Athena em arquivos JSON de pretty-print com JSON SerDe, minhas consultas falham com a seguinte mensagem de erro: "HIVE_CURSOR_ERROR: a linha não é um objeto JSON válido".
Resolução
O Athena JSON SerDe não suporta arquivos JSON com pretty-print, como o seguinte arquivo:
{
"id": "b179db57-9d5b-40c8-8f07-f75bd1fa1b3c",
"random_number": 19,
"categories": [
"category 1",
"category 2"
],
"dict": {
"name": "category 1",
"comment": "category 2"
}
}
{
"id": "bc4624ce-d752-4e38-8a30-42de158dbc50",
"random_number": 95,
"categories": [
"category 1",
"category 2",
"category 3",
"category 4"
],
"dict": {
"name": "category 2",
"comment": "category 1"
}
}
{
"id": "1d3298e8-e3bb-41c0-950c-6a146555ce3c",
"random_number": 89,
"categories": [
"category 1"
],
"dict": {
"name": "category 5",
"comment": "category 3"
}
}
Como o Amazon Ion é um superconjunto do JSON, use o Amazon Ion Hive SerDe para consultar conjuntos de dados JSON que não sejam do Amazon Ion. Ao contrário de outras bibliotecas JSON SerDe, o Amazon Ion SerDe não espera que cada linha de dados esteja em uma única linha. Use esse recurso para consultar conjuntos de dados JSON que estão em um formato pretty-print ou dividir os campos em uma linha com caracteres de nova linha.
1. Crie uma tabela semelhante à seguinte com o Athena Ion Hive SerDe:
CREATE EXTERNAL TABLE table_name (
id string,
random_number int,
categories array<string>,
dict struct<name:string, comment:string>
)
STORED AS ION
LOCATION 's3://sample-bucket/prefix/'
2. Consulte a tabela:
SELECT * FROM table_name
A saída é semelhante à seguinte:
# id random_number categories dict
1 b179db57-9d5b-40c8-8f07-f75bd1fa1b3c 19 [category 1, category 2] {name=category 1, comment=category 2}
2 bc4624ce-d752-4e38-8a30-42de158dbc50 95 [category 1, category 2, category 3, category 4] {name=category 2, comment=category 1}
3 1d3298e8-e3bb-41c0-950c-6a146555ce3c 89 [category 1] {name=category 5, comment=category 3}
Informações relacionadas
Por que recebo erros quando tento ler dados JSON no Amazon Athena?