Como faço para executar consultas do Athena para arquivos JSON de pretty-print?

Resolução

O Athena JSON SerDe não suporta arquivos JSON com pretty-print, como o seguinte arquivo:

{
    "id": "b179db57-9d5b-40c8-8f07-f75bd1fa1b3c",
    "random_number": 19,
    "categories": [
        "category 1",
        "category 2"
    ],
    "dict": {
        "name": "category 1",
        "comment": "category 2"
    }
}
{
    "id": "bc4624ce-d752-4e38-8a30-42de158dbc50",
    "random_number": 95,
    "categories": [
        "category 1",
        "category 2",
        "category 3",
        "category 4"
    ],
    "dict": {
        "name": "category 2",
        "comment": "category 1"
    }
}
{
    "id": "1d3298e8-e3bb-41c0-950c-6a146555ce3c",
    "random_number": 89,
    "categories": [
        "category 1"
    ],
    "dict": {
        "name": "category 5",
        "comment": "category 3"
    }
}

Como o Amazon Ion é um superconjunto do JSON, use o Amazon Ion Hive SerDe para consultar conjuntos de dados JSON que não sejam do Amazon Ion. Ao contrário de outras bibliotecas JSON SerDe, o Amazon Ion SerDe não espera que cada linha de dados esteja em uma única linha. Use esse recurso para consultar conjuntos de dados JSON que estão em um formato pretty-print ou dividir os campos em uma linha com caracteres de nova linha.

1.    Crie uma tabela semelhante à seguinte com o Athena Ion Hive SerDe:

CREATE EXTERNAL TABLE table_name (
    id string,
    random_number int,
    categories array<string>,
    dict struct<name:string, comment:string>
)
STORED AS ION
LOCATION 's3://sample-bucket/prefix/'

2.    Consulte a tabela:

SELECT * FROM table_name

A saída é semelhante à seguinte:

#	id	random_number	categories	dict
1	b179db57-9d5b-40c8-8f07-f75bd1fa1b3c	19	[category 1, category 2]	{name=category 1, comment=category 2}
2	bc4624ce-d752-4e38-8a30-42de158dbc50	95	[category 1, category 2, category 3, category 4]	{name=category 2, comment=category 1}
3	1d3298e8-e3bb-41c0-950c-6a146555ce3c	89	[category 1]	{name=category 5, comment=category 3}

Informações relacionadas

Por que recebo erros quando tento ler dados JSON no Amazon Athena?