Como resolvo os erros "unable to create input format" no Athena?

Breve descrição

Um erro "unable to create input format" ocorre por um dos seguintes motivos:

• A fonte de dados em sua consulta do Athena não é compatível
• O Athena não oferece suporte ao formato de dados
• O crawler do AWS Glue não consegue classificar o formato dos dados
• Uma ou mais propriedades de definição de tabela do AWS Glue estão vazias

Resolução

A fonte de dados em sua consulta do Athena não é compatível

O Athena só pode consultar tabelas armazenadas no Amazon Simple Storage Service (Amazon S3). Se você consultar uma fonte de dados que não está armazenada no S3, receberá um erro "unable to create input format".

Para resolver esse erro, use o Athena Query Federation SDK. Esse SDK permite que você personalize o Athena com seu próprio código. Com o Athena Federation SDK, é possível se integrar com diferentes fontes de dados e formatos de dados proprietários. Também é possível criar novas funções definidas pelo usuário. Para obter mais informações, consulte Query any data source with Amazon Athena's new federated query (Consultar qualquer fonte de dados com a nova consulta federada do Amazon Athena).

O Athena não oferece suporte ao formato de dados

É possível executar um crawler do AWS Glue para criar tabelas no Athena a partir de arquivos no S3, mas alguns tipos de arquivo não são compatíveis com o Athena. Por exemplo, o Athena não oferece suporte a tipos de arquivo como .ion ou .xml.

Se você consultar uma tabela no Athena a partir de um tipo de arquivo que não é compatível, receberá uma mensagem de erro "HIVE_UNKNOWN_ERROR: Unable to create input format". Para resolver esse erro, use um formato de dados compatível com o Athena.

O crawler do AWS Glue não consegue classificar o formato dos dados

Se o seu crawler do AWS Glue não reconhecer um tipo de dados de coluna do esquema da tabela, ele classifica a coluna como DESCONHECIDA. Você recebe a mensagem de erro "HIVE_UNKNOWN_ERROR: Unable to create input format" quando consulta uma tabela do Athena que tem colunas de tipo de dados DESCONHECIDA. Esse erro de classificação ocorre quando você usa um classificador incorporado para seu crawler do Glue que não reconhece um tipo de dados em seu esquema.

Para resolver esse erro, use tipos de dados compatíveis com um classificador integrado. Se o formato dos dados não puder ser classificado por um classificador integrado, considere usar um classificador personalizado.

Uma ou mais propriedades de definição de tabela do AWS Glue estão vazias

Também é possível receber erros de formato de entrada ao consultar tabelas no Athena que não foram criadas pelo AWS Glue. Por exemplo, um erro pode ocorrer se você criar a tabela manualmente no console do AWS Glue. Se uma das seguintes propriedades na definição da tabela do AWS Glue estiver vazia, você receberá uma mensagem de erro "HIVE_UNKNOWN_ERROR: Unable to create input format":

• Formato de entrada
• Formato de saída
• Nome SerDe

Confirme se essas propriedades estão definidas corretamente para o SerDe e o formato de dados. Lembre-se de que o SerDe que você especifica define o esquema da tabela. O SerDe pode substituir a configuração de DDL que você especifica no Athena ao criar sua tabela.

Para atualizar as propriedades de definição da tabela, conclua as seguintes etapas:

1. Abra o console do AWS Glue.
2. Selecione a tabela que você deseja atualizar.
3. Clique em Ações e depois em Exibir detalhes.
4. Selecione Editar tabela.
5. Atualize as configurações em Formato de entrada, Formato de saída ou Nome SerDe.
6. Clique em Aplicar.

Informações relacionadas

Definir e gerenciar classificadores

Usar SerDes

Conectar-se à fonte de dados

Usar a consulta federada do Amazon Athena