Por que o comando MSCK REPAIR TABLE leva muito tempo para ser executado?

Resolução

Você recebe esse erro porque o Amazon Athena lista recursivamente prefixos e objetos no Amazon Simple Storage Service (Amazon S3) ao executar o comando MSCK REPAIR TABLE. Se você tiver muitos prefixos ou objetos do Amazon S3, o comando poderá levar muito tempo para ser concluído ou atingir o tempo limite.

Para resolver esse erro, faça o seguinte:

• Use um AWS Glue Crawler para adicionar partições às suas tabelas do Athena. Para obter mais informações, consulte Como os crawlers funcionam. Usar um AWS Glue Crawler pode reduzir o tempo necessário para carregar partições se você tiver muitos prefixos do Amazon S3. Para obter mais informações, consulte Rastreamentos incrementais no AWS Glue.
• Adicione partições à tabela usando o comando ALTER TABLE ADD PARTITION.

Considere usar a projeção de partições se suas partições seguirem padrões previsíveis. O Athena gera partições na memória sem precisar adicioná-las ao catálogo de dados do AWS Glue ou recuperá-las do catálogo de dados. Portanto, os tempos de processamento de consultas podem ser reduzidos para tabelas muito particionadas.

Informações relacionadas

Por que minhas consultas do Athena demoram muito para serem executadas?

Criação de tabelas, atualização do esquema e adição de novas partições no catálogo de dados a partir de tarefas de ETL do AWS Glue