Como resolvo o erro de consulta do Athena "Query exhausted resources at this scale factor"?

Resolução

Você recebe a mensagem de erro quando as demandas da consulta excedem os recursos disponíveis para o cluster que executou a consulta. Para obter mais informações, consulte Reduzir erros de "falta de recursos".

Para resolver esse problema, otimize suas consultas.

Reduza seus dados

Para reduzir a quantidade de dados e distribuir uniformemente os dados que o Athena escaneia, realize as seguintes ações:

• Particione seus dados.
• Compacte seus dados.
• Não tenha muitos arquivos.
• Use formatos de arquivo colunares.

Reduza sua declaração de consulta

Para reduzir o uso de memória da sua consulta, realize as seguintes ações:

• Otimize junções.
• Reduza o escopo das funções da janela ou remova-as.
• Use aproximações para otimizar consultas.
• Otimize agregações.
• Otimize as N principais consultas.
• Inclua somente as colunas obrigatórias.

Use as instruções EXPLAIN e EXPLAIN ANALYZE

Use EXPLAIN e EXPLAIN ANALYZE para analisar consultas complexas. A declaração EXPLAIN mostra o plano de execução lógico ou distribuído de uma declaração SQL especificada. A declaração EXPLAIN ANALYZE mostra o plano de execução distribuído de uma declaração SQL especificada e o custo computacional de cada operação em sua consulta.

Se você usar as instruções EXPLAIN e EXPLAIN ANALYZE, realize as seguintes ações:

• Certifique-se de que a filtragem de partições funciona.
• Verifique se o pushdown funciona. Para obter mais informações, consulte Pushdown no site do Trino.
• Certifique-se de otimizar junções.
• Analise as considerações e limitações de EXPLAIN e EXPLAIN ANALYZE.

Para obter mais informações, consulte Exemplos de EXPLAIN e Noções básicas dos resultados da declaração EXPLAIN do Athena.

Informações relacionadas

Por que minhas consultas do Amazon Athena demoram muito para serem executadas?

Como posso resolver erros "Query timeout" no Athena?