Wie behebe ich den Athena-Abfragefehler „Query exhausted resources at this scale factor“?

Lösung

Du erhältst die Fehlermeldung, wenn die Anforderungen der Abfrage die Ressourcen überschreiten, die dem Cluster zur Verfügung stehen, auf dem die Abfrage ausgeführt wurde. Weitere Informationen findest du unter Reduce "out of resource" errors (Reduzieren von „out of resource“-Fehlern).

Um dieses Problem zu beheben, optimiere deine Abfragen.

Deine Daten reduzieren

Gehe wie folgt vor, um die Datenmenge zu reduzieren und die von Athena gescannten Daten gleichmäßig zu verteilen:

• Partitioniere deine Daten.
• Komprimiere deine Daten.
• Du solltest nicht zu viele Dateien haben.
• Verwende spaltenförmige Dateiformate.

Die Abfrageanweisung reduzieren

Gehe wie folgt vor, um die Speicherauslastung der Abfrage zu reduzieren:

• Optimiere Verknüpfungen.
• Reduziere den Umfang der Fensterfunktionen oder entferne sie.
• Verwende Näherungen, um Abfragen zu optimieren.
• Optimiere Aggregationen.
• Optimiere die Top-N-Abfragen.
• Beziehe nur die erforderlichen Spalten mit ein.

Die Anweisungen EXPLAIN und EXPLAIN ANALYZE verwenden

Verwende EXPLAIN und EXPLAIN ANALYZE, um komplexe Abfragen zu analysieren. Die EXPLAIN-Anweisung zeigt den logischen oder verteilten Ausführungsplan einer angegebenen SQL-Anweisung. Die EXPLAIN ANALYZE-Anweisung zeigt sowohl den verteilten Ausführungsplan einer angegebenen SQL-Anweisung als auch die Rechenkosten jedes Vorgangs in deiner Abfrage an.

Wenn du die Anweisungen EXPLAIN und EXPLAIN ANALYZE verwendest, gehe wie folgt vor:

• Stelle sicher, dass deine Partitionsfilterung funktioniert.
• Überprüfe, ob der Pushdown funktioniert. Weitere Informationen findest du unter Pushdown auf der Trino-Website.
• Stelle sicher, dass du Verknüpfungen optimierst.
• Lies die Überlegungen und Einschränkungen für EXPLAIN und EXPLAIN ANALYZE.

Weitere Informationen findest du unter EXPLAIN examples (EXPLAIN-Beispiele) und Understand Athena EXPLAIN statement results (Ergebnisse der Athena EXPLAIN-Anweisung verstehen).

Ähnliche Informationen

Warum dauert die Ausführung meiner Amazon-Athena-Abfragen so lange?

Wie behebe ich „Query Timeout“-Fehler in Athena?