Wie kann ich die automatische Skalierung in Amazon EMR konfigurieren?

Kurzbeschreibung

• **Amazon-EMR-Versionen 5.30.0, 6.1.0 und höher:**Verwenden Sie Amazon EMR Managed Scaling. Alternativ können Sie auch die automatische Skalierung mit einer benutzerdefinierten Richtlinie für Instance-Gruppen verwenden.
• **Amazon-EMR-Versionen 4.0.0 bis 5.29.0 sowie 6.0.0:**Verwenden Sie die automatische Skalierung mit einer benutzerdefinierten Richtlinie für Instance-Gruppen.

Behebung

Amazon-EMR-Version 5.30.0, 6.1.0 und höher

Wenn Sie Amazon EMR 5.30.0, 6.1.0 oder neuere Versionen verwenden, haben Sie zwei Optionen für die automatische Skalierung: Aktivieren Sie Amazon EMR Managed Scaling, um die Anzahl der Instances oder Einheiten in Ihrem Cluster je nach Arbeitslast automatisch zu erhöhen oder zu verringern. Alternativ können Sie die automatische Skalierung mit einer benutzerdefinierten Richtlinie für Instance-Gruppen verwenden, wie im folgenden Abschnitt erläutert.

Amazon-EMR-Version 4.0.0 und höher

1. Folgen Sie der Anleitung unter Using automatic scaling with a custom policy for instance groups. Informationen zu den Amazon-CloudWatch-Metriken, die Sie für die automatische Skalierung in Amazon EMR verwenden können, finden Sie unter Monitor metrics with CloudWatch. Die beiden folgenden Metriken werden häufig für die automatische Skalierung verwendet:
   YarnMemoryAvailablePercentage: Der Prozentsatz des restlichen Arbeitsspeichers, der für YARN verfügbar ist.
   ContainerPendingRatio: Das Verhältnis zwischen ausstehenden und zugewiesenen Containern. Sie können diese Metrik verwenden, um einen Cluster auf der Grundlage des Containerzuweisungsverhaltens für unterschiedliche Lasten zu skalieren. Dies ist bei der Leistungsoptimierung hilfreich.
2. Um zu überprüfen, ob die Skalierungsrichtlinie der Instance-Gruppe zugeordnet ist, können Sie im Navigationsbereich die Option Events auswählen.
3. Suchen Sie nach automatic scaling policy events.

Verwandte Informationen

Scaling cluster resources