Wie finde ich heraus, ob ich eine Bootstrap-Aktion oder einen Schritt auf einem Amazon EMR-Cluster verwenden soll?

Kurzbeschreibung

Verwenden Sie Bootstrap-Aktionen, um zusätzliche Software auf einem EMR-Cluster zu installieren. Gehen Sie wie folgt vor, um Arbeit an einen EMR-Cluster zu senden oder Daten zu verarbeiten.

Behebung

Bootstrap-Aktionen

• Bootstrap-Aktionen werden ausgeführt, nachdem ein EMR-Cluster vom Starting-Status in den BOOTSTRAPPING-Status übergegangen ist. Bootstrap-Aktionen werden ausgeführt, bevor Kerndienste wie Hadoop oder Spark installiert werden. Wenn eine Bootstrap-Aktion fehlschlägt, wird der Cluster nicht gestartet. Weitere Informationen finden Sie unter Den Cluster-Lebenszyklus verstehen.
• Bootstrap-Aktionen werden auf allen Clusterknoten ausgeführt. Bootstrap-Aktionen sind Skripts, die standardmäßig als Hadoop-Benutzer ausgeführt werden. Sie können aber auch mit dem Befehl sudo als Root-Benutzer ausgeführt werden. Sie können Bootstrap-Aktionen so konfigurieren, dass Befehle auf der Grundlage instanzspezifischer Werte in der Datei instance.json oder job-flow.json unter bestimmten Bedingungen ausgeführt werden.

**Hinweis:**In den Versionen 2.x und 3.x von Amazon EMR werden Bootstrap-Aktionen ausgeführt, nachdem die Kerndienste installiert wurden. Die meisten vordefinierten Bootstrap-Aktionen für die Amazon EMR AMI-Versionen 2.x und 3.x werden in späteren Amazon EMR-Versionen nicht unterstützt. Weitere Informationen finden Sie unter Erstellen von Bootstrap-Aktionen zur Installation zusätzlicher Software.

Schritte

• Ein Schritt ist eine Arbeitseinheit, die einen oder mehrere Hadoop-Jobs enthält. Schritte werden normalerweise verwendet, um Daten zu übertragen oder zu verarbeiten. In einem Schritt könnte die Arbeit an einen Cluster übermittelt werden. In anderen Schritten können die übermittelten Daten verarbeitet und die verarbeiteten Daten dann an einen bestimmten Ort gesendet werden.
• Die Schritte beginnen nach Bootstrap-Aktionen und werden nur auf dem Master-Knoten ausgeführt. Weitere Informationen finden Sie unter Ausführen von Schritten zur Datenverarbeitung.
• In den Amazon EMR-Release-Versionen 5.28.0 und höher können Sie mehrere Schritte parallel ausführen. In früheren Release-Versionen von Amazon EMR vervollständigen die Schritte ihre Arbeit sequentiell.
• Wenn Sie einen Schritt konfigurieren, können Sie wählen, was passiert, wenn ein Schritt fehlschlägt.

Weitere Informationen zu den Schritten finden Sie unter Arbeiten mit Schritten mithilfe der AWS-CLI und der AWS-Konsole.

Ähnliche Informationen

StepExecutionStatusDetail

Cluster planen und konfigurieren