Amazon EMR で自動スケーリングを設定するにはどうすればよいですか?

簡単な説明

• Amazon EMR バージョン 5.30.0、6.1.0 以降: Amazon EMR マネージドスケーリングを使用します。または、インスタンスグループのカスタムポリシーで自動スケーリングを使用します。
• Amazon EMR バージョン 4.0.0-5.29.0 および 6.0.0: インスタンスグループのカスタムポリシーで自動スケーリングを使用します。

解決方法

Amazon EMR バージョン 5.30.0、6.1.0 以降

Amazon EMR 5.30.0、6.1.0 以降のバージョンを使用している場合、自動スケーリングには 2 つのオプションがあります。Amazon EMR マネージドスケーリングを有効にすると、ワークロードに基づいてクラスター内のインスタンスまたはユニット数を自動的に増減できます。または、次のセクションで説明するように、インスタンスグループのカスタムポリシーで自動スケーリングを使用します。

Amazon EMR バージョン 4.0.0 以降

1. 「 インスタンスグループのカスタムポリシーで自動スケーリングを使用する」の手順に従います。Amazon EMR の自動スケーリングに使用できる Amazon CloudWatch メトリクスの詳細については、「 CloudWatch でメトリックスをモニタリングする」を参照してください。自動スケーリングで一般的に使用される 2 つのメトリクスを次に示します。
   YarnMemoryAvailablePercentage: これは、YARN で使用可能な残りのメモリの割合です。
   ContainerPendingRatio: 保留中のコンテナと割り当てられたコンテナの比率です。このメトリクスを使用して、さまざまな負荷のコンテナ割り当て動作に基づいてクラスターをスケーリングできます。これは、パフォーマンスのチューニングに役立ちます。
2. スケーリングポリシーがインスタンスグループにアタッチされていることを確認するには、ナビゲーションペインから [ Events ] を選択します。
3. 自動スケーリングポリシーイベントを確認します。

---

関連情報

クラスターリソースのスケーリング