Amazon EMR で自動スケーリングを設定するにはどうすればよいですか?

所要時間1分
0

Amazon EMR クラスターで Amazon Elastic Compute Cloud (Amazon EC2) Auto Scaling を使用したいと考えています。

簡単な説明

  • Amazon EMR バージョン 5.30.0、6.1.0 以降: Amazon EMR マネージドスケーリングを使用します。または、インスタンスグループのカスタムポリシーで自動スケーリングを使用します。
  • Amazon EMR バージョン 4.0.0-5.29.0 および 6.0.0: インスタンスグループのカスタムポリシーで自動スケーリングを使用します。

解決方法

Amazon EMR バージョン 5.30.0、6.1.0 以降

Amazon EMR 5.30.0、6.1.0 以降のバージョンを使用している場合、自動スケーリングには 2 つのオプションがあります。Amazon EMR マネージドスケーリングを有効にすると、ワークロードに基づいてクラスター内のインスタンスまたはユニット数を自動的に増減できます。または、次のセクションで説明するように、インスタンスグループのカスタムポリシーで自動スケーリングを使用します。

Amazon EMR バージョン 4.0.0 以降

  1. インスタンスグループのカスタムポリシーで自動スケーリングを使用する」の手順に従います。Amazon EMR の自動スケーリングに使用できる Amazon CloudWatch メトリクスの詳細については、「 CloudWatch でメトリックスをモニタリングする」を参照してください。自動スケーリングで一般的に使用される 2 つのメトリクスを次に示します。
    YarnMemoryAvailablePercentage: これは、YARN で使用可能な残りのメモリの割合です。
    ContainerPendingRatio: 保留中のコンテナと割り当てられたコンテナの比率です。このメトリクスを使用して、さまざまな負荷のコンテナ割り当て動作に基づいてクラスターをスケーリングできます。これは、パフォーマンスのチューニングに役立ちます。
  2. スケーリングポリシーがインスタンスグループにアタッチされていることを確認するには、ナビゲーションペインから [ Events ] を選択します。
  3. 自動スケーリングポリシーイベントを確認します。

関連情報

クラスターリソースのスケーリング

AWS公式
AWS公式更新しました 2年前
コメントはありません