クラスターのサイズ変更中に EMR スポットインスタンスがプロビジョニングされないのはなぜですか?

所要時間1分
0

EMR クラスターのサイズ変更中に Amazon EMR スポットインスタンスがプロビジョニングされません。

解決方法

Amazon Elastic Compute Cloud (Amazon EC2) は、以下の理由によりいつでもスポットインスタンスを中断する可能性があります。

詳細については、「Amazon EC2 がスポットインスタンスを中断したのはなぜですか?」を参照してください。

**注:**ステートレスで耐障害性があり、中断にも耐えられる柔軟性のあるワークロードには、スポットインスタンスを使用するのがベストプラクティスです。

また、ブートストラップスクリプトが変更されたか、エラーが含まれているために、スポットインスタンスとオンデマンドインスタンスのサイズが変更されない場合があります。

/emr/instance-controller/log/bootstrap-actions または s3://cluster_id/node-failed/bootstrap-actions/stderr.gz でブートストラップスクリプトのログを確認してください。ログには、STARTUP_SCRIPT_FAILED_RET_CODE というエラーが表示されます。

たとえば、次のブートストラップアクションログには、ブートストラップアクション 1 (emr_bootstrap_actions.sh) が失敗したことが示されています。

Another app is currently holding the yum lock; waiting for it to exit...
  The other application is: yum
    Memory : 125 M RSS (444 MB VSZ)
    Started: Tue Jul 19 05:36:36 2022 - 00:03 ago
    State  : Running, pid: 7914
Error: Package: falcon-sensor-4.18.0-6403.amzn2.x86_64 (/falcon-sensor-4.18.0-6403.amzn2.x86_64)
           Requires: systemd

上記のエラーが表示された場合、次のアクションが実行されます。

  • 新しい代替ノードはすべて終了します。
  • ノードは新しい代替インスタンスのプロビジョニングを停止します。
  • 次の例に示すように、コアノードインスタンスグループはアレストモードになります。
"state": "ARRESTED",
  "message": "Instance group ig-2JN5xxxxxxxx in Amazon EMR cluster j-37H4xxxxxxx (emr-xxxxx-spark-cluster) was arrested at  for the following reason: Error provisioning instances."
=====

関連情報

スポットインスタンスの中断

スポットリクエストステータス

スポットインスタンスのベストプラクティス

上限価格がスポット価格より高いにもかかわらず、スポットインスタンスが終了するのはなぜですか?

AWS公式
AWS公式更新しました 1年前