EMR の実行時間が不安定になる要因を知りたい

0

現象
2018/4/20頃より 2時間程度で完了していた EMR の実行時間が 10数時間かかるようになってしまい、止む無く起動停止しました。

その後、同じデータに対しての EMR の実行時間が不安定になっています。
クラスタの数などを変更してみましたが特に改善は見受けられませんでした。

実行環境

  • ap-northeast-1 リージョン
  • RDS と連携
  • m4.2xlarge * (10 または 20台 )
  • 同じデータに対する同じプログラムによる複数回の実行

調査
history server や各種メトリクスを観察してボトルネックを探しましたが特に処理が詰まってしまっているような箇所は見受けられず、またハングしているようなログも見られませんでした。

質問
詳細な情報を記載できず申し訳ありませんが EMR の実行時間を不安定にしうる要因についてご教示いただければと思います。

inb
已提问 6 年前159 查看次数
1 回答
0

クラスタの数などを変更してみましたが特に改善は見受けられませんでした。
クラスタのノードの数、でしょうか。
増やしても処理時間に変化がないということなので、単純に処理が偏ってしまっている部分があるのでは無いかと思いました。

具体的に確認した項目やアプリケーションの情報がないと的確な意見は得られないと思います。

semnil
已回答 6 年前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则