EMR の実行時間が不安定になる要因を知りたい

0

現象
2018/4/20頃より 2時間程度で完了していた EMR の実行時間が 10数時間かかるようになってしまい、止む無く起動停止しました。

その後、同じデータに対しての EMR の実行時間が不安定になっています。
クラスタの数などを変更してみましたが特に改善は見受けられませんでした。

実行環境

  • ap-northeast-1 リージョン
  • RDS と連携
  • m4.2xlarge * (10 または 20台 )
  • 同じデータに対する同じプログラムによる複数回の実行

調査
history server や各種メトリクスを観察してボトルネックを探しましたが特に処理が詰まってしまっているような箇所は見受けられず、またハングしているようなログも見られませんでした。

質問
詳細な情報を記載できず申し訳ありませんが EMR の実行時間を不安定にしうる要因についてご教示いただければと思います。

inb
質問済み 6年前210ビュー
1回答
0

クラスタの数などを変更してみましたが特に改善は見受けられませんでした。
クラスタのノードの数、でしょうか。
増やしても処理時間に変化がないということなので、単純に処理が偏ってしまっている部分があるのでは無いかと思いました。

具体的に確認した項目やアプリケーションの情報がないと的確な意見は得られないと思います。

semnil
回答済み 6年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン