EMR の実行時間が不安定になる要因を知りたい

0

現象
2018/4/20頃より 2時間程度で完了していた EMR の実行時間が 10数時間かかるようになってしまい、止む無く起動停止しました。

その後、同じデータに対しての EMR の実行時間が不安定になっています。
クラスタの数などを変更してみましたが特に改善は見受けられませんでした。

実行環境

  • ap-northeast-1 リージョン
  • RDS と連携
  • m4.2xlarge * (10 または 20台 )
  • 同じデータに対する同じプログラムによる複数回の実行

調査
history server や各種メトリクスを観察してボトルネックを探しましたが特に処理が詰まってしまっているような箇所は見受けられず、またハングしているようなログも見られませんでした。

質問
詳細な情報を記載できず申し訳ありませんが EMR の実行時間を不安定にしうる要因についてご教示いただければと思います。

inb
gefragt vor 6 Jahren189 Aufrufe
1 Antwort
0

クラスタの数などを変更してみましたが特に改善は見受けられませんでした。
クラスタのノードの数、でしょうか。
増やしても処理時間に変化がないということなので、単純に処理が偏ってしまっている部分があるのでは無いかと思いました。

具体的に確認した項目やアプリケーションの情報がないと的確な意見は得られないと思います。

semnil
beantwortet vor 6 Jahren

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen

Relevanter Inhalt