EMR の実行時間が不安定になる要因を知りたい

0

現象
2018/4/20頃より 2時間程度で完了していた EMR の実行時間が 10数時間かかるようになってしまい、止む無く起動停止しました。

その後、同じデータに対しての EMR の実行時間が不安定になっています。
クラスタの数などを変更してみましたが特に改善は見受けられませんでした。

実行環境

  • ap-northeast-1 リージョン
  • RDS と連携
  • m4.2xlarge * (10 または 20台 )
  • 同じデータに対する同じプログラムによる複数回の実行

調査
history server や各種メトリクスを観察してボトルネックを探しましたが特に処理が詰まってしまっているような箇所は見受けられず、またハングしているようなログも見られませんでした。

質問
詳細な情報を記載できず申し訳ありませんが EMR の実行時間を不安定にしうる要因についてご教示いただければと思います。

inb
preguntada hace 6 años157 visualizaciones
1 Respuesta
0

クラスタの数などを変更してみましたが特に改善は見受けられませんでした。
クラスタのノードの数、でしょうか。
増やしても処理時間に変化がないということなので、単純に処理が偏ってしまっている部分があるのでは無いかと思いました。

具体的に確認した項目やアプリケーションの情報がないと的確な意見は得られないと思います。

semnil
respondido hace 6 años

No has iniciado sesión. Iniciar sesión para publicar una respuesta.

Una buena respuesta responde claramente a la pregunta, proporciona comentarios constructivos y fomenta el crecimiento profesional en la persona que hace la pregunta.

Pautas para responder preguntas

Contenido relevante