EMR の実行時間が不安定になる要因を知りたい

0

現象
2018/4/20頃より 2時間程度で完了していた EMR の実行時間が 10数時間かかるようになってしまい、止む無く起動停止しました。

その後、同じデータに対しての EMR の実行時間が不安定になっています。
クラスタの数などを変更してみましたが特に改善は見受けられませんでした。

実行環境

  • ap-northeast-1 リージョン
  • RDS と連携
  • m4.2xlarge * (10 または 20台 )
  • 同じデータに対する同じプログラムによる複数回の実行

調査
history server や各種メトリクスを観察してボトルネックを探しましたが特に処理が詰まってしまっているような箇所は見受けられず、またハングしているようなログも見られませんでした。

質問
詳細な情報を記載できず申し訳ありませんが EMR の実行時間を不安定にしうる要因についてご教示いただければと思います。

inb
posta 6 anni fa180 visualizzazioni
1 Risposta
0

クラスタの数などを変更してみましたが特に改善は見受けられませんでした。
クラスタのノードの数、でしょうか。
増やしても処理時間に変化がないということなので、単純に処理が偏ってしまっている部分があるのでは無いかと思いました。

具体的に確認した項目やアプリケーションの情報がないと的確な意見は得られないと思います。

semnil
con risposta 6 anni fa

Accesso non effettuato. Accedi per postare una risposta.

Una buona risposta soddisfa chiaramente la domanda, fornisce un feedback costruttivo e incoraggia la crescita professionale del richiedente.

Linee guida per rispondere alle domande

Contenuto pertinente