スキップしてコンテンツを表示

Amazon ECS での OutOfMemory エラーをトラブルシューティングする方法を教えてください。

所要時間2分
0

Amazon Elastic Container Service (Amazon ECS) タスクでメモリ使用量に関する問題が発生したり、OutOfMemory エラーが原因でコンテナが終了したりします。

簡単な説明

メモリ不足の問題が発生した場合、Amazon ECS はタスクを停止します。次のエラーメッセージが表示されます。

「OutOfMemoryError: Container killed due to memory usage (メモリ使用量が原因でコンテナが強制終了しました)」

この問題は、コンテナのプロセスが、タスク定義で割り当てた量よりも多くのメモリを使用する場合に発生します。OutofMemory の問題を解決するには、次のトラブルシューティング手順を実行します。

解決策

メモリ不足が原因で Amazon ECS が終了させたタスクを特定する

Amazon ECS がメモリ不足のために終了させたタスクを特定するには、次の手順を実行します。

  1. Amazon ECS コンソールで停止したタスクを確認します。
  2. Amazon ECS でメモリ関連の障害が発生した場合に通常発生する終了コードである、137 または 139 が付いたタスクを探します。
  3. メモリの問題が見つかった場合は、コンテナエージェントのログを参照し、タスク停止の原因となったメモリ不足の問題がないか確認します。

コンテナのメモリ使用量の監視、分析する

メモリ関連のアプリケーション問題をトラブルシューティングするには、Amazon CloudWatch Logs を使用してタスクを分析します。Amazon ECS または CloudWatch コンソールを使用してサービスのメモリ使用量を監視します。コンテナ固有のメモリメトリクスを取得するには、拡張オブザーバビリティ Container Insights を設定します。

コンテナのメモリ使用状況を経時的に分析するには、CloudWatch Logs Insights でカスタムクエリを使用します。

クエリの例

stats max(MemoryUtilized) as mem, max(MemoryReserved ) as memreserved by bin (5m) as period, TaskId, ContainerName
| sort period desc
| filter ContainerName like "example-container-name"
| filter TaskId = "example-task-id"

注: 実際のものでそれぞれ、example-container-name をコンテナ名に、example-task-id をタスク ID に置き換えます。

Amazon ECS タスクとコンテナにメモリクォータを設定する

タスクレベルでは、タスク全体にハードメモリクォータを設定できます。コンテナレベルでは、memoryReservation (メモリのソフト制限) および memory (メモリのハードリミット) パラメータを使用してメモリを割り当てられます。

アプリケーションをデプロイする前に、ホストに十分な空きメモリがあることを確認してください。次に、タスク定義をソフトメモリクォータとハードメモリクォータで更新します。

注: memoryReservation パラメータは、Linux コンテナでのみ使用できます。

タスク定義の例

"containerDefinitions": [
    {
        "name": "example-container-name",
        "memory": 1024,
        "memoryReservation": 512
        // ... other container properties
    }
]

一時的なメモリを大量に必要とするコンテナにスワップを設定する

注: maxSwap パラメータと sharedMemorySize パラメータを使用するには、タスクでは Amazon Elastic Compute Cloud (Amazon EC2) 起動タイプを使用する必要があります。

タスク定義を更新し、コンテナで一時的なメモリ使用量が急増した場合は、swap 構成を使用するようにします。スワップにより、高負荷時に発生する OutofMemory エラーが減少します。ただし、スワップが原因でアプリケーションの速度が低下する可能性もあります。スワップを有効にした後、アプリケーションのパフォーマンスを監視します。

ランタイムフレームワークに応じてアプリケーションのメモリ設定を調整する

使用可能なシステムメモリがあったり、コンテナのクォータを増やしたりした場合も、フレームワークまたはランタイムのデフォルトメモリクォータに達すると、アプリケーションが停止する可能性があります。この問題をトラブルシューティングするには、アプリケーションのメモリ使用パターンを監視します。フレームワークまたはランタイムのデフォルトメモリ設定を特定し、アプリケーションの要件に合わせてタスクのメモリパラメータを調整します。

Java アプリケーション

Java 仮想マシン (JVM) には、起動時にオペレーティングシステム (OS) からの初期メモリを割り当てる必要があり、メモリ使用量には上限があります。詳細については、Oracle のウェブサイトで「java.lang.OutOfMemoryError エラー」を参照してください。メモリ値を調整するには、JVM フラグを使用します。たとえば、次のコマンドを実行して -Xms で初期ヒープサイズを設定し、-Xmx で最大ヒープサイズを設定します。

java -Xms512m -Xmx2048m -jar your-app.jar

詳細なガベージコレクション (GC) の記録を有効にするには、Java コマンドに次の JVM 引数を追加します。

-verbose:gc -Xlog:gc*:file=log_filename:time,uptime:filecount=num_files,filesize=file_sizem

詳細については、Oracle のウェブサイトで「ガベージ・コレクション・ログ」を参照してください。

高度なメモリー診断を行うには、jcmd または jmap を使用してヒープ・ダンプを生成し、JDK Mission Control や VisualVM などの分析ツールを使用します。詳細については、Oracle のウェブサイトで「診断データ」および「分析ツール」を参照してください。

Node.js アプリケーション

次の ** v8.getheapStatistics ()** モジュールを使用してデフォルトのヒープメモリクォータを確認します。

const v8 = require('v8');
console.log(v8.getHeapStatistics());

詳細については、Node.js のウェブサイトで 「v8.getHeapStatistics()」を参照してください。

ヒープサイズのクォータを増やすには、アプリケーションの実行時に --max-old-space-size パラメータを使用します。

node --max-old-space-size=4096 app.js

注: 上記のコマンドは、4 ギガバイト (GB) のヒープクォータを設定します。デフォルトのヒープメモリサイズは、Node.js のバージョンによって異なる場合があります。詳細については、Node.js のウェブサイトで「--max-old-space-size=SIZE (MiB 単位)」を参照してください。

ガベージコレクションをトレースするには、ノードプロセスに次のフラグを追加します。

node --trace-gc server.js

詳細については、Node.js のウェブサイトで「ガベージコレクションのトレース」を参照してください。

詳細なメモリ診断を行うには、--heap-prof などの Node.js V8 組み込みプロファイラを使用してヒープのスナップショットを作成します。または、--heapsnapshot-signal を使用して Linux のシグナルによるヒープのスナップショットを作成します。詳細については、Node.js のウェブサイトで「--heap-prof」および「ヒープのスナップショットを使用する」を参照してください。

サービスをスケーリングしてサービスレベルのメモリ使用量を最適化する

サービスレベルのメモリ使用量を最適化するには、リソースの割り当てを監視および調整し、メモリ使用パターンに基づいてタスクをスケーリングします。サービスタスクが使用する合計メモリを計算します。次に、必要なメモリ量に基づいて、サービスでの目標タスク値を手動で調整します。

または、メモリ使用量のメトリクスに応じてサービススケーリングポリシーを使用します。スケールアウトとスケールインのしきい値を含むスケーリングポリシーを設定します。

OutofMemory エラーを予防する

今後の OutOfMemory エラーを回避するには、ホストまたはサーバー内のコンテナに負荷テストを実行し、アプリケーションのメモリニーズを判断します。テスト時には、Docker コンテナの統計情報を使用してコンテナのメモリ使用量を監視します。詳細については、Docker のウェブサイトで「Docker コンテナの統計情報」を参照してください。

コンテナ設定を更新するには、次の操作を行います。

  • データ構造を管理します。
  • 不必要なオブジェクトの作成を避けます。
  • キャッシュを実装します。
  • 効率的なアルゴリズムを使用してメモリフットプリントを削減します。

関連情報

コンテナの終了中に Amazon ECS タスクが停止したり、開始できなかったりした場合のトラブルシューティング方法を教えてください

AWS公式更新しました 2年前