OpenSearch Dashboards で、Amazon OpenSearch Service ドメインのステータスが赤色になっている理由は何ですか?

所要時間2分

OpenSearch Dashboards で、Amazon OpenSearch Service ドメインのステータスが赤色のままになっています。

簡単な説明

OpenSearch Dashboards は、OpenSearch Service クラスターの全ノードの全ヘルスチェックが合格とされると、緑色のステータスを表示します。ヘルスチェックが 1 つでも失敗すると、OpenSearch Dashboards は赤色のステータスになります。OpenSearch サービスのクラスターステータスが赤色のときでも、OpenSearch Dashboards は赤色のステータスを表示します。OpenSearch Dashboards のステータスが赤色になる理由は以下のとおりです。

Amazon Elastic Compute Cloud (Amazon EC2) インスタンスまたは Amazon Elastic Block Store (Amazon EBS) ボリュームの問題によって、ノード障害が発生したため。ノードのクラッシュの詳細については、「OpenSearch Service ノードがクラッシュしたのはなぜですか?」を参照してください。
ノードのメモリが不足しているため。
OpenSearch Service を新しいバージョンにアップグレードしようとしているため。
OpenSearch Dashboards と OpenSearch Service のバージョン間の互換性がないため。
単一ノードのクラスターが、専用のリーダーノードがない状態で高負荷で実行されています。専用リーダーノードがアクセス不可となっている可能性もあります。OpenSearch サービスによってクラスターの安定性を向上させる方法については、「Dedicated master nodes in Amazon OpenSearch Service」を参照してください。

解決方法

OpenSearch Service ドメインの OpenSearch Dashboards の赤色のステータスを解決するには、以下の方法の 1 つ、または複数を使用します。
注: クラスターにサーキットブレーカー例外が表示されている場合は、まずサーキットブレーカーの制限を引き上げます。サーキットブレーカー例外が表示されていない場合は、サーキットブレーカーの制限を引き上げるよりも先に他の方法をお試しください。

クエリを調整する

重い集計などの複雑なクエリを実行する場合は、パフォーマンスを最大化できるようにクエリを調整します。ヒープメモリ消費量の急激なスパイクは、集計クエリに使用されるフィールドデータまたはデータ構造が原因の可能性があります。
スパイクの原因を特定するには、次の API 呼び出しを os-endpoint をドメインのエンドポイントに置き換えて実行します。

$curl os-endpoint/_nodes/stats/breaker?pretty

$curl "os-endpoint/_nodes/stats/indices/fielddata?level=indices&fields=*"

メモリ使用量の管理の詳細については、Elasticsearch ウェブサイトの「Tune for search speed」を参照してください。

専用リーダーノードを使用する

ベストプラクティスは、OpenSearch サービスドメインごとに、3 つの専用リーダーノードを割り当てることです。クラスターの安定性の向上に関する詳細については、「Get Started with Amazon Elasticsearch Service: Use Dedicated Master Instances to Improve Cluster Stability」を参照してください。

スケールアップ

ドメインをスケールアップするには、ノード数を増やすか、より多くのメモリを保持する Amazon EC2 インスタンスタイプを選択します。スケーリングの詳細については、OpenSearch Service ドメインをスケールアップまたはスケールアウトするにはどうすればいいですか?を参照してください。

シャード分散を確認する

シャードが取り込まれるインデックスを確認し、すべてのデータノードに均等に分散されることを確認します。シャードが不均等に分散される場合、1 つ以上のデータノードにおいて、ストレージスペースが不足する可能性があります。
次の式を使用して、シャード分散が均等に行われることを確認します。

Total number of shards = shards per node * number of data nodes

例えば、インデックスにシャードが 24 個あり、データノードが 8 個ある場合、3 つのシャードが各ノードに分散されることになります。必要なシャードの数の詳細については、「Get Started with Amazon Elasticsearch Service: Get Started with Amazon Elasticsearch Service: How Many Shards Do I Need?」を参照してください。

バージョンを確認

重要: OpenSearch Dashboards と OpenSearch Service のバージョン同士が互換であることが必要です。

お使いのバージョン同士が互換であることを確認するため、次の API 呼び出しを os-endpoint をドメインのエンドポイントに置き換えて実行します。

$curl os-endpoint/.kibana/config/_search?pretty

注: コマンドの失敗は、OpenSearch Dashboards とサポートされている OpenSearch Service のバージョンの間の互換性の問題を示唆している可能性があります。互換性のある OpenSearch Dashboards と Elasticsearch のバージョンの詳細については、Elasticsearch ウェブサイトの「Set up」を参照してください。

リソースをモニタリングする

使用しているリソースが特定のしきい値を超過したときに通知する Amazon CloudWatch アラームを設定します。例えば、JVM メモリのプレッシャーに対してアラームを設定した場合、アラームにより、プレッシャーが 100% に達する前に操作を実行できます。CloudWatch アラームの詳細については、「Recommended CloudWatch alarms for Amazon OpenSearch Service」および「Improve the Operational Efficiency of Amazon Elasticsearch Service Domains with Automated Alarms Using Amazon CloudWatch」を参照してください。

サーキットブレーカーの制限を引き上げる

クラスターのメモリ不足を防ぐには、親ブレーカーまたはフィールドデータサーキットブレーカーの制限を引き上げてみてください。フィールドデータのサーキットブレーカーの制限に関する詳細は、Elasticsearch ウェブサイトの「Circuit breaker settings」を参照してください。