OpenSearch インスタンスにログインができなくなり、データも損失したので復旧したい

0

どのように以前あるいはできるだけ以前に近い状態に復旧できるか知見を伺いたいです。

状況

OpenSearch Dashboards ログインができなくなった。初期パスワード、変更後のパスワード、追加したユーザーの id とパスワード、いずれでもログインができない。 S3 から Lambda を利用して取り込んでいるログ取り込みが動作しなくなった。

履歴

  • 2023-03-20 16:34 JST 頃 OpenSearch 2.3 から OpenSearch 2.5 にアップグレード(関係性は不明)
  • 2023-03-21 08:10 JST 頃 Lambda からの書き込みのエラー率が増えている(以前より休日の後等は発生していたので、この時点では問題ではない)
  • 2023-03-21 09:28 JST 頃 Lambda からの書き込みのエラー率が 100% になり、以後復帰しない
  • 2023-03-21 09:30 JST 頃 DataNode(4B0DAjxpR1-0-hhRKavmoA) が消える(空きストレージ領域 30 GiB)
  • 2023-03-21 09:54 JST 頃 DataNode(QxOpUYveTtSARE8OPrjZyg) が出現している(空きストレージ領域 78 GiB)

構築経緯

ダッシュボード類は SIEM on Amazon OpenSearch Service https://github.com/aws-samples/siem-on-amazon-opensearch-service を利用して構築していた

インスタンス情報

アベイラビリティーゾーン 1-AZ インスタンスタイプ t3.small.search ノードの数 1

エラーログ

Lambda のログは

2023-03-21T10:13:16.387+09:00	{"level":"INFO","message":"version: 2.8.0c","location":"<module>:28","timestamp":"2023-03-21 01:13:16,386+0000","service":"es-loader"}

2023-03-21T10:13:16.428+09:00	[WARNING] 2023-03-21T01:13:16.427Z GET https://search-aes-siem- HIDDEN .ap-northeast-1.es.amazonaws.com:443/ [status:403 request:0.029s]

2023-03-21T10:13:16.429+09:00	[ERROR] AuthorizationException: AuthorizationException(403, 'security_exception', 'no permissions for [cluster:monitor/main] and User [name=arn:aws:iam:: HIDDEN :role/siem-os-LambdaEsLoaderServiceRoleFFD43869-105W98074P6X3, backend_roles=[arn:aws:iam:: HIDDEN :role/siem-os-LambdaEsLoaderServiceRoleFFD43869-105W98074P6X3], requestedTenant=null]') Traceback (most recent call last):   File "/var/lang/lib/python3.8/imp.py", line 234, in load_module     return load_source(name, filename, file)   File "/var/lang/lib/python3.8/imp.py", line 171, in load_source     module = _load(spec)   File "<frozen importlib._bootstrap>", line 702, in _load   File "<frozen importlib._bootstrap>", line 671, in _load_unlocked   File "<frozen importlib._bootstrap_external>", line 843, in exec_module   File "<frozen importlib._bootstrap>", line 219, in _call_with_frames_removed   File "/var/task/index.py", line 341, in <module>     DOMAIN_INFO = es_conn.info()   File "/var/task/opensearchpy/client/utils.py", line 177, in _wrapped     return func(*args, params=params, headers=headers, **kwargs)   File "/var/task/opensearchpy/client/__init__.py", line 247, in info     return self.transport.perform_request(   File "/var/task/opensearchpy/transport.py", line 407, in perform_request     raise e   File "/var/task/opensearchpy/transport.py", line 368, in perform_request     status, headers_response, data = connection.perform_request(   File "/var/task/opensearchpy/connection/http_requests.py", line 203, in perform_request     self._raise_error(   File "/var/task/opensearchpy/connection/base.py", line 300, in _raise_error     raise HTTP_EXCEPTIONS.get(status_code, TransportError)(

2023-03-21T10:13:16.589+09:00	START RequestId: 20ea490d-c2d9-422b-9d5b-4e283813bd5d Version: $LATEST

2023-03-21T10:13:16.590+09:00	Unknown application error occurred Runtime.Unknown

2023-03-21T10:13:16.590+09:00	END RequestId: 20ea490d-c2d9-422b-9d5b-4e283813bd5d

のように、403 を示している。

ダッシュボードにログインしようとすると

Invalid username or password. Please try again.

を示し、ログインができない。

コメント

Single-AZ であるため、SLA 違反に問えないことは了解している。 しかし、動かないものに料金が発生し続けているため、困っている。修復する方法はあるか?

いきなりデータが消失し(空きストレージ領域が増えている)、しかもログインできないため利用ができなくなった。

質問済み 1年前1025ビュー
3回答
1
承認された回答

OpenSearch は、設定したユーザー・ポリシーが消失することがあり、ログインできなくなっても何も保証されないサービスだということが分かりました。 これで Close したいと思います。

回答済み 1年前
0

こちらのドキュメントがお役に立つかもしれません。

Amazon OpenSearch Service のトラブルシューティング

https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/handling-errors.html

profile pictureAWS
nemf
回答済み 1年前
  • ありがとうございます。確認しましたが、今回の問題に適用できそうな内容はありませんでした。

0

Update:

パスワードは「セキュリティ設定の編集」から新しいユーザを作成することでどうにか解決した。

  • .opendistro_security がリストアできない(403 になる)ために、ユーザの復旧等ができない。
  • index, components も全部壊れていて、何が起きているのか良く分からない。

スナップショットは、設定等の復旧ができないものなのでしょうか?

RDS で同じようにユーザがいきなり消えたらおかしいと思う…

回答済み 1年前

ログインしていません。 ログイン 回答を投稿する。

優れた回答とは、質問に明確に答え、建設的なフィードバックを提供し、質問者の専門分野におけるスキルの向上を促すものです。

質問に答えるためのガイドライン

関連するコンテンツ