跳至内容

如何解决 OpenSearch Service 中升级卡住或失败的问题?

2 分钟阅读
0

我的 Amazon OpenSearch Service 域卡住或无法完成升级过程。

简短描述

OpenSearch Service 使用蓝绿部署过程进行域更改。在此过程中,分片重新定位问题或验证检查失败可能会导致域卡住。

注意: 开始升级后,您无法暂停或取消升级。如果升级过程卡住,则必须等待 AWS 解决潜在问题,然后才能完成该过程。

解决方法

检查域的状态

要检查您的域的状态,请运行 describe-domain-change-process 命令:

aws opensearch describe-domain-change-progress --domain-name your_domain_name --region aa-example-1

注意: 将 your_domain_name 替换为您的域,将 aa-example-1 替换为您的 AWS 区域。

如果您启动了版本升级,请运行 get-upgrade-status 命令:

aws opensearch get-upgrade-status --domain-name your_domain_name --region aa-example-1

注意: 将 your_domain_name 替换为您的域,将 aa-example-1 替换为您的区域。

在输出中,如果您收到 SUCCEEDED_WITH_ISSUES,请运行 get-upgrade-history 命令来确定每个条目的问题:

aws opensearch get-upgrade-history --domain-name your_domain_name --max-results 10 --region aa-example-1

注意: 将 your_domain_name 替换为您的域,将 aa-example-1 替换为您的区域。

分片重新定位期间域卡住

在蓝绿部署过程中,OpenSearch Service 会将数据从旧实例集复制到新实例集。如果分片重新定位过程卡住,则域将保持在处理中或正在修改状态。

注意: 当域处于处理中状态时,请勿进一步更改配置。一次只能进行一项更改。

由于以下原因,该域卡在处理中或正在修改状态:

  • 超过 50 GB 的大分片增加了分片复制时间。
  • 索引或搜索负载导致集群的资源使用率过高。
  • 没有足够的磁盘空间将分片复制到新节点。
  • 您已达到分片数量配额。
  • 未分配的主分片会停止分片的重新定位,并导致集群状态为红色。

要对这些问题进行故障排除,请使用 Amazon CloudWatch 监控 OpenSearch Service 指标 FreeStorageSpace、ClusterStatus 和 ClusterIndexWritesBlocked,以了解是否存在磁盘空间问题或集群负载过高问题。

根据您发现的问题,采取以下措施:

要监控分片迁移过程,请运行以下命令:

GET _cat/recovery?active_only=true

命令输出将显示活动分片的恢复状态、进度百分比、恢复时间、失败状态以及数据传输大小。检查 stage、bytes_percent 和 time。当两次轮询之间出现增加时,bytes_percent 列显示重新定位正常运行。

如果分片无进展或您收到的输出为空,则升级过程可能存在问题。要对升级问题进行故障排除,请联系 AWS Support。

如果您的分片大小超过 50 GB,则重新索引数据,将单个分片大小保持在 50 GB 以下。有关说明,请参阅 OpenSearch 网站上的重新索引数据。

如果上述故障排除措施均无法解决问题,请联系 Support。

域未通过升级验证检查

在升级期间,OpenSearch Service 会验证您的域配置是否与新版本兼容。如果验证失败,则域将卡在正在修改状态。

要解决此问题,请检查域描述中是否存在失败的活动或与验证相关的错误消息。针对您的错误完成相应的故障排除步骤,然后重新尝试配置更改。

域升级过程失败

如果升级失败,则 OpenSearch Service 会自动从升级前拍摄的快照中恢复集群。无需采取进一步措施。

最佳做法是在执行任何主要版本升级之前手动拍摄快照。

要将升级前的快照恢复到新域中,请恢复自己的手动快照或提交支持案例。要提交支持案例,请联系 Support。

防止升级问题的最佳实践

执行以下操作:

相关信息

为什么我的 OpenSearch Service 域卡在“正在修改”状态?

升级 Amazon OpenSearch Service 域

AWS 官方已更新 2 个月前