我的 Amazon OpenSearch Service 域卡住或无法完成升级过程。
简短描述
OpenSearch Service 使用蓝绿部署过程进行域更改。在此过程中,分片重新定位问题或验证检查失败可能会导致域卡住。
注意: 开始升级后,您无法暂停或取消升级。如果升级过程卡住,则必须等待 AWS 解决潜在问题,然后才能完成该过程。
解决方法
检查域的状态
要检查您的域的状态,请运行 describe-domain-change-process 命令:
aws opensearch describe-domain-change-progress --domain-name your_domain_name --region aa-example-1
注意: 将 your_domain_name 替换为您的域,将 aa-example-1 替换为您的 AWS 区域。
如果您启动了版本升级,请运行 get-upgrade-status 命令:
aws opensearch get-upgrade-status --domain-name your_domain_name --region aa-example-1
注意: 将 your_domain_name 替换为您的域,将 aa-example-1 替换为您的区域。
在输出中,如果您收到 SUCCEEDED_WITH_ISSUES,请运行 get-upgrade-history 命令来确定每个条目的问题:
aws opensearch get-upgrade-history --domain-name your_domain_name --max-results 10 --region aa-example-1
注意: 将 your_domain_name 替换为您的域,将 aa-example-1 替换为您的区域。
分片重新定位期间域卡住
在蓝绿部署过程中,OpenSearch Service 会将数据从旧实例集复制到新实例集。如果分片重新定位过程卡住,则域将保持在处理中或正在修改状态。
注意: 当域处于处理中状态时,请勿进一步更改配置。一次只能进行一项更改。
由于以下原因,该域卡在处理中或正在修改状态:
- 超过 50 GB 的大分片增加了分片复制时间。
- 索引或搜索负载导致集群的资源使用率过高。
- 没有足够的磁盘空间将分片复制到新节点。
- 您已达到分片数量配额。
- 未分配的主分片会停止分片的重新定位,并导致集群状态为红色。
要对这些问题进行故障排除,请使用 Amazon CloudWatch 监控 OpenSearch Service 指标 FreeStorageSpace、ClusterStatus 和 ClusterIndexWritesBlocked,以了解是否存在磁盘空间问题或集群负载过高问题。
根据您发现的问题,采取以下措施:
要监控分片迁移过程,请运行以下命令:
GET _cat/recovery?active_only=true
命令输出将显示活动分片的恢复状态、进度百分比、恢复时间、失败状态以及数据传输大小。检查 stage、bytes_percent 和 time。当两次轮询之间出现增加时,bytes_percent 列显示重新定位正常运行。
如果分片无进展或您收到的输出为空,则升级过程可能存在问题。要对升级问题进行故障排除,请联系 AWS Support。
如果您的分片大小超过 50 GB,则重新索引数据,将单个分片大小保持在 50 GB 以下。有关说明,请参阅 OpenSearch 网站上的重新索引数据。
如果上述故障排除措施均无法解决问题,请联系 Support。
域未通过升级验证检查
在升级期间,OpenSearch Service 会验证您的域配置是否与新版本兼容。如果验证失败,则域将卡在正在修改状态。
要解决此问题,请检查域描述中是否存在失败的活动或与验证相关的错误消息。针对您的错误完成相应的故障排除步骤,然后重新尝试配置更改。
域升级过程失败
如果升级失败,则 OpenSearch Service 会自动从升级前拍摄的快照中恢复集群。无需采取进一步措施。
最佳做法是在执行任何主要版本升级之前手动拍摄快照。
要将升级前的快照恢复到新域中,请恢复自己的手动快照或提交支持案例。要提交支持案例,请联系 Support。
防止升级问题的最佳实践
执行以下操作:
相关信息
为什么我的 OpenSearch Service 域卡在“正在修改”状态?
升级 Amazon OpenSearch Service 域