OpenSearch Service에서 중단되거나 실패한 업그레이드 문제를 해결하려면 어떻게 해야 합니까?

3분 분량

Amazon OpenSearch Service 도메인이 중단되었거나 업그레이드 프로세스를 완료할 수 없습니다.

간략한 설명

OpenSearch Service는 도메인 업그레이드에 블루/그린 배포 프로세스를 사용합니다. 이 프로세스 중에 샤드 재배치 관련 문제로 인해 도메인이 수정 중 상태에서 멈출 수 있습니다. 또는 도메인이 업그레이드 검증 확인에 실패할 수 있습니다.

참고: 업그레이드를 시작한 후에는 취소할 수 없습니다. 업그레이드가 중단되면 프로세스를 완료하기 전에 AWS에서 기본 문제를 해결할 때까지 기다려야 합니다.

해결 방법

샤드 재배치 중에 도메인이 수정 중 상태로 멈췄음

블루/그린 배포 중에 OpenSearch Service는 기존 노드의 데이터를 새 노드로 복사합니다. 샤드 재배치 프로세스가 중단되면 도메인은 수정 중 상태로 유지됩니다.

이 문제는 다음과 같은 이유로 발생합니다.

샤드 크기가 50GB를 초과하면 샤드 복사 시간이 늘어납니다.
인덱스 또는 검색 로드로 인해 클러스터의 리소스 사용량이 많아집니다.
새 노드에 샤드를 복사할 수 있는 디스크 공간이 충분하지 않습니다.
샤드 수 할당량에 도달했습니다.

이러한 문제를 해결하려면 Amazon CloudWatch를 사용하여 디스크 공간 문제 또는 높은 클러스터 로드에 대한 FreeStorageSpace, ClusterStatus 및 ClusterIndexWritesBlocked OpenSearch Service 지표를 확인하십시오.

파악한 문제에 따라 다음 작업을 수행하십시오.

FreeStorageSpace가 부족하면 사용하지 않는 인덱스를 삭제합니다.
ClusterStatus가 빨간색 또는 노란색인 경우 OpenSearch Service 클러스터가 빨간색 또는 노란색 상태인 이유는 무엇입니까?를 참조합니다.
ClusterIndexWritesBlocked가 True인 경우 사용하지 않는 인덱스를 삭제하여 디스크 공간을 확보합니다. 또는 JVM(Java 가상 머신) 메모리 압력 높으면 도메인에 대한 트래픽을 줄입니다.

인덱스를 삭제하는 방법에 대한 자세한 내용은 OpenSearch 웹 사이트에서 DeleteIndex 또는 인덱스 삭제 API를 참조하십시오.

샤드 마이그레이션 프로세스를 모니터링하려면 다음 명령을 실행합니다.

GET _cat/recovery?active_only=true

명령 출력에는 활성 샤드 복구 상태, 진행률, 복구 시간, 실패 상태 및 데이터 전송 크기가 표시됩니다. 샤드가 진행되지 않거나 빈 출력이 표시되는 경우 업그레이드 프로세스에 문제가 있을 수 있습니다. 업그레이드 문제를 해결하려면 AWS Support 사례를 만드십시오.

샤드 크기가 50GB를 초과하는 경우 데이터를 다시 인덱싱하여 더 작은 크기로 더 많은 샤드를 만드십시오. 자세한 내용은 OpenSearch 웹 사이트에서 데이터 다시 인덱싱을 참조하십시오.

위의 문제 해결 작업으로 문제가 해결되지 않으면 AWS Support 사례를 만드십시오.

도메인이 업그레이드 검증 확인에 실패함

업그레이드 중에 OpenSearch Service는 도메인 구성이 새 버전과 호환되는지 검증합니다. 검증에 실패하면 도메인은 수정 중 상태로 멈춥니다.

이 문제를 해결하려면 도메인 설명에서 실패한 활동 또는 검증 관련 오류 메시지를 확인하십시오. 오류에 대한 문제 해결 단계를 완료한 다음, 구성 변경을 다시 시도하십시오.

업그레이드 문제 방지를 위한 모범 사례

다음 작업을 수행하십시오.

크기가 큰 샤드를 다시 인덱싱하여 개별 샤드 크기를 50GB 미만으로 유지합니다.
구성에 맞는 샤드 수를 사용하고 샤드 전략 모범 사례를 준수합니다.
클러스터 사용량이 적은 기간에 업그레이드를 시작합니다.
먼저 프로덕션이 아닌 도메인에서 업데이트를 테스트합니다.
도메인에 업그레이드 중 증가된 로드를 감당할 수 있는 충분한 CPU, 메모리 및 디스크 공간이 있는지 확인합니다. 업그레이드를 시작하기 전에 리소스 사용량을 모니터링합니다.
구성 변경 사항을 적용하기 전에 테스트합니다.