OpenSearch Service에서 오래 실행되거나 중단된 스냅샷의 문제를 해결하려면 어떻게 해야 하나요?

3분 분량

Amazon OpenSearch Service에 스냅샷 리포지토리를 등록했습니다. 수동 스냅샷을 찍으려고 하면 스냅샷이 오랫동안 진행되지 않거나 실패합니다.

해결 방법

수동 스냅샷에 실패하면 다음과 같은 오류가 발생합니다.

"snapshot_in_progress_exception"
"concurrent_snapshot_execution_exception"
"cannot snapshot while a snapshot deletion is in-progress"
"Unable to upload object [abcd/efgh/1234/ABCDEF] using multipart upload"

큰 데이터 크기, 바쁜 클러스터, 제한된 리소스 또는 네트워크 문제로 인해 스냅샷이 실행에 오래 걸리거나 실패할 수 있습니다. 수동 스냅샷 성능 문제를 해결하려면 다음 조치를 취하세요.

참고: 스냅샷이 진행 중인 경우에도 클러스터에서 문서를 인덱싱하고 다른 요청을 할 수 있습니다. 하지만 새 문서와 기존 문서에 대한 업데이트는 보류 중인 스냅샷에 포함되지 않습니다.

CPU 사용률이 높거나 JVM 압력이 높은지 확인

CPU 사용률이 높거나 JVM 압력이 높으면 수동 스냅샷이 실패할 수 있습니다. CPU 사용률과 JVM 압력을 추적하려면 해당 지표에 대한 Amazon CloudWatch 알람을 사용하세요.

구성 검토

데이터 노드 수를 기반으로 전용 마스터 노드 인스턴스에 적합한 인스턴스 유형을 사용해야 합니다. 또한 색인에 ](https://docs.aws.amazon.com/opensearch-service/latest/developerguide/bp-sharding.html)적합한 샤드 수를 선택[해야 합니다. 각 노드에는 Java 힙 메모리 GiB당 샤드가 25개 미만이어야 합니다. OpenSearch Service에서 힙 메모리는 인스턴스 메모리의 절반, 최대 32GB에 해당합니다. 각 인스턴스 유형의 메모리 용량에 대한 자세한 내용은 On-Demand 인스턴스 요금을 참조하세요.

클러스터 노드 전체에 충분한 스토리지가 있는지 확인합니다. 디스크 공간이 부족하면 OpenSearch Service에서 샤드의 할당을 취소한 다음 새 노드로 재조정합니다. 이 프로세스 중에는 OpenSearch Service에서 스냅샷을 우선 순위가 낮은 작업으로 간주하기 때문에 클러스터가 비정상 상태가 되고 스냅샷 작업이 지연되거나 중단될 수 있습니다.

네트워크 지연 시간을 줄이려면 스냅샷 리포지토리가 Amazon OpenSearch 클러스터와 동일한 AWS 리전에 있어야 합니다.

순차적으로 그리고 트래픽이 적은 기간에 스냅샷을 계획합니다

일관성과 무결성을 유지하기 위해 OpenSearch Service는 스냅샷을 순차적으로 처리합니다. 이 우선 순위를 관리하려면 스냅샷을 순차적으로 스케줄링하세요. 여러 개의 동시 스냅샷으로 인해 백업이 불완전하거나 신뢰성이 떨어질 수 있습니다.

스냅샷을 자주 찍는 것이 가장 좋습니다. OpenSearch Service 스냅샷은 마지막으로 성공한 스냅샷 이후 변경된 데이터만 저장합니다. 일주일 분량의 시간별 스냅샷에 필요한 디스크 공간은 단일 주말 스냅샷에 필요한 디스크 공간과 거의 같습니다. 하지만 시간별 스냅샷은 완료하는 데 시간이 덜 걸립니다.

클러스터의 부하를 줄이려면 트래픽이 적은 기간에 스냅샷을 생성하는 것이 가장 좋습니다. GET_cat/tasks API를 사용하여 클러스터에서 현재 실행 중인 모든 작업의 진행 상황을 나열할 수 있습니다. 자세한 내용은 OpenSearch 웹사이트의 CAT 작업을 참조하세요.

스냅샷 진행 상황 모니터링

스냅샷 API 엔드포인트를 사용하여 스냅샷의 진행 상황을 모니터링하고 문제를 식별할 수 있습니다. 자세한 내용은 OpenSearch 웹사이트의 Get snapshot status를 참조하세요.

인덱스 수명 주기 관리

스냅샷 크기를 줄이려면 오래되거나 관련 없는 데이터를 정기적으로 삭제하거나 보관해야 합니다. 인덱스 수명 주기를 관리하려면 ISM(인덱스 상태 관리) 정책을 사용하세요.