OpenSearch Service 클러스터의 EBS의 IOPS 수치를 모니터링하는 방법

2분 분량

콘텐츠 수준: 중급

Amazon OpenSearch Service 클러스터에서 EBS Volume 선택 시 IOPS 수치를 모니터링 하는 방법 가이드입니다.

개요

Amazon OpenSearch 클러스터를 사용하면서 JVM Memory Pressure나 CPU 수치가 양호한데도 인덱싱이 안되는 증상이 발생하거나 검색 대기시간이 길어진 경우, 현재 클러스터의 노드당 EBS 총 IOPS 수치를 넘어섰는지 확인이 필요합니다.

Amazon OpenSearch는 마스터노드와 데이터노드를 EC2로 구성하고 있으며, 인스턴스 타입에 따라 EBS를 선택하실 수 있습니다. (단, i3 인스턴스 유형에서 사용되는 NVME 타입의 SSD는 EBS 타입이 아닌 경우, IOPS 모니터링을 제공하지 않습니다. 해당 NVME 타입의 인스턴스는 적은 지연시간과 매우 높은 랜덤 I/O 성능을 갖고 있으며 높은 순차 읽기 처리량과 높은 IOPS를 제공하며, EBS와 비교하여 성능상 상당한 이점을 갖고 있습니다.)

Amazon OpenSearch 서비스의 도메인의 데이터는 Amazon CloudWatch 를 통해 모니터링이 가능합니다.

총 IOPS 설정

Amazon OpenSearch 클러스터의 도메인 편집화면에서 인스턴스 유형을 선택 후 인스턴스 타입별로 최대 IOPS 설정이 가능하며 하기는 GP3의 경우를 예로 들었으며 스토리지 유형에 따라 변경 방법이 다를 수 있습니다. (단, 스토리지 유형이 GP2와 마그네틱 타입의 경우 총 IOPS 수정이 불가능합니다)

GP3

데이터 노드 설정 최하단 Advanced volume type options (IOPS and throuput configurations) 메뉴를 펼치면 노드당 총 IOPS (읽기 IOPS + 쓰기 IOPS)설정이 가능합니다.

GP3 볼륨은 노드당 스토리지 크기에 따라 다음과 같은 일관된 기준 IOPS 속도를 제공합니다. 1,024GiB 이하의 볼륨의 경우 3,000 IOPS를 제공하며, 1,024GiB를 초과하는 볼륨의 경우 GiB 당 3 IOPS를 제공합니다.

예를 들어 2,000GiB의 gp3 스토리지를 사용하면 6,000 IOPS를 얻을 수 있습니다. 추가 비용으로 추가 IOPS(최대 16,000)를 프로비저닝할 수 있습니다.

프로비저닝된 볼륨 크기 대비 프로비저닝된 IOPS의 최대 비율은 GiB당 500 IOPS입니다.

하기 예시 화면에서 30GB의 경우 GiB당 500 IOPS 제한으로 최대 15,000 IOPS까지 프로비저닝 설정이 가능한 것을 확인할 수 있습니다.

IOPS 모니터링

CloudWatch 콘솔에서 지표 > 모든 지표 > ES/OpenSearchService를 선택합니다.

검색창에 IOPS 입력 시 ES/OpenSearchService > ClientID, DomainName, NodeID 와 ES/OpenSearchSErvice > 도메인별, 클라이언트별 지표 선택이 가능합니다.

도메인별 지표는 각 도메인에 대한 총 IOPS를 확인이 가능하며, NodeID 로 선택시 좀더 상세하게 각 노드별 총 IOPS 수치를 개별적으로 모니터링이 가능합니다.

ReadIOPSMicroBursting와 WriteIOPSMicroBursting 수치의 총합이 위에 설정한 총 IOPS 를 넘어서지 않게 모니터링이 필요합니다.

OpenSearch Service 클러스터의 EBS의 IOPS 수치를 모니터링하는 방법

개요

총 IOPS 설정

GP3

IOPS 모니터링

관련 정보

관련 콘텐츠