내 Amazon MSK 클러스터에서 Amazon EBS 디스크 볼륨을 늘릴 수 없는 이유는 무엇인가요?

해결 방법

이 문제의 가장 일반적인 원인은 다음과 같습니다.

• Amazon EBS 볼륨을 수정하는 데 필요한 권한이 없습니다.
• 자신의 클러스터가 이전 Amazon EBS 볼륨 업그레이드의 최적화 상태에 있습니다.

Amazon EBS 볼륨을 수정하는 데 필요한 권한이 없습니다

자신의 클러스터의 EBS 디스크 볼륨을 수정하는 데 필요한 권한이 있는지 확인하세요. AmazonMSKFullAccess 또는 AmazonMSKClusterManagement 정책을 자신의 AWS ID 및 액세스 관리(IAM) 사용자 또는 역할에 연결했는지 확인하세요.

자신의 클러스터가 이전 Amazon EBS 볼륨 업그레이드의 최적화 상태에 있습니다

이 경우 “이 클러스터의 EBS 볼륨이 이전 작업에서 수정 중입니다.”라는 오류 메시지가 표시됩니다.

자신의 Amazon MSK 브로커 노드에 연결된 EBS 볼륨의 크기를 늘리면 새로 추가된 스토리지를 즉시 사용할 수 있습니다. 그러나 클러스터가 최적화되려면 6~24시간 또는 그 이상이 소요됩니다. 클러스터 최적화 시간은 스토리지 크기에 비례합니다.

EBS 볼륨의 크기를 늘릴 때는 추가된 볼륨이 다음 48시간 또는 그 이상 동안 충분한지 확인하세요. 이 시간에는 자신의 클러스터에 더 많은 볼륨을 추가할 수 없습니다. 클러스터가 최적화될 때까지 볼륨을 더 이상 업데이트할 수 없습니다.

중요: 자신의 클러스터가 최적화되고 있는데 이미 디스크 공간이 부족하다고 가정해 보겠습니다. 이 경우 이전에 자동 크기 조정을 켰다면 이것을 끄세요. 그렇지 않으면 최적화가 완료될 때 볼륨이 10% 또는 10GB만 늘어납니다. 이는 크기가 너무 작아서 비슷한 볼륨 수정 문제를 초래할 수 있습니다. 자동 크기 조정을 끈 후에는 트래픽 패턴을 분석하고 이에 따라 자신의 스토리지 공간을 늘려야 합니다.

자신의 클러스터를 수정하고 있고 KafkaDataLogsDiskUsed 지표가 94% 미만이라면 사용하지 않거나 오래된 토픽을 삭제하여 공간을 확보할 수 있습니다. 다음 명령을 실행하여 토픽당 차지하는 공간을 확인합니다.

kafka-topics.sh --command-config /tmp/client.properties --bootstrap-server $bservers --list | xargs -I{} sh -c "echo -n '{} - ' && kafka-log-dirs.sh --command-config /tmp/client.properties --bootstrap-server $bservers --topic-list {} --describe | grep '^{'  | jq '[ ..|.size? | numbers ] | add' | numfmt --to iec " | tee /tmp/topics-by-size.list

그런 다음 사용하지 않거나 오래된 토픽을 삭제하여 디스크 공간을 확보합니다.

참고: KAFKADatalogsDiskUsed가 94% 보다 높으면 이 명령이 응답하지 않을 수 있습니다. 이 경우 토픽을 삭제할 수 없습니다.