Amazon S3 콘솔, CloudWatch 및 S3 스토리지 렌즈 간 스토리지 및 크기 지표에 차이가 있는 이유는 무엇인가요?

5분 분량

Amazon Simple Storage Service(S3) 콘솔의 “총 크기 계산”과 Amazon CloudWatch의 일일 버킷 스토리지, Amazon S3 스토리지 렌즈의 “총 스토리지”를 비교하고 있습니다. 지표에 차이가 보입니다.

간략한 설명

이러한 불일치가 보이면 다음 조건을 확인하세요.

객체 버전 관리를 켰습니다.
참고: Amazon S3의 객체 버전 관리 기능은 버킷에 있는 객체의 여러 버전을 유지합니다. 기본적으로 Amazon S3 객체 버전 관리는 버킷에서 꺼져 있으며, 이 기능을 명시적으로 켜야 합니다.
불완전한 멀티파트 업로드가 있습니다.
참고: 불완전한 멀티파트 업로드는 Amazon S3 콘솔에 표시되지 않지만, CloudWatch 및 스토리지 렌즈 지표에서 스토리지의 일부로 계산됩니다.

보고 불일치의 원인을 파악하려면 객체 버전 관리를 켰는지 확인하세요. 또한 버킷에서 멀티파트 업로드를 찾아보세요. 이 두 가지 요인으로 인해 CloudWatch에서 계산된 버킷 크기 및 총 스토리지 지표 S3 스토리지가 증가할 수 있습니다. Amazon S3 콘솔에서 객체의 전체 크기를 계산할 때는 이러한 요소가 적용되지 않습니다. 자세한 내용은 CloudWatch의 버킷에 대한 Amazon S3 일일 스토리지 지표를 참조하세요.

팁: Amazon S3에 불완전한 멀티파트 업로드가 있는 경우 수명 주기 구성 규칙 생성을 고려하세요. 이 수명 주기 구성 규칙은 불완전한 파트를 자동으로 정리하여 데이터 스토리지 비용을 낮춥니다. 수명 주기 규칙은 비동기적으로 작동하므로 작업이 지연될 수 있습니다. 그러나 객체가 삭제 대상으로 표시되면(객체가 아직 제거되지 않았더라도) 스토리지 요금이 더 이상 청구되지 않습니다.

Amazon S3 모니터링 지표는 하루에 한 번 기록됩니다. 따라서 이러한 지표에는 최신 정보가 표시되지 않을 수 있습니다. 하지만 CloudWatch는 AWS 리소스와 애플리케이션을 실시간으로 모니터링합니다. 또한 S3 콘솔과 스토리지 렌즈는 2진법 변환(/1024)을 사용하여 스토리지 지표를 보고하며, CloudWatch는 기본적으로 10진법 변환(/1000)을 사용합니다.

해결 방법

CloudWatch의 일일 스토리지 지표

CloudWatch에서 BucketSizeBytes 지표는 모든 Amazon S3 및 Amazon S3 Glacier 스토리지 유형, 객체 버전 및 불완전한 멀티파트 업로드를 캡처합니다. 이 값은 모든 객체 크기, 버킷의 메타데이터(현재 및 현재 객체 버전이 아닌 객체), 불완전한 멀티파트 업로드 크기를 합산하여 계산됩니다. 예를 들어 BucketSizeBytes 지표는 다음의 모든 객체 스토리지 클래스의 Amazon S3 버킷에 저장된 데이터의 양(바이트 단위)을 계산합니다.

S3 Standard
S3 Intelligent-Tiering
S3 Standard-IA
S3 One Zone-IA
S3 Reduced Redundancy Storage
S3 Glacier Deep Archive
S3 Glacier Flexible Retrieval
S3 Glacier Instant Retrieval

CloudWatch에서의 NumberOfObjects 지표는 버킷의 다음 값을 계산합니다.

모든 스토리지 클래스의 총 객체 수. 버전 관리가 있는 버킷의 경우 여기에는 현재 및 현재 객체 버전이 아닌 객체 버전과 삭제 마커가 모두 포함됩니다.
불완전한 멀티파트 업로드의 총 파트 수.

예를 들어, 동일한 객체에 버전이 두 개 있는 경우 두 버전은 두 개의 개별 객체로 계산됩니다.

S3 스토리지 렌즈 대시보드의 “총 스토리지” 지표

버킷 탭의 S3 스토리지 렌즈 대시보드에서 총 스토리지 지표를 확인할 수 있습니다. 이 지표는 불완전한 멀티파트 업로드, 객체 메타데이터 및 삭제 마커를 포함한 전체 스토리지를 캡처합니다. 현재 버전이 아닌 버전, 불완전한 멀티파트 업로드 또는 삭제 마커가 차지하는 공간의 정확한 구성을 확인하려면 다음과 같은 개별 지표를 확인하세요.

현재 버전 바이트
현재 버전이 아닌 버전 바이트
불완전한 멀티파트 업로드 바이트

이러한 지표는 AWS 프리 티어에서 사용할 수 있습니다.

또한, 객체 수 지표에는 현재 및 현재 버전이 아닌 버전, 삭제 마커, 불완전한 멀티파트 업로드 객체 수에 대한 정보가 포함됩니다. 세부적인 레벨 정보는 다음 지표를 확인하세요.

현재 버전 객체 수
현재 버전이 아닌 버전 객체 수
삭제 마커 객체 수
불완전한 멀티파트 업로드 객체 수

자세한 내용은 Amazon S3 스토리지 렌즈 지표 용어집을 참조하세요.

Amazon S3 콘솔의 “총 크기 계산”

Amazon S3 콘솔에서 버킷 크기를 계산하려면 총 크기 계산 작업을 사용할 수 있습니다. 그러면 Amazon S3가 버킷의 스토리지 크기를 계산합니다. 단, 멀티파트 업로드와 이전 버전 또는 최신이 아닌 버전은 총 버킷 크기에 계산되지 않습니다. Amazon S3는 버킷에 저장된 각 객체의 현재 또는 최신 버전에 대한 총 객체 수만 계산합니다. 예를 들어 버킷에 두 가지 버전의 객체가 있는 경우 Amazon S3 스토리지 계산기는 이를 하나의 객체로 계산합니다. 따라서, Amazon S3 콘솔에서 계산하는 숫자는 CloudWatch가 보고하는 수치보다 작습니다.

불완전한 멀티파트 업로드

불완전한 멀티파트 업로드가 차지하는 크기를 확인하려면 버킷 탭에 있는 S3 스토리지 렌즈 대시보드의 불완전한 멀티파트 업로드 바이트 지표를 확인하세요.

완료되지 않은 멀티파트 업로드 목록을 검토하려면 list-multipartuploads 명령을 실행합니다.

aws s3api list-multipart-uploads --bucket BUCKET_EXAMPLE

참고: BUCKET_EXAMPLE를 버킷 이름으로 변경합니다.

그런 다음 list-parts 명령과 UploadId 값을 사용하여 멀티파트 업로드의 모든 객체를 나열합니다.

aws s3api list-parts --bucket BUCKET_EXAMPLE --key large_test_file --upload-id EXAMPLE_VALUE

참고: BUCKET_EXAMPLE을 버킷 이름으로 변경하고 EXAMPLE_VALUE를 UploadId 값으로 변경합니다.

수명 주기 규칙 생성

멀티파트 업로드를 자동으로 삭제하려면 다음과 같이 수명 주기 구성 규칙을 생성합니다.

Amazon S3 콘솔을 엽니다.
관리 탭을 선택합니다.
새 정책 생성을 선택합니다.
정책 이름을 추가합니다.
선택 - 만료된 삭제 마커 또는 불완전한 멀티파트 업로드 삭제를 선택합니다.
(선택 사항) 버킷의 버전이 지정되지 않은 경우 미완료 멀티파트 업로드 삭제를 선택합니다.

객체 버전 관리

Amazon S3 버킷에서 다양한 버전의 객체를 검토 및 감사하려면 Amazon S3 인벤토리 목록을 사용하세요. Amazon S3 인벤토리 목록 파일에는 소스 버킷의 객체 목록과 각 객체의 메타데이터가 들어 있습니다. 인벤토리 목록 파일은 버킷 이름, 객체 크기, 스토리지 클래스 및 버전 ID와 같은 메타데이터 정보를 캡처합니다. 현재 버전과 최신 버전이 아닌 버전이 차지하는 크기를 계산하려면 S3 스토리지 렌즈 대시보드 지표 현재 버전 바이트와 최신이 아닌 버전 바이트를 각각 확인하세요.