한 Amazon S3 버킷의 모든 객체를 다른 버킷으로 복사하려면 어떻게 해야 합니까?

5분 분량

Amazon Simple Storage Service(Amazon S3) 버킷 간에 객체를 모두 복사하거나 이동하고 싶습니다. S3 버킷 간에 객체를 마이그레이션하려면 어떻게 해야 합니까?

간략한 설명

S3 버킷 간에 객체를 복사하려면 다음 단계를 따르세요.

1. 새 S3 버킷을 생성합니다.

2. AWS CLI(AWS 명령줄 인터페이스)를 설치하고 구성합니다.

3. S3 버킷 간에 객체를 복사합니다.

참고: 대형 버킷(1,000만 개 이상의 객체 포함)에서 aws s3 ls 또는 aws s3 sync 명령을 사용하면 비용이 많이 들고 시간 초과가 발생할 수 있습니다. 대용량 버킷으로 인해 시간 초과가 발생하는 경우 Amazon CloudWatch 지표를 사용하여 버킷에 있는 객체 크기와 수를 계산하는 것이 좋습니다. 또한 S3 배치 작업을 사용하여 객체를 복사하는 것을 고려합니다.

4. 객체가 복사되었는지 확인합니다.

5. 기존 API 호출을 대상 버킷 이름으로 업데이트합니다.

시작하기 전에 다음 사항을 고려하세요.

S3 버킷에 객체가 많은 경우(1,000만 개 이상) S3 배치 작업 사용을 고려합니다. S3 배치 작업을 사용하여 복사 프로세스를 자동화할 수 있습니다.
AWS 계정 간에 객체를 복사하려면 버킷과 관련 AWS Identity and Access Management(IAM) 역할에 대해 올바른 교차 계정 권한을 설정합니다.
AWS CLI 버전 2를 사용하여 버킷 간에 객체를 복사하는 경우 IAM 역할에도 적절한 권한이 있어야 합니다. IAM 역할이 소스 객체의 경우 s3:GetObjectTagging에 액세스하고 대상 객체의 경우 s3:PutObjectTagging에 액세스할 수 있는지 확인합니다.
동기화 프로세스의 성능을 향상시키기 위해 더 높은 동시성을 사용하도록 AWS CLI를 튜닝합니다. 또한 sync 명령을 다양한 접두사별로 분할하여 S3 버킷 성능을 최적화할 수 있습니다. 워크로드 성능 최적화에 대한 자세한 내용은 모범 사례 설계 패턴: Amazon S3 성능 최적화를 참조하세요.

해결 방법

새 S3 버킷 생성

1. Amazon S3 콘솔을 엽니다.

2. [Create Bucket]을 선택합니다.

3. 새 버킷에 [DNS-compliant name]을 사용하도록 선택합니다.

4. AWS 리전을 선택합니다.

팁: 리전 간 트래픽으로 인한 성능 문제를 방지하려면 원본 버킷과 동일한 리전에 대상 버킷을 만듭니다.

5. 또는, [기존 버킷에서 설정 복사(Copy settings from an existing bucket)]를 선택하여 소스 버킷의 구성을 미러링합니다.

AWS CLI 설치 및 구성

1. AWS CLI를 설치합니다.

2. 다음 명령을 실행하여 AWS CLI를 구성합니다.

aws configure

참고: AWS CLI 명령을 실행할 때 오류가 발생하는 경우, 최신 버전의 AWS CLI를 사용하고 있는지 확인하세요.

3. 액세스 키(액세스 키 ID 및 보안 액세스 키)를 입력합니다.

4. 기본 리전 및 기본 출력 옵션을 건너뛰려면 Enter 키를 누릅니다. Amazon S3 리전 파라미터에 대한 자세한 내용은 AWS 서비스 엔드포인트를 참조하세요.

참고: AWS CLI 출력은 JSON, 텍스트 또는 테이블 형식이지만, 명령에 따라 일부 출력 형식을 지원하지 않을 수 있습니다. 자세한 내용은 AWS CLI의 명령 출력 제어를 참조하세요.

S3 버킷 간에 객체 복사

1. Amazon Simple Storage Service Glacier 스토리지 클래스에 S3 객체를 아카이빙한 경우 객체를 복원합니다.

2. AWS CLI를 사용해 다음 sync 명령을 실행하여 소스 버킷과 대상 버킷 간에 객체를 복사합니다.

aws s3 sync s3://DOC-EXAMPLE-BUCKET-SOURCE s3://DOC-EXAMPLE-BUCKET-TARGET

참고: 소스 및 대상 버킷 이름을 포함하도록 sync 명령을 업데이트합니다.

sync 명령은 CopyObject API를 사용하여 S3 버킷 간에 객체를 복사합니다. sync 명령은 소스 및 대상 버킷을 나열함으로써 소스 버킷에는 있지만 대상 버킷에는 없는 객체를 식별합니다. 또한 이 명령은 소스 버킷의 객체 중, 마지막으로 수정한 날짜가 대상 버킷의 객체와 다른 객체를 식별합니다. 버전이 지정된 버킷에서 sync 명령을 사용하면 객체의 현재 버전만 복사되고 이전 버전은 복사되지 않습니다. 기본적으로 이 동작은 객체 메타데이터를 보존합니다.

원본 버킷에 액세스 제어 목록(ACL)이 활성화되어 있으면 ACL이 대상 버킷으로 복사되지 않습니다. 대상 버킷에서 ACL의 활성화 여부에 관계없이 마찬가지입니다. 원본 버킷과 대상 버킷에 모두 ACL이 활성화된 경우 대상 객체 ACL은 복사를 수행한 계정에 FULL_CONTROL 권한을 부여합니다. 작업이 실패하면 이전에 복사한 객체를 복제하지 않고 sync 명령을 다시 실행할 수 있습니다. 동기화 작업 관련 문제를 해결하려면 두 Amazon S3 버킷 간에 객체를 복사할 수 없는 이유는 무엇입니까?를 참조하세요.

3. (선택 사항) 시간 초과가 발생하면 cloudwatch get-metric-statistics 명령을 사용하여 버킷의 객체 수를 계산합니다.

$ aws cloudwatch get-metric-statistics --namespace AWS/S3 --metric-name NumberOfObjects --dimensions Name=BucketName,Value=DOC-EXAMPLE-BUCKET-SOURCE Name=StorageType,Value=AllStorageTypes --start-time 2021-05-11T00:00 --end-time 2021-05-11T00:10 --period 600 --statistic Average --output json

4. (선택 사항) 시간 초과가 발생하면 cloudwatch get-metric-statistics 명령을 사용하여 버킷 크기를 검색합니다.

$ aws cloudwatch get-metric-statistics --namespace AWS/S3 --metric-name BucketSizeBytes --dimensions Name=BucketName,Value=DOC-EXAMPLE-BUCKET-SOURCE Name=StorageType,Value=StandardStorage --start-time 2021-05-11T00:00 --end-time 2021-05-11T00:10 --period 3600 --statistics Average --unit Bytes --output json

참고: Listcall은 매우 비싸기 때문에 명령 시간 초과가 발생할 수 있습니다. 대용량 버킷의 경우 Amazon CloudWatch 지표를 사용하여 버킷의 크기와 총 객체 수를 계산하는 것을 고려합니다. 그러나 Amazon CloudWatch 지표는 하루에 한 번만 가져오므로 보고된 객체 수 및 버킷 크기는 list 명령 결과와 다를 수 있습니다.

객체가 복사되었는지 확인

1. 다음 명령을 실행하여 소스 및 대상 버킷의 내용을 확인합니다.

aws s3 ls --recursive s3://DOC-EXAMPLE-BUCKET-SOURCE --summarize > bucket-contents-source.txt
        
aws s3 ls --recursive s3://DOC-EXAMPLE-BUCKET-TARGET --summarize > bucket-contents-target.txt

참고: 소스 및 대상 버킷 이름을 포함하도록 list 명령을 업데이트합니다.

2. AWS CLI 디렉터리의 파일에 저장되는 출력을 사용하여 소스 및 대상 버킷의 객체를 비교합니다. 다음 예제 출력을 참조하세요.

$ aws s3 ls --recursive s3://DOC-EXAMPLE-BUCKET --summarize
2017-11-20 21:17:39      15362 s3logo.png

  Total Objects: 1        Total Size: 15362

기존 API 호출을 대상 버킷 이름으로 업데이트

대상 버킷 이름을 사용하도록 기존 애플리케이션 또는 워크로드를 업데이트합니다. 쓰기가 빈번한 경우 소스 버킷과 대상 버킷 간 불일치를 해결하는 데 sync 명령을 실행해야 할 수 있습니다.