Amazon S3 배치 복제 작업이 실패하는 이유는 무엇입니까?

간략한 설명

권한, 정책 또는 작업 구성 문제로 인해 배치 복제가 실패할 수 있습니다.

많은 수의 작업 실패를 방지하기 위해 Amazon S3는 모든 Batch Operations 작업에 작업 실패 임계값을 설정합니다. Amazon S3는 최소 1,000개의 작업이 실행된 후 작업 실패율을 모니터링합니다. 작업 실패율이 50%를 초과하면 작업이 실패합니다. 다음 문제 해결 방법을 사용하여 문제를 확인하고 해결하십시오. 그런 다음 작업을 다시 제출하십시오.

해결 방법

배치 역할 권한

배치 역할에 다음 권한을 부여합니다.

• 매니페스트 또는 구성에 대한 PUT 권한을 부여합니다.
• 매니페스트를 저장하는 버킷에 매니페스트에 대한 GET 권한을 부여합니다.
• 자체 매니페스트를 사용하는 경우 배치 역할에 매니페스트에 대한 액세스 권한을 부여하십시오.
• 배치 작업을 만들려면 s3:CreateJob 권한을 부여합니다.
• 작업 태그 옵션을 적용하는 경우 s3:PutJobTagging 권한도 부여합니다.

참고: 배치 작업을 저장하려면 배치 역할에 매니페스트 파일에 대한 GET 및 PUT 권한이 있어야 합니다. 자세한 내용은 S3 배치 복제를 위한 AWS Identity and Access Management(AWS IAM) 역할 구성을 참조하십시오.

복제 역할 권한

배치 작업 실패율이 50%를 초과하면 복제 역할 구성에 문제가 있는 것일 수 있습니다.

복제 역할을 구성할 때는 다음 설정을 사용하십시오.

• 배치 및 복제 작업에 동일한 역할을 사용하는 경우 Amazon S3 및 Amazon S3 Batch Operations 모두에 역할을 수임할 수 있는 권한을 부여하십시오. 
• 복제에 필요한 최소 권한을 포함하십시오. 자세한 내용은 버킷 간 복제를 설정해도 Amazon S3 객체가 복제되지 않는 이유는 무엇입니까?를 참조하십시오.
• AWS Key Management Service(AWS KMS), 버킷 키, 객체 소유권 변경, 삭제 마커 복제에 대한 추가 권한을 부여합니다.
• 공개 액세스 설정을 차단합니다.
• IAM 역할에 연결될 수 있는 권한 경계를 검토하십시오. 경계로 인해 복제가 실패할 수 있기 때문입니다.

소스 및 대상 버킷 정책

다음 버킷 정책 설정을 사용하십시오.

• 대상 버킷이 다른 AWS 계정에 있는 경우, 버킷의 소스 복제 규칙에서 복제 역할에 객체 복제 권한을 부여합니다. 이러한 권한은 IAM 역할 정책에 추가됩니다. 또한 대상 버킷을 요청자 지불로 구성하지 마십시오.
• 기본적으로 소스 버킷 소유자는 다른 계정에서 만든 객체에 액세스할 권한이 없습니다. 복제 구성은 소스 버킷 소유자가 액세스할 수 있는 객체만 복제합니다. 이 문제를 해결하려면 객체 소유권 제어에서 액세스 제어 목록(ACL)을 비활성화하거나 객체 소유권을 소스 계정으로 변경하십시오.
• 배치 작업의 매니페스트를 크로스 계정 버킷에 저장하는 경우 버킷 계정이 매니페스트에 액세스할 수 있도록 허용하십시오. 배치 역할의 버킷 정책에 권한을 추가합니다.

암호화된 객체에 대한 AWS KMS 권한

암호화된 객체에 대한 다음 AWS KMS 설정을 사용합니다.

• 매니페스트와 보고서 버킷에 AWS KMS 또는 객체 수준 암호화를 사용하는 경우 키에 배치 역할을 포함하십시오. AWS KMS 키는 배치 역할이 버킷에서 데이터를 다운로드하고 업로드할 수 있도록 허용해야 합니다.
• 복제에 암호화된 소스 또는 대상 버킷이 포함된 경우 AWS KMS 키를 사용하여 복제 및 배치 역할에 대한 액세스를 허용하십시오. 배치 역할에 매니페스트를 다운로드할 수 있는 권한을 부여합니다. 
• 암호화 컨텍스트를 기반으로 권한을 부여하는 경우 버킷 키 구성을 기반으로 하는 ARN을 포함하십시오. 버킷 간에 복제를 설정해도 Amazon S3 객체가 복제되지 않는 이유는 무엇입니까?를 참조하십시오.
• AWS KMS로 암호화된 Amazon S3 Inventory 보고서를 사용합니다. Amazon S3는 수동으로 생성된 AWS KMS 암호화 매니페스트 파일을 배치 작업에 지원하지 않습니다.

명시적 Deny 문

버킷 정책의 Deny 문이 네트워크를 기반으로 작업을 제한하는 경우 Amazon S3가 복제를 수행할 수 없습니다. Amazon S3 Replication은 프라이빗 액세스를 위해 구성된 가상 프라이빗 클라우드(VPC) 엔드포인트 또는 Amazon S3 액세스 포인트를 사용하지 않습니다.

제한을 제거하려면 다음 작업을 수행하십시오.

• 배치 역할에 필요한 작업을 거부하지 않도록 매니페스트의 버킷 정책을 구성합니다.
• S3 배치 작업을 만들 때 프라이빗 액세스를 사용하는 경우 VPC 엔드포인트에 배치 작업 생성 권한을 부여하십시오.
• IAM, AWS Organizations 서비스 제어 정책(SCP), 버킷 정책 또는 AWS KMS 정책에서 필요한 복제 권한을 거부하지 않았는지 확인하십시오.

배치 복제 작업 구성 오류

구성 문제로 인해 다음과 같은 오류 응답이 발생할 수 있습니다.

Manifest generation found no keys matching the filter criteria

Amazon S3 Glacier 또는 Amazon S3 Glacier Deep Archive에 있는 객체는 복제 작업에서 찾을 수 없으므로 매니페스트에 포함하지 마십시오.

배치 복제 작업에서 복제 규칙의 접두사 필터 또는 필터 기준이 버킷의 접두사와 일치하지 않는 경우 객체를 복원하십시오. 객체를 복원한 후 복제를 다시 수행하십시오.

SrcGetObjectNotPermitted 또는 SrcHeadObjectNotPermitted

복제 규칙에서 구성한 IAM 역할에 객체 액세스 권한이 없는 경우 SrcGetObjectNotPermitted 또는 SrcHeadObjectNotPermitted 오류가 발생합니다. IAM 역할이 소스 버킷에서 객체 메타데이터를 검색할 수 없는 경우에도 이러한 오류 중 하나가 발생할 수 있습니다. 이러한 문제를 해결하려면 IAM 역할 정책에 s3:GetObjectVersionForReplication 권한을 추가하십시오.

자세한 내용은 복제 규칙 생성 권한 설정을 참조하십시오.

DstPutObjectNotPermitted

DstObjectNotPermitted 오류가 발생하면 Amazon S3가 대상 버킷에 객체를 복제할 수 없습니다. 이 문제를 해결하려면 IAM 역할 정책 및 대상 S3 버킷 정책 모두에서 s3:ReplicateObject 또는 s3:ObjectOwnerOverrideToBucketOwner 권한을 부여하십시오.

Batch job ran successfully but the number of objects expected in destination bucket is not the same

이 오류는 매니페스트에 나열된 객체와 필터가 일치하지 않을 때 발생합니다. 이 문제를 해결하려면 작업을 만들 때 선택한 필터 또는 복제 규칙 구성의 오타를 수정하십시오.

400 InvalidRequest: Task failed due to missing VersionId

이 오류는 작업 시 매니페스트에서 버전 ID 필드가 비어 있는 객체가 발견되면 발생합니다. 이 문제를 해결하려면 비어 있는 버전 ID를 null 문자열로 변환하십시오. 

Reasons for failure. The job report could not be written to your report bucket. Please check your permissions.

Amazon S3는 배치 완료 보고서를 저장하도록 지정된 버킷에 대한 객체 잠금을 지원하지 않습니다. 대신 객체 잠금 없이 S3 버킷에 보고서를 저장하십시오.

Objects skipped without an error message

Amazon S3는 다른 복제 구성의 복제본인 소스 버킷의 객체를 복제하지 않습니다.

또한 Amazon S3는 복제가 성공적으로 완료된 대상 버킷에 객체를 복제하지 않습니다. 대신 Amazon S3는 오류 메시지가 없는 객체를 건너뜁니다.

모니터링

배치 복제 작업이 완료되면 Amazon S3에서 지정된 대상 버킷 또는 접두사에 배치 완료 보고서를 만듭니다. 이 보고서는 실패 및 관련 오류 메시지를 포함하는 자세한 정보를 제공합니다. 배치 완료 보고서를 검토하여 복제 프로세스 중에 실패한 객체 또는 작업과 관련 오류 또는 실패 원인을 식별하십시오.

객체가 대상 AWS 리전으로 복제되지 않을 때 알림을 받으려면 Amazon S3 이벤트 알림을 사용합니다.

참고: Amazon S3용 매니페스트를 준비하는 데는 시간이 걸립니다. 그러나 배치 작업이 준비 단계에 있거나 몇 시간 동안 완료율이 동일한 경우에는 AWS Support에 문의하십시오.

관련 정보

Amazon S3 Batch Operations 문제를 해결하려면 어떻게 해야 합니까?