Data Pipeline을 사용하여 Amazon S3 버킷의 일회성 복사를 실행하거나 예약된 동기화를 자동화하려면 어떻게 해야 합니까?

해결 방법

참고: S3 버킷 간에 데이터를 전송하는 한 가지 방법은 Data Pipeline을 사용하는 것입니다. 다른 방법으로는 S3 배치 작업 사용, 복제 사용, AWS Command Line Interface(AWS CLI)에서 cp 또는 sync 명령 실행 등이 있습니다.

참고: AWS CLI 명령을 실행할 때 오류가 발생하면 최신 AWS CLI 버전을 사용하고 있는지 확인하십시오.

1.    AWS Identity and Access Management(AWS IAM) 사용자 또는 역할에 Data Pipeline을 사용할 수 있는 충분한 권한이 있는지 확인하십시오.

2.    IAM 사용자 또는 역할로 AWS Data Pipeline 콘솔에 로그인합니다. 콘솔이 Data Pipeline을 지원하는 AWS 리전으로 설정되었는지 확인합니다.

중요: 소스 버킷과 대상 버킷이 같은 리전에 있을 필요는 없습니다. 또한 S3 버킷은 파이프라인과 동일한 리전에 있지 않아도 됩니다. 하지만 리전 간 데이터 전송 시 비용이 발생하므로 Amazon S3의 데이터 전송 요금을 검토해야 합니다.

3.    파이프라인 만들기를 선택합니다.

4.    이름에 파이프라인 이름을 입력합니다.

5.    소스에서 템플릿을 사용하여 빌드를 선택합니다. 그런 다음 AWS CLI 명령 실행을 선택합니다.

6.    AWS CLI 명령의 경우 복사 작업을 설정하려면 다음 명령을 입력합니다.

aws s3 cp s3://source-AWSDOC-EXAMPLE-BUCKET1 s3://destination-AWSDOC-EXAMPLE-BUCKET2

참고: 복사 명령은 소스 버킷의 객체와 동일한 키 이름을 가진 대상 버킷의 모든 객체를 덮어씁니다.

동기화 작업을 설정하려면 다음 명령을 입력합니다.

aws s3 sync s3://source-AWSDOC-EXAMPLE-BUCKET1 s3://destination-AWSDOC-EXAMPLE-BUCKET2

참고: 동기화 명령은 소스 버킷과 대상 버킷을 비교한 다음 차이만 전송합니다.

7.    실행에서 일회성 복사 또는 동기화 작업에 대해 파이프라인 활성화 시를 선택합니다. 또는 예약된 복제 또는 동기화에 대해 예약 시를 선택한 다음 사용 사례에 따라 실행 간격, 시작 및 종료 필드를 입력합니다.

8.    로깅에서 사용을 선택한 다음 로그의 S3 위치를 입력할 수 있습니다. 또는 로그를 원하지 않는 경우 사용 중지됨을 선택할 수 있습니다.

9.    IAM 역할에는 기본 역할 또는 사용자 지정 역할을 선택할 수 있습니다. 기본 역할에는 s3:CreateBucket, s3:DeleteObject, s3:Get*, s3:List* 및 s3:Put*에 대한 Amazon S3 권한이 있습니다.

참고: 버킷에 AWS Key Management Service(AWS KMS)를 사용한 기본 암호화 기능이 있는 경우 적절한 권한이 부여되었는지 확인하십시오. AWS KMS 키를 사용하는 데 필요한 적절한 권한을 Data Pipeline 역할에 부여해야 합니다.

10.    활성화를 선택합니다.

참고: 필요한 경우 버킷의 각 루트 수준 접두사에 대한 여러 파이프라인을 만들어 성능을 최적화할 수 있습니다.

---

관련 정보

AWS Data Pipeline의 IAM 역할

Amazon S3에서 동기화 명령의 전송 성능을 개선하려면 어떻게 해야 합니까?

다른 AWS 계정에서 S3 객체를 복사하려면 어떻게 해야 합니까?

Amazon S3 버킷에 있는 객체에 대한 교차 계정 액세스를 제공하려면 어떻게 해야 합니까?