Amazon Aurora에서 Amazon S3로 데이터를 업로드하거나 다운로드하는 동안 발생하는 오류를 해결하려면 어떻게 해야 하나요?

5분 분량

Amazon Simple Storage Service(S3)에서 Amazon Aurora로 데이터를 업로드하고 싶습니다. 또는 Amazon Aurora에서 데이터를 다운로드하여 Amazon S3에 업로드하고 싶습니다.

간략한 설명

다음 명령 중 하나를 사용하여 Amazon Aurora와 Amazon S3 간에 데이터를 텍스트 파일로 로드합니다.

SELECT INTO OUTFILE S3 - Amazon Aurora에서 Amazon S3로 데이터 로드
LOAD DATA FROM S3 - Amazon S3에서 Amazon Aurora로 데이터 로드

SELECT INTO OUTFILE S3 또는 LOAD DATA FROM S3 명령을 실행할 때 발생할 수 있는 몇 가지 일반적인 오류는 다음과 같습니다.

Error Code: 1871. Missing Credentials
Incorrect Command: missing file/prefix/manifest keyword
Error code: 1045. Access denied error
Error code: 1815. Internal error: Unable to initialize
Error Code: 1871. S3 API returned error: Access Denied

해결 방법

SELECT INTO OUTFILE S3 또는 LOAD DATA FROM S3 명령 실행

Amazon Aurora를 사용하여 SELECT INTO OUTFILE S3 또는 LOAD DATA FROM S3 명령을 실행합니다.

1. S3 버킷을 생성하고 ARN을 복사합니다.

2. 권한이 있는 S3 버킷에 대한 AWS Identity and Access Management(IAM) 정책을 생성합니다. 버킷 ARN을 지정한 다음, 버킷 ARN 내의 객체에 권한을 부여합니다.

FullS3Access 정책을 사용하지 않는 경우 다음과 유사한 사용자 지정 정책을 실행합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "VisualEditor0",
      "Effect": "Allow",
      "Action": "s3:*",
      "Resource": [
        "arn:aws:s3:::<your_bucket_name>",
        "arn:aws:s3:::<your_bucket_name>/*"
      ]
    }
  ]
}

Amazon Relational Database Service(RDS) 서비스에 대한 IAM 역할을 생성합니다. 그런 다음 생성한 IAM 정책을 이 역할에 연결합니다.

신뢰 관계는 다음과 같습니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "Service": "rds.amazonaws.com"
      },
      "Action": "sts:AssumeRole"
    }
  ]
}

4. Aurora에 대한 사용자 지정 DB 클러스터 파라미터 그룹을 생성합니다.

Aurora MySQL 버전 1 또는 2의 경우:

역할 aurora_select_into_s3_role 또는 aws_default_s3_role 중 하나를 IAM 역할 ARN의 값으로 편집합니다.

Aurora MySQL 버전 3의 경우:

aws_default_s3_role을 IAM 역할 ARN의 값으로 편집합니다.

5. 생성한 DB 클러스터에 IAM 역할을 연결합니다. 자세한 내용을 보려면 Amazon Aurora MySQL DB 클러스터에 IAM 역할 연결을 참조하세요.

6. Amazon Aurora DB 클러스터에 로그인합니다.

7. 다음 명령을 실행하여 새 사용자를 생성합니다.

CREATE USER 'testsaveload'@'%' IDENTIFIED BY 'somepassword';
show grants for 'testsaveload'@'%';

8. 다음 명령을 실행하여 사용자에게 권한을 부여합니다.

GRANT SELECT, CREATE, INSERT, DROP ON *.* TO 'testsaveload'@'%';

Aurora MySQL 버전 1 또는 2의 경우 다음 문을 사용합니다.

GRANT SELECT INTO S3 ON *.* TO 'testsaveload'@'%';
GRANT LOAD FROM S3 ON *.* TO 'testsaveload'@'%';

Aurora MySQL 버전 3의 경우 다음 문을 사용합니다.

GRANT AWS_SELECT_S3_ACCESS TO 'testsaveload'@'%'
GRANT AWS_LOAD_S3_ACCESS TO 'testsaveload'@'%';

참고: Aurora MySQL 버전 3에서는 DB 클러스터 파라미터를 사용하여 activate_all_roles_on_login을 켜는 것이 가능합니다. 이렇게 하면 사용자가 DB 인스턴스에 연결할 때 모든 역할이 자동으로 활성화됩니다. 자세한 내용을 보려면 Amazon Aurora MySQL에서 데이터를 로드할 수 있는 권한 부여를 참조하세요.

9. SELECT INTO OUTFILE S3 또는 LOAD DATA INTO S3 명령을 실행합니다.

SELECT * from test1.test2034 INTO OUTFILE S3 's3://tests3saveloadaurora/testfile1prefix.part_00000';
LOAD DATA FROM S3 PREFIX 's3-us-east-1://tests3saveloadaurora/testfile1prefix.part_00000' INTO TABLE test3001;
LOAD DATA FROM S3 's3-us-east-1://tests3saveloadaurora/prefix3.part_00000' INTO TABLE test3000;

Error Code: 1871. Missing Credentials

SELECT * from test1.test2034 INTO OUTFILE S3 '"s3://tests3saveloadaurora/testfile1prefix.part_00000';
Error Code: 1871. S3 API returned error: Missing Credentials: Cannot instantiate S3 Client

다음과 같은 경우 이 오류가 발생할 수 있습니다.

DB 클러스터에 대한 IAM 역할 연결이 누락되었습니다. 이 문제를 해결하려면 이전 섹션의 5단계를 참조하세요.
역할 ARN이 지정되지 않았고 파라미터 그룹에 역할 이름만 나열되어 있습니다. 이 문제를 해결하려면 이전 섹션의 2단계를 참조하세요.

Incorrect Command: missing file/prefix/manifest keyword

"Incorrect Command: missing file/prefix/manifest keyword" 오류가 표시되면 명령이 성공적으로 실행될 수 있는 올바른 키워드를 입력하지 않은 것입니다. 이 오류를 수정하려면 명령에 대한 키워드를 입력하세요.

Error code: 1045. Access denied error

잘못된 명령을 입력하면 "1045: Access denied for user ''testsaveload'@'%';"와 같은 오류 메시지가 표시될 수 있습니다. 예를 들어, 다음 명령은 잘못 작성되었습니다.

SELECT * from test1.test2034 INTO OUTFILE 's3://tests3saveloadaurora/testfile1prefix.part_00000';

쿼리에 키워드 S3이 입력되었는지 확인하세요. 다음 명령은 올바르게 작성되었습니다.

SELECT * from test1.test2034 INTO OUTFILE S3 's3://tests3saveloadaurora/testfile1prefix.part_00000';

Error code: 1815. Internal error: Unable to initialize

LOAD DATA FROM S3 's3://tests3saveloadaurora/testfile1prefix.part_00000' INTO TABLE test3000;
Error Code: 1815. Internal error: Unable to initialize S3Stream

"Error code: 1815. Internal error: Unable to initialize" 오류가 표시되는 이유는 여러 가지가 있습니다.

파일이 존재하지 않습니다. 파일이 S3 버킷에 존재하는지, 스크립트에 지정한 이름이 파일 이름과 일치하는지 확인하세요. 대소문자를 구분하는 것이 중요합니다. S3 버킷 이름, 폴더 이름 및 개체 이름이 로드 명령에 지정된 것과 정확히 일치하는지 확인합니다.
파일, 폴더 또는 버킷 수준에 대한 적절한 권한이 없습니다. 2단계를 검토하여 올바른 권한을 설정했는지 확인하세요.
LOAD 스크립트에 구문 오류가 있을 수 있습니다. LOAD 스크립트를 검토한 다음 명령을 다시 실행하세요.
S3 버킷과 DB 클러스터가 서로 다른 리전에 있으며, S3 버킷 경로에 리전 값이 누락되었습니다. AWS 리전에 대한 자세한 내용을 보려면 Amazon S3 엔드포인트 및 할당량을 참조하세요.
리더 및 라이터 인스턴스에 대한 네트워크 구성이 다릅니다. 자세한 내용을 보려면 리더 엔드포인트 사용을 참조하세요.

Error Code: 1871. S3 API returned error: Access Denied

S3 버킷에 암호화가 있는 경우 “Error Code: 1871. S3 API returned error: Access Denied" 오류가 표시됩니다. 또는 S3 버킷 내부에 암호화된 파일이 있는 경우 이 오류가 발생할 수 있습니다. ServerSideEncryptionConfigurationExists가 거짓이 아닌 경우, LOAD 작업을 수행하는 데 사용된 IAM 역할에 첨부한 정책에 kms:*를 추가하세요. 예를 들어 FULLS3Access 정책을 사용하지 않는 경우 다음 예제 사용자 지정 정책을 사용합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "VisualEditor0",
      "Effect": "Allow",
      "Action": [
        "s3:*",
        "kms:*"
      ],
      "Resource": [
        "arn:aws:s3:::<your_bucket_name>",
        "arn:aws:s3:::<your_bucket_name>/*"
      ]
    }
  ]
}