AWS Glue 작업에서 403 Access Denied 오류가 반환되는 이유는 무엇입니까?

5분 분량

AWS Glue 작업에서 Amazon Simple Storage Service(S3) 버킷으로 읽기/쓰기를 시도할 때 403 Access Denied 오류가 반환됩니다.

간략한 설명

일반적으로 Access Denied 오류는 다음과 같은 이유로 발생합니다.

AWS Identity and Access Management(IAM) 역할에 버킷 액세스에 필요한 권한이 없습니다.
Amazon S3 버킷 정책이 IAM 역할에 필요한 권한을 허용하지 않습니다.
S3 버킷 소유자가 객체 소유자와 다릅니다.
Amazon Virtual Private Cloud(Amazon VPC) 엔드포인트 정책에 S3 버킷 액세스에 필요한 권한이 없습니다.
객체가 AWS Key Management Service(AWS KMS)로 암호화되었고, AWS KMS 정책이 키 사용에 필요한 최소 권한을 IAM 역할에 부여하지 않습니다.
S3 버킷에 요청자 지불이 설정되어 있습니다.
S3 버킷에 대한 액세스가 AWS Organizations 서비스 제어 정책에 의해 제한되었습니다.

참고: AWS CLI 명령을 실행할 때 오류가 발생하는 경우 최신 버전의 AWS CLI를 사용하고 있는지 확인하세요.

해결 방법

IAM 역할에 S3 버킷 액세스에 필요한 권한이 있어야 합니다.

AWS Glue 작업을 실행하는 IAM 역할은 S3 버킷에 액세스할 수 있어야 합니다. IAM 정책을 IAM 역할에 연결하여 IAM 역할에 필요한 권한을 부여할 수 있습니다. AWSGlueServiceRole 관리형 정책을 IAM 역할에 연결하여 기본 AWS Glue 작업 권한이 제공되는지 확인하는 것도 모범 사례입니다. 또한 쓰기 중에 S3 객체를 넣을 수 있는 권한에 대한 고객 관리형 정책을 생성하고 연결합니다.

IAM 역할의 버킷 액세스 권한을 업데이트하려면 다음을 수행합니다.

1. IAM 콘솔을 엽니다.

2. AWS Glue 작업에 연결되어 있고 버킷에 액세스해야 하는 IAM 역할을 엽니다.

3. IAM 사용자/역할의 [권한(Permissions)] 탭에서 각 정책을 확장하여 해당 JSON 정책 문서를 봅니다.

4. JSON 정책 문서에서 버킷의 이름을 사용하여 정책을 찾습니다. 그런 다음 이러한 정책이 버킷에서 올바른 S3 작업을 허용하는지 확인합니다.

5. IAM 역할이 버킷에 필요한 액세스 권한을 부여하지 않는 경우 올바른 권한을 부여하는 정책을 추가합니다. 예를 들어 다음 IAM 정책은 IAM 역할에 S3 버킷 DOC-EXAMPLE-BUCKET에 객체를 넣을 수 있는 액세스 권한(s3:PutObject)을 부여합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "ExampleStmt",
      "Action": "s3:PutObject",
      "Effect": "Allow",
      "Resource": [
        "arn:aws:s3:::DOC-EXAMPLE-BUCKET/*"
      ]
    }
  ]
}

정책에서 DOC-EXAMPLE-BUCKET을 S3 버킷의 이름으로 바꿔야 합니다.

버킷 정책이 필요한 권한을 IAM 역할에 부여하는지 확인합니다.

다음에 대한 버킷 정책을 검토합니다.

버킷에 대한 IAM 역할의 액세스를 명시적으로 거부하는 모든 문
IAM 역할의 액세스를 제한할 수 있는 누락된 권한 및 조건

버킷 정책을 검토하고 수정하여 IAM 역할에 필요한 액세스 권한을 부여하려면 다음을 수행합니다.

1. Amazon S3 콘솔을 엽니다.

2. 탐색 창에서 Buckets(버킷)을 선택합니다.

3. 버킷 목록에서 확인하려는 버킷을 엽니다.

4. Permissions(권한)을 선택한 다음 Bucket policy(버킷 정책) 섹션으로 아래로 스크롤합니다.

5. 버킷 정책을 검토하여 버킷에 대한 역할의 액세스를 거부하는 문을 검토합니다.

6. 버킷 정책을 수정하여 버킷에 대한 IAM 역할의 액세스를 거부하는 문을 편집하거나 제거합니다.

샘플 버킷 정책은 버킷 정책 예제를 참조하세요.

S3 버킷 소유자가 객체에 액세스할 수 있는지 확인

기본적으로 S3 객체는 해당 객체를 업로드한 AWS 계정의 소유입니다. 이는 버킷을 다른 계정에서 소유하는 경우에도 마찬가지입니다. 다른 계정에서 버킷에 객체를 업로드할 수 있는 경우 사용자/역할이 액세스할 수 없는 객체를 어느 계정이 소유하고 있는지 확인합니다. GetObjectAcl 명령을 실행하여 객체 소유자를 확인할 수 있습니다.

다른 계정의 IAM 사용자/역할이 객체를 S3 버킷에 업로드하는 경우 S3 객체 소유권을 설정합니다. 그런 다음 bucket-owner-full-control 액세스 제어 목록(ACL)을 통해 객체를 업로드하도록 하는 버킷 정책을 추가합니다. 이 버킷 정책을 추가하면 bucket-owner-full-control ACL을 통해 객체가 업로드될 때 객체 소유자가 버킷 소유자로 자동으로 변경됩니다. 자세한 내용은 다른 AWS 계정에서 내 Amazon S3 버킷에 객체를 업로드할 때 해당 객체의 전체 제어 권한을 부여하도록 요구하려면 어떻게 해야 합니까?를 참조하세요.

Amazon VPC 엔드포인트 정책이 S3 버킷에 필요한 작업을 허용하는지 확인합니다.

다음 조건이 모두 충족될 때 S3 버킷과 객체에 액세스하는 데 필요한 권한이 VPC 엔드포인트 정책에 포함되어 있는지 확인합니다.

AWS Glue 작업에서 객체를 S3로 읽거나 씁니다.
연결 경로가 VPC 엔드포인트를 사용하여 S3로 지정됩니다.

예를 들어 다음 VPC 엔드포인트 정책은 DOC-EXAMPLE-BUCKET 버킷에 대한 액세스만 허용합니다. 버킷이 정책에서 허용되는 리소스로 나열되지 않으면 사용자/역할이 VPC 엔드포인트를 통해 버킷에 액세스할 수 없습니다.

{
  "Statement": [
    {
      "Sid": "Access-to-specific-bucket-only",
      "Principal": "*",
      "Action": [
        "s3:PutObject"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::DOC-EXAMPLE-BUCKET/*"
    }
  ]
}

정책에서 DOC-EXAMPLE-BUCKET을 S3 버킷의 이름으로 바꿔야 합니다.

사용자/역할이 ACL을 통해 객체를 업로드하는 경우 PutObjectAcl 작업에 대한 액세스 권한을 부여하도록 VPC 엔드포인트 정책을 업데이트해야 합니다. 예를 들면 다음과 같습니다.

{
  "Statement": [
    {
      "Sid": "Access-to-specific-bucket-only",
      "Principal": "*",
      "Action": [
        "s3:PutObject",
        "s3:PutObjectAcl"
      ],
      "Effect": "Allow",
      "Resource": "arn:aws:s3:::DOC-EXAMPLE-BUCKET/*"
    }
  ]
}

AWS KMS 키 정책이 IAM 역할에 대한 액세스를 허용하는지 확인합니다.

추출, 변환, 로드(ETL) 작업에서 암호화된 데이터를 Amazon S3로 읽거나 쓰는 경우 다음을 확인해야 합니다.

IAM 역할의 정책에 AWS KMS 작업에 필요한 권한이 포함되어 있습니다.
AWS KMS 키 정책에 IAM 역할에 필요한 권한이 포함되어 있습니다.

IAM 역할의 정책에 다음 권한을 포함하여 필요한 AWS KMS 작업을 허용합니다.

{
  "Version": "2012-10-17",
  "Statement": {
    "Effect": "Allow",
    "Action": [
      "kms:Decrypt",
      "kms:Encrypt",
      "kms:GenerateDataKey"
    ],
    "Resource": "arn:aws:kms:us-west-2:111122223333:key/1234abcd-12ab-34cd-56ef-1234567890ab"
  }
}

정책의 ARN을 선택한 ARN으로 바꿉니다.

자세한 내용은 AWS Glue에서 암호화 설정을 참조하세요.

KMS 키 정책을 검토하여 정책이 AWS Glue 작업의 역할에 대한 액세스를 허용하는지 확인합니다. 키 정책에 대한 자세한 내용은 AWS KMS에서 키 정책 사용을 참조하세요.

버킷에 요청자 지불이 설정되어 있는 경우 요청자 지불 헤더를 포함해야 합니다.

S3 버킷에 요청자 지불이 설정되어 있으면 AWS Glue 작업의 버킷에 대한 모든 요청에 요청자 지불 헤더가 포함되어야 합니다. Amazon S3에 대한 AWS Glue 요청에는 기본적으로 요청자 지불 헤더가 포함되지 않습니다. 이 헤더가 없으면 요청자 지불 버킷에 대한 API 호출이 Access Denied 예외와 함께 실패합니다. ETL 스크립트에 요청자 지불 헤더를 추가하려면 **hadoopConfiguration().set()**를 사용하여 GlueContext 변수 또는 Apache Spark 세션 변수에 fs.s3.useRequesterPaysHeader를 포함합니다.

자세한 내용은 AWS Glue, Amazon EMR 또는 Amazon Athena에서 Amazon S3 요청자 지불 버킷에 액세스하려면 어떻게 해야 합니까?를 참조하세요.

AWS Organizations 서비스 제어 정책이 S3 액세스를 허용하는지 확인합니다.

AWS Organizations을 사용하는 경우 서비스 제어 정책을 검토하여 Amazon S3에 대한 액세스가 허용되는지 확인합니다. 예를 들어, 다음 정책은 Amazon S3에 대한 액세스를 명시적으로 거부하므로 Access Denied 오류가 발생합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Deny",
      "Action": "s3:*",
      "Resource": "*"
    }
  ]
}

자세한 내용은 조직 내 모든 기능 활성화를 참조하세요.