AWS Glue 작업 상태가 변경될 때 Amazon SNS 알림을 받으려면 어떻게 해야 하나요?

2분 분량
0

AWS Glue 추출, 변환, 적재(ETL) 작업이 성공, 실패, 제한 시간 초과 또는 중지될 때 알림을 받고 싶습니다.

간략한 설명

Amazon Simple Notification Service(SNS) 주제를 생성하고 구독하세요. 그런 다음 모니터링하려는 각 상태 변경에 대한 Amazon EventBridge 이벤트 규칙을 생성합니다.

참고: 이 문제의 경우 Amazon CloudWatch 대신 Amazon EventBridge를 사용하는 것이 가장 좋습니다.

해결 방법

Amazon SNS 주제 생성 및 구독

1.    Amazon SNS 콘솔을 엽니다.

2.    Topics(주제)를 선택한 다음 Create topic(주제 만들기)를 선택합니다.

3.    Topic name(주제 이름)을 입력합니다. Display name(표시 이름) 필드는 선택사항입니다.

4.    Create topic(주제 생성)을 선택합니다.

5.    탐색 창에서 Subscriptions(구독)를 선택합니다. 그런 다음, Create subscription(구독 생성)을 선택합니다.

6.    Details(세부 정보)에서 다음 필드를 입력합니다.

        Topic ARN(주제 ARN)의 경우 생성한 주제의 ARN을 선택합니다.

        Protocol(프로토콜)에서 Email(이메일)을 선택합니다.

        Endpoint(엔드포인트)의 경우 알림을 받을 이메일 주소를 입력합니다.

7.    Create subscription(구독 생성)을 선택합니다.

8.    이메일 계정을 확인하고 구독 확인 이메일 메시지를 받을 때까지 기다립니다. 수신하면 Confirm subscription(구독 확인) 링크를 선택합니다.

Eventbridge 이벤트 규칙 생성

1.    EventBridge 콘솔을 엽니다.

2.    탐색 창에서 Rules(규칙)를 선택하고 Create rule(규칙 생성)을 선택합니다.

3.    규칙의 이름을 입력합니다. 다른 필드는 기본 선택으로 두고 Next(다음)을 선택합니다.

4.    아래로 스크롤하여 Creation method(생성 방법) 섹션으로 이동한 다음 Custom pattern(JSON editor)(사용자 지정 패턴(JSON 편집기))을 선택합니다.

5.    Event pattern(이벤트 패턴) 상자에 다음과 비슷한 코드를 입력합니다. job_name을 AWS Glue ETL 작업의 이름으로 바꿉니다. state(상태)에는 알림을 받으려는 변경된 상태(성공, 실패, 시간 초과 또는 중지됨)를 입력합니다. 모니터링하려는 각 상태 변경에 대해 별도의 이벤트 규칙을 생성합니다.

{
  "detail-type": "Glue Job State Change",
  "source": "aws.glue",
  "detail": {
    "jobName": "MyJob",
    "state": "SUCCEEDED"
  }
}

6.    Next(다음)을 선택합니다. 그러면 Select target(s)(대상 선택) 페이지로 이동합니다.

7.    Target types(대상 유형)에서 AWS service(AWS 서비스)를 선택합니다. 그런 다음 드롭다운 목록에서 SNS topic(SNS 주제)를 선택합니다.

8.    Topic(주제) 드롭다운 목록에서 이전에 만든 SNS 주제의 이름을 선택합니다.

9.    Next(다음)을 선택합니다. 그러면 Configure tags - optional(태그 구성 - 옵션) 페이지로 이동합니다. Next(다음)를 선택한 후 Create rule(규칙 생성)을 선택합니다.

이벤트 규칙 및 SNS 주제를 테스트하려면 AWS Glue 작업을 실행합니다. 작업이 이벤트 규칙에서 지정한 상태로 변경될 때 이메일 알림을 받는지 확인하세요.


관련 정보

AWS Glue 작업이 재시도에 실패할 때 AWS Lambda 함수를 사용하여 SNS 알림을 받으려면 어떻게 해야 하나요?

크롤러 실행이 완료될 때 AWS Glue 작업을 자동으로 시작하려면 어떻게 해야 하나요?

CloudWatch Events로 AWS Glue 자동화

AWS Glue 이벤트

AWS 공식
AWS 공식업데이트됨 2달 전