크롤러 실행이 완료되면 AWS Glue 워크플로를 사용하여 작업을 자동으로 시작하려면 어떻게 해야 합니까?

간략한 설명

크롤러 실행이 완료될 때 작업을 시작하려면 AWS Glue 워크플로와 두 개의 트리거를 생성합니다. 한 트리거는 크롤러용이고 다른 하나는 작업용입니다. 이 방법을 사용하려면 AWS Glue 콘솔의 Workflow(워크플로) 페이지에서 크롤러를 시작해야 합니다.

참고: 또한 AWS Lambda 함수와 Amazon EventBridge 규칙을 사용하여 작업 실행을 자동화할 수 있습니다. 이 옵션을 선택하면 Lambda 함수가 항상 활성화됩니다. 함수는 언제 어디서 함수를 시작했는지에 관계없이 크롤러를 모니터링합니다. 자세한 내용은 크롤러 실행이 완료될 때 Lambda 함수를 사용하여 AWS Glue 작업을 자동으로 시작하려면 어떻게 해야 합니까?를 참조하십시오.

해결 방법

사전 요구 사항: 해결 단계를 완료하려면 AWS Glue 추출, 변환, 적재(ETL) 작업과 AWS Glue 크롤러가 필요합니다. AWS Glue용 AWS Identity and Access Management(IAM) 역할도 있어야 하며, 이 역할에는 AWSGlueServiceRole 정책이 연결되어 있어야 합니다.

워크플로 생성

다음 단계를 완료합니다.

1. AWS Glue 콘솔을 엽니다.
2. 탐색 창에서 Workflows(워크플로)를 선택한 다음 Add workflow(워크플로 추가)를 선택합니다.
3. 워크플로의 이름을 입력한 다음 Add workflow(워크플로 추가)를 선택합니다. 새 워크플로가 Workflows(워크플로) 페이지의 목록에 표시됩니다.

크롤러용 트리거 생성

다음 단계를 완료합니다.

1. Workflows(워크플로) 페이지에서 새 워크플로를 선택한 다음 Graph(그래프) 탭을 선택합니다.
2. Add trigger(트리거 추가)를 선택한 다음 Add new(새로 추가) 탭을 선택합니다. Trigger type(트리거 유형)에서 On demand(온디맨드)를 추가합니다.
3. Add(추가)를 선택합니다. 트리거가 그래프에 표시됩니다.
4. 그래프에서 Add node(노드 추가)를 선택합니다.
5. Crawlers(크롤러) 탭에서 크롤러를 선택한 다음 Add(추가)를 선택합니다.

AWS Glue 작업용 트리거 생성

다음 단계를 완료합니다.

1. 그래프 위의 Action(작업) 메뉴에서 Add trigger(트리거 추가)를 선택합니다.
2. Add new(새로 추가) 탭을 선택한 후 다음 옵션을 선택합니다.
   Trigger type(트리거 유형)에서 Event(이벤트)를 추가합니다.
   Trigger logic(트리거 로직)에서 Start after ALL watched event(모든 감시 이벤트 이후 시작)를 선택합니다.
3. Add(추가)를 선택합니다. 트리거가 그래프에 표시됩니다.
4. 그래프에서 방금 생성한 작업 트리거 왼쪽에서 Add node(노드 추가)를 선택합니다.
5. Crawlers(크롤러) 탭에서 크롤러를 선택한 다음 Add(추가)를 선택합니다. 트리거가 그래프에 표시됩니다.
6. 그래프에서 방금 생성한 작업 트리거 오른쪽에 있는 ** Add node**(노드 추가)를 선택합니다.
7. Jobs(작업) 탭에서 크롤러 실행이 완료될 때 시작할 작업을 선택한 다음 Add(추가)를 선택합니다.

워크플로 테스트

다음 단계를 완료합니다.

1. Actions(작업) 메뉴에서 Add workflow(워크플로 추가) 버튼 옆에 있는 Run(실행)을 선택합니다. Last run status(마지막 실행 상태) 열이 Running(실행 중)으로 변경됩니다.
2. Graph(그래프) 탭에서 워크플로 상태를 확인합니다. 또는 해당 크롤러 또는 작업을 열어 실행 중인지 확인합니다.

관련 정보

AWS Glue에서 수동으로 워크플로 생성 및 구축