Spark 작업을 실행하기 위한 Amazon EMR Serverless 애플리케이션을 생성하려면 어떻게 해야 하나요?

해결 방법

Spark 작업을 실행하기 위한 EMR Serverless 애플리케이션을 생성하려면 다음 단계를 완료하세요.

1. Amazon EMR 콘솔을 엽니다.
2. 탐색 창에서 EMR Serverless를 선택합니다.
3. 새 EMR Studio를 만들거나 기존 Studio를 선택합니다.
   Studio가 없는 경우 시작하기를 선택한 다음 EMR Studio 생성 및 실행을 선택합니다.
   Studio가 있는 경우 Studio를 선택한 다음 애플리케이션 관리를 선택합니다.
4. 애플리케이션 페이지에서 애플리케이션 생성을 선택합니다.
5. 애플리케이션 이름을 입력한 다음 애플리케이션 생성 및 시작을 선택합니다.
   참고: 애플리케이션을 설정할 때 유형으로 Spark를 선택하고 릴리즈 버전으로 사용할 Amazon EMR 버전을 선택합니다.
6. 애플리케이션 상태가 시작됨으로 변경되면 애플리케이션 이름을 선택합니다.
7. 배치 작업 실행 제출을 선택합니다.
8. 작업 설정에서 작업 이름과 Amazon Simple Storage Service(S3) 버킷 스크립트 위치를 입력합니다. 그런 다음 런타임 역할을 선택합니다.
9. (선택 사항) Spark 단어 수 작업을 샘플 작업으로 실행하려면 스크립트 위치에서 s3://example-region.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py를 설정하고 스크립트 인수에서 s3://example-bucket/example-output을 설정합니다.
   참고: 런타임 역할이 없는 경우 새 역할 생성을 선택한 다음 역할 생성을 선택합니다. 자세한 내용은 Amazon EMR Serverless의 작업 런타임 역할을 참조하세요.
10. 작업 실행 제출을 선택합니다.
11. 배치 작업 실행 탭에서 Spark 작업이 실행되는지 확인합니다.
12. 실행 상태가 성공으로 변경되면 작업 결과를 확인할 수 있습니다. Spark 단어 수 작업을 실행한 경우 Amazon S3 경로에서 작업 결과를 확인하세요.
13. Spark UI를 보려면 작업 실행 이름을 선택합니다. 다음 조치를 취하세요.
    애플리케이션 UI 보기를 선택합니다.
    Spark UI(실행 중인 작업) 또는 **Spark History Server(완료된 작업)**를 선택합니다.
    참고: Spark UI의 실행기 탭에서 해당 드라이버 및 런타임 로그를 검색할 수 있습니다. 작업 실행을 제출할 때 EMR Serverless가 애플리케이션 로그를 저장하고 제공하는 방법을 선택할 수 있습니다.

관련 정보

EMR Serverless의 대체 스토리지 옵션을 사용하려면 어떻게 해야 하나요?