Amazon EMR 노트북을 Git 기반 리포지토리에 연결하려면 어떻게 해야 하나요?

해결 방법

참고: Amazon EMR Notebooks는 새로운 Amazon EMR 콘솔에서 Amazon EMR Studio 워크스페이스로 사용할 수 있습니다.

이전 콘솔에서 새 Amazon EMR 노트북을 생성하고 이 노트북을 Git 기반 리포지토리에 연결하려면 다음 단계를 완료하세요.

1. Amazon Virtual Private Cloud(Amazon VPC)에서 프라이빗 서브넷을 생성합니다.
2. NAT 게이트웨이를 생성한 다음 NAT 게이트웨이를 가리키도록 라우팅 테이블을 업데이트합니다.
3. 프라이빗 서브넷에서 Amazon EMR 클러스터를 시작합니다. 소프트웨어 구성 섹션에서 Apache Spark, Apache Hadoop, Apache Livy를 포함하는 구성을 선택해야 합니다.
4. 클러스터가 WAITING 상태에 도달하기를 기다리는 경우 Git 기반 리포지토리를 추가합니다.
5. Git 자격 증명에서 새 암호 만들기를 선택합니다. 사용자 이름이 Git 계정의 별칭인지 확인합니다.
6. 다음과 같은 아웃바운드 규칙을 사용하여 ElasticMapReduceEditors-Editor라는 이름의 사용자 지정 보안 그룹을 생성합니다.
   규칙 1의 경우 유형을 사용자 지정 TCP 규칙으로, 프로토콜을 TCP로, 포트 범위를 18888로, 대상을 ElasticMapReduceEditors-Livy로 설정합니다.
   규칙 2의 경우 유형을 HTTPS로, 프로토콜을 TCP로, 포트 범위를 443으로, 대상을 0.0.0.0/0으로 설정합니다.
7. 다음 설정을 사용하여 ElasticMapReduceEditors-Livy 보안 그룹에 인바운드 규칙을 추가합니다.
   유형: 사용자 지정 TCP 규칙
   프로토콜: TCP
   포트 범위: 18888
   대상: 사용자 지정 보안 그룹의 이름을 입력합니다.
8. secretsmanager:GetSecretValue 작업을 허용하도록 EMR_Notebooks_DefaultRole Amazon EMR Notebooks 서비스 역할을 수정합니다.
9. 다음과 같은 보안 그룹 설정을 사용하여 Amazon EMR 노트북을 생성합니다.
   보안 그룹 섹션에서 보안 그룹 선택을 선택합니다.
   마스터 인스턴스용 보안 그룹의 경우 ElasticMapReduceEditors-Livy를 선택합니다.
   노트북 인스턴스용 보안 그룹의 경우 사용자 지정 보안 그룹을 선택합니다.
10. Git 기반 리포지토리 상태가 Linked 상태로 변경되는지 확인합니다. 상태가 Linked로 변경되면 노트북의 Git 리포지토리를 사용할 수 있습니다.