Git 리포지토리에 Amazon EMR 노트북을 링크하려면 어떻게 해야 합니까?

해결 방법

Git 리포지토리를 Amazon EMR Notebooks와 연결하면 버전 제어 환경에 노트북을 저장할 수 있습니다. 최대 3개의 리포지토리를 Notebooks와 연결할 수 있습니다.

새 EMR 노트북을 생성하고 기존 Git 리포지토리와 연결하려면 다음을 수행합니다.

1.    Virtual Private Cloud(VPC)에서 프라이빗 서브넷을 생성합니다.

2.    NAT 게이트웨이를 생성합니다.

3.    NAT 게이트웨이를 가리키도록 라우팅 테이블을 업데이트합니다.

4.    프라이빗 서브넷에서 Amazon EMR 클러스터를 시작합니다. 소프트웨어 구성(Software configuration) 섹션에서 Apache Spark, Apache Hadoop 및 Apache Livy를 포함하는 구성을 선택해야 합니다.

5.    EMR 클러스터가 대기(WAITING) 상태에 도달하기를 기다리는 동안 Git 리포지토리를 추가합니다. **Git 보안 인증(Git credentials)**에 대해 **새 보안 암호 생성(Create a new secret)**을 선택합니다. **사용자 이름(Username)**이 이메일 주소가 아닌 Git 계정의 별칭인지 확인합니다. 자세한 내용은 별칭 작업을 참조하세요.

6.    다음 두 개의 아웃바운드 규칙을 사용하여보안 그룹을 생성합니다.
규칙 1
유형(Type): 사용자 지정 TCP 규칙
프로토콜(Protocol): TCP
포트 범위(Port Range): 18888
대상(Destination): ElasticMapReduceEditors-Livy

규칙 2
유형(Type): HTTPS
프로토콜(Protocol): TCP
포트 범위(Port Range): 443
대상(Destination): 0.0.0.0/0

이렇게 하면 클러스터를 사용하여 노트북을 인터넷에 연결할 수 있습니다. 자세한 내용은 Git 리포지토리와 노트북 연결 시 EMR 노트북용 사용자 지정 EC2 보안 그룹을 참조하세요.

7.    ElasticMapReduceEditors-Livy 보안 그룹에 인바운드 규칙을 추가합니다.
유형(Type): 사용자 지정 TCP 규칙
프로토콜(Protocol): TCP
포트 범위(Port Range): 18888
대상(Destination): 이전 단계에서 생성한 보안 그룹의 이름을 입력합니다.

8.    secretsmanager:GetSecretValue 작업을 허용하도록 EMR Notebooks의 서비스 역할(EMR_Notebooks_DefaultRole)을 수정합니다.

9.    다음 보안 그룹 설정을 사용하여 EMR 노트북을 만듭니다.
[보안 그룹(Security groups)] 섹션에서 [보안 그룹 선택(Choose security groups)]를 선택합니다.
[마스터 인스턴스에 대한 보안 그룹(Security groups for master instance)]의 경우 ElasticMapReduceEditors-Livy를 선택합니다.
[노트북 인스턴스에 대한 보안 그룹(Security groups for notebook instance)]의 경우 6단계에서 만든 보안 그룹을 선택합니다.

Git 리포지토리 상태가 [링크됨(Linked)]으로 변경됩니다. 이제 노트북에서 Git 리포지토리를 사용할 수 있습니다.

관련 정보

EMR 노트북에 GIT 기반 리포지토리 연결

EMR 노트북