Amazon EMR 클러스터에 연결할 수 없는 이유는 무엇인가요?

3분 분량
0

Amazon EMR 클러스터에 연결할 수 없습니다.

간략한 설명

EMR 클러스터에 연결할 수 없는 일반적인 이유는 다음과 같습니다.

  • 보안 그룹 규칙에 권한 문제가 있습니다.
  • 프라이빗 서브넷에 프로비저닝된 클러스터의 네트워크 설정이 올바르지 않습니다.
  • 클러스터 인증 설정에 문제가 있습니다.
  • 클러스터 노드에 리소스 제약이 있습니다.
  • Amazon EMR 서비스 대몬(daemon)이 중지되었습니다.

해결 방법

Amazon EMR 보안 그룹 규칙

1.    보안 그룹 규칙이 올바른지 확인합니다. 자세한 내용은 Amazon EMR 관리형 보안 그룹 사용을 참조하세요.

2.    포트 8443에서 TCP가 허용되는지 확인합니다. 포트 8443을 사용하면 클러스터 관리자가 클러스터 프라이머리 노드와 통신할 수 있습니다.

3.    SSH를 통해 클러스터에 연결하려는 경우 포트 22의 SSH가 허용되는지 확인합니다.

  1.     외부 사용자나 애플리케이션이 EMR 클러스터에 연결할 수 없는 경우, 관리형 보안 그룹에 설정된 관련 규칙을 검증합니다. 또한 추가 보안 그룹의 규칙을 검증합니다.

프라이빗 서브넷의 EMR 클러스터

이전 섹션에서 언급된 항목 외에도 프라이빗 서브넷에 있는 EMR 클러스터에 대해 다음 사항을 확인합니다.

1.    서비스 액세스를 위한 추가 관리형 보안 그룹이 추가되었는지 확인합니다. 규칙을 통해 클러스터 관리자가 클러스터 노드와 통신할 수 있는지 확인합니다. 자세한 정보는 서비스 액세스를 위한 Amazon EMR 관리 보안 그룹(프라이빗 서브넷)을 참조하세요.

2.    Bastion 호스트를 사용 중인데 Bastion 호스트를 통해 Amazon EMR에 연결할 수 없는 경우 다음을 수행합니다.

  • Bastion 호스트 보안 그룹이 클라이언트 시스템으로부터의 인바운드 트래픽을 허용하는지 확인합니다.
  • EMR 클러스터 보안 그룹이 Bastion 호스트로부터의 인바운드 트래픽을 허용하는지 확인합니다.

네트워크 구성 설정은 다양하므로 엔드 투 엔드 연결이 블랙홀 없이 제대로 설정되어 있는지 확인합니다.

인증 메서드

인증이 올바르게 설정되었는지 확인하려면 다음을 수행합니다.

1.    인증에서 Amazon Elastic Compute Cloud(Amazon EC2) 키 페어를 사용하는 경우 키 페어가 올바르게 생성되고 구성되었는지 확인합니다. 자세한 정보는 SSH 보안 인증에 Amazon EC2 키 페어 사용을 참조하세요.

2.    인증에서 Kerberos를 사용하는 경우 올바르게 구성되었는지 확인합니다. 자세한 정보는 Kerberos 인증 사용을 참조합니다.

클러스터 노드의 리소스 제약

1.    기본 프라이머리 노드가 실행 상태이고 종료되지 않았는지 확인합니다.

2.    프라이머리 노드의 인스턴스 상태 로그를 확인하여 리소스가 어떻게 사용되고 있는지 확인합니다.

다음 명령을 실행하여 상위 CPU 사용자를 확인합니다.

ps auxwww --sort -%cpu | head -10

다음 명령을 실행하여 커널의 성능을 확인합니다.

dmesg | tail -n 25

다음 명령을 실행하여 메모리 사용량을 확인합니다.

free -m

다음 명령을 실행하여 디스크 사용량을 확인합니다.

df -h

EMR 클러스터 대몬(daemon)

프라이머리 노드의 인스턴스 컨트롤러(I/C)는 클러스터 노드에서 실행되는 대몬(daemon)입니다. 인스턴스 컨트롤러는 Amazon EMR 컨트롤 플레인 및 나머지 클러스터와 통신합니다. 다음 명령을 실행하여 실행 상태인지 확인합니다.

다음 명령을 실행하여 인스턴스 컨트롤러의 상태를 확인합니다.

sudo systemctl status instance-controller

다음 명령을 실행하여 인스턴스 컨트롤러를 시작합니다.

sudo systemctl start instance-controller

AWS 공식
AWS 공식업데이트됨 일 년 전