클러스터 크기 조정 중에 EMR 스팟 인스턴스가 프로비저닝되지 않는 이유는 무엇인가요?

해결 방법

Amazon Elastic Compute Cloud(Amazon EC2)는 다음과 같은 이유로 언제든지 스팟 인스턴스를 중단할 수 있습니다.

• 스팟 용량이 부족합니다.
• 요청 제약 조건을 충족할 수 없습니다.
• 스팟 가격이 지정된 최고 가격보다 높습니다.
• 스팟 계정 할당량이 소진되었습니다. 이 경우 증가를 요청할 수 있습니다.

자세한 내용은 Amazon EC2에서 스팟 인스턴스가 종료된 이유는 무엇인가요?를 참조하세요.

참고: 상태 비저장이고, 내결함성이 있고, 중단을 견딜 수 있을 만큼 유연한 워크로드에 대해 스팟 인스턴스를 사용하는 것이 모범 사례입니다.

또한 부트스트랩 스크립트가 수정되었거나 스크립트에 오류가 포함되어 있기 때문에 스팟 인스턴스 및 온디맨드 인스턴스의 크기가 조정되지 않을 수 있습니다.

/emr/instance-controller/log/bootstrap-actions 또는 s3://cluster_id/node-failed/bootstrap-actions/stderr.gz에서 부트스트랩 스크립트에 대한 로그를 확인하세요. 로그에는 STARTUP_SCRIPT_FAILED_RET_CODE 오류가 표시됩니다.

예를 들어, 다음 부트스트랩 작업 로그는 부트스트랩 작업 1(emr_bootstrap_actions.sh)이 실패했음을 보여줍니다.

Another app is currently holding the yum lock; waiting for it to exit...
  The other application is: yum
    Memory : 125 M RSS (444 MB VSZ)
    Started: Tue Jul 19 05:36:36 2022 - 00:03 ago
    State  : Running, pid: 7914
Error: Package: falcon-sensor-4.18.0-6403.amzn2.x86_64 (/falcon-sensor-4.18.0-6403.amzn2.x86_64)
           Requires: systemd

위 오류가 표시되면 다음과 같은 동작이 발생합니다.

• 모든 새 대체 노드가 종료됩니다.
• 노드가 새 대체 인스턴스 프로비저닝을 중단합니다.
• 코어 노드 인스턴스 그룹은 다음 예와 같이 Arrested 모드로 전환됩니다.

"state": "ARRESTED",
  "message": "Instance group ig-2JN5xxxxxxxx in Amazon EMR cluster j-37H4xxxxxxx (emr-xxxxx-spark-cluster) was arrested at  for the following reason: Error provisioning instances."
=====

---

관련 정보

스팟 인스턴스 중단

스팟 요청 상태

스팟 인스턴스 모범 사례

스팟 요금이 최고가를 초과하지 않는데도 스팟 인스턴스가 종료되는 이유는 무엇인가요?