¿Por qué no puedo acceder a mi clúster de Amazon EMR?

3 minutos de lectura
0

No puedo conectarme a mi clúster de Amazon EMR.

Resolución

Reglas del grupo de seguridad de Amazon EMR incorrectas

Para solucionar este problema, tome las siguientes medidas:

  • Compruebe que las ](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-man-sec-groups.html)reglas del grupo de seguridad administrado de Amazon EMR[ sean correctas para los usuarios internos y para los usuarios y aplicaciones externos.
  • Permita TCP en el puerto 8443 para que el administrador del clúster pueda comunicarse con el nodo principal del clúster.
  • Permita SSH en el puerto 22 para poder usar SSH para conectarse al clúster.

Configuración incorrecta de los clústeres de Amazon EMR en una subred privada

Para solucionar este problema, tome las siguientes medidas:

  • Agregue un grupo de seguridad administrado para el acceso a los servicios. Las reglas del grupo de seguridad deben permitir que el administrador del clúster se comunique con los nodos del clúster.
  • Si usa un host bastión, configure el grupo de seguridad del host bastión para permitir el tráfico entrante desde el sistema cliente. Además, configure los grupos de seguridad del clúster de Amazon EMR para permitir el tráfico entrante desde el host bastión.

Nota: Las configuraciones de red varían, así que asegúrese de configurar correctamente la conexión de extremo a extremo sin agujeros negros.

Configuración de autenticación incorrecta

Compruebe si la configuración de autenticación utiliza un par de claves de Amazon Elastic Compute Cloud (Amazon EC2) o Kerberos. A continuación, configure correctamente la configuración de autenticación.

Restricciones de recursos en el nodo del clúster

Para solucionar este problema, tome las siguientes medidas:

  • Compruebe que el nodo principal subyacente existe y se encuentra en estado de ejecución.
  • Consulte el registro de estado de la instancia del nodo principal para determinar cómo utiliza los recursos.
    Ejecute el siguiente comando para comprobar si es el usuario principal de la CPU:
    ps auxwww --sort -%cpu | head -10
    Ejecute el siguiente comando para comprobar el rendimiento del kernel:
    dmesg | tail -n 25
    Ejecute el siguiente comando para comprobar el uso de la memoria:
    free -m
    Ejecute el siguiente comando para comprobar el uso del disco:
    df -h

El controlador de instancias del nodo principal no se ejecuta

Asegúrese de que el controlador de instancias del nodo principal esté en ejecución. El controlador de instancias es el daemon que se ejecuta en los nodos del clúster y se comunica con el plano de control de Amazon EMR y el resto del clúster.

Ejecute el siguiente comando para comprobar el estado del controlador de instancias en las versiones 5.30.0 y posteriores de Amazon EMR:

sudo systemctl status instance-controller

Si el controlador de instancias no está activo, ejecute el siguiente comando para iniciar el controlador de instancias:

sudo systemctl start instance-controller

Para comprobar el estado del controlador de instancias e iniciarlo en versiones anteriores de Amazon EMR, consulte ¿Cómo reinicio un servicio en Amazon EMR?

OFICIAL DE AWS
OFICIAL DE AWSActualizada hace 2 meses