¿Cómo soluciono los problemas de conectividad con mi cuaderno de Amazon EMR?

Descripción breve

Al conectarse a su cuaderno de Amazon EMR, es posible que reciba errores similares a los siguientes:

• Workspace (notebook) is stopped. Internal Error. (Se detuvo el espacio de trabajo [cuaderno]. Error interno).
• Workspace (notebook) can now be used in local mode. (El espacio de trabajo [cuaderno] ahora se puede usar en modo local).
• Notebook is stopped. Service Role does not have the required permissions. (Se detuvo el cuaderno. El rol de servicio no tiene los permisos necesarios).
• Notebook is stopped. Notebook security group sg-xxxxxxxx does not have an egress rule to connect with the master security group sg-yyyyyy. Please fix the security group or use the default option. (Se detuvo el cuaderno. El grupo de seguridad de cuadernos sg-xxxxxxxx no tiene una regla de salida para conectarse con el grupo de seguridad maestro sg-yyyyyy. Corrija el grupo de seguridad o utilice la opción predeterminada).
• Notebook is stopped. Notebook security group sg-xxxxxxx should not have any ingress rules. Please fix the security group or use the default option. (Se detuvo el cuaderno. El grupo de seguridad de cuadernos sg-xxxxxx no debería tener reglas de ingreso. Corrija el grupo de seguridad o utilice la opción predeterminada).

Resolución

Comprobar el rol de servicio en los cuadernos de EMR

1.    Valide que el rol de AWS Identity and Access Management (IAM) del cuaderno tenga los permisos mínimos requeridos. A fin de obtener más información, consulte Rol de servicio para cuadernos de EMR.

2.    Compruebe que el cuaderno tenga todos los permisos incluidos en AmazonElasticMapReduceEditorsRole. Utilice la política administrada de AWS S3FullAccessPolicy para obtener acceso completo a Amazon Simple Storage Service (Amazon S3). Para obtener más información, consulte Política administrada de AWS: Amazon S3FullAccess.

3.    Elimine cualquier restricción de permisos de la política de bucket adjunta al bucket de S3 donde se encuentra el cuaderno.

Comprobar los grupos de seguridad en los cuadernos de EMR

1.    Compruebe que el grupo de seguridad utilizado para su cuaderno tenga al menos las reglas mínimas requeridas. A fin de obtener más información, consulte Especificación de grupos de seguridad de EC2 para cuadernos de EMR.

2.    Se recomienda utilizar diferentes grupos de seguridad para el clúster y el cuaderno de EMR. Los grupos de seguridad del cuaderno y el clúster tienen diferentes requisitos de reglas de entrada y salida.

El grupo de seguridad del cuaderno ElasticMapReduceEditors-Editor tiene una regla de salida que permite la conexión al grupo de seguridad maestro ElasticMapReduceEditors-Livy. Esta conexión usa tcp/18888. Elimine cualquier regla de salida agregada al enrutamiento a 0.0.0.0/0 del grupo de seguridad del cuaderno ElasticMapReduceEditors-Editor.

El grupo de seguridad maestro ElasticMapReduceEditors-Livy tiene una regla de ingreso que permite la conexión al grupo de seguridad del cuaderno ElasticMapReduceEditors-Editor. Esta conexión usa tcp/18888. Elimine cualquier regla de ingreso agregada al enrutamiento a 0.0.0.0/0 del grupo de seguridad maestro ElasticMapReduceEditors-Livy.

Requisitos del clúster de EMR

1.    Verifique que el clúster adjunto sea compatible y cumpla con todos los requisitos del clúster.

2.    Cuando la suplantación de Livy esté activada, compruebe que hadoop-httpfs se ejecute en el nodo maestro del clúster de EMR.

Utilice el siguiente comando para comprobar el estado de hadoop-httpfs:

$ sudo systemctl status hadoop-httpfs

Use el siguiente comando para activar hadoop-httpfs:

$ sudo systemctl start hadoop-httpfs