Je souhaite lier mon bloc-notes Amazon EMR à un référentiel basé sur Git.
Résolution
Remarque : les blocs-notes Amazon EMR sont disponibles en tant qu’espaces de travail Amazon EMR Studio dans la nouvelle console Amazon EMR.
Pour créer un nouveau bloc-notes Amazon EMR dans l’ancienne console et associer le bloc-notes à un référentiel basé sur Git, procédez comme suit :
- Créez un sous-réseau privé dans un réseau Amazon Virtual Private Cloud (Amazon VPC).
- Créez une passerelle NAT, puis mettez à jour la table de routage pour qu’elle pointe vers la passerelle NAT.
- Lancez un cluster Amazon EMR dans le sous-réseau privé. Dans la section Configuration logicielle, assurez-vous de sélectionner une configuration qui inclut Apache Spark, Apache Hadoop et Apache Livy.
- Lorsque vous attendez que le cluster atteigne l’état EN ATTENTE, ajoutez le référentiel basé sur Git.
- Pour les informations d’identification Git, sélectionnez Créer un secret. Assurez-vous que le nom d’utilisateur est l’alias du compte Git.
- Créez un groupe de sécurité personnalisé nommé ElasticMapReduceEditors-Editor avec les règles sortantes suivantes :
Pour la règle 1, définissez Type sur Règle TCP personnalisée, Protocole sur TCP, Plage de ports sur 18888 et Destination sur ElasticMapReduceEditors-Livy.
Pour la règle 2, définissez Type sur HTTPS, Protocole sur TCP, Plage de ports sur 443 et Destination sur 0.0.0.0/0.
- Ajoutez une règle entrante au groupe de sécurité ElasticMapReduceEditors-Livy avec les paramètres suivants :
Type : Règle TCP personnalisée
Protocole : TCP
Plage de ports : 18888
Destination : Saisissez le nom du groupe de sécurité personnalisé.
- Modifiez le rôle de service ** EMR_Notebooks_DefaultRole** des Blocs-notes Amazon EMR pour autoriser l’action secretsmanager:GetSecretValue.
- Créez un bloc-notes Amazon EMR avec les paramètres de groupe de sécurité suivants :
Dans la section Groupes de sécurité, sélectionnez Choisir des groupes de sécurité.
Pour Groupes de sécurité de l’instance principale, sélectionnez ElasticMapReduceEditors-Livy.
Pour Groupes de sécurité de l’instance de bloc-notes, sélectionnez votre groupe de sécurité personnalisé.
- Vérifiez que l’état du référentiel basé sur Git passe sur Lié. Lorsque le statut passe sur Lié, vous pouvez utiliser les référentiels Git de votre bloc-notes.