Passer au contenu

Comment puis-je configurer la mise à l'échelle automatique dans Amazon EMR ?

Lecture de 2 minute(s)
0

Je souhaite configurer la mise à l'échelle automatique dans Amazon EMR.

Résolution

Pour configurer la mise à l'échelle automatique dans Amazon EMR, procédez comme suit :

Amazon EMR versions 5.30.0, 6.1.0 et ultérieures

Si vous utilisez Amazon EMR 5.30.0 et versions ultérieures (sauf Amazon EMR version 6.0.0), utilisez l'une des méthodes suivantes pour configurer la mise à l'échelle automatique :

Amazon EMR versions 4.0.0 et ultérieures

La mise à l'échelle automatique avec une politique personnalisée est disponible dans la configuration des groupes d'instances et n'est pas disponible lorsque vous utilisez des parcs d'instances. Pour plus d'informations, consultez la section Utilisation de la mise à l'échelle automatique avec une politique personnalisée pour les groupes d'instances.

Pour utiliser les métriques Amazon CloudWatch à des fins de mise à l’échelle automatique dans Amazon EMR, consultez la section Surveillance des métriques Amazon EMR avec CloudWatch. Voici les métriques recommandées à utiliser pour la mise à l'échelle automatique :

  • YarnMemoryAvailablePercentage : Cette métrique indique le pourcentage de mémoire disponible pour YARN.
  • ContainerPendingRatio : Cette métrique indique le ratio entre les conteneurs en attente et les conteneurs alloués. Utilisez cette métrique pour mettre à l’échelle un cluster en fonction du comportement d'allocation des conteneurs pour des charges variées.

Pour vérifier que la politique de mise à l’échelle est associée au groupe d'instances, ouvrez la console Amazon EMR, puis sélectionnez Événements dans le volet de navigation gauche. Puis, vérifiez la présence d'événements liés à la politique de mise à l’échelle automatique.

Informations connexes

Utiliser la mise à l'échelle du cluster Amazon EMR pour s’adapter à l'évolution des charges de travail

AWS OFFICIELA mis à jour il y a un an