Je souhaite configurer la mise à l'échelle automatique dans Amazon EMR.
Résolution
Pour configurer la mise à l'échelle automatique dans Amazon EMR, procédez comme suit :
Amazon EMR versions 5.30.0, 6.1.0 et ultérieures
Si vous utilisez Amazon EMR 5.30.0 et versions ultérieures (sauf Amazon EMR version 6.0.0), utilisez l'une des méthodes suivantes pour configurer la mise à l'échelle automatique :
Amazon EMR versions 4.0.0 et ultérieures
La mise à l'échelle automatique avec une politique personnalisée est disponible dans la configuration des groupes d'instances et n'est pas disponible lorsque vous utilisez des parcs d'instances. Pour plus d'informations, consultez la section Utilisation de la mise à l'échelle automatique avec une politique personnalisée pour les groupes d'instances.
Pour utiliser les métriques Amazon CloudWatch à des fins de mise à l’échelle automatique dans Amazon EMR, consultez la section Surveillance des métriques Amazon EMR avec CloudWatch. Voici les métriques recommandées à utiliser pour la mise à l'échelle automatique :
- YarnMemoryAvailablePercentage : Cette métrique indique le pourcentage de mémoire disponible pour YARN.
- ContainerPendingRatio : Cette métrique indique le ratio entre les conteneurs en attente et les conteneurs alloués. Utilisez cette métrique pour mettre à l’échelle un cluster en fonction du comportement d'allocation des conteneurs pour des charges variées.
Pour vérifier que la politique de mise à l’échelle est associée au groupe d'instances, ouvrez la console Amazon EMR, puis sélectionnez Événements dans le volet de navigation gauche. Puis, vérifiez la présence d'événements liés à la politique de mise à l’échelle automatique.
Informations connexes
Utiliser la mise à l'échelle du cluster Amazon EMR pour s’adapter à l'évolution des charges de travail