Comment configurer la mise à l'échelle automatique dans Amazon EMR ?

Brève description

• Versions d'Amazon EMR 5.30.0, 6.1.0 et ultérieures : utilisez la mise à l'échelle gérée Amazon EMR. Ou utilisez la mise à l'échelle automatique avec une stratégie personnalisée pour les groupes d'instances.
• Versions d'Amazon EMR 4.0.0-5.29.0 et 6.0.0 : utilisez la mise à l'échelle automatique avec une stratégie personnalisée pour les groupes d'instances.

Solution

Amazon EMR versions 5.30.0, 6.1.0 et ultérieures

Si vous utilisez Amazon EMR 5.30.0, 6.1.0 ou des versions ultérieures, vous disposez de deux options pour la mise à l'échelle automatique : activer la mise à l'échelle gérée Amazon EMR pour augmenter ou diminuer automatiquement le nombre d'instances ou d'unités dans votre cluster en fonction de la charge de travail. Vous pouvez également utiliser la mise à l'échelle automatique avec une politique personnalisée pour les groupes d'instances, comme expliqué dans la section suivante.

Amazon EMR versions 4.0.0 et ultérieures

1. Suivez les étapes de la section Utilisation de la mise à l'échelle automatique avec une stratégie personnalisée pour les groupes d'instances. Pour plus d'informations sur les mesures Amazon CloudWatch que vous pouvez utiliser pour la mise à l'échelle automatique dans Amazon EMR, consultez Surveillance des métriques avec CloudWatch. Voici deux mesures couramment utilisées pour la mise à l'échelle automatique :
   YARNMemoryAvailablePourcentage : pourcentage de mémoire restante disponible pour YARN.
   ContainerPendingRatio : permet d'afficher le ratio entre les conteneurs en attente et les conteneurs alloués. Vous pouvez utiliser cette métrique pour mettre à l'échelle un cluster en fonction du comportement d'allocation des conteneurs pour des charges variées. Cela est utile pour le réglage des performances.
2. Pour vérifier que la stratégie de mise à l'échelle est attachée au groupe d'instances, choisissez Events (Événements) dans le volet de navigation.
3. Recherchez les événements de stratégie de mise à l'échelle automatique.

Informations connexes

Mise à l'échelle des ressources d'un cluster