Pourquoi mon cluster EMR ne se résilie-t-il pas ou se résilie-t-il plus tôt que prévu lorsque j'utilise une politique de résiliation automatique ?

Lecture de 3 minute(s)
0

J'ai configuré une politique de résiliation automatique pour mon cluster Amazon EMR. Le cluster continue de fonctionner comme s'il était actif ou se résilie avant le délai d'inactivité configuré dans la politique de résiliation automatique.

Brève description

Lorsque vous créez un cluster EMR, vous pouvez activer la politique de résiliation automatique. La politique de résiliation automatique résilie le cluster après un certain temps d'inactivité.

Solution

1.    Assurez-vous que le rôle de profil d'instance Amazon Elastic Compute Cloud (Amazon EC2), EMR_EC2_DefaultRole, dispose des autorisations suivantes. Si le rôle de profil d'instance EMR EC2 ne dispose pas de ces autorisations, le cluster reste actif même s'il répond à l'exigence de délai d'inactivité.

{
    "Version": "2012-10-17",
    "Statement": {
        "Sid": "AllowAutoTerminationPolicyActions",
        "Effect": "Allow",
        "Action": [
            "elasticmapreduce:PutAutoTerminationPolicy",
            "elasticmapreduce:GetAutoTerminationPolicy",
            "elasticmapreduce:RemoveAutoTerminationPolicy"
        ],
        "Resource": "your-resources"
    }

Dans les versions 5.34 à 5.36 et 6.4.0 ou ultérieures d'Amazon EMR, un cluster est inactif lorsque les conditions suivantes sont réunies :

  • Aucune application YARN n'est active.
  • Le taux d'utilisation du HDFS est inférieur à 10 %.
  • Aucune connexion EMR Notebook ou EMR Studio n'est active.
  • Aucune interface utilisateur d'application intégrée au cluster n'est utilisée.

Dans les versions 5.30.0 à 5.33.1 et 6.1.0 à 6.3.0 d'Amazon EMR, un cluster est inactif lorsque les conditions suivantes sont réunies :

  • Aucune application YARN n'est active.
  • Le taux d'utilisation du HDFS est inférieur à 10 %.
  • Aucune tâche Spark n'est active dans le cluster.

2.    Assurez-vous que le processus metrics-collector est en cours d'exécution. Le processus metrics-collector collecte les métriques pour déterminer la résiliation automatique. Exécutez les commandes suivantes pour vérifier le processus metrics-collector :

ps -ef|grep metrics-collector

-ou-

systemctl status metricscollector.service

Pour plus d'informations, consultez Comment redémarrer un service dans Amazon EMR ?

3.    Lorsque vous activez la résiliation automatique à l'aide d'une politique de résiliation automatique, Amazon EMR émet la métrique Amazon CloudWatch AutoTerminationClusterIdle avec une granularité d'une minute. Cette métrique évalue si le cluster répond à l'exigence d'état inactif. Si cette métrique indique « 1 », le cluster est inactif. Si elle indique « 0 », le cluster est toujours actif.

Consultez les métriques CloudWatch du cluster EMR et vérifiez que la métrique CloudWatch AutoTerminationisCluseterIdle est continuellement définie sur « 1 » dans le cluster. Si elle est continuellement définie sur « 1 », le cluster est éligible à la résiliation automatique.


Informations connexes

Utilisation d'une politique de résiliation automatique

Surveillance des métriques avec CloudWatch

AWS OFFICIEL
AWS OFFICIELA mis à jour il y a un an