Comment restaurer des ressources AWS affectées par l'agent CrowdStrike Falcon ?

Brève description

Le 19 juillet 2024 à 04h09 UTC, une mise à jour de l'agent CrowdStrike Falcon (csagent.sys) a provoqué des erreurs d'arrêt imprévues ou un écran bleu sur les appareils Windows. Les appareils concernés incluaient les instances Amazon Elastic Compute Cloud (Amazon EC2) et les bureaux virtuels Amazon WorkSpaces Personal. Ce problème concerne uniquement les instances Amazon EC2 et les WorkSpaces personnels sur lesquelles CrowdStrike est installé.

Pour en savoir plus, consultez la page Correction et pôle d’orientation : Incident du « Channel File 291 » sur le site Web de CrowdStrike.

Souvent, le redémarrage de votre instance ou de WorkSpace permettra à l'agent CrowdStrike Falcon de se mettre à jour correctement.

Remarque : Si votre instance utilise des volumes de stockage d'instances, les données stockées sur les volumes ne sont pas conservées lorsque vous arrêtez, mettez en veille prolongée ou résiliez l’instance. Lorsque vous arrêtez, mettez en veille prolongée ou résiliez l'instance, le volume de stockage de l'instance est effacé de manière cryptographique. Pour plus d'informations, consultez la section Stockage par blocs temporaire du stockage d'instances pour les instances EC2.

Résolution

Remarque : Si des erreurs surviennent lorsque vous exécutez des commandes de l'interface de la ligne de commande AWS (AWS CLI), consultez la section Résoudre des erreurs liées à l’AWS CLI. Vérifiez également que vous utilisez bien la version la plus récente de l’AWS CLI.

Si un redémarrage ne permet pas de rétablir l'état normal de l'instance, utilisez l'un des dossiers d'exploitation d'AWS Systems Manager Automation pour restaurer vos instances. Vous pouvez également restaurer manuellement vos instances.

Pour utiliser le dossier d'exploitation, examinez d'abord les prérequis suivants :

• Si votre volume racine Amazon Elastic Block Store (Amazon EBS) est chiffré, vérifiez que la clé de chiffrement est présente dans votre compte. Assurez-vous également que vous êtes autorisé à l'utiliser.
• Le dossier d'exploitation AWSSupport-StartEC2RescueWorkflow arrêtera votre instance. Si votre instance utilise des volumes de stockage d'instances, utilisez la méthode de restauration manuelle pour éviter toute perte de données.
• Avant de démarrer le dossier d'exploitation AWSSupport-StartEC2RescueWorkflow, vérifiez que votre utilisateur ou votre rôle Gestion des identités et des accès AWS (AWS IAM) dispose bien des autorisations requises. Pour plus d’informations, consultez la section Autorisations IAM requises sur la page AWSSupport-StartEC2RescueWorkflow. Vous devez également ajouter l'autorisation kms:CreateGrant au rôle IAM.

Identifier des instances défaillantes

Pour identifier les instances défaillantes, exécutez la commande describe-instance-status de l'AWS CLI :

aws ec2 describe-instance-status --filters Name=instance-status.status,Values=impaired --query "InstanceStatuses[*].InstanceId" --region your-region

Remarque : Remplacez your-region par votre région AWS.

Utiliser le dossier d'exploitation d'AWS Systems Manager Automation pour restaurer une seule instance EC2

Pour utiliser AWSSupport-Startec2RescueWorkflow afin d'automatiser la restauration, ouvrez le dossier d'exploitation sur la console Systems Manager. Sélectionnez ensuite la région et l'instance que vous souhaitez restaurer. Si votre volume racine Amazon EBS est chiffré, définissez AllowEncryptedVolume sur True.

Le flux de travail du dossier d'exploitation lance une instance EC2 temporaire (instance d'assistance) dans un cloud privé virtuel (VPC). Le flux de travail associe automatiquement l’instance d'assistance au groupe de sécurité par défaut du VPC. L'instance doit autoriser les communications HTTPS sortantes (port TCP 443) vers les points de terminaison d'Amazon Simple Storage Service (Amazon S3) et de Systems Manager.

Vous devez lancer l'instance dans l'un des sous-réseaux suivants afin qu'elle atteigne les services AWS requis pour effectuer les tâches du flux de travail :

• Un sous-réseau public dont le paramètre AssociatePublicIpAddress est défini sur True.
• Un sous-réseau privé avec un accès Internet via NAT.

L'instance d’assistance monte le volume racine des instances sélectionnées, puis exécute la commande suivante pour supprimer le fichier concerné :

get-childitem -path "$env:EC2RESCUE_OFFLINE_DRIVE\Windows\System32\drivers\CrowdStrike\" -Include C-00000291*.sys -Recurse | foreach { $_.Delete()}

Pour vérifier le contenu de la charge utile Base64 OfflineScript de la commande précédente, exécutez la commande suivante :

PS C:\Windows\system32> [System.Text.Encoding]::UTF8.GetString([System.Convert]::FromBase64String("REPLACE_WITH_BASE64_HERE"))

Utiliser le dossier d'exploitation Systems Manager Automation pour restaurer plusieurs instances EC2

Pour utiliser le dossier d'exploitation sur plusieurs instances EC2, vous devez utiliser des ID d'instance, des identifications ou des groupes de ressources.

Le dossier d'exploitation lancera une instance d'assistance pour chaque instance sélectionnée. Veillez à disposer d'un nombre suffisant d'adresses IP dans le sous-réseau sélectionné pour vos instances. Aussi, assurez-vous de disposer de quotas d'instances et de quotas de volume EBS suffisants.

Remarque : Le temps nécessaire à l'exécution du dossier d'exploitation d'automatisation dépendra de la quantité de simultanéité que vous avez sélectionnée.

Utiliser des ID d'instance

Procédez comme suit :

1. Ouvrez le dossier d'exploitation AWSSupport-StartEC2RescueWorkflow dans la console Systems Manager.
2. Sous Exécuter le dossier d'exploitation d'automatisation, choisissez Contrôle du débit.
3. Dans la section Cibles, pour Paramètre, choisissez InstanceId. Dans Cibles, choisissez Valeurs de paramètre.
4. Dans Paramètres d'entrée, sélectionnez les instances que vous souhaitez restaurer.
5. Dans Contrôle du débit, choisissez votre option de simultanéité pour le nombre de ressources autorisées à exécuter simultanément l'automatisation. Pour plus d’informations, consultez la section Contrôler les automatisations à grande échelle.
6. Sélectionnez Exécuter.

Utiliser des identifications

Procédez comme suit :

1. Créez une nouvelle identification unique à utiliser uniquement pour les instances que vous souhaitez restaurer. Toutes les instances dotées de cette identification feront l’objet d’une restauration, ce qui peut entraîner des pertes de données accidentelles ou affecter la disponibilité des instances. Pour plus d’informations, consultez la section Identifier vos ressources Amazon EC2 et Qu’est-ce que l'éditeur d’identifications ?.
2. Pour vérifier que seules les instances concernées partagent la nouvelle identification, utilisez l’explorateur de ressources AWS ou l'éditeur d’identifications.
3. Ouvrez le dossier d'exploitation AWSSupport-StartEC2RescueWorkflow dans la console Systems Manager.
4. Sous Exécuter le dossier d'exploitation d'automatisation, choisissez Contrôle du débit.
5. Dans la section Cibles, pour Paramètre, choisissez InstanceId. Dans Cibles, choisissez Valeurs de paramètre.
6. Dans Identifications, choisissez Modifier. Saisissez la clé et la valeur d’identification, puis choisissez Enregistrer.
7. Dans Paramètres d'entrée, sélectionnez les instances que vous souhaitez restaurer.
8. Dans Contrôle du débit, choisissez votre option de simultanéité pour le nombre de ressources autorisées à exécuter simultanément l'automatisation. Pour plus d’informations, consultez la section Contrôler les automatisations à grande échelle.
9. Sélectionnez Exécuter.

Utiliser des groupes de ressources

Procédez comme suit :

1. Créez un nouveau groupe de ressources à utiliser uniquement pour les instances que vous souhaitez restaurer. Toutes les instances appartenant à ce groupe de ressources feront l’objet d’une restauration, ce qui peut entraîner des pertes de données accidentelles ou affecter la disponibilité des instances. Pour en savoir plus, consultez la page Création de groupes basés sur des requêtes dans AWS Resource Groups.
2. Pour vérifier que seules les instances concernées appartiennent au nouveau groupe de ressources, utilisez la console Groupes de ressources AWS.
3. Ouvrez le dossier d'exploitation AWSSupport-StartEC2RescueWorkflow dans la console Systems Manager.
4. Sous Exécuter le dossier d'exploitation d'automatisation, choisissez Contrôle du débit.
5. Dans la section Cibles, pour Paramètre, choisissez InstanceId. Dans Cibles, choisissez Valeurs de paramètre.
6. Dans Groupes de ressources, sélectionnez le nouveau groupe de ressources.
7. Dans Paramètres d'entrée, sélectionnez les instances que vous souhaitez restaurer.
8. Dans Contrôle du débit, choisissez votre option de simultanéité pour le nombre de ressources autorisées à exécuter simultanément l'automatisation. Pour plus d’informations, consultez la section Contrôler les automatisations à grande échelle.
9. Sélectionnez Exécuter.

Restauration manuelle de vos instances

Procédez comme suit :

1. Créez un instantané du volume racine EBS de l'instance.
2. Créez un nouveau volume EBS à partir de l'instantané dans la même zone de disponibilité.
3. Lancez une nouvelle instance Windows dans la même zone de disponibilité.
4. Attachez le nouveau volume EBS à la nouvelle instance en tant que volume de données.
5. Téléchargez l'outil EC2Rescue for Windows Server sur l'instance d'assistance.
6. Cliquez avec le bouton droit sur EC2Rescue.exe, puis choisissez Exécuter en tant qu'administrateur.
   Sélectionnez J'accepte dans le contrat de licence.
   Sur l'écran de bienvenue, choisissez Suivant.
   Sur l'écran Sélectionner le mode, choisissez Instance hors ligne.
   Sélectionnez le disque hors ligne, puis cliquez sur Suivant. Lorsque vous y êtes invité, choisissez Oui, puis OK.
   Continuez à exécuter EC2Rescue.
   Remarque : Si votre instance d'origine utilise BitLocker pour chiffrer le volume racine EBS, suivez les instructions qui apparaissent à l'écran pour renseigner votre mot de passe ou votre clé de restauration BitLocker. Vous pouvez également utiliser manage-bde unlock via la ligne de commande. Pour plus d’informations, consultez la page manage-bde unlock sur le site Web de Microsoft. Après avoir déverrouillé le lecteur, répétez l'étape 6.
7. Accédez au dossier X:\Windows\System32\drivers\CrowdStrike\ sur le volume attaché, puis supprimez C-00000291*.sys.
   Remarque : Dans cet exemple, X: est la lettre de lecteur qui est attribuée au volume EBS secondaire de l'instance concernée. Il peut s'agir d'une lettre différente dans votre environnement.
8. Revenez à EC2 Rescue.
   Choisissez Diagnostic et assistance, puis Suivant.
   Conservez toutes les options par défaut.
   Choisissez Suivant, puis à nouveau Suivant.
   Lorsque vous y êtes invité, choisissez Assistance. Choisissez OK, puis Suivant.
   Choisissez Terminer.
   Dans la fenêtre contextuelle, choisissez Corriger la signature du disque, puis OK.
   Si l’option Corriger la signature du disque est grisée, cliquez sur OK.
9. Détachez le volume EBS de la nouvelle instance.
10. Créez un instantané du volume EBS détaché.
11. Sélectionnez le même type de volume (par exemple, gp2 ou gp3) que celui de l'instance concernée, puis créez une Amazon Machine Image (AMI) à partir de l'instantané.
12. Remplacez le volume racine sur l'instance EC2 d'origine en spécifiant l'AMI.

WorkSpaces

Si plusieurs redémarrages ne permettent pas de rétablir votre WorkSpace à son état normal, vous devez alors restaurer le WorkSpace sur la base d’un instantané existant. Si la restauration de votre WorkSpace ne permet pas à celui-ci de revenir à un état normal, vous devez alors reconstruire le WorkSpace.

Résolution des problèmes

Si les étapes précédentes ne permettent pas de résoudre vos problèmes de connectivité, suivez les étapes de dépannage suivantes :

Dossier d'exploitation de Systems Manager Automation

Problème : L'instance d'assistance ne peut pas se connecter aux points de terminaison du service AWS. Ce problème peut entraîner un échec de l'étape waitForEc2RescueInstanceToBeManaged du flux de travail d'automatisation.

Solution : Vérifiez que le groupe de sécurité par défaut autorise le trafic sortant (port TCP 443) à atteindre les points de terminaison de Systems Manager ainsi que les points de terminaison S3. Assurez-vous également que le sous-réseau sélectionné peut se connecter à ces points de terminaison. Pour utiliser un groupe de sécurité personnalisé, mettez à jour la valeur du paramètre HelperInstanceSecurityGroupId avec l'ID de votre groupe de sécurité. Si vous avez choisi un sous-réseau public, définissez le paramètre AssociatePublicIpAddress sur True. Vous pouvez aussi définir le paramètre SubnetId sur CreateNewVPC pour que l'automatisation crée un nouveau VPC avec la connectivité requise.

**Problème :](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-stop-protection.html) L'instance concernée ne s'arrête pas parce que la **protection contre l’arrêt est activée[.

Solution : Désactivez la protection contre l’arrêt pour l'instance concernée, puis lancez à nouveau l'automatisation.

Remarque : Si votre instance utilise des volumes de stockage d'instances, les données stockées sur ces volumes ne sont pas conservées lorsque vous arrêtez l’instance.

Problème : L'instance d'assistance ne parvient pas à démarrer.

Solution : Le type d'instance sélectionné pour l'instance EC2Rescue n'est peut-être pas disponible dans la zone de disponibilité du sous-réseau de l'instance d'assistance. Utilisez un type d'instance pris en charge dans la même zone de disponibilité que celle de l'instance d'assistance.

Problème : Lorsque l'automatisation vérifie que la création de la pile AWS CloudFormation est terminée, elle échoue avec l'erreur « Stack AWSSupport-EC2Rescue-{UUID} entered unexpected state: DELETE_IN_PROGRESS ».

Solution : Pour déterminer la cause de l'échec de la pile, récupérez l'UUID et utilisez la console CloudFormation. Un échec de la pile peut se produire si vous ne disposez pas des autorisations nécessaires pour créer les ressources de pile. Pour en savoir plus, consultez la section Autorisations IAM requises de la rubrique AWSSupport-StartEC2RescueWorkflow et la section Comment résoudre les erreurs d’accès refusé ou d’opération non autorisée à l’aide d’une politique IAM ?

Problème : Le dossier d'exploitation échoue à l'étape assertInstanceRootVolumeIsNotEncrypted du flux de travail d'automatisation en raison d'un volume EBS chiffré.

Solution : Si le volume utilise le chiffrement EBS, définissez le paramètre AllowEncryptedVolume sur True.

Problème : Le VPC par défaut a été supprimé.

Solution : Définissez le paramètre SubnetId sur CreateNewVPC pour créer un nouveau VPC qui permettra à l'instance de se restaurer.

Problème : L'étape detachInstanceRootVolume du flux de travail d'automatisation échoue avec l’erreur « error occurred (IncorrectState) when calling the DetachVolume operation: Unable to detach root volume ».

Solution : Lorsque vous exécutez l'automatisation, maintenez l'instance à l'état Arrêté.

Restauration manuelle de l'instance

Problème : L'instance ne démarre pas et renvoie le message d'erreur « the application or operating system couldn't be loaded because a registered file is missing or contains errors ».

Solution : Si vous n'avez pas sélectionné l’option Corriger la signature du disque, il est possible qu’une collision de signatures de disque se soit produite. Pour résoudre ce problème, suivez l'étape 8 du processus de restauration manuelle. Si vous avez restauré l'instance sans utiliser EC2Rescue, consultez la section Résoudre les problèmes liés aux instances Windows Amazon EC2.

**Remarque :](https://aws.amazon.com/support) Si les instructions présentées ci-dessus ne permettent pas de résoudre le problème de connectivité à votre instance EC2, contactez **AWS Support[. Veillez à prendre une capture d'écran de l'instance inaccessible.

Informations connexes

Exécuter l'outil EC2Rescue sur des instances inaccessibles