Pourquoi l'exportation de mes données de journaux CloudWatch Logs vers des compartiments S3 échoue-t-elle ?

Solution

Pour dépanner le problème d'échec des tâches d'exportation lors de leur création, vérifiez les paramètres suivants :

• Région : confirmez que vos flux de journaux CloudWatch Logs et vos compartiments S3 se trouvent dans la même région.
• Politiques de compartiment S3: tous les objets et compartiments S3 sont privés par défaut. Seul le propriétaire de la ressource (le compte AWS qui a créé le compartiment) peut accéder au compartiment et aux objets qu'il contient. Utilisez des politiques de compartiment pour définir des autorisations d'accès sur les compartiments S3 sur CloudWatch Logs.

Remarque : Lorsque vous définissez les autorisations d'exportation sur votre compartiment S3, vous devez spécifier les identifiants des comptes autorisés à exporter des journaux vers votre compartiment. Répertoriez ces comptes sous la clé aws:SourceAccount. Toutefois, aws:SourceAccount ne peut pas être ajouté dans l'action s3:GetBucketAcl.

• Préfixes de compartiment S3 : lorsque vous définissez la politique de compartiment S3, une bonne pratique consiste à inclure une chaîne générée de façon aléatoire comme préfixe du compartiment. Si vous utilisez un préfixe, vous devez spécifier la chaîne générée de façon aléatoire dans les paramètres de préfixe de compartiment S3 lorsque vous créez la tâche d'exportation. Sinon, la tâche d'exportation ne sera pas créée.
• Politiques AWS Identity and Access Management (IAM): confirmez que l'utilisateur IAM (rôle IAM) qui a créé la tâche d'exportation dispose d'un accès complet à Simple Storage Service (Amazon S3) et CloudWatch Logs.
• Quotas de ressources – Le quota de service CloudWatch Logs n'autorise qu'une seule tâche d'exportation en cours ou en attente par compte et par région. Ce quota ne peut pas être modifié. Assurez-vous que vous ne dépassez pas le quota autorisé.
• Type de chiffrement côté serveur: assurez-vous que vous utilisez un type de chiffrement côté serveur pris en charge. Vous pouvez exporter vers des compartiments S3 chiffrés avec AES-256 et SSE-KMS.

Pour dépanner les tâches qui ont échoué après leur création, vérifiez le paramètre Time Range (Plage de temps). Si vous exportez des flux de journaux avec de grandes quantités de données et que vous spécifiez une longue plage de temps, la tâche d'exportation peut échouer. Dans ce cas, spécifiez une plage de temps plus courte.

Remarque : il peut s'écouler jusqu'à 12 heures avant que les journaux ne soient disponibles pour l'exportation. La tâche d'exportation elle-même peut prendre un certain temps. Pour le traitement en temps réel ou l'archivage continu de nouvelles données dans S3, utilisez les filtres d'abonnements. Vous pouvez diffuser des flux vers Amazon Kinesis Data Firehose et définir Simple Storage Service (Amazon S3) comme cible. Pour archiver des données historiques dans S3, exportez vos données vers Simple Storage Service (Amazon S3).

Informations connexes

J'ai configuré Amazon CloudWatch pour exporter les données du journal vers Simple Storage Service (Amazon S3). Pourtant, les données du journal sont soit non disponibles, soit non valides. Comme résoudre ce problème ?

Comment puis-je récupérer les données de journaux dans CloudWatch Logs ?

Exportation de données de journal vers Simple Storage Service (Amazon S3)

Utilisation des filtres d'abonnements CloudWatch Logs