Pourquoi existe-t-il un écart dans les métriques de stockage et de taille entre la console Amazon S3, CloudWatch et S3 Storage Lens ?

Brève description

Les services AWS utilisent différentes méthodes pour mesurer le stockage et générer des rapports sur les valeurs de stockage. La métrique CloudWatch pour le stockage quotidien de compartiment inclut les chargements partitionnés incomplets et les versions non actuelles. La métrique Amazon S3 Storage Lens pour le stockage total inclut les chargements partitionnés incomplets, les métadonnées d’objet et les marqueurs de suppression. La métrique de la console Amazon S3 pour la taille totale de chaque compartiment n'inclut pas les chargements partitionnés incomplets ni les versions non actuelles.

Résolution

Identifier les causes de la différence entre les métriques de stockage

Pour identifier la cause des différences, procédez comme suit :

• Vérifiez si vous avez activé la gestion des versions S3.
• Vérifiez si vos chargements partitionnés sont incomplets.
• Vérifiez la période couverte par le rapport. Étant donné que CloudWatch ne publie des métriques pour Amazon S3 qu'une fois par jour, il est possible que les métriques ne présentent pas les informations les plus récentes. Vous pouvez toutefois configurer CloudWatch pour surveiller vos ressources et applications AWS en temps réel.
• Déterminez si différents systèmes de base sont à l'origine des différences de calcul. La console Amazon S3 et S3 Storage Lens utilisent la conversion en base 2 (/1024) pour générer des rapports sur les métriques de stockage. CloudWatch utilise la conversion de base 10 (/1000) par défaut.

Si vous avez activé la gestion des versions S3, utilisez une liste d'inventaire Amazon S3 pour vérifier les différentes versions de votre compartiment S3. La liste d'inventaire capture des métadonnées telles que le nom du compartiment, la taille de l'objet, la classe de stockage et l'ID de version. Vous pouvez utiliser Amazon Athena pour interroger les données. Vous pouvez également utiliser les métriques du tableau de bord S3 Storage Lens relatives aux octets de version actuelle et aux octets de version non actuelle pour calculer la taille des versions actuelles et non actuelles.

Pour supprimer des chargements partitionnés incomplets, consultez la section Découverte et suppression des chargements partitionnés incomplets afin de réduire les coûts liés à Amazon S3.

Examiner vos métriques de stockage

Calculer les métriques de stockage quotidiennes dans CloudWatch

La métrique BucketSizeBytes de CloudWatch capture tous les types de stockage Amazon S3 et Amazon S3 Glacier, les versions d'objet et les chargements partitionnés incomplets. CloudWatch calcule la somme de toutes les tailles d'objet, des objets actuels et non actuels de votre compartiment et des tailles de chargement partitionné incomplètes. La métrique BucketSizeBytes calcule la quantité de données en octets contenue dans un compartiment S3 dans les classes de stockage d'objets suivantes :

• Norme S3
• Hiérarchisation-intelligente S3
• Standard S3 – Accès peu fréquent
• S3 One Zone – IA
• Stockage à redondance réduite S3
• Archive approfondie de S3 Glacier
• Récupération flexible dans S3 Glacier
• Récupération instantanée dans S3 Glacier

La métrique NumberOfObjects de CloudWatch compte les valeurs suivantes dans votre compartiment :

• Le nombre total d'objets parmi toutes les classes de stockage. Pour les compartiments avec gestion des versions, cela inclut à la fois les versions actuelles et non actuelles des objets ainsi que les marqueurs de suppression.
• Le nombre total de parties pour les chargements partitionnés incomplets.

Par exemple, si vous avez deux versions du même objet, les deux versions sont considérées comme deux objets distincts.

Pour plus d'informations, consultez la section Métriques de stockage quotidiennes d'Amazon S3 pour les compartiments dans CloudWatch.

Calculer les métriques de stockage totales dans le tableau de bord S3 Storage Lens

La métrique Stockage total se trouve dans l'onglet Compartiment. Cette métrique capture les chargements partitionnés incomplets, les métadonnées d’objet et les marqueurs de suppression.

Pour consulter la composition de l'espace qu'ils utilisent, vérifiez les métriques suivantes :

• Octets de la version actuelle
• Octets de version non actuelle
• Octets de chargement partitionné incomplets

Les métriques précédentes sont disponibles dans l’offre gratuite AWS.

La métrique Nombre d'objets inclut également des informations sur les versions actuelles et non actuelles, les marqueurs de suppression et le nombre d'objets de chargement partitionné incomplets.

Pour obtenir des informations détaillées, consultez les métriques suivantes :

• Nombre d'objets de la version actuelle
• Nombre d'objets de version non actuelle
• Supprimer le nombre d'objets marqueurs
• Nombre d'objets de chargement partitionné incomplet

Pour plus d'informations, consultez le glossaire des métriques d'Amazon S3 Storage Lens. Pour configurer le tableau de bord S3 Storage Lens, consultez la section Utilisation d'Amazon S3 Storage Lens pour optimiser vos coûts de stockage.

Calculer la taille totale du compartiment sur la console Amazon S3

Pour calculer la taille de votre compartiment à partir de la console Amazon S3, vous pouvez utiliser l'action Calculer la taille totale pour calculer la taille d’un compartiment. Toutefois, si vous désactivez le commutateur Afficher les versions, la taille totale du compartiment n'inclut pas les chargements partitionnés et les versions précédentes ou non actuelles. Amazon S3 calcule uniquement le nombre total d'objets pour la version actuelle ou la plus récente de chaque objet stocké dans le compartiment. Par exemple, s'il existe deux versions d'un objet dans votre compartiment, le calculateur de stockage d'Amazon S3 les considère comme un seul objet. Par conséquent, le nombre calculé par la console Amazon S3 est inférieur à celui indiqué par CloudWatch.

Informations connexes

Configuration du cycle de vie pour abandonner les chargements partitionnés

Objets arrivant à expiration