Pourquoi existe-t-il un écart entre les mesures de stockage et de taille entre la console Amazon S3, CloudWatch et S3 Storage Lens ?

Brève description

Lorsque vous constatez cette différence, vérifiez les conditions suivantes :

• Vous avez activé la gestion des versions d’objets.
  **Remarque :**La fonctionnalité de gestion des versions d'objets d'Amazon S3 conserve plusieurs versions d'un objet dans votre compartiment. Par défaut, la gestion des versions des objets Amazon S3 est désactivée sur les compartiments, et vous devez activer cette fonctionnalité de manière explicite.
• Des chargements partitionnés incomplets existent.
  Remarque : Les chargements partitionnés incomplets ne sont pas visibles dans la console Amazon S3, mais sont calculés dans le cadre des métriques de stockage dans CloudWatch et Storage Lens.

Pour identifier la cause de l'écart de rapport, vérifiez si vous avez activé la gestion des versions des objets. Recherchez également les chargements partitionnés dans votre compartiment. Ces deux facteurs peuvent entraîner une augmentation de la valeur de la taille du compartiment calculée dans CloudWatch et de l'indicateur de Stockage total S3 Storage Lens. Ces facteurs ne s'appliquent pas lorsque vous calculez la taille totale de l'objet dans la console Amazon S3. Pour plus d'informations, consultez les métriques de stockage quotidiennes d'Amazon S3 pour les compartiments dans CloudWatch.

Conseil : Si vos chargements partitionnés sont incomplets dans Amazon S3, envisagez de créer une règle de configuration du cycle de vie. Cette règle de configuration du cycle de vie élimine automatiquement toutes les pièces incomplètes, réduisant ainsi le coût du stockage des données. Notez que les règles du cycle de vie fonctionnent de manière asynchrone. L'opération peut donc être retardée. Toutefois, dès que les objets sont marqués pour suppression, le stockage ne vous est plus facturé (même si l'objet n'a pas encore été supprimé).

Notez que les métriques de surveillance d'Amazon S3 sont enregistrées une fois par jour. Par conséquent, il est possible que ces mesures n'affichent pas les informations les plus récentes. CloudWatch surveille toutefois vos ressources et applications AWS en temps réel. De plus, la console S3 et Storage Lens utilisent la conversion en base 2 (/1024) pour signaler les métriques de stockage, tandis que CloudWatch utilise par défaut la conversion en base 10 (/1000).

Résolution

Métriques de stockage quotidiennes dans CloudWatch

Dans CloudWatch, la métrique BucketSizeBytes capture tous les types de stockage Amazon S3 et Amazon S3 Glacier, les versions d'objets et tous les chargements partitionnés incomplets. Cette valeur est calculée en additionnant toutes les tailles d'objets, les métadonnées de votre compartiment (objets actuels et non courants) et les tailles de téléchargement partitionné incomplètes. Par exemple, la métrique BucketSizeBytes calcule la quantité de données (en octets) qui est stockée dans un compartiment Amazon S3 dans toutes les classes de stockage d'objets suivantes :

• Norme S3
• Hiérarchisation-intelligente S3
• Norme S3-IA
• S3 One Zone-IA
• Stockage à redondance réduite S3
• Archive approfondie de S3 Glacier
• Récupération flexible dans S3 Glacier
• Récupération instantanée de S3 Glacier

La métrique NumberOfObjects de CloudWatch compte les valeurs suivantes dans votre bucket :

• Nombre total d'objets parmi toutes les classes de stockage. Pour les compartiments avec gestion des versions, cela inclut à la fois les versions actuelles et non actuelles des objets ainsi que les marqueurs de suppression.
• Le nombre total de parties pour tout téléchargement partitionné incomplet

Par exemple, si vous avez deux versions du même objet, les deux versions sont considérées comme deux objets distincts.

Mesure du « stockage total » dans le tableau de bord de S3 Storage Lens

Vous pouvez consulter la métrique de Stockage total sur le tableau de bord de S3 Storage Lens sous l'onglet Compartiment. Cette métrique capture le stockage total, y compris les téléchargements partitionnés incomplets, les métadonnées des objets et les marqueurs de suppression. Pour connaître la composition exacte de l'espace occupé par les versions non actuelles, les téléchargements partitionnés incomplets ou la suppression de marqueurs, consultez les statistiques individuelles :

• Octets de la version actuelle
• Octets de version non actuelle
• Octets de téléchargement partitionné incomplets

Ces métriques sont disponibles dans le cadre de l'offre gratuite d'AWS.

La métrique du nombre d'objets inclut également des informations sur les versions actuelles et non actuelles, les marqueurs de suppression et le nombre d'objets de téléchargement partitionné incomplets. Pour obtenir des informations détaillées, consultez les métriques :

• Nombre d'objets de la version actuelle
• Nombre d'objets de version non actuelle
• Supprimer le nombre d'objets marqueurs
• Nombre d'objets de téléchargement partitionné incomplet.

Pour plus d'informations, consultez le glossaire des métriques d'Amazon S3 Storage Lens.

« Calculer la taille totale » dans la console Amazon S3

Pour calculer la taille de votre compartiment à partir de la console Amazon S3, vous pouvez utiliser l'action Calculer la taille totale. Amazon S3 calcule ensuite la taille de stockage de votre compartiment. Notez toutefois que les chargements partitionnés et les versions précédentes ou non actuelles ne sont pas calculés dans la taille totale du compartiment. Amazon S3 calcule uniquement le nombre total d'objets pour la version actuelle ou la plus récente de chaque objet stocké dans le compartiment. Par exemple, s'il existe deux versions d'un objet dans votre compartiment, le calculateur de stockage d'Amazon S3 les considère comme un seul objet. Par conséquent, le nombre calculé par la console Amazon S3 est inférieur à celui indiqué par CloudWatch.

Chargements partitionnés incomplets

Pour vérifier la taille occupée par les chargements partitionnés incomplets, consultez la métriqueNombre d'octets de téléchargement partitionné incomplet dans le tableau de bord de S3 Storage Lens, sous l'onglet Compartiment.

Pour consulter la liste des téléchargements partitionnés incomplets, exécutez la commande list-multipart-uploads :

aws s3api list-multipart-uploads --bucket BUCKET_EXAMPLE

Remarque : Remplacez COMPARTIMENT_EXEMPLE par le nom de votre compartiment.

Ensuite, listez tous les objets du chargement partitionné à l'aide de la commande list-parts et de votre valeur UploadID :

aws s3api list-parts --bucket BUCKET_EXAMPLE --key large_test_file --upload-id EXAMPLE_VALUE

Remarque : Remplacez COMPARTIMENT_EXEMPLE par le nom de votre compartiment et EXEMPLE_VALEUR par la valeur UploadID.

Création d'une règle de cycle de vie

Pour supprimer automatiquement les chargements partitionnés, créez une règle de configuration du cycle de vie :

1. Ouvrez la console Amazon S3.
2. Choisissez l'onglet Gestion.
3. Choisissez Créer une nouvelle politique.
4. Ajoutez le nom de la politique.
5. Choisissez Sélectionner - Supprimer les marqueurs de suppression expirés ou les téléchargements partitionnés incomplets.
6. (Facultatif) Si votre compartiment n'est pas versionné, choisissez Supprimer les chargements partitionnés incomplets.

Gestion des versions d'objets

Pour vérifier et auditer votre compartiment Amazon S3 afin de détecter différentes versions d'objets, utilisez la liste d'inventaire Amazon S3. Un fichier de liste d'inventaire Amazon S3 contient la liste des objets du compartiment source et les métadonnées de chaque objet. Le fichier de liste d'inventaire capture des informations de métadonnées telles que le nom du compartiment, la taille de l'objet, la classe de stockage et l'ID de version. Pour calculer la taille occupée par les versions actuelles et non actuelles, consultez les métriques du tableau de bord S3 Storage Lens relatives aux octets de version actuelle et aux octets de version non actuelle respectivement.

Informations connexes

Exemple 8 : Configuration du cycle de vie pour abandonner les téléchargements partitionnés

Objets arrivant à expiration

Métriques de stockage quotidiennes d'Amazon S3 pour les compartiments dans CloudWatch