Comment puis-je réduire les coûts élevés imprévus pour Amazon S3 ?

Brève description

Pour identifier le type de frais Amazon S3 que vous devez payer, examinez votre facturation et votre utilisation actuelles d'Amazon S3. Vous pouvez également utiliser les rapports d'utilisation AWS pour consulter les compartiments S3 payants.

En fonction du type d'utilisation, utilisez les méthodes suivantes pour vous aider à comprendre votre facturation :

• Utilisez Amazon S3 Storage Lens pour visualiser l'utilisation et l'activité de votre stockage S3. Le tableau de bord par défaut est mis à jour quotidiennement avec les métriques de stockage de tous les compartiments S3 de votre compte AWS.
• Utilisez la journalisation des accès au serveur ou les événements de données AWS CloudTrail pour surveiller les requêtes adressées à vos compartiments S3.

Résolution

Remarque : Si des erreurs surviennent lorsque vous exécutez des commandes de l'interface de la ligne de commande AWS (AWS CLI), consultez la section Résoudre des erreurs liées à l’AWS CLI. Vérifiez également que vous utilisez bien la version la plus récente de l’AWS CLI.

Pour réduire vos coûts de facturation Amazon S3, prenez les mesures suivantes.

Supprimer les chargements partitionnés incomplets

Une fois que vous avez lancé un chargement partitionné, Amazon S3 retient toutes les parties chargées du fichier jusqu'à ce que vous finalisiez ou arrêtiez le chargement partitionné. Si vous ne terminez pas le chargement en plusieurs parties, Amazon S3 continue de stocker les parties chargées et le stockage vous sera facturé.

Lorsque vous exécutez la commande abort-multipart-upload de l’AWS CLI pour mettre fin au chargement partitionné, la commande supprime les parties incomplètes chargées. Cependant, d'autres outils peuvent conserver les parties chargées incomplètes lorsque vous terminez le chargement partitionné.

Pour supprimer des chargements partitionnés incomplets, suivez les bonnes pratiques suivantes :

• Créez une politique de cycle de vie pour supprimer les chargements partitionnés incomplets après un certain nombre de jours.
• Utilisez l'appel d'API Amazon S3 ListMultipartUploads pour répertorier vos chargements partitionnés. Puis, utilisez AbortMultipartUpload pour mettre fin aux chargements partitionnés qui ont échoué ou que vous souhaitez annuler.
• Utilisez Amazon S3 Storage Lens pour déterminer le nombre et la taille des chargements partitionnés incomplets pour les compartiments de votre compte.
• Utilisez Amazon S3 Storage Lens pour identifier les compartiments S3 qui contiennent des chargements partitionnés.

Supprimer les versions précédentes d’objets

Important : Amazon S3 ne peut pas restaurer les données que vous supprimez de vos compartiments.

Si vous avez activé la fonctionnalité Gestion des versions S3 sur votre compartiment, chaque objet peut avoir plusieurs versions, ce qui contribue à vos coûts de stockage.

Pour vérifier les versions de vos objets, utilisez la console Amazon S3 ou exécutez l'appel d'API ListObjectVersions. Ensuite, supprimez les versions d'objets dont vous n'avez pas besoin.

Dans un compartiment activé par version, vous devez spécifier l'ID de version de l'objet pour supprimer définitivement une version d'objet. Si vous exécutez une demande de suppression sur l'objet, Amazon S3 ajoute un marqueur de suppression à l'objet. Le marqueur de suppression devient la version actuelle de l’objet, ce dernier devenant la version précédente. Toutefois, Amazon S3 ne supprime pas l'objet et ses versions.

Pour gérer les versions des objets, effectuez les actions suivantes :

• Créez une règle de cycle de vie.
  Important : Vous ne pouvez pas annuler les suppressions permanentes dans Amazon S3. Assurez-vous de vérifier les paramètres de votre règle de cycle de vie.
• Utilisez les métriques d’Amazon S3 Storage Lens pour déterminer le nombre de versions actuelles et précédentes et supprimer les marqueurs pour les compartiments de votre compte.

Examiner vos coûts de changement de classe de stockage

Des frais peuvent vous être facturés lorsque vous faites passer des objets d'une classe de stockage à une autre.

AWS facture également 40 Ko de métadonnées supplémentaires pour chaque objet archivé que vous stockez dans Amazon S3 Glacier Flexible Retrieval et Amazon S3 Glacier Deep Archive. Vous êtes facturé 8 Ko au tarif S3 Standard et 32 Ko au tarif S3 Glacier Flexible Retrieval ou S3 Deep Archive.

Pour plus d'informations, consultez la section Transition d'objets à l'aide d'Amazon S3 Lifecycle.

Il est recommandé de regrouper plusieurs petits objets en quelques objets de grande taille afin de réduire les frais généraux.

Si vous configurez une règle de configuration du cycle de vie qui transfère les objets d'un compartiment entier vers une autre classe de stockage, vous êtes facturé dans Amazon S3. Pour déterminer si une règle de cycle de vie a entraîné une augmentation des coûts, consultez l'historique de vos événements AWS CloudTrail et vos journaux d'accès au serveur Amazon S3 pour les appels PutBucketLifecycleConfiguration. Consultez également les journaux pour les actions de S3 Lifecycle.

Pour optimiser les coûts de stockage, il est recommandé d'utiliser la classe de stockage S3 Intelligent-Tiering qui déplace automatiquement les données en fonction de vos besoins d'accès.

Vous pouvez également utiliser l'analyse des classes de stockage S3 pour déterminer la quantité de données contenue dans chaque classe de stockage.

Remarque : Vous devez configurer l'analyse des classes de stockage S3 pour chaque compartiment.

Examiner vos coûts d'extraction de données

Les objets que vous stockez dans les classes de stockage suivantes entraînent des coûts d'extraction de données :

• S3 Standard-IA
• S3 One Zone-IA
• S3 Glacier Flexible Retrieval
• Classes de stockage S3 Glacier Deep Archive

Par exemple, si vous récupérez des objets de la classe de stockage S3 Glacier Flexible Retrieval, le coût de récupération dépend de votre option de récupération en bloc. Le coût total de la récupération standard est inférieur au coût total de la récupération accélérée.

Les extractions groupées sont gratuites pour les objets que vous stockez dans S3 Glacier Flexible Retrieval. Pour vous aider à surveiller les différentes demandes de stockage et l'utilisation des données, utilisez le tableau de bord S3 Storage Lens.

Suivre les requêtes vers votre compartiment

Utilisez les méthodes suivantes pour surveiller les requêtes adressées à votre compartiment et examiner les frais encourus par un grand nombre de requêtes :

• AWS ne vous facture aucun frais pour activer la journalisation des accès au serveur. Toutefois, vous devez payer les frais de stockage standard habituels pour les fichiers journaux que la fonctionnalité vous fournit.
• L'utilisation de la journalisation au niveau des objets d'AWS CloudTrail entraîne des frais.
• L'utilisation des métriques Amazon CloudWatch entraîne des frais.

Pour réduire les coûts liés aux frais de transfert de données sortantes, vous pouvez utiliser une instance Amazon Elastic Compute Cloud (Amazon EC2) pour accéder à votre compartiment. L'instance Amazon EC2 doit se trouver dans un Amazon Virtual Private Cloud (Amazon VPC) au sein de la même région AWS que votre compartiment.

Vérifier les modifications apportées à la taille de votre compartiment

Vous pouvez consulter les modifications apportées à la taille de votre compartiment à l'aide de la console S3, d'une commande de l'interface de ligne de commande AWS ou de CloudWatch.

Pour comparer la taille actuelle et la taille précédente de votre compartiment dans la console, procédez comme suit :

1. Ouvrez la console Amazon S3.
2. Choisissez Compartiments, puis sélectionnez votre compartiment.
3. Choisissez l'onglet Gestion.
4. Choisissez Métriques.

Ou bien, exécutez la commande ls suivante de l'interface de ligne de commande AWS :

aws s3 ls --summarize --human-readable --recursive s3:///bucket-name

Remarque : Remplacez bucket-name par le nom de votre compartiment.

Exemple de sortie :

2021-10-07 21:32:57 452 Bytes foo/bar/car/petrol
2021-10-07 21:32:57 896 Bytes foo/bar/truck/diesel
2021-10-07 21:32:57 189 Bytes foo/bar/hybrid/battery
2021-10-07 21:32:57 398 Bytes vehicles.txt

Total Objects: 4
Total Size: 2.9 MiB

Vous pouvez également utiliser CloudWatch pour surveiller vos métriques de stockage. Pour surveiller les modifications de la taille de compartiment sur une base quotidienne, hebdomadaire et mensuelle, utilisez S3 Storage Lens.

Vérifier le coût de chaque compartiment

Pour identifier le compartiment qui entraîne les coûts les plus élevés, activez les identifications de répartition des coûts sur vos compartiments. Puis, utilisez l’Explorateur de coûts AWS pour examiner vos compartiments. Pour plus d'informations, consultez l'article Comment puis-je connaître le coût de mes compartiments Amazon S3 ?

Comprendre le lien entre votre utilisation et vos frais

Votre rapport d'utilisation enregistre l'utilisation du stockage en octets-heures et votre rapport de facturation enregistre l'utilisation du stockage en Gigaoctet par mois (Go-mois). Pour comprendre le lien entre votre utilisation du stockage et vos frais de stockage, convertissez les octets-heures en Go par mois. Pour consulter un exemple de conversion, consultez la section Comment serai-je facturé pour mon utilisation d'Amazon S3 ? sur les FAQ relatives à Amazon S3.

Vous pouvez télécharger votre rapport d'utilisation d'Amazon S3 depuis le tableau de bord de la Facturation et gestion des coûts AWS. Vous pouvez également créer un tableau de bord S3 Storage Lens pour obtenir des métriques détaillées sur le stockage et la facturation.

Informations connexes

Tarification Amazon S3

Comment puis-je utiliser Athena pour analyser les journaux d’accès à mon serveur Amazon S3 ?