Comment puis-je réduire les coûts élevés imprévus pour Amazon S3 ?

Brève description

Les frais d'Amazon S3 sont basés sur le stockage, les demandes et les extractions de données, le transfert de données (y compris l'utilisation de S3 Transfer Acceleration) et la gestion des données.

Pour identifier les domaines dans lesquels vous pouvez réduire vos frais Amazon S3, passez en revue votre facturation et votre utilisation actuelles d'Amazon S3. Ensuite, examinez la façon dont vous engagez les coûts.

Les conseils suivants peuvent vous aider à réduire vos coûts de facturation Amazon S3 :

• Nettoyez les chargements partitionnés incomplets.
• Supprimez les versions précédentes des objets dont vous n'avez pas besoin.
• Passez en revue les coûts de transition de votre classe de stockage.
• Passez en revue vos coûts d'extraction de données.
• Effectuez le suivi des demandes vers votre compartiment.
• Vérifiez si la taille de votre compartiment a changé.
• Passez en revue le coût de chaque compartiment.
• Comprenez le lien entre votre utilisation et vos frais.

Vous pouvez également utiliser les fonctionnalités Amazon S3 suivantes pour vous aider à résoudre les problèmes de facturation :

• Utilisez Amazon S3 Storage Lens pour obtenir un affichage unique de l'utilisation et de l'activité de votre stockage Amazon S3.
• Utilisez l'analyse des classes de stockage Amazon S3 pour observer les modèles d'accès aux données.

Résolution

Nettoyer les chargements partitionnés incomplets

Une fois que vous avez lancé un chargement partitionné, Amazon S3 conserve toutes les parties chargées du fichier jusqu'à ce que vous finalisiez ou arrêtiez le chargement partitionné. Si vous ne terminez pas le chargement partitionné, Amazon S3 continue de stocker les parties chargées. Par conséquent, le stockage des parties chargées vous est facturé.

Si vous utilisez l'interface de ligne de commande AWS (AWS CLI) pour arrêter le chargement partitionné, l'opération supprime les parties incomplètes chargées. Toutefois, si vous utilisez d'autres outils qui utilisent l'API de chargement partitionné Amazon S3, les chargements partitionnés incomplets peuvent laisser les parties chargées.

Voici quelques bonnes pratiques supplémentaires à suivre lorsque vous nettoyez des chargements partitionnés incomplets :

• Créez une politique de cycle de vie pour supprimer les chargements partitionnés incomplets après un certain nombre de jours.
• Utilisez les appels d'API Amazon S3 pour répertorier vos chargements partitionnés. Arrêtez ensuite les chargements partitionnés qui ont échoué ou que vous souhaitez annuler.
• Utilisez S3 Storage Lens pour déterminer le nombre et la taille des chargements partitionnés incomplets pour les compartiments de votre compte.
• Utilisez Amazon S3 Storage Lens pour identifier les compartiments S3 qui contiennent des chargements partitionnés.

Supprimer les versions précédentes des objets dont vous n'avez pas besoin

Important : Amazon S3 ne peut pas restaurer les données que vous supprimez de vos compartiments.

Si vous avez activé la gestion des versions sur votre compartiment, chaque objet peut avoir plusieurs versions. Chaque version d'objet contribue à vos coûts de stockage.

Pour vérifier les versions de vos objets, utilisez la console Amazon S3 ou exécutez l'appel d'API ListObjectVersions. Ensuite, supprimez toutes les versions d'objets dont vous n'avez pas besoin.

Remarque : Dans un compartiment activé par version, vous devez spécifier l'ID de version de l'objet pour supprimer définitivement une version d'objet. Si vous exécutez une simple demande de suppression sur un objet dans un compartiment activé par version, Amazon S3 ajoute un marqueur de suppression à l'objet. Le marqueur de suppression devient la version actuelle de l'objet et l'objet réel devient la version précédente. Toutefois, cela n'efface pas l'objet et ses versions.

Vous pouvez également utiliser les méthodes suivantes :

• Une règle de cycle de vie pour gérer les versions actuelles et non actuelles de vos objets. Toutefois, étant donné que vous ne pouvez pas annuler les suppressions permanentes dans Amazon S3, passez en revue les paramètres de votre règle de cycle de vie.
• S3 Storage Lens permet de déterminer le nombre de versions actuelles et précédentes et de supprimer des marqueurs pour des compartiments spécifiques ou pour tous les compartiments de votre compte.

Passez en revue les coûts de transition de votre classe de stockage

Vous pouvez encourir des coûts lorsque vous faites passer des objets d'une classe de stockage à une autre.

Par exemple, lorsque des objets passent de la classe de stockage Norme S3 à la classe de stockage Norme S3-IA, vous êtes facturé 0,01 $ pour 1 000 demandes de transition du cycle de vie. Lorsque des objets passent de n'importe quelle classe de stockage à la classe de stockage S3 Glacier Flexible Retrieval, vous êtes facturé 0,03 $ pour 1 000 demandes de transition du cycle de vie. Pour plus d'informations et de détails sur les tarifs, consultez la tarification d'Amazon S3.

Si vous configurez une règle de configuration du cycle de vie qui transfère les objets d'un compartiment entier vers une autre classe de stockage, attendez-vous à une augmentation des frais liés à Amazon S3. Pour déterminer si l'augmentation de vos frais est due à une règle de cycle de vie, consultez l'historique de vos événements AWS CloudTrail. Vous pouvez également consulter vos journaux d'accès au serveur Amazon S3 pour les appels PutBucketLifeCycleConfiguration afin de déterminer à quel moment la règle a été appliquée.

Vous pouvez également utiliser l'analyse des classes de stockage S3 pour déterminer la quantité de données extraites des différentes classes de stockage.

Remarque : Vous devez configurer l'analyse des classes de stockage S3 pour chaque compartiment.

Passez en revue vos coûts d'extraction de données

Les objets stockés dans les classes de stockage suivantes ont des coûts associés aux extractions de données :

• Norme S3-IA
• S3 One Zone-IA
• S3 Glacier Flexible Retrieval
• Classes de stockage S3 Glacier Deep Archive

Par exemple, vous récupérez 15 millions d'objets depuis la classe de stockage S3 Glacier Flexible Retrieval. Le coût total de l'extraction est basé sur l'option d'extraction groupée que vous choisissez.

Les exemples de coûts suivants concernent une extraction standard :

• La demande de récupération est de 15 000 000/1 000 * 0,05 $ = 750 $.
• Le montant à récupérer est de 100 000 * 0,01 $ = 1 000 $.
• Le coût total est de 1 750 $.

Les exemples de coûts suivants concernent une extraction accélérée :

• La demande de récupération est de 15 000 000/1 000 * 10 $ = 150 000 $.
• Le montant à récupérer est de 100 000 * 0,03 $ = 3 000 $.
• Le coût total est de 153 000 $.

Pour les objets que vous stockez dans S3 Glacier Flexible Retrieval, les extractions groupées sont gratuites.

Astuce : Pour vous aider à surveiller les différentes demandes de stockage et l'utilisation des données, vous pouvez également utiliser le tableau de bord S3 Storage Lens.

Suivez les demandes vers votre compartiment

Vous pouvez surveiller les demandes adressées à votre compartiment des manières suivantes :

• Journalisation des accès au serveur. Pour plus d'informations sur la façon de consulter les journaux d'accès, consultez le format des journaux d'accès au serveur Amazon S3.
• Journalisation au niveau des objets via AWS CloudTrail.
• Métriques Amazon CloudWatch, telles que AllRequests et BytesDownloaded.

Pour réduire les coûts liés aux frais de transfert de données sortantes, vous pouvez utiliser une instance Amazon Elastic Compute Cloud (Amazon EC2) pour accéder à votre compartiment. L'instance Amazon EC2 doit se trouver dans un Amazon Virtual Private Cloud (Amazon VPC) au sein de la même région AWS que votre compartiment.

Vérifiez si la taille de votre compartiment a changé

Pour isoler les coûts de stockage, comparez la taille actuelle de votre compartiment à celle du mois précédent.

1.    Ouvrez la console Amazon S3.

2.    Choisissez Compartiments, puis sélectionnez votre compartiment.

3.    Choisissez l'onglet Gestion.

4.    Choisissez Métriques.

Vous pouvez également utiliser AWS CLI pour vérifier la taille de stockage de votre compartiment, ou vous pouvez surveiller vos métriques de stockage avec Amazon CloudWatch. Pour surveiller les modifications de la taille des compartiments sur une base quotidienne, hebdomadaire et mensuelle, utilisez S3 Storage Lens.

Vérifiez le coût de chaque compartiment

Pour identifier le compartiment qui entraîne les coûts les plus élevés, activez les balises de répartition des coûts sur vos compartiments. Passez ensuite en revue vos compartiments à l'aide d'AWS Cost Explorer. Pour plus d'informations, consultez l'article Comment puis-je connaître le coût de mes compartiments Amazon S3 ?

Comprenez le lien entre votre utilisation et vos frais

Votre rapport d'utilisation enregistre l'utilisation du stockage en octets-heures et votre rapport de facturation enregistre l'utilisation du stockage en Go par mois. Pour comprendre le lien entre votre utilisation du stockage et vos frais de stockage, convertissez les octets-heures en Go par mois. Pour un exemple de cette conversion, consultez la section Comprendre vos rapports de facturation et d'utilisation AWS pour Amazon S3.

Vous pouvez télécharger votre rapport d'utilisation d'Amazon S3 depuis le tableau de bord de la Facturation et gestion des coûts AWS. Ou, pour obtenir des statistiques détaillées sur le stockage et la facturation, créez un tableau de bord S3 Storage Lens pour tous les compartiments de votre compte.