Comment résoudre les problèmes de lenteur ou d'irrégularité des vitesses lorsque je télécharge ou charge des données vers Amazon S3 depuis un client sur site ?

Résolution

Pour identifier et résoudre la latence lorsque vous téléchargez ou chargez sur Amazon S3, examinez les configurations suivantes.

L'emplacement du client qui effectue les requêtes

Il est recommandé d'utiliser des compartiments Amazon S3 aussi proches géographiquement que possible de votre client local. Lorsque le compartiment est géographiquement éloigné de la requête, le temps de réponse est plus long.

Pour tester l'effet de la distance géographique entre le client et le compartiment S3, procédez comme suit :

1. Lancez une instance Amazon Elastic Compute Cloud (Amazon EC2) dans la même région AWS que le compartiment.
2. Lancez une autre instance dans une autre région.
3. Utilisez les deux instances pour charger et télécharger le même fichier.
4. Comparez le débit entre les deux régions.

Pour réduire la distance entre le client et le compartiment S3, déplacez vos données dans un compartiment situé dans une autre région plus proche du client. Vous pouvez configurer la réplication entre régions (CRR) afin que les données du compartiment source soient répliquées dans le compartiment de destination de la nouvelle région. Vous pouvez également migrer le client plus près du compartiment S3.

Le fournisseur de services Internet du client local

Vérifiez que votre chemin réseau ne présente pas de pertes de paquets, un nombre élevé de sauts, de problèmes liés à d'autres fournisseurs de services Internet (ISP), de retransmissions TCP, d’échecs de liaison SSL, de retards de résolution DNS ou de proxys réseau.

Pour déterminer la perte potentielle de paquets et la latence des paquets que vous envoyez à l'hôte distant, utilisez des outils tels que mtr et traceroute. Les outils peuvent également identifier si un saut de réseau entraîne une latence plus élevée. Par exemple, la commande Linux traceroute suivante utilise le port TCP 80 pour tester la connectivité au point de terminaison régional us-west-2 (Oregon) :

sudo traceroute -P TCP -p 80 s3.us-west-2.amazonaws.com

Pour les systèmes d'exploitation Windows, exécutez la commande tracert suivante :

$ tracert -d -4 s3.amazonaws.com

Remarque : De nombreux périphériques réseau ne répondent pas au protocole ICMP (Internet Control Message Protocol). Pour un test similaire aux requêtes Amazon S3, exécutez un traceroute ou mtr TCP jusqu'au point de terminaison régional du compartiment.

Si la route Internet entre le client et Amazon S3 n'est pas optimale, utilisez Amazon S3 Transfer Acceleration pour les emplacements périphériques dans Amazon CloudFront. Utilisez l'outil de comparaison des vitesses d’Amazon S3 Transfer Acceleration pour déterminer si Transfer Acceleration peut améliorer les performances.

Remarque : Si vous activez Transfer Acceleration, des frais de transfert de données supplémentaires peuvent s'appliquer. Vérifiez la tarification d’Amazon S3 pour les transferts de données.

Le réseau du client local

Pour vérifier que votre réseau client est sain, examinez les inspections de paquets internes, les analyses antivirus ou la gestion de l'accès réseau. Vérifiez également comment votre client ou votre application gère la résolution DNS et la mise en cache. Il est recommandé de ne pas mettre en cache la résolution DNS pendant de longues périodes.

Pour identifier les problèmes de latence et de performances liés à votre client sur site qui présente des transferts de synchronisation Amazon S3 lents, utilisez des tests de diagnostic réseau. Il est recommandé d'analyser régulièrement les performances afin de détecter les problèmes potentiels avant qu'ils n'affectent les vitesses de transfert.

Remarque : Il est recommandé d'utiliser AWS PrivateLink pour Amazon S3 afin d'améliorer la sécurité et la fiabilité des transferts de données.

Les ressources du client

Votre application peut subir une latence en raison de la façon dont l'hôte qui effectue les requêtes gère les requêtes et les réponses. Il est recommandé d’éviter les conflits de ressources au sein de l'hôte. Par exemple, le conflit de ressources peut être lié au processeur, à la mémoire ou à la bande passante du réseau.

Pour vérifier l'utilisation des ressources pendant le transfert de données, utilisez des outils tels que le moniteur de ressource ou la commande top. Pour plus d'informations, consultez la page Moniteur de ressource sur le site Web de Microsoft Learn.

Remarque : La disponibilité des outils dépend de votre système d'exploitation.

Les opérations de lecture ou d'écriture sur le périphérique de stockage du client qui présentent une latence élevée peuvent affecter les performances du téléchargement ou du chargement vers Amazon S3. Pour résoudre les problèmes d'IOPS du périphérique de stockage côté client, utilisez la métrique Amazon CloudWatch FirstByteLatency pour analyser les performances d'Amazon S3.

Remarque : AWS facture les métriques de requêtes Amazon S3 au même tarif que les métriques CloudWatch personnalisées. Pour des informations sur la tarification de CloudWatch, consultez la section Tarification d’Amazon CloudWatch.

Le taux de requêtes vers Amazon S3

Par défaut, les compartiments S3 peuvent prendre en charge des milliers de requêtes par seconde et par préfixe partitionné. Si un client reçoit des réponses d'erreur HTTP 5xx d'Amazon S3, cela signifie que le taux de requêtes pris en charge par préfixe est dépassé. Pour résoudre les erreurs 5xx, consultez la section Comment résoudre une erreur HTTP 500 ou 503 provenant d'Amazon S3 ?

Pour accélérer le temps de transfert avec les sites périphériques CloudFront distribués à l’échelle mondiale par AWS, utilisez Amazon S3 Transfer Acceleration.

Pour améliorer les configurations réseau et améliorer les performances de transfert, utilisez AWS Direct Connect. Pour plus d'informations, consultez la section Amélioration des performances sur AWS et les réseaux hybrides.

Pour les modèles de conception qui améliorent les performances, consultez la section Modèles de conception de performances pour Amazon S3. Vous pouvez utiliser AWS DataSync, AWS Snowball, AWS Snowcone et AWS Transfer Family pour migrer des jeux de données volumineux vers Amazon S3. Vous pouvez également utiliser les kits SDK AWS et l'interface de la ligne de commande AWS (AWS CLI) pour créer des processus de transfert en parallèle et par lots efficaces. Pour utiliser le chargement partitionné pour les fichiers volumineux, consultez la section Comment optimiser les performances lorsque j'utilise l'interface de la ligne de commande AWS pour charger des fichiers volumineux vers Amazon S3 ?

Les journaux d'accès au serveur Amazon S3 qui déterminent le délai d'exécution

Pour examiner la métrique Délai d’exécution, activez la journalisation des accès au serveur Amazon S3. Pour plus d'informations sur la métrique Délai d’exécution, consultez la section Délai d’exécution dans Format du journal d’accès au serveur Amazon S3. Utilisez la métrique Délai d’exécution pour déterminer le temps nécessaire à l'opération. Puis, vous pouvez évaluer d'autres latences en dehors d'Amazon S3 susceptibles de ralentir le téléchargement ou le chargement.

Si la latence est plus élevée que prévu, il est recommandé de réessayer la requête et de ne pas attendre qu'elle soit terminée. Pour plus d'informations, consultez la section Directives relatives aux performances d'Amazon S3.

Activités de transfert de fichiers

Utilisez la métrique TotalRequestLatencypour suivre le temps écoulé par requête entre le premier octet reçu par le compartiment S3 et le dernier octet envoyé par le client local au compartiment. Pour déterminer les problèmes de performance potentiels, vérifiez les métriques GetRequests et PutRequests et les codes de statut 4xx et 5xx.

Remarque : AWS facture les métriques GetRequests et PutRequests au même tarif que les métriques personnalisées Amazon CloudWatch.

Informations connexes

Métriques de requêtes Amazon S3 dans CloudWatch

Comment améliorer les performances de transfert de données à l'aide de la commande de synchronisation de l'interface de la ligne de commande AWS pour Amazon S3 ?