Pourquoi les performances de mon système de fichiers EFS sont-elles lentes ?

Brève description

L'architecture distribuée à plusieurs zones de disponibilité d'Amazon EFS entraîne une faible surcharge de latence pour chaque opération de fichier. Le débit global augmente généralement à mesure que la taille moyenne des E/S augmente, car la surcharge est amortie sur une plus grande quantité de données.

Les performances d'Amazon EFS dépendent de nombreux facteurs, notamment les suivants :

• Classe de stockage EFS.
• Modes de performance et de débit.
• Type d'opérations effectuées sur EFS (telles que les opérations gourmandes en métadonnées, etc.).
• Propriétés des données stockées dans EFS (telles que la taille et le nombre de fichiers).
• Options de montage.
• Limitations côté client.

Résolution

Classe de stockage EFS

Pour plus d’informations, consultez la section Récapitulatif des performances.

Modes de performance et de débit

Modes de performance

Amazon EFS propose deux modes de performance, à savoir Usage général et E/S max. Les applications peuvent mettre leurs IOPS à l’échelle de manière élastique jusqu'à la limite associée au mode de performance.

Pour déterminer le mode de performance à utiliser, voir Modes de performance.

Modes de débit

Les charges de travail basées sur des fichiers génèrent généralement des niveaux de débit élevés pendant de courtes périodes, mais génèrent des niveaux de débit plus faibles pendant de longues périodes. Amazon EFS est conçu pour atteindre des niveaux de débit élevés pendant un certain temps.

Le débit et les IOPS configurés ont une incidence sur les performances d'Amazon EFS.

Il est recommandé de comparer vos exigences en matière de charge de travail afin de vous aider à sélectionner les modes de débit et de performance appropriés. Lorsque vous sélectionnez le débit provisionné, sélectionnez les valeurs qui répondent aux exigences de votre charge de travail. Pour analyser le débit et les IOPS consommés par votre système de fichiers, consultez la section Utilisation des maths de métriques avec Amazon EFS.

Amazon EFS peut augmenter verticalement jusqu'à des pétaoctets de volume de stockage avec trois modes de débit : rafales, élastique et alloué. Si vous utilisez un débit en rafales, le débit d'Amazon EFS évolue en fonction de la croissance de votre système de fichiers. Si vous utilisez le débit alloué, vous pouvez allouer instantanément le débit de votre système de fichiers indépendamment de la quantité de données stockées. Avec le débit élastique, vous pouvez augmenter ou diminuer votre débit en fonction de votre charge de travail. Pour en savoir plus sur les modes de débit, consultez Comment fonctionnent les crédits de transmission en rafales Amazon EFS ?

Types d'opérations effectuées sur l'instance EC2

Opérations d'E/S de métadonnées

Les performances d'EFS se dégradent dans les situations suivantes :

• Lorsque la taille des fichiers est petite car il s'agit d'un système distribué. L'architecture distribuée entraîne une faible surcharge de latence pour chaque opération de fichier. En raison de cette latence par opération, le débit global augmente généralement à mesure que la taille moyenne des E/S augmente, car la surcharge est amortie sur une plus grande quantité de données.
• Les performances des systèmes de fichiers partagés se dégradent si une charge de travail ou une opération génère de nombreux petits fichiers en série. Cela entraîne une augmentation de la surcharge de chaque opération.
• Les E/S de métadonnées se produisent si votre application effectue des opérations gourmandes en métadonnées, telles que « ls », « rm », « mkdir », « rmdir », « lookup », « getattr » ou « setattr », etc. Toute opération qui nécessite que le système recherche l'adresse d'un bloc spécifique est considérée comme une charge de travail gourmande en métadonnées. Pour en savoir plus, consultez les sections suivantes :
  Mesure : Comment Amazon EFS rapporte les tailles des systèmes de fichiers et des objets et Conseils sur les performances.

Options de montage

• Si vous montez le système de fichiers avec amazon-efs-utils, les ](https://docs.aws.amazon.com/efs/latest/ug/mounting-fs-nfs-mount-settings.html)options de montage recommandées[ sont appliquées par défaut.
• Si vous utilisez des options de montage autres que celles par défaut, cela risque de dégrader les performances. Par exemple, si vous utilisez une rsize et wsize, ou si vous réduisez ou désactivez la mise en cache des attributs. Vérifiez la sortie de la commande mount pour voir les options de montage actuellement en place :

Pour plus d'informations, voir Monter le système de fichiers sur l’instance EC2 et tester.

Version du client NFS

Le protocole NFS (Network File System) version 4.1 (NFSv4) offre de meilleures performances pour les opérations de lecture parallèles de petits fichiers (plus de 10 000 fichiers par seconde) par rapport au protocole NFSv4.0 (moins de 1 000 fichiers par seconde).

Limitations côté client

Goulot d'étranglement au niveau de l'instance EC2

Si votre application qui utilise le système de fichiers ne génère pas les performances attendues d'EFS, optimisez-la. Comparez également l'hôte ou le service sur lequel votre application est hébergée, comme Amazon EC2, AWS Lambda, etc. Une pénurie de ressources sur l'instance EC2 peut affecter la capacité de votre application à utiliser EFS efficacement.

Pour vérifier si l’allocation pour EC2 n'est pas suffisante pour répondre aux exigences de votre application, surveillez les métriques Amazon EC2 CloudWatch, telles que le processeur, Amazon Elastic Block Store (Amazon EBS), etc. L'analyse de diverses mesures relatives à l'architecture de votre application et à ses besoins en ressources vous permet de déterminer si vous devez reconfigurer votre application ou votre instance en fonction de vos besoins.

Utiliser la version 4.0 ou ultérieure du noyau Linux

Pour des performances optimales et pour éviter plusieurs problèmes connus liés au client NFS, il est recommandé d'utiliser une AMI avec un noyau Linux version 4.0 ou ultérieure.

RHEL et CentOS 7.3 et versions ultérieures constituent une exception à cette règle. Le noyau de ces systèmes d'exploitation a reçu des versions rétroportées des correctifs et améliorations appliqués à NFS v4.1. Pour plus d'informations, consultez la section Support NFS.

Copier des fichiers

Lorsque vous copiez des fichiers à l'aide de la commande cp, vous risquez de rencontrer des lenteurs. En effet, la commande copy est une opération en série, ce qui signifie qu'elle copie chaque fichier un par un. Si la taille de chaque fichier est petite, le débit pour envoyer ce fichier est faible.

Il se peut également que vous remarquiez une latence lorsque vous envoyez des fichiers. La nature distribuée d'EFS signifie qu'il doit se répliquer sur tous les points de montage, ce qui entraîne une surcharge par opération de fichier. Par conséquent, la latence est un comportement attendu.

Recommandations

Il est recommandé d'exécuter des opérations d'E/S en parallèle, par exemple avec rsync. Si vous utilisez rsync, sachez que cp et rsync fonctionnent dans des opérations en série (à thead unique) au lieu d'opérations parallèles. Cela ralentit le processus de copie. Utilisez des outils tels que fpart ou NU Parallel. Fpart est un outil qui vous permet de trier les arborescences de fichiers et de les regrouper dans des « partitions ». Fpart est livré avec un script shell appelé fpsync qui englobe fpart et rsync pour lancer plusieurs rsyncen parallèle. Fpsync fournit son propre planificateur intégré. Cette méthode exécute les tâches plus rapidement que la méthode série la plus courante.

Pour plus d'informations, consultez la section Performances Amazon EFS.

Informations connexes

Quotas pour les clients NFS