Wie kann ich die Übertragungsgeschwindigkeiten verbessern, wenn ich Daten zwischen meinem Amazon-S3-Bucket und der Amazon-EC2-Instance kopiere?

Lösung

Hinweis: Wenn du beim Ausführen von AWS Command Line Interface (AWS CLI)-Befehlen Fehlermeldungen erhältst, findest du weitere Informationen dazu unter Problembehandlung bei der AWS CLI. Stelle außerdem sicher, dass du die neueste Version der AWS CLI verwendest.

Enhanced Networking auf der Amazon-EC2-Instance verwenden

Voraussetzung: Wenn du Enhanced Network Adapter (ENA) verwendest, musst du die Voraussetzungen der Instance für Enhanced Networking erfüllen. Wenn du die Intel-82599-VF-Schnittstelle verwendest, bereite die Instance für Enhanced Networking vor.

Überprüfe die Metriken der Instance mit Amazon CloudWatch. Wenn der NetworkPacketsOut-Wert der Instance größer ist als der erwartete Wert, aktiviere Enhanced Networking.

Parallele Workloads für die Datenübertragung verwenden

Teile die Übertragung in mehrere sich gegenseitig ausschließende Operationen auf, um die Zeit, die für den Abschluss der Datenübertragung benötigt wird, zu verbessern. Wenn du beispielsweise die AWS CLI verwendest, führe mehrere AWS-CLI-Befehle cp, mv oder sync gleichzeitig aus.

Wenn du Daten auf mehrere Präfixe verteilst, führe mehrere AWS-CLI-Operationen aus, die separate Synchronisierungen gleichzeitig durchführen. Eine Anleitung findest du im Abschnitt Mehrere AWS-CLI-Operationen ausführen unter Wie verbessere ich die Datenübertragungsleistung, wenn ich den AWS-CLI-sync-Befehl für Amazon S3 verwende?

Die Upload-Konfigurationen in der AWS CLI anpassen

Um die Datenübertragung zu beschleunigen, passe die folgenden AWS-CLI-Konfigurationswerte für Amazon S3 an:

• Der multipart_chunksize-Wert legt die Größe jedes Teils fest, den die AWS CLI in einem mehrteiligen Upload für eine einzelne Datei hochlädt. Optimiere diesen Wert, um größere Dateien für schnellere Upload-Geschwindigkeiten in kleinere Teile zu unterteilen.
  Hinweis: Für einen mehrteiligen Upload musst du eine einzelne Datei in nicht mehr als 10 000 verschiedenen Teilen hochladen. Stelle sicher, dass die von dir festgelegte Block-Größe die Größe der Teildatei und die Anzahl der Teile ausgleicht.
• Ändere den Wert max_concurrent_requests, um die Anzahl der Anforderungen zu erhöhen, die du gleichzeitig an Amazon S3 senden kannst. Der Standardwert ist 10. Nach einer Erhöhung dieses Wertes kann eine stagnierende Reaktion auftreten. Kombiniere einen höheren max_concurrent_requests-Wert mit parallelen Workloads, um insgesamt bessere Übertragungsgeschwindigkeiten zu erzielen. Standardmäßig unterstützt die AWS-CLI Multithreading.
  Hinweis: Stelle sicher, dass dein Computer über genügend Ressourcen verfügt, um die maximale Anzahl gleichzeitiger Anforderungen zu unterstützen.

Einen VPC-Endpunkt für Amazon S3 verwenden

Wenn sich die Instance in derselben AWS-Region wie der Amazon-S3-Bucket befindet, verwende einen Amazon Virtual Private Cloud (Amazon VPC)-Gateway-Endpunkt.

Du kannst auch ohne Internet-Gateway, NAT-Gerät oder VPN-Verbindung eine private Verbindung zu einer VPC herstellen. Instances in einer VPC benötigen keine öffentlichen IP-Adressen, um mit dem Amazon-S3-Bucket zu kommunizieren. Wenn du einen Amazon-VPC-Endpunkt verwendest, wird der Datenverkehr zwischen der VPC und Amazon S3 über das AWS-Netzwerk geleitet.

Hinweis: Amazon-VPC-Endpunkte für Amazon S3 unterstützen keine Anforderungen in verschiedenen AWS-Regionen.

Amazon S3 Transfer Acceleration zwischen geografisch entfernten Regionen verwenden

Die Datenübertragungsgeschwindigkeiten können sich erhöhen, wenn sich die Instance und der Amazon-S3-Bucket in geografisch nahe gelegenen Regionen befinden. Wenn sich die Instance und der Bucket in geografisch entfernten Regionen befinden, aktiviere Amazon S3 Transfer Acceleration. Bevor du Amazon S3 Transfer Acceleration aktivierst, überprüfe die Amazon-S3-Preise.

Verwende das Geschwindigkeitsvergleichstool für Amazon S3 Transfer Acceleration, um festzustellen, ob Transfer Acceleration die Datenübertragungsgeschwindigkeiten für die Instance verbessert.

Hinweis: Wenn du S3 Transfer Acceleration verwendest, kannst du den CopyObject-API-Aufruf nicht regionsübergreifend verwenden.

Den Amazon-EC2-Instance-Typ aktualisieren

Eine hohe CPU-Auslastung der Amazon-EC2-Instance kann sich auf die Datenübertragungsgeschwindigkeiten auswirken. Du kannst die Instance in einen Instance-Typ ändern, der mehr Arbeitsspeicher und Netzwerkleistung bietet.

Hinweis: Wähle einen Instance-Typ mit einer Konnektivität von mindestens 10 GiB/s, um eine zuverlässige Netzwerkverbindung zwischen der Amazon-EC2-Instance und Amazon S3 sicherzustellen.

Blockweise Übertragungen verwenden

Wenn du große Dateien überträgst, verwende mehrteilige Uploads und bereichsbasierte mehrteilige HTTP-Anforderungen.

Ähnliche Informationen

Bewährte Methoden zur Gestaltung von Mustern: Optimierung der Amazon-S3-Leistung