Wie kann ich einen Amazon VPC-Endpunkt verwenden, um einen DataSync-Agenten in AWS-Regionen oder Konten zu aktivieren?

Lesedauer: 8 Minute

Ich möchte Amazon Virtual Private Cloud (Amazon VPC) verwenden, um meine Umgebungen zu konfigurieren, und AWS DataSync, um Daten in einem privaten Netzwerk zu übertragen.

Behebung

**Wichtig:**In der Beispielkonfiguration wird Folgendes vorausgesetzt:

Die Ressourcen stellen keine Verbindung zum öffentlichen Internet her, mit Ausnahme der Verbindung zwischen den privaten Endpunkten zu AWS.
Die Quelle der Datenübertragung ist eine lokale oder Remote-VPC-Umgebung mit einer NFS- oder SMB-Datenquelle. Das Ziel der Datenübertragung befindet sich in einer Amazon VPC. Die Amazon VPC hat Zugriff auf Amazon Simple Storage Service (Amazon S3), Amazon Elastic File System (Amazon EFS) oder Amazon FSx. Nachdem Sie die Einrichtung abgeschlossen haben, können Sie die Übertragungsrichtung basierend auf den unterstützten Standortkombinationen für DataSync umkehren. Dieses Setup funktioniert auch mit lokalen Quellen wie HDFS und Objektspeicher.

Richten Sie die Quellnetzwerkumgebung ein (NFS- oder SMB-Datenquelle)

Der DataSync-Agent wird im Quellnetzwerk ausgeführt, das sich in der Nähe der NFS- oder SMB-Datenquelle befindet. Für diese Konfiguration kann das Quellnetzwerk entweder lokal oder eine private Amazon VPC sein.

**Hinweis:**Wenn Sie VPC-Peering verwenden möchten, um Übertragungen zwischen VPCs einzurichten, überprüfen Sie die Einschränkungen von VPC-Peering. Stellen Sie sicher, dass die Funktion Ihre Konfiguration unterstützt.

Richten Sie die Zielnetzwerkumgebung ein (Amazon S3, Amazon EFS oder Amazon FSx)

Für diese Konfiguration ist das Zielnetzwerk eine private Amazon VPC. Die Amazon VPC muss auf einen Zielstandort wie Amazon S3, Amazon EFS oder Amazon FSx zugreifen.

Führen Sie auf der privaten Ziel-VPC die folgenden Schritte aus:

Erstellen Sie einen VPC-Endpunkt für DataSync.
Stellen Sie sicher, dass das dem VPC-Endpunkt zugeordnete Subnetz über mindestens vier IP-Adressen verfügt, die für DataSync-Ausführungsendpunkte verfügbar sind.
**Hinweis:**Jede DataSync-Aufgabe verwendet vier IP-Adressen für die Endpunkte der Aufgabenausführung.
Konfigurieren Sie eine Sicherheitsgruppe für die DataSync-VPC-Endpunkte. Die Sicherheitsgruppe muss die folgenden Optionen zulassen:
Eingehender Verkehr über TCP-Port 443 zum Endpunkt . Ausgehender kurzlebiger Verkehr . Eingehender Datenverkehr auf dem TCP-Portbereich 1024-1062 zum VPC-Zielendpunkt . Um einen AWS-Support-Kanal zu öffnen, lassen Sie eingehenden Datenverkehr auf TCP-Port 22 zu

Richten Sie die Netzwerkverbindung zwischen der Quell- und Zielumgebung ein

Bei dieser Konfiguration erfolgt die Datenübertragung von einer der folgenden:

Eine lokale Quellumgebung für eine private Ziel-VPC
Zwischen privaten VPCs, die sich in verschiedenen AWS-Regionen befinden
Aus Quellen, die zu verschiedenen AWS-Konten gehören.

Konfigurieren Sie die folgenden Verbindungs- und Netzwerkanforderungen zwischen der Quell- und Zielumgebung:

Richten Sie eine aktive Netzwerkverbindung zwischen der Quellumgebung und der Ziel-VPC ein. Richten Sie diese Verbindung beispielsweise mithilfe von AWS Direct Connect, VPC-Peering oder einer Transit-VPC ein.
Stellen Sie sicher, dass sich der Adressraum des privaten Netzwerks zwischen der Quell- und der Zielumgebung nicht überschneidet. Überprüfen Sie dann die CIDR-Blöcke.
Vergewissern Sie sich, dass die Routing-Tabelleneinträge sowohl im Quellsubnetz als auch im Zielsubnetz den Verkehr zwischen den Netzwerken problemlos zulassen. Wenn Sie beispielsweise VPC-Peering verwenden, aktualisieren Sie Ihre Routing-Tabellen für die Peering-Verbindung.
Wenn sich zwischen Quell- und Zielnetzwerk eine Firewall befindet, müssen Sie die folgenden Optionen zulassen:
Datenverkehr auf TCP-Port 443 zu den Subnetzen des Ziel-VPC-Endpunkts . Datenverkehr auf dem TCP-Portbereich 1024-1062 zum VPC-Zielendpunkt . Um einen AWS-Support-Kanal zu öffnen, lassen Sie den Datenverkehr auf TCP-Port 22 zu
Stellen Sie sicher, dass alle Sicherheitsgruppen und Firewalls kurzlebigen ausgehenden Datenverkehr oder die Verwendung von Tools zur Verbindungsverfolgung zulassen.

Konfigurieren Sie einen Computer, der zur Aktivierung des DataSync-Agenten verwendet werden soll

**Hinweis:**Wenn bei der Ausführung von AWS Command Line Interface (AWS CLI)-Befehlen Fehler auftreten, finden Sie weitere Informationen unter Troubleshoot AWS CLI errors. Stellen Sie außerdem sicher, dass Sie die neueste Version von AWS CLI verwenden.

Sie können einen physischen Computer, eine virtuelle Maschine oder eine Amazon Elastic Compute Cloud (Amazon EC2) -Instance verwenden, um den DataSync-Agenten zu aktivieren. Führen Sie die folgenden Schritte am Gerät aus:

Richten Sie eine Verbindung zu einem der privaten Netzwerke in der Quell- oder Zielumgebung ein. Sie müssen gültige Netzwerkrouten zu beiden Netzwerken konfigurieren.
Wenn keine Internetverbindung besteht, müssen Sie den Netzwerkzugriff auf den DataSync-Agenten auf TCP-Port 80 (HTTP) einrichten.
(Optional) Installieren Sie den cURL-Befehl, um den Aktivierungsschlüssel abzurufen.
Installieren Sie die AWS CLI, um den DataSync-Agenten zu aktivieren.

Konfigurieren Sie die AWS-CLI mit der AWS Identity and Access Management (IAM) -Berechtigung, mit der Sie den DataSync-Agenten aktivieren können. Die Berechtigungen ähneln dem folgenden Beispiel:

{
  "Version": "2012-10-17",
  "Statement": [{
      "Sid": "VisualEditor2",
      "Effect": "Allow",
      "Action": [
        "datasync:*"
      ],
      "Resource": "arn:aws:datasync:us-east-1:123456789012:*"
    },
    {
      "Sid": "VisualEditor3",
      "Effect": "Allow",
      "Action": [
        "ec2:*VpcEndpoint*",
        "ec2:*subnet*",
        "ec2:*security-group*"
      ],
      "Resource": "*"
    }
  ]
}

**Hinweis:**Wenn Sie eine Amazon EC2-Instance verwenden, um den Agenten zu aktivieren, können Sie die IAM-Rolle mit den richtigen Berechtigungen an das Instance-Profil anhängen.

Aktivieren Sie den DataSync-Agenten

**Hinweis:**Achten Sie darauf, us-east-1 durch die AWS-Region Ihrer Wahl zu ersetzen.

Gehen Sie wie folgt vor, um den DataSync-Agenten zu aktivieren:

Stellen Sie den DataSync-Agenten auf einer virtuellen Maschine (lokal) oder auf einer EC2-Instance (private VPC) bereit.

Führen Sie auf dem Computer, den Sie konfiguriert haben, den folgenden cURL-Befehl aus, um den Aktivierungsschlüssel des DataSync-Agenten abzurufen.

curl -vvv -G \
  --data-urlencode "activationRegion=us-east-1" \
  --data-urlencode "gatewayType=SYNC" \
  --data-urlencode "endpointType=PRIVATE_LINK" \
  --data-urlencode "privateLinkEndpoint=vpc_endpoint_ip_address" \
  --data-urlencode "redirect_to=https://us-east-1.console.aws.amazon.com/datasync/home?region=us-east-1#/agents/create" \
  "http://datasync_agent_ip"

**Hinweis:**Sie können optional /--data-urlencode „no\ _redirect“ hinzufügen, um den Befehl und die Ausgabe zu vereinfachen und zu verkürzen. Sie können den Aktivierungsschlüssel auch über die lokale Konsole abrufen.

Notieren Sie sich den Aktivierungsschlüssel aus der Befehlsausgabe.

Führen Sie den Befehl describe-vpc-endpoints aus, um die vpcEndpointID, vpCID, subnetIds und Security GroupId für den VPC-Zielendpunkt abzurufen:

aws ec2 describe-vpc-endpoints --region us-east-1

Notieren Sie sich die vpcEndpointID aus der Befehlsausgabe. Die Ausgabe sieht etwa wie folgt aus:

        {
            "VpcEndpointId": "vpce-0ba3xxxxx3752b63",
            "VpcEndpointType": "Interface",
            "VpcId": "vpc-aabb1122",
            "ServiceName": "com.amazonaws.us-east-1.datasync",
            ...
            "SubnetIds": [
                "subnet-f0f6cd97",
                "subnet-990da7c1",
                "subnet-41241008"
            ],
            "Groups": [
                {
                    "GroupId": "sg-8ae9abf1",
                    "GroupName": "default"
                }
            ],
            ...

**Hinweis:**Wenn Sie dasselbe Subnetz und dieselbe Sicherheitsgruppe für Ihren DataSync-Agenten verwenden, überspringen Sie die folgenden optionalen Schritte.

Führen Sie den Befehl describe-security-groups aus, um die Sicherheitsgruppen-ID der Ziel-VPC abzurufen. Die DataSync-Ausführungsendpunkte verwenden diese Sicherheitsgruppe, um eine Verbindung zum DataSync-VPC-Endpunkt herzustellen.
```
aws ec2 describe-security-groups --region us-east-1
```
**Hinweis:**Um die Komplexität der Konfiguration zu reduzieren, empfiehlt es sich, dieselbe Sicherheitsgruppe wie den VPC-Endpunkt zu verwenden.
(Optional) Notieren Sie sich die GroupID aus der Befehlsausgabe. Die Befehlsausgabe sieht ähnlich wie folgt aus:
```
"GroupId": "sg-000e8edxxxx4e4701"
```
Führen Sie den Befehl describe-subnets aus, um die dem VPC-Endpunkt zugeordnete Subnetz-ID abzurufen:
```
aws ec2 describe-subnets --region us-east-1
```
**Hinweis:**Um die Komplexität der Konfiguration zu reduzieren, empfiehlt es sich, dasselbe Subnetz wie der VPC-Endpunkt zu verwenden.

(Optional) Notieren Sie sich den SubnetArn aus der Befehlsausgabe. Die Befehlsausgabe sieht ähnlich wie folgt aus:

"SubnetArn": "arn:aws:ec2:us-east-1:123456789012:subnet/subnet-03dc4xxxx6905bb76"

Führen Sie den Befehl create-agent aus, um den DataSync-Agenten zu aktivieren:

aws datasync create-agent --agent-name your_agent_name --vpc-endpoint-id vpce-0cxxxxxxxxxxxxf57 --activation-key UxxxQ-0xxxB-LxxxL-AUxxV-JxxxN --subnet-arns arn:aws:ec2:us-east-1:123456789012:subnet/subnet-0cxxxxxxxxxxxx3 --security-group-arns arn:aws:ec2:us-east-1:123456789012:security-group/sg-xxxxxxxxxxxxxx --region us-east-1

**Hinweis:**Geben Sie für den Aktivierungsschlüssel den Aktivierungsschlüssel ein. Geben Sie für vpc-endpoint-id Ihren Wert für vpcEndpointID ein. Geben Sie für security-group-arns Ihren Wert für GroupID ein. Geben Sie für Subnet-ARNS Ihren Wert für SubnetArn ein.
Der Befehl gibt den ARN des DataSync-Agenten zurück:

{
    "AgentArn": "arn:aws:datasync:us-east-1:123456789012:agent/agent-0bxxxxxxxxxxxxxx57c"
}

Führen Sie den Befehl list-agents aus, um zu bestätigen, dass Sie den Agenten erfolgreich erstellt haben:

aws datasync list-agents --region us-east-1

Vergewissern Sie sich, dass der ARN Ihres DataSync-Agenten in der Ausgabe zurückgegeben wird:

{
    "Agents": [
        {
            "AgentArn": "arn:aws:datasync:us-east-1:123456789012:agent/agent-0bxxxxxxxxxxxxxx57c",
            "Status": "ONLINE",
            "Name": "your_agent_name"
        }
    ]
}

Nachdem Ihr DataSync-Agent aktiviert wurde, können Sie die DataSync-Konsole verwenden, um Standorte und Aufgaben für Ihre Übertragungen zu erstellen.

Fehler bei der Aktivierung des DataSync-Agenten beheben

Bei der Aktivierung des DataSync-Agenten können Fehler auftreten. Überprüfen Sie zur Problembehandlung die folgenden Informationen:

Verkehr auf TCP-Port 443 ist nicht zulässig

Der cURL-Befehl gibt den folgenden Fehler zurück und gibt den Aktivierungsschlüssel nicht zurück:

"errorType=PRIVATE_LINK_ENDPOINT_UNREACHABLE"

Dieser Fehler tritt normalerweise auf, wenn der Datenverkehr auf dem TCP-Port 443 zum VPC-Endpunkt nicht zulässig ist.

Öffentlicher Aktivierungsschlüssel im Befehl create-agent.

Der folgende InvalidRequestException-Fehler tritt auf, wenn Sie den CreateAgent-Vorgang aufrufen. Möglicherweise wird ein Fehler ähnlich dem folgenden angezeigt:

„Die Konfiguration für private Links ist ungültig: Die VPC-Endpunkt-ID sollte für Aktivierungsschlüssel für öffentliche Endpunkte nicht spezifiziert bleiben. “

Dieser Fehler tritt normalerweise auf, wenn Sie den öffentlichen Aktivierungsschlüssel für den Parameter --activation-key im Befehl create-agent eingeben. In dieser Konfiguration müssen Sie den privaten Aktivierungsschlüssel für den privaten Endpunkttyp eingeben.

Die IAM-Identität hat unzureichende Berechtigungen.

Wenn Sie die DataSync-Agent-Aktivierung konfigurieren, erhalten Sie möglicherweise eine der folgenden Fehlermeldungen:

„Beim Aufrufen der CreateAgent-Operation ist ein Fehler aufgetreten (InvalidRequestException): Ungültiges EC2-Subnetz, ARN: arn:aws:ec2:us-east- 1:123456789012:subnet/subnet-41xxxx08, Grund: ungültiges Subnetz, StatusCode: 403“

-oder-

„Beim Aufrufen der CreateAgent-Operation ist ein Fehler aufgetreten (InvalidRequestException): Ungültige EC2-Sicherheitsgruppe, ARN: arn:aws:ec2:us-east- 1:123456789012:security-group/sg-000e8xxxx9d4e4701, Grund: ungültige Sicherheitsgruppe, StatusCode: 403“