Wie kann ich einen DataSync-Agenten mithilfe eines Amazon VPC-Endpunkts in allen AWS-Regionen oder kontenübergreifend aktivieren?

Lesedauer: 8 Minute
0

Ich möchte AWS DataSync verwenden, um Daten zwischen den folgenden Standorten zu übertragen: Zwischen lokalen und AWS Zwischen AWS-Regionen Zwischen AWS-Konten Ich möchte meine Umgebungen und den DataSync-Agenten für dieses Szenario in einem privaten Netzwerk mit einem Amazon Virtual Private Cloud (Amazon VPC)-Endpunkt einrichten.

Behebung

**Wichtig:**Die folgende Konfiguration geht von Folgendem aus:

  • Die Ressourcen stellen keine Verbindung zum öffentlichen Internet her, mit Ausnahme der Verbindung zwischen den privaten Endpunkten zu AWS.
  • Die Quelle der Datenübertragung ist eine lokale oder Remote-VPC-Umgebung mit einer NFS- oder SMB-Datenquelle. Das Ziel der Datenübertragung ist eine Amazon VPC, die Zugriff auf Amazon Simple Storage Service (Amazon S3), Amazon Elastic File System (Amazon EFS) oder Amazon FSx hat. Nachdem Sie die Einrichtung abgeschlossen haben, können Sie die Übertragungsrichtung basierend auf den unterstützten Standortkombinationen für DataSync umkehren.

Richten Sie die Quellnetzwerkumgebung ein (NFS- oder SMB-Datenquelle)

Der DataSync-Agent wird im Quellnetzwerk ausgeführt, das sich in der Nähe der NFS- oder SMB-Datenquelle befindet. Für diese Konfiguration kann das Quellnetzwerk entweder lokal oder eine private Amazon VPC sein.

**Hinweis:**Wenn Sie Übertragungen zwischen VPCs mithilfe von VPC-Peering einrichten möchten, sollten Sie die Einschränkungen von VPC-Peering überprüfen, um sicherzustellen, dass die Funktion Ihre Konfiguration unterstützt.

Richten Sie die Zielnetzwerkumgebung ein (Amazon S3, Amazon EFS oder Amazon FSx)

Für diese Konfiguration muss das Zielnetzwerk eine private Amazon VPC sein, die auf einen Zielstandort wie Amazon S3, Amazon EFS oder Amazon FSx zugreifen kann.

Darüber hinaus müssen Sie auf der privaten Ziel-VPC Folgendes einrichten:

1.    Erstellen Sie einen VPC-Endpunkt für DataSync.

2.    Stellen Sie sicher, dass das dem VPC-Endpunkt zugeordnete Subnetz über mindestens vier IP-Adressen verfügt, die für DataSync-Ausführungsendpunkte verfügbar sind.

**Hinweis:**Jede DataSync-Aufgabe verwendet vier IP-Adressen für die Endpunkte der Aufgabenausführung.

3.    Konfigurieren Sie eine Sicherheitsgruppe für die DataSync-VPC-Endpunkte. Die Sicherheitsgruppe muss Folgendes zulassen:

  • Eingehender Verkehr über TCP-Port 443 zum Endpunkt
  • Ausgehender kurzlebiger Verkehr
  • Eingehender Datenverkehr auf dem TCP-Portbereich 1024-1062 zum VPC-Zielendpunkt
  • Um einen AWS-Support-Kanal zu öffnen, lassen Sie eingehenden Datenverkehr auf TCP-Port 22 zu

Richten Sie die Netzwerkverbindung zwischen der Quell- und Zielumgebung ein

Bei dieser Konfiguration kann die Datenübertragung von einer lokalen Quellumgebung zu einer privaten Ziel-VPC erfolgen. Oder die Datenübertragung kann zwischen privaten VPCs erfolgen, die sich in verschiedenen AWS-Regionen befinden oder zu verschiedenen AWS-Konten gehören. Sie müssen die folgenden Verbindungs- und Netzwerkanforderungen zwischen der Quell- und Zielumgebung einrichten:

1.    Richten Sie eine aktive Netzwerkverbindung zwischen der Quellumgebung und dem Ziel-VPC-Endpunkt ein. Richten Sie diese Verbindung beispielsweise mithilfe von AWS Direct Connect, VPC-Peering oder einer Transit-VPC ein.

2.    Stellen Sie sicher, dass sich der Adressraum des privaten Netzwerks zwischen der Quell- und der Zielumgebung nicht überschneidet. Überprüfen Sie dann die CIDR-Blöcke.

3.    Vergewissern Sie sich, dass die Routing-Tabelleneinträge sowohl im Quellsubnetz als auch im Zielsubnetz den Datenverkehr zwischen den Netzwerken ohne Probleme zulassen. Wenn Sie beispielsweise VPC-Peering verwenden, aktualisieren Sie Ihre Routing-Tabellen für die Peering-Verbindung.

4.    Wenn zwischen dem Quell- und dem Zielnetzwerk eine Firewall vorhanden ist, müssen Sie Folgendes zulassen:

  • Datenverkehr auf TCP-Port 443 zu den Subnetzen des Ziel-VPC-Endpunkts
  • Datenverkehr auf dem TCP-Portbereich 1024-1062 zum VPC-Zielendpunkt
  • Um einen AWS-Support-Kanal zu öffnen, lassen Sie den Datenverkehr auf TCP-Port 22 zu

5.    Stellen Sie sicher, dass alle Sicherheitsgruppen und Firewalls kurzlebigen ausgehenden Datenverkehr oder die Verwendung von Tools zur Verbindungsverfolgung zulassen.

Richten Sie den Computer ein, den Sie zur Aktivierung des DataSync-Agenten verwenden werden

Sie können einen physischen Computer, eine virtuelle Maschine oder eine Amazon Elastic Compute Cloud (Amazon EC2) -Instance verwenden, um den DataSync-Agenten zu aktivieren. Sie müssen auf dem Computer Folgendes einrichten:

1.    Richten Sie eine Verbindung zu einem der privaten Netzwerke in der Quell- oder Zielumgebung ein. Sie müssen gültige Netzwerkrouten zu beiden Netzwerken konfigurieren.

2.    Wenn keine Internetverbindung besteht, müssen Sie den Netzwerkzugriff auf den DataSync-Agenten auf TCP-Port 80 (HTTP) einrichten.

3.    Installieren Sie den Befehl cURL, um den Aktivierungsschlüssel zu erhalten.

4.    Installieren Sie die AWS-Befehlszeilenschnittstelle (AWS CLI), um den DataSync-Agenten zu aktivieren.

5.    Konfigurieren Sie die AWS-CLI mit den Anmeldeinformationen für AWS Identity and Access Management (IAM), mit denen Sie den DataSync-Agenten aktivieren können, ähnlich wie im Folgenden:

{
  "Version": "2012-10-17",
  "Statement": [{
      "Sid": "VisualEditor2",
      "Effect": "Allow",
      "Action": [
        "datasync:*"
      ],
      "Resource": "arn:aws:datasync:us-east-1:123456789012:*"
    },
    {
      "Sid": "VisualEditor3",
      "Effect": "Allow",
      "Action": [
        "ec2:*VpcEndpoint*",
        "ec2:*subnet*",
        "ec2:*security-group*"
      ],
      "Resource": "*"
    }
  ]
}

**Hinweis:**Wenn Sie eine Amazon EC2-Instance verwenden, um den Agenten zu aktivieren, können Sie die IAM-Rolle mit den richtigen Berechtigungen an das Instance-Profil anhängen.

Aktivieren Sie den DataSync-Agenten

**Hinweis:**Achten Sie darauf, ** us-east-1 ** durch die AWS-Region Ihrer Wahl zu ersetzen.

1.    Stellen Sie den DataSync-Agenten auf einer virtuellen Maschine (lokal) oder auf einer EC2-Instance (private VPC) bereit.

2.    Rufen Sie auf dem Computer, den Sie in den vorherigen Schritten eingerichtet haben, den Aktivierungsschlüssel des DataSync-Agenten ab, indem Sie den folgenden cURL-Befehl ausführen:

curl -vvv -G \
  --data-urlencode "activationRegion=us-east-1" \
  --data-urlencode "gatewayType=SYNC" \
  --data-urlencode "endpointType=PRIVATE_LINK" \
  --data-urlencode "privateLinkEndpoint=vpc_endpoint_ip_address" \
  --data-urlencode "redirect_to=https://us-east-1.console.aws.amazon.com/datasync/home?region=us-east-1#/agents/create" \
  "http://datasync_agent_ip"

**Hinweis:**Sie können optional ** --data-urlencode „no\ _redirect“ hinzufügen, um den Befehl und die Ausgabe ** zu vereinfachen und zu verkürzen.

-oder-

Sie können den Aktivierungsschlüssel über die lokale Konsole abrufen.

3.    Notieren Sie sich den Aktivierungsschlüssel aus der Befehlsausgabe.

4.    Führen Sie mithilfe der AWS-CLI den ](https://docs.aws.amazon.com/cli/latest/reference/ec2/describe-vpc-endpoints.html) Befehl [ describe-vpc-endpoints aus, um die Ziel-VPC-Endpunkt-ID abzurufen:

aws ec2 describe-vpc-endpoints --region us-east-1

**Hinweis:**Wenn Sie beim Ausführen von AWS-CLI-Befehlen Fehler erhalten, stellen Sie sicher, dass Sie die neueste Version der AWS-CLI verwenden.

5.    Notieren Sie sich die ** „vpcEndPointID“ ** aus der Befehlsausgabe, ähnlich der folgenden:

"VpcEndpointId": "vpce-0ba3xxxxx3752b63"

6.    Führen Sie mithilfe der AWS-CLI den ](https://docs.aws.amazon.com/cli/latest/reference/ec2/describe-security-groups.html) Befehl [ describe-security-groups aus, um die Sicherheitsgruppen-ID der Ziel-VPC abzurufen. Dies ist die Sicherheitsgruppe, die die DataSync-Ausführungsendpunkte verwenden, um eine Verbindung zum DataSync-VPC-Endpunkt herzustellen.

**Hinweis:**Wir empfehlen, dass Sie dieselbe Sicherheitsgruppe wie den VPC-Endpunkt verwenden, um die Komplexität der Konfiguration zu reduzieren.

aws ec2 describe-security-groups --region us-east-1

7.    Notieren Sie sich die ** „groupID“ ** aus der Befehlsausgabe, ähnlich der folgenden:

"GroupId": "sg-000e8edxxxx4e4701"

8.    Führen Sie mithilfe der AWS-CLI den ](https://docs.aws.amazon.com/cli/latest/reference/ec2/describe-subnets.html) Befehl [ describe-subnets aus, um die dem VPC-Endpunkt zugeordnete Subnetz-ID abzurufen:

**Hinweis:**Um die Komplexität der Konfiguration zu reduzieren, empfiehlt es sich, dasselbe Subnetz wie der VPC-Endpunkt zu verwenden.

aws ec2 describe-subnets --region us-east-1

9.    Notieren Sie sich das ** „SubnetARN“ ** aus der Befehlsausgabe, ähnlich dem Folgenden:

"SubnetArn": "arn:aws:ec2:us-east-1:123456789012:subnet/subnet-03dc4xxxx6905bb76"

10.    Führen Sie mithilfe der AWS-CLI den ](https://docs.aws.amazon.com/cli/latest/reference/datasync/create-agent.html) Befehl [ create-agent aus, um den DataSync-Agenten zu aktivieren:

  • Geben Sie für ** --activation-key den Aktivierungsschlüssel ein**, den Sie in Schritt 3 erhalten haben.
  • Geben Sie für ** --vpc-endpoint-id** die „vpcEndpointId“ ein, die Sie in Schritt 5 erhalten haben.
  • Geben Sie für ** --security-group-arns die ** GroupID ein**, die Sie in Schritt 7 erhalten ** haben.
  • Geben Sie für ** --subnet-arns den ** SubnetARN ein**, den Sie in Schritt 9 erhalten ** haben.
aws datasync create-agent --agent-name your_agent_name --vpc-endpoint-id vpce-0cxxxxxxxxxxxxf57 --activation-key UxxxQ-0xxxB-LxxxL-AUxxV-JxxxN --subnet-arns arn:aws:ec2:us-east-1:123456789012:subnet/subnet-0cxxxxxxxxxxxx3 --security-group-arns arn:aws:ec2:us-east-1:123456789012:security-group/sg-xxxxxxxxxxxxxx --region us-east-1

11.    Der Befehl gibt den Amazon-Ressourcennamen (ARN) des DataSync-Agenten zurück:

{
    "AgentArn": "arn:aws:datasync:us-east-1:123456789012:agent/agent-0bxxxxxxxxxxxxxx57c"
}

12.    Führen Sie den ](https://docs.aws.amazon.com/cli/latest/reference/datasync/list-agents.html) Befehl [ list-agents aus, um zu bestätigen, dass Sie den Agenten erfolgreich erstellt haben:

aws datasync list-agents --region us-east-1

13.    Vergewissern Sie sich, dass der ARN Ihres DataSync-Agenten in der Ausgabe zurückgegeben wird:

{
    "Agents": [
        {
            "AgentArn": "arn:aws:datasync:us-east-1:123456789012:agent/agent-0bxxxxxxxxxxxxxx57c",
            "Status": "ONLINE",
            "Name": "your_agent_name"
        }
    ]
}

Nachdem Ihr DataSync-Agent aktiviert wurde, können Sie die [ DataSync-Konsole verwenden, um Standorte und Aufgaben für Ihre Übertragungen ](https://console.aws.amazon.com/datasync/) zu erstellen.

Fehler bei der Aktivierung des DataSync-Agenten beheben

**'Der cURL-Befehl gibt „errorType=PRIVATE\ _LINK\ _ENDPOINT\ _UNREACHABLE“ zurück und gibt den Aktivierungsschlüssel nicht zurück' **

Dieser Fehler tritt normalerweise auf, wenn der Verkehr über den TCP-Port 443 nicht zum VPC-Endpunkt zugelassen ist.

**„Beim Aufrufen der CreateAgent-Operation ist ein Fehler aufgetreten (InvalidRequestException): Die Konfiguration des privaten Links ist ungültig: Die VPC-Endpunkt-ID sollte für Aktivierungsschlüssel für öffentliche Endpunkte nicht spezifiziert bleiben“ **

Dieser Fehler tritt normalerweise auf, wenn Sie den öffentlichen Aktivierungsschlüssel für den ** Parameter ** --activation-key im ** Befehl create-agent eingeben**. In dieser Konfiguration müssen Sie den privaten Aktivierungsschlüssel für den privaten Endpunkttyp eingeben.

**„Beim Aufrufen der CreateAgent-Operation ist ein Fehler aufgetreten (InvalidRequestException): Ungültiges EC2-Subnetz, ARN: arn:aws:ec2:us-east- 1:123456789012:subnet/subnet-41xxxx08, Grund: ungültiges Subnetz, StatusCode: 403 Zoll **

-oder-

**„Beim Aufrufen der CreateAgent-Operation ist ein Fehler aufgetreten (InvalidRequestException): Ungültige EC2-Sicherheitsgruppe, ARN: arn:aws:ec2:us-east- 1:123456789012:security-group/sg-000e8xxxx9d4e4701, Grund: ungültige Sicherheitsgruppe, StatusCode: 403 Zoll **

-oder-

**„Beim Aufrufen der CreateAgent-Operation ist ein Fehler aufgetreten (InvalidRequestException): Die Konfiguration des privaten Links ist ungültig: VPC-Endpunkt vpce-0ba34edxxxx752b63 ist nicht gültig“ **

Diese Fehler treten normalerweise auf, wenn die in Ihrer AWS-CLI konfigurierte IAM-Identität nicht über ausreichende Berechtigungen verfügt. Sie müssen bestätigen, dass die Richtlinie Ihrer IAM-Identität Berechtigungen für ** ec2:\ *vpcEndpoint\ ***, ec2:\ *subnet\ * und ** ec2:\ *security-group\ * ** gewährt. ** **


Ähnliche Informationen

So funktioniert AWS DataSync

Verwenden von AWS DataSync in einer virtuellen privaten Cloud

Anforderungen für AWS DataSync

AWS OFFICIAL
AWS OFFICIALAktualisiert vor 2 Jahren