Comment puis-je utiliser le point de terminaison d’un Amazon VPC pour activer un agent DataSync dans les régions AWS ou les comptes ?

Résolution

Important : L'exemple de configuration suppose ce qui suit :

• Les ressources ne se connecteront pas à l'Internet public, à l'exception de la connexion entre les points de terminaison privés et AWS.
• La source du transfert de données est un environnement VPC sur site ou distant avec une source de données NFS ou SMB. La destination du transfert de données se trouve dans un Amazon VPC. Amazon VPC a accès à Amazon Simple Storage Service (Amazon S3), Amazon Elastic File System (Amazon EFS) ou Amazon FSx. Une fois la configuration terminée, inversez le sens de transfert en fonction des combinaisons d'emplacements prises en charge pour DataSync. Cette configuration fonctionne également avec des sources sur site, telles que HDFS et Object Storage.

Configurer l'environnement réseau source (source de données NFS ou SMB)

L'agent DataSync s'exécute sur le réseau source proche de la source de données NFS ou SMB. Pour cette configuration, le réseau source peut être sur site ou un Amazon VPC privé.

**Remarque :**Si vous souhaitez utiliser l’appairage de VPC pour configurer les transferts entre VPC, passez en revue les limites d’appairage de VPC. Assurez-vous que la fonctionnalité est compatible avec votre configuration.

Configurer l'environnement réseau de destination (Amazon S3, Amazon EFS ou Amazon FSx)

Pour cette configuration, le réseau de destination est un Amazon VPC privé. Amazon VPC doit accéder à un emplacement de destination, tel qu'Amazon S3, Amazon EFS ou Amazon FSx.

Sur le VPC privé de destination, effectuez les étapes suivantes :

1. Créez un point de terminaison VPC pour DataSync.
2. Vérifiez que le sous-réseau associé au point de terminaison VPC possède au moins quatre adresses IP disponibles pour les points de terminaison d'exécution DataSync.
   Remarque : Chaque tâche DataSync utilise quatre adresses IP pour les points de terminaison d'exécution de la tâche.
3. Configurez un groupe de sécurité pour les points de terminaison DataSync VPC. Le groupe de sécurité doit autoriser les options suivantes :
   Trafic entrant sur le port TCP 443 vers le terminal
   Trafic éphémère sortant
   Trafic entrant sur la plage de ports TCP 1024 à 1062 vers le point de terminaison VPC de destination
   Pour ouvrir un canal AWS Support, autorisez le trafic entrant sur le port TCP 22

Configurer la connexion réseau entre les environnements source et de destination

Pour cette configuration, le transfert de données s'effectue depuis l'une des sources suivantes :

• Un environnement source sur site vers un VPC privé de destination
• Entre des VPC privés situés dans différentes régions AWS
• À partir de sources appartenant à différents comptes AWS.

Configurez les exigences de connexion et de réseau suivantes entre les environnements source et de destination :

1. Configurez une connexion réseau active entre l'environnement source et le VPC de destination. Par exemple, vous pouvez utiliser AWS Direct Connect, l’appairage de VPC ou un VPC de transit pour configurer cette connexion.
2. Vérifiez qu'il n'y a pas de chevauchement dans l'espace d'adressage du réseau privé entre les environnements source et de destination. Vérifiez ensuite les blocs CIDR.
3. Vérifiez que les entrées de la table de routage du sous-réseau source et du sous-réseau de destination autorisent le trafic entre les réseaux sans problème. Par exemple, si vous utilisez l’appairage VPC, mettez à jour vos tables de routage pour la connexion d'appairage.
4. S'il existe un pare-feu entre le réseau source et le réseau de destination, vous devez autoriser les options suivantes :
   Trafic sur le port TCP 443 vers les sous-réseaux de point de terminaison VPC de destination
   Trafic sur la plage de ports TCP 1024 à 1062 vers le point de terminaison VPC de destination
   Pour ouvrir un canal AWS Support, autorisez le trafic sur le port TCP 22
5. Vérifiez que tous les groupes de sécurité et pare-feux autorisent le trafic sortant éphémère ou l'utilisation d'outils de suivi des connexions.

Configurer une machine à utiliser pour activer l'agent DataSync

Remarque : Si des erreurs surviennent lorsque vous exécutez des commandes de l’interface de la ligne de commande AWS (AWS CLI), consultez la sectionRésoudre les erreurs AWS CLI. Vérifiez également que vous utilisez bien la version la plus récente de l’AWS CLI.

Vous pouvez utiliser un ordinateur physique, une machine virtuelle ou une instance Amazon Elastic Compute Cloud (Amazon EC2) pour activer l'agent DataSync. Effectuez les étapes suivantes sur la machine :

1. Établissez une connexion à l'un des réseaux privés de l'environnement source ou de destination. Vous devez configurer des itinéraires réseau valides vers les deux réseaux.
2. S'il n'y a pas de connexion Internet, vous devez configurer l'accès réseau à l'agent DataSync sur le port TCP 80 (HTTP).
3. (Facultatif) Installez la commande cURL pour obtenir la clé d'activation.
4. Installez l'AWS CLI pour activer l'agent DataSync.
5. Configurez l'AWS CLI avec l'autorisation AWS Identity and Access Management (IAM) qui vous permet d'activer l'agent DataSync. Les autorisations ressemblent à l'exemple suivant :

   {
     "Version": "2012-10-17",
     "Statement": [{
         "Sid": "VisualEditor2",
         "Effect": "Allow",
         "Action": [
           "datasync:*"
         ],
         "Resource": "arn:aws:datasync:us-east-1:123456789012:*"
       },
       {
         "Sid": "VisualEditor3",
         "Effect": "Allow",
         "Action": [
           "ec2:*VpcEndpoint*",
           "ec2:*subnet*",
           "ec2:*security-group*"
         ],
         "Resource": "*"
       }
     ]
   }

   Remarque : Si vous utilisez une instance Amazon EC2 pour activer l'agent, associez le rôle IAM avec les autorisations appropriées au profil d'instance.

Activer l'agent DataSync

Remarque : assurez-vous de remplacer us-east-1 par la région AWS de votre choix.

Pour activer l'agent DataSync, procédez comme suit :

1. Déployez l'agent DataSync sur une machine virtuelle (sur site) ou sur une instance EC2 (VPC privé).

2. Sur la machine que vous avez configurée, exécutez la commande cURL suivante pour obtenir la clé d'activation de l'agent DataSync :

   curl -vvv -G \
     --data-urlencode "activationRegion=us-east-1" \
     --data-urlencode "gatewayType=SYNC" \
     --data-urlencode "endpointType=PRIVATE_LINK" \
     --data-urlencode "privateLinkEndpoint=vpc_endpoint_ip_address" \
     --data-urlencode "redirect_to=https://us-east-1.console.aws.amazon.com/datasync/home?region=us-east-1#/agents/create" \
     "http://datasync_agent_ip"

   Remarque : Vous pouvez éventuellement inclure --data-urlencode "no_redirect" pour simplifier et raccourcir la commande et la sortie. Vous pouvez également utiliser la console locale pour obtenir la clé d'activation.

3. Notez la clé d'activation figurant dans la sortie de la commande.

4. Exécutez la commande describe-vpc-endpoints pour obtenir le VPCendpointID, le Vpcid, les SubnetId et le Security GroupID pour le point de terminaison VPC de destination :

   aws ec2 describe-vpc-endpoints --region us-east-1

5. Notez le VpcEndpointId de la sortie de la commande. Le sortie de commande se présente de la manière suivante :

           {
               "VpcEndpointId": "vpce-0ba3xxxxx3752b63",
               "VpcEndpointType": "Interface",
               "VpcId": "vpc-aabb1122",
               "ServiceName": "com.amazonaws.us-east-1.datasync",
               ...
               "SubnetIds": [
                   "subnet-f0f6cd97",
                   "subnet-990da7c1",
                   "subnet-41241008"
               ],
               "Groups": [
                   {
                       "GroupId": "sg-8ae9abf1",
                       "GroupName": "default"
                   }
               ],
               ...

   Remarque : Si vous utilisez le même sous-réseau et le même groupe de sécurité pour votre agent DataSync, ignorez les étapes facultatives suivantes.

6. (Facultatif) Exécutez la commande describe-security-groups pour obtenir l'ID du groupe de sécurité du VPC de destination. Les points de terminaison d'exécution DataSync utilisent ce groupe de sécurité pour se connecter au point de terminaison DataSync VPC.

   aws ec2 describe-security-groups --region us-east-1

   Remarque : Pour réduire la complexité de la configuration, il est recommandé d'utiliser le même groupe de sécurité que le point de terminaison du VPC.

7. (Facultatif) Notez le GroupID de la sortie de la commande. La sortie de la commande se présente de la manière suivante :

   "GroupId": "sg-000e8edxxxx4e4701"

8. (Facultatif) Exécutez la commande describe-subnets pour obtenir l'ID de sous-réseau associé au point de terminaison VPC :

   aws ec2 describe-subnets --region us-east-1

   Remarque : Pour réduire la complexité de la configuration, il est recommandé d'utiliser le même sous-réseau que le point de terminaison du VPC.

9. (Facultatif) Notez le SubnetArn de la sortie de commande. La sortie de la commande se présente de la manière suivante :

   "SubnetArn": "arn:aws:ec2:us-east-1:123456789012:subnet/subnet-03dc4xxxx6905bb76"

10. Exécutez la commande create-agent pour activer l'agent DataSync :

aws datasync create-agent --agent-name your_agent_name --vpc-endpoint-id vpce-0cxxxxxxxxxxxxf57 --activation-key UxxxQ-0xxxB-LxxxL-AUxxV-JxxxN --subnet-arns arn:aws:ec2:us-east-1:123456789012:subnet/subnet-0cxxxxxxxxxxxx3 --security-group-arns arn:aws:ec2:us-east-1:123456789012:security-group/sg-xxxxxxxxxxxxxx --region us-east-1

Remarque : Pour la clé d'activation, entrez la clé d'activation. Pour vpc-endpoint-id, entrez la valeur VpcEndpointId. Pour security-group-arns, entrez la valeur GroupID. Pour subnet-arns, entrez votre valeur pour SubnetArn.
La commande renvoie l'ARN de l'agent DataSync :

{
    "AgentArn": "arn:aws:datasync:us-east-1:123456789012:agent/agent-0bxxxxxxxxxxxxxx57c"
}

11. Exécutez la commande list-agents pour confirmer que vous avez créé l'agent avec succès :

aws datasync list-agents --region us-east-1

12. Vérifiez que l'ARN de votre agent DataSync est renvoyé dans la sortie :

{
    "Agents": [
        {
            "AgentArn": "arn:aws:datasync:us-east-1:123456789012:agent/agent-0bxxxxxxxxxxxxxx57c",
            "Status": "ONLINE",
            "Name": "your_agent_name"
        }
    ]
}

Une fois votre agent DataSync activé, utilisez la console DataSync pour créer des emplacements et des tâches pour vos transferts.

Résoudre les erreurs lors de l'activation de l'agent DataSync

Vous pouvez rencontrer des erreurs lors de l'activation de l'agent DataSync. Pour résoudre les problèmes, consultez les informations suivantes :

Le trafic sur le port TCP 443 n'est pas autorisé

La commande cURL renvoie l'erreur suivante, mais ne renvoie pas la clé d'activation :

« errorType=PRIVATE_LINK_ENDPOINT_UNREACHABLE »

Cette erreur se produit généralement lorsque le trafic sur le port TCP 443 n'est pas autorisé vers le point de terminaison VPC.

Clé d'activation publique dans la commande create-agent

L'erreur InvalidRequestException suivante se produit lorsque vous appelez l'opération CreateAgent. Un message d'erreur similaire à l'un des suivants peut s'afficher :

« Private link configuration is invalid: VPC Endpoint Id should remain unspecified for public-endpoint activation keys. »

Cette erreur se produit lorsque vous entrez la clé d'activation publique pour le paramètre --activation-key dans la commande create-agent. Vous devez entrer la clé d'activation privée pour le type de point de terminaison privé dans cette configuration.

L'identité IAM ne dispose pas d'autorisations suffisantes

Lorsque vous configurez l'activation de l'agent DataSync, l'une des erreurs suivantes peut s'afficher :

« An error occurred (InvalidRequestException) when calling the CreateAgent operation: Invalid EC2 subnet, ARN: arn:aws:ec2:us-east-1:123456789012:subnet/subnet-41xxxx08, reason: invalid subnet, StatusCode: 403 »

-ou-

« An error occurred (InvalidRequestException) when calling the CreateAgent operation: Invalid EC2 security group, ARN: arn:aws:ec2:us-east-1:123456789012:security-group/sg-000e8xxxx9d4e4701, reason: invalid security group, StatusCode: 403 »

-ou-

« An error occurred (InvalidRequestException) when calling the CreateAgent operation: Private link configuration is invalid: VPC endpoint vpce-0ba34edxxxx752b63 is not valid »

Ces erreurs se produisent lorsque l'identité IAM configurée sur votre interface de ligne de commande AWS ne dispose pas d'autorisations suffisantes. Vérifiez que la politique de votre identité IAM accorde des autorisations pour ec2:*VpcEndpoint*, ec2:*subnet* et ec2:*security-group*.

Informations connexes

Comment fonctionne AWS DataSync

Utilisation d'agents AWS DataSync avec des points de terminaison VPC

Exigences relatives à AWS DataSync