Comment puis-je ajouter ou modifier les paramètres de point de terminaison pour AWS DMS ?

Brève description

Les paramètres de point de terminaison (anciennement Extra Connection Attributes) définissent des paramètres supplémentaires spécifiques au point de terminaison à utiliser pour une tâche AWS DMS. Par exemple, utilisez les paramètres des points de terminaison pour contrôler le délai d'attente, le fuseau horaire et les paramètres de taille de fichier d'un point de terminaison spécifique. Pour ajouter ou modifier les paramètres du point de terminaison de votre point de terminaison AWS DMS, reportez-vous aux options suivantes :

• console AWS DMS
• interface de la ligne de commande AWS (AWS CLI)
• AWS CloudFormation.

Résolution

Remarque : si des erreurs surviennent lorsque vous exécutez des commandes AWS CLI, reportez-vous à Résolution des erreurs liées à AWS CLI. Vérifiez également que vous utilisez la version la plus récente d'AWS CLI.

Utiliser la console AWS DMS pour créer un nouveau point de terminaison avec des attributs de connexion supplémentaires

1.    Ouvrez la console AWS DMS et choisissez la région AWS dans laquelle vous souhaitez créer le point de terminaison.

2.    Dans le volet de navigation, choisissez Points de terminaison.

3.    Choisissez Créer un point de terminaison.

4.    Choisissez le type de point de terminaison, puis renseignez les détails de configuration du point de terminaison.

5.    Ouvrez la section Paramètres du point de terminaison.

6.    Choisissez Ajouter un nouveau paramètre. Utilisez l'assistant ou l'éditeur JSON pour fournir le nom et la valeur du point de terminaison.

Exemple :

{
  "CsvRowDelimiter": "\\n",
  "CsvDelimiter": ",",
  "CompressionType": "GZIP",
  "DataFormat": "parquet",
  "EnableStatistics": true,
  "DatePartitionEnabled": false
}

7.    (Facultatif) Choisissez Utiliser les attributs de connexion du point de terminaison. Entrez vos attributs de connexion supplémentaires (ECA). Veillez à séparer chaque champ distinct par un point-virgule.

Exemple :

compressionType=GZIP;csvDelimiter=,;csvRowDelimiter=\n;datePartitionEnabled=false;

8.    Ouvrez la section Tester la connexion du point de terminaison.

9.    Choisissez votre instance de VPC et de réplication.

9.    Choisissez Exécuter le test.

10.    Choisissez Créer un point de terminaison.

Utiliser la console AWS DMS pour ajouter des paramètres de point de terminaison (ou ECA) à un point de terminaison existant

1. Ouvrez la console AWS DMS, puis sélectionnez la région AWS dans laquelle se trouve le point de terminaison.
2. Dans le volet de navigation, choisissez Points de terminaison, puis sélectionnez le point de terminaison que vous souhaitez modifier.
3. Choisissez Actions, puis Modifier.
4. Ouvrez la section Paramètres du point de terminaison, puis utilisez l'assistant ou l'éditeur JSON pour saisir les valeurs clés du paramètre du point de terminaison.
5. Choisissez Enregistrer.
6. Sélectionnez à nouveau le point de terminaison.
7. Choisissez Actions, puis choisissez Tester la connexion.
8. Sélectionnez votre instance de réplication, puis choisissez Exécuter le test.

Utilisez AWS CLI pour créer un nouveau point de terminaison avec des paramètres personnalisés.

1.    Installez et configurez l'AWS CLI. Sélectionnez la région AWS dans laquelle vous souhaitez créer le point de terminaison.

2.    Exécutez la commande create-endpoint :

aws dms create-endpoint --endpoint-identifier <value> --endpoint-type <value> --engine-name <value> --s3-settings ServiceAccessRoleArn=arn:aws:iam::1111111111111:role/<role-name>,BucketName=<bucket-name>,CompressionType=GZIP,MaxFileSize=32000

3.    Testez la connectivité du nouveau point de terminaison avec l'instance de réplication :

aws dms test-connection--replication-instance-arn <value>
--endpoint-arn <value>

utilisez AWS CLI pour ajouter des paramètres de point de terminaison à un point de terminaison existant.

1.    Installez et configurez l'AWS CLI. Sélectionnez la région AWS dans laquelle vous souhaitez créer le point de terminaison.

2.    Exécutez la commande modify-endpoint :

aws dms modify-endpoint--endpoint-arn <value>
--s3-settings Rfc4180=true,AddColumnName=true,CdcInsertsOnly=true,MaxFileSize=64000

3.    Testez la connectivité du point de terminaison modifié avec l'instance de réplication :

aws dms test-connection--replication-instance-arn <value>
--endpoint-arn <value>

Utiliser AWS CloudFormation pour créer un nouveau point de terminaison avec des paramètres personnalisés

1.    Ouvrez la console CloudFormation. Sélectionnez la région AWS dans laquelle vous souhaitez créer le point de terminaison.

2.    Choisissez Créer une tâche.

3.    Sélectionner Le modèle est prêt.

4.    Choisissez Charger un fichier modèle.

5.    Créez un fichier CloudFormation YAML ou JSON.

Exemple :

AWSTemplateFormatVersion: 2010-09-09
Description: "S3 target Endpoint"
Resources:
     S3TargetEndpoint:
        Type: AWS::DMS::Endpoint
        Properties:
            EndpointIdentifier: s3-Target-endpoint
            EndpointType: target
            EngineName: s3
            S3Settings:
                ServiceAccessRoleArn: arn:aws:iam::<AWS-account-number>:role/<role-name>
                BucketName: <bucket-name>
                AddColumnName: true
                CdcInsertsOnly: true
                MaxFileSize: 32000

6.    Choisissez Suivant.

7.    Entrez un nom de tâche.

8.    Attribuez un rôle IAM avec les autorisations requises pour créer des ressources DMS.

9.    Choisissez Suivant.

10.    Choisissez Envoyer.

Utiliser AWS CloudFormation pour ajouter des paramètres de point de terminaison à un point de terminaison existant

1.    Ouvrez la console CloudFormation. Sélectionnez la région AWS dans laquelle vous souhaitez créer le point de terminaison.

2.    Sélectionnez une tâche existante, puis choisissez Mettre à jour.

3.    Sur la page Mettre à jour la tâche, choisissez Remplacer le modèle actuel.

4.    Sous Spécifier le modèle, choisissez Charger un fichier modèle. Utilisez cet exemple de modèle :

AWSTemplateFormatVersion: 2010-09-09
Description: "Endpoint S3 target"
Resources:
     BasicS3TargetEndpoint:
        Type: AWS::DMS::Endpoint
        Properties:
            EndpointIdentifier: s3-Target-endpoint
            EndpointType: target
            EngineName: s3
            S3Settings:
                ServiceAccessRoleArn: arn:aws:iam::<AWS-account-number>:role/<role-name>
                BucketName: <bucket-name>
                AddColumnName: true
                CdcInsertsAndUpdates: true
                MaxFileSize: 64000

5.    Choisissez Suivant.

6.    Sur la page Spécifier les détails de la tâche, choisissez Suivant.

7.    (Facultatif) Sur la page Configurer les options de tâche, sous Balises, ajoutez des balises. Sous Autorisations, sélectionnez le rôle IAM que vous souhaitez mettre à jour en votre nom. Ensuite, choisissez Suivant.

8.    Choisissez Envoyer.

Attributs de connexion Legacy Extra

Vous pouvez utiliser l'option --extra-connection-attributes pour créer et modifier le point de terminaison. Grâce aux attributs de connexion supplémentaires, il n'est pas nécessaire d'indiquer explicitement le type de point de terminaison.

Exemple :

aws dms create-endpoint
--endpoint-identifier <value>
--endpoint-type <value>
--engine-name <value>
--username <value>
--password <value>
--server-name <value>
--port <value>
--extra-connection-attributes encryptionMode=SSE_KMS;maxFileSize=512


aws dms modify-endpoint
--endpoint-arn <value>
--extra-connection-attributes encryptionMode=SSE_KMS;maxFileSize=512

Informations connexes

Utilisation des points de terminaison AWS DMS

AWS::DMS::Point de terminaison