Comment puis-je résoudre l'erreur « Unknown dataset URI pattern: dataset » lorsque j'utilise Sqoop dans Amazon EMR pour exporter des données Amazon RDS vers Amazon S3 au format Parquet ?

Résolution

L’erreur Unknown dataset URI pattern: dataset affecte la version 1.4.7 de Sqoop. Pour résoudre cette erreur, procédez comme suit pour télécharger et installer kite-data-s3-1.1.0.jar :

1. Pour vous connecter au nœud primaire Amazon EMR, utilisez SSH.

2. Pour télécharger kite-data-s3-1.1.0.jar, utilisez wget :

   [hadoop@example-ip-address]$ wget https://repo1.maven.org/maven2/org/kitesdk/kite-data-s3/1.1.0/kite-data-s3-1.1.0.jar

   Remarque : Remplacez example-ip-address par votre adresse IP.

3. Vérifiez que la taille du fichier téléchargé est correcte (1,7 Mo) :

   [hadoop@example-ip-address]$ du -h kite-data-s3-1.1.0.jar
   1.7M     kite-data-s3-1.1.0.jar

   Remarque : Remplacez example-ip-address par votre adresse IP.

4. Déplacez le fichier téléchargé vers le répertoire de bibliothèque Sqoop //usr/lib/sqoop/lib/ :

   sudo cp kite-data-s3-1.1.0.jar /usr/lib/sqoop/lib/

5. Accordez l'autorisation requise pour le fichier téléchargé :

   sudo chmod 755 /usr/lib/sqoop/lib/kite-data-s3-1.1.0.jar

6. Pour importer le fichier téléchargé, utilisez le connecteur s3n.

   Exemple :

   sqoop import --connect jdbc:mysql://mysql.cdfqbesrukqe.eu-west-1.rds.amazonaws.com:3306/dev --username admin -P --table hist_root --target-dir example-s3n://example-bucket/sqoop_parquet/demo --as-parquetfile -m 2 --split-by identifiers -- --schema onwatch

   Remarque : Si vous utilisez le connecteur s3, l’erreur Unknown dataset URI pattern: dataset apparaît. La valeur de --target-dir doit être au format d'un chemin comportant au moins 3 couches (s3n://example-bucket/example-namespace/example-dataset>)

Pour plus d'informations, consultez la page URI du jeu de données, de la vue et des référentiels sur le site Web de SDK Kite.