Como resolvo o erro “Padrão de URI do conjunto de dados desconhecido: conjunto de dados” quando uso o Sqoop no Amazon EMR para exportar dados do Amazon RDS para o Amazon S3 no formato Parquet?

Resolução

O erro Padrão de URI do conjunto de dados desconhecido: conjunto de dados afeta o Sqoop versão 1.4.7. Para resolver esse erro, conclua as seguintes etapas para baixar e instalar o kite-data-s3-1.1.0.jar:

1. Para se conectar ao nó primário do Amazon EMR, use SSH.

2. Para baixar kite-data-s3-1.1.0.jar, use wget:

   [hadoop@example-ip-address]$ wget https://repo1.maven.org/maven2/org/kitesdk/kite-data-s3/1.1.0/kite-data-s3-1.1.0.jar

   Observação: Substitua example-ip-address pelo seu endereço IP.

3. Confirme se o arquivo baixado tem o tamanho correto (1,7 MB):

   [hadoop@example-ip-address]$ du -h kite-data-s3-1.1.0.jar
   1.7M     kite-data-s3-1.1.0.jar

   Observação: Substitua example-ip-address pelo seu endereço IP.

4. Mova o arquivo baixado para o diretório /usr/lib/sqoop/lib/ da biblioteca do Sqoop:

   sudo cp kite-data-s3-1.1.0.jar /usr/lib/sqoop/lib/

5. Conceda a permissão necessária para o arquivo baixado:

   sudo chmod 755 /usr/lib/sqoop/lib/kite-data-s3-1.1.0.jar

6. Para importar o arquivo baixado, use o conector s3n.

   Exemplo:

   sqoop import --connect jdbc:mysql://mysql.cdfqbesrukqe.eu-west-1.rds.amazonaws.com:3306/dev --username admin -P --table hist_root --target-dir example-s3n://example-bucket/sqoop_parquet/demo --as-parquetfile -m 2 --split-by identifiers -- --schema onwatch

   Observação: Se você usar o conector do s3, obterá o erro Padrão de URI do conjunto de dados desconhecido: conjunto de dados. O valor --target-dir deve estar no formato de um caminho com pelo menos 3 camadas (s3n://example-bucket/example-namespace/example-dataset>)

Para obter mais informações, consulte Conjunto de dados, visualização e URI dos repositórios no site do Kite SDK.