Como posso usar o Data Pipeline para executar uma cópia única ou automatizar uma sincronização programada dos meus buckets do Amazon S3?

Resolução

Observação: Usar o Data Pipeline é uma opção para transferir dados entre buckets do S3. Outras opções incluem usar Batch Operations do S3, habilitar a replicação ou executar os comandos cp ou sync na AWS Command Line Interface (AWS CLI).

Observação: Se você receber erros ao executar comandos da AWS CLI, verifique se está usando a versão mais recente da AWS CLI.

1. Confirme se seu usuário ou perfil do AWS Identity and Access Management (AWS IAM) tem permissões suficientes para usar o Data Pipeline.

2. Faça login no console do AWS Data Pipeline com seu usuário ou perfil do IAM. Confirme se o console está configurado para uma região da AWS compatível com o Data Pipeline.

Importante: Os buckets de origem e destino não precisam estar na mesma região. Os buckets do S3 também não precisam estar na mesma região do pipeline. No entanto, como as transferências de dados entre regiões geram custos, certifique-se de revisar os preços de transferência de dados do Amazon S3.

3.    Selecione Criar pipeline.

4.    Em Nome, insira um nome para o pipeline.

5. Em Origem, selecione Criar usando um modelo. Em seguida, selecione Executar comando da AWS CLI.

6. Em comando da AWS CLI, para configurar uma operação de cópia, digite o seguinte comando:

aws s3 cp s3://source-AWSDOC-EXAMPLE-BUCKET1 s3://destination-AWSDOC-EXAMPLE-BUCKET2

Observação: O comando de cópia substitui todos os objetos no bucket de destino que tenham o mesmo nome de chave dos objetos no bucket de origem.

Para configurar uma operação de sincronização, digite o seguinte comando:

aws s3 sync s3://source-AWSDOC-EXAMPLE-BUCKET1 s3://destination-AWSDOC-EXAMPLE-BUCKET2

Observação: O comando de sincronização compara os buckets de origem e destino e, em seguida, transfere somente a diferença.

7. Em Executar, selecione em ativação de pipeline para uma tarefa única de cópia ou sincronização. Ou selecione em programação para uma cópia ou sincronização programada e, em seguida, preencha os campos Executar a cada, Inicial e Final com base no seu caso de uso.

8. Em Registro de log, é possível selecionar Ativado e, em seguida, inserir um local do S3 para os logs. Ou, se você não quiser logs, pode selecionar Desativado.

9. Em perfis do IAM, é possível selecionar o Perfil padrão ou um Perfil personalizado. O perfil padrão tem permissões do Amazon S3 para s3:CreateBucket, s3:DeleteObject, s3:Get*, s3:List* e s3:Put*.

Observação: Se os buckets tiverem criptografia padrão com o AWS Key Management Service (AWS KMS), certifique-se de que as permissões apropriadas sejam concedidas. As permissões apropriadas para usar a chave do AWS KMS devem ser concedidas ao perfil do Data Pipeline.

10.    Selecione Ativar.

Observação: Opcionalmente, é possível otimizar o desempenho criando vários pipelines para cada prefixo de nível raiz em seu bucket.

---

Informações relacionadas

Perfis do IAM para o AWS Data Pipeline

Como faço para melhorar o desempenho da transferência do comando de sincronização para o Amazon S3?

Como faço para copiar objetos do Amazon S3 de outra conta da AWS?

Como conceder acesso entre contas a objetos que estão em buckets do Amazon S3?