Como faço para usar o DataSync para transferir dados de ou para um local de várias contas do Amazon S3?

Breve descrição

O AWS DataSync oferece suporte total às transferências S3 entre contas. É possível monitorar suas execuções de tarefas no console do DataSync.

Observação: se seu bucket estiver criptografado e usar criptografia do lado do servidor com chaves do AWS Key Management Service (AWS KMS) (SSE-KMS) com chaves gerenciadas pelo cliente, será necessária uma configuração adicional.

Resolução

Observação: se você receber erros ao executar comandos da AWS Command Line Interface (AWS CLI), consulte Solução de problemas da AWS CLI. Além disso, verifique se você está usando a versão mais recente da AWS CLI.

Crie um perfil do IAM na conta de origem

Sua conta de origem precisa de dois conjuntos de permissões para você realizar uma transferência entre contas:

• Permissões de usuário que permitem que um usuário trabalhe com o DataSync e crie locais, perfis e tarefas do DataSync.
• Permissões do DataSync que permitem que o DataSync transfira dados para o bucket da sua conta de destino.

Para conceder permissões de usuário à sua conta de origem que cria um perfil do IAM, anexe a seguinte política ao perfil do IAM:

{  
    "Version": "2012-10-17",  
    "Statement": [  
        {  
            "Sid": "SourceUserRolePermissions",  
            "Effect": "Allow",  
            "Action": [  
                "datasync:CreateLocationS3",  
                "datasync:CreateTask",  
                "datasync:DescribeLocation*",  
                "datasync:DescribeTaskExecution",  
                "datasync:ListLocations",  
                "datasync:ListTaskExecutions",  
                "datasync:DescribeTask",  
                "datasync:CancelTaskExecution",  
                "datasync:ListTasks",  
                "datasync:StartTaskExecution",  
                "iam:CreateRole",  
                "iam:CreatePolicy",  
                "iam:AttachRolePolicy",  
                "iam:ListRoles",  
                "s3:GetBucketLocation",  
                "s3:ListAllMyBuckets"  
            ],  
            "Resource": "*"  
        },  
        {  
            "Effect": "Allow",  
            "Action": [  
                "iam:PassRole"  
            ],  
            "Resource": "*",  
            "Condition": {  
                "StringEquals": {  
                    "iam:PassedToService": [  
                        "datasync.amazonaws.com"  
                    ]  
                }  
            }  
        }  
    ]  
}

Para criar um perfil do IAM do Datasync em sua conta de origem com as permissões necessárias, anexe a seguinte política a um perfil do IAM:

{  
    "Version": "2012-10-17",  
     "Statement": [  
         {  
             "Action": [  
                 "s3:GetBucketLocation",  
                 "s3:ListBucket",  
                 "s3:ListBucketMultipartUploads"  
              ],  
             "Effect": "Allow",  
             "Resource": "arn:aws:s3:::destination-bucket"  
             "Condition": {  
                 "StringEquals": {  
                  "aws:ResourceAccount": "123456789012"  
                 }  
             }  
         },  
         {  
             "Action": [  
                 "s3:AbortMultipartUpload",  
                 "s3:DeleteObject",  
                 "s3:GetObject",  
                 "s3:GetObjectTagging",  
                 "s3:GetObjectVersion",  
                 "s3:GetObjectVersionTagging",  
                 "s3:ListMultipartUploadParts",  
                 "s3:PutObject",  
                 "s3:PutObjectTagging"  
               ],  
             "Effect": "Allow",  
             "Resource": "arn:aws:s3:::destination-bucket/*"  
             "Condition": {  
                 "StringEquals": {  
                     "aws:ResourceAccount": "123456789012"  
                 }  
             }  
         }  
     ]  
}

Observação: substitua ResourceAccount pelo ID da conta que possui o bucket do Amazon S3 que você especifica na política.

Adicione a seguinte relação de confiança ao perfil do IAM do DataSync:

{  
  "Version": "2012-10-17",  
  "Statement": [  
    {  
      "Effect": "Allow",  
      "Principal": {  
        "Service": "datasync.amazonaws.com"  
      },  
      "Action": "sts:AssumeRole"  
    }  
  ]  
}

Atualizar a política do bucket de destino

Para conceder acesso ao perfil do IAM a partir da conta de origem, modifique a política de bucket do S3 da sua conta de destino:

{  
  "Version": "2012-10-17",  
  "Statement": [  
    {  
      "Sid": "DataSyncCreateS3LocationAndTaskAccess",  
      "Effect": "Allow",  
      "Principal": {  
        "AWS": "arn:aws:iam::source-account-id:role/datasync-role-name"  
      },  
      "Action": [  
        "s3:GetBucketLocation",  
        "s3:ListBucket",  
        "s3:ListBucketMultipartUploads",  
        "s3:AbortMultipartUpload",  
        "s3:DeleteObject",  
        "s3:GetObject",  
        "s3:ListMultipartUploadParts",  
        "s3:PutObject",  
        "s3:GetObjectTagging",  
        "s3:PutObjectTagging"  
      ],  
      "Resource": [  
        "arn:aws:s3:::destination-bucket",  
        "arn:aws:s3:::destination-bucket/*"  
      ]  
    }  
  ]  
}

Desative as ACLs no bucket de destino

Na sua conta de destino, conclua as seguintes etapas:

1. Abra o console do Amazon S3.
2. Selecione seu bucket de destino.
3. Na guia Permissões, em Propriedade do objeto, escolha Editar.
4. Selecione ACLs desativadas (recomendado).
5. Escolha Salvar alterações.

Crie locais do DataSync

Em sua conta de origem, conclua as seguintes etapas:

1. Abra o console do DataSync.
2. No painel de navegação, expanda Transferência de dados.
3. Escolha Localizações e, em seguida, escolha Criar localização.
4. Em Tipo de localização, escolha Amazon S3 e, em seguida, escolha Bucket de uso geral.
5. Para o URI do S3, insira ou escolha o bucket e o prefixo que você deseja usar para sua localização.
6. Para a classe de armazenamento S3 quando usada como destino, escolha uma classe de armazenamento que você deseja que seus objetos usem quando o Amazon S3 for um destino de transferência.
7. Escolha um perfil personalizado do IAM que você criou.
8. (Opcional) Escolha Adicionar nova tag para marcar sua localização no Amazon S3.
   Observação: é uma prática recomendada criar uma tag de nome para sua localização.
9. Escolha Criar local.
10. Execute o seguinte comando no AWS CloudShell ou na AWS CLI para criar um local para o bucket de destino:

aws datasync create-location-s3 \  
  --s3-bucket-arn arn:aws:s3:::destination-bucket \  
  --s3-config BucketAccessRoleArn=arn:aws:iam::source-account-id:role/datasync-role-name \  
  --region destination-bucket-region

Observação: não é possível criar locais entre contas no console do AWS DataSync.

Criar e executar uma tarefa do DataSync

Observação: para transferências entre regiões, crie a tarefa na conta de origem na mesma região da AWS do bucket de destino.

Conclua as etapas a seguir:

1. Abra o console do DataSync em sua conta de origem.
2. No painel de navegação, expanda Transferência de dados.
3. Escolha Tarefas e, em seguida, escolha Criar tarefa.
4. Se o bucket em sua conta de destino estiver em uma região diferente do bucket em sua conta de origem, escolha a região do bucket de destino.
5. Na página Configurar localização de origem, execute as seguintes ações.
   Selecione Escolher um local existente.
   (Para transferências entre regiões) No menu suspenso Região, escolha a região em que o bucket de origem reside.
   Em Locais existentes, escolha o local de origem para o bucket do S3 do qual você está transferindo dados e, em seguida, escolha Avançar.
6. Na página Configurar localização de destino, execute as seguintes ações.
   Selecione Escolher um local existente.
   Em Locais existentes, escolha o local de destino para o bucket do S3 para o qual você está transferindo dados e, em seguida, escolha Avançar.
7. Na página Definir configurações, escolha um modo de tarefa.
   Observação: é uma prática recomendada usar o modo Avançado. Para obter mais informações, consulte Escolher um modo de tarefa para sua transferência de dados.
8. Insira um nome para a tarefa e defina quaisquer configurações adicionais, como o grupo de logs do Amazon CloudWatch.
9. Escolha Avançar.
10. Na página Revisar, revise suas configurações e escolha Criar tarefa.
11. Na página de detalhes da tarefa, escolha Iniciar e escolha uma das seguintes opções:
    Para executar a tarefa sem modificação, escolha Iniciar com padrões.
    Para modificar a tarefa antes de executá-la, escolha Iniciar com opções de substituição.

Informações relacionadas

Tutorial: Transferência de dados entre buckets do Amazon S3 em contas da AWS

Transfira objetos criptografados SSE-KMS gerenciados pelo cliente entre contas e regiões da AWS usando o AWS DataSync

Como usar o AWS DataSync para migrar dados entre buckets do Amazon S3