Como posso integrar o Amazon S3 com meu cluster de banco de dados compatível com o Aurora PostgreSQL?

Breve descrição

Você pode importar dados armazenados em um bucket do Amazon S3 para uma tabela em um cluster de banco de dados compatível com o Aurora PostgreSQL. Primeiro, instale a extensão aws_s3 compatível com o Aurora PostgreSQL. Essa extensão fornece as funções necessárias para importar dados de um bucket do S3. Os dados podem estar em um arquivo de valores separados por vírgulas (CSV), um arquivo de texto (txt) ou um arquivo compactado (gzip). Seu banco de dados deverá estar executando o PostgreSQL versão 10.7 ou mais recente para ser importado do Amazon S3 para o Aurora compatível com PostgreSQL.

Para integrar seu cluster de banco de dados do Aurora com um bucket do S3:

• Instale a extensão aws_s3
• Configure o acesso a um bucket do S3
• Adicione a opção ao cluster do Aurora
• Use uma consulta psql para importar ou exportar os dados do banco de dados

Resolução

Instale a extensão aws_s3

Para instalar a extensão aws_s3 que permite que você se conecte ao banco de dados, execute este comando:

postgres=> CREATE EXTENSION aws_s3 CASCADE;

Para verificar se o aws_s3 está instalado, use o meta-comando psql\ dx. Se preferir, você poderá usar essa consulta em qualquer ferramenta do cliente de banco de dados:

select * from pg_available_extensions where installed_version is not null;

Configure o acesso a um bucket do S3

Para dar ao seu cluster compatível com o Aurora PostgreSQL acesso ao Amazon S3, crie uma política do AWS Identity and Access Management (IAM). Essa política fornece as permissões de bucket e objeto que permitem que seu cluster de banco de dados acesse o bucket do S3.

Na política do IAM que você criar, inclua essas ações necessárias. Essas ações permitem a transferência de arquivos do bucket do S3 para seu cluster de banco de dados:

• s3:GetObject
• s3:ListBucket
• s3:PutObject
• S3: AbordMultipartUpload

Para obter mais informações, consulte Setting up access to an Amazon S3 bucket (Configurar o acesso a um bucket do Amazon S3).

Adicione a opção ao cluster do Aurora

Adicione um perfil do IAM ao seu cluster usando o console do Amazon Relational Database Service (Amazon RDS) ou a AWS Command Line Interface (AWS CLI).

Como usar o console

1. Faça login no console do Amazon RDS.
2. No painel de navegação, escolha o cluster do PostgreSQL que você deseja modificar
3. Escolha a guia Connectivity & security (Conectividade e segurança).
4. Na seção Manage IAM roles (Gerenciar perfis do IAM), em Add IAM roles to this instance (Adicionar perfis do IAM a esta instância), escolha o perfil que você deseja adicionar.
5. Em Feature (Recurso), escolha s3Export e, em seguida, escolha Add role (Adicionar perfil).

Importar ou exportar dados do banco de dados

Importe dados do bucket do S3 para seu cluster do PostgreSQL ou exporte dados do seu cluster do PostgreSQL para seu bucket do S3 .

Para obter mais informações, consulte Export and import data from Amazon S3 to Amazon Aurora PostgreSQL (Exportar e importar dados do Amazon S3 para o Amazon Aurora PostgreSQL).

Depois de concluir essas etapas, importe dados do Amazon S3 para um cluster compatível com o Aurora PostgreSQL usando aws_s3.table_import_from_s3. Você pode exportar dados do cluster compatível com o Aurora PostgreSQL para o Amazon S3 usando a função aws_s3.query_export_to_s3.

---