Ir para o conteúdo

Como posso programar uma consulta ao Amazon Athena?

4 minuto de leitura
0

Quero programar consultas no Amazon Athena.

Breve descrição

As consultas programadas têm muitos casos de uso, como relatórios periódicos ou carregamento de novas partições em um intervalo regular. Escolha uma das seguintes formas de programar consultas no Athena, com base no seu caso de uso:

  • Crie uma função do AWS Lambda para programar a consulta e, em seguida, crie uma regra do Amazon EventBridge para programar a função do Lambda.
  • Use o AWS Step Functions para criar um pipeline de ETL que usa o Athena.
  • Em uma máquina Linux, use crontab para programar a consulta.
  • Use um trabalho shell do AWS Glue em Python.

Resolução

Use uma função do Lambda e uma regra do EventBridge para programar uma consulta do Athena

É possível usar uma função do Lambda e uma regra do EventBridge para programar uma consulta do Athena. Para fazer isso, realize as etapas a seguir:

  1. Crie um perfil de serviço do AWS Identity and Access Management (AWS IAM) para o Lambda. Em seguida, anexe uma política que permita o acesso ao Athena, ao Amazon Simple Storage Service (Amazon S3) e ao Amazon CloudWatch Logs. Por exemplo, é possível adicionar permissões AmazonAthenaFullAccess e CloudWatchLogsFullAccess ao perfil. O AmazonAthenaFullAccess permite acesso total ao Athena e inclui permissões básicas para o Amazon S3. O CloudWatchLogsFullAccess permite acesso total ao CloudWatch Logs.

  2. Abra o console do Lambda.

  3. Selecione Criar função.

  4. Certifique-se de que a opção Criar do zero esteja selecionada e configure as seguintes opções:
    Em Nome, insira um nome para o cabeçalho.
    Em Runtime, escolha uma das opções do Python.
    Em Perfil, clique em Usar um perfil existente e depois selecione o perfil do IAM que você criou na etapa 1.

  5. Selecione Criar função.

  6. Cole seu código na seção Código da função. O exemplo a seguir usa o Python 3.7. Substitua os seguintes valores no exemplo:
    default: o nome do banco de dados do Athena
    SELECT * FROM default.tb: a consulta que você deseja agendar
    s3://AWSDOC-EXAMPLE-BUCKET/: o bucket do S3 para a saída da consulta

    import boto3
    
    # Query string to execute
    query = 'SELECT * FROM database.tb'
    
    # Database to execute the query against
    DATABASE = 'database'
    
    # Output location for query results
    output='s3://OUTPUTBUCKET/'
    
    def lambda_handler(event, context):
        # Initiate the Boto3 Client
        client = boto3.client('athena')
    
        # Start the query execution
        response = client.start_query_execution(
            QueryString=query,
            QueryExecutionContext={
                'Database': DATABASE
            },
            ResultConfiguration={
                'OutputLocation': output
            }
        )
    
        # Return response after starting the query execution
        return response
  7. Selecione Implantar.

  8. Abra o console do Amazon EventBridge.

  9. No painel de navegação, selecione Regras e, em seguida, clique em Criar regra.

  10. Insira um nome e uma descrição para a regra.

  11. Em Definir padrão, selecione Cronograma.

  12. Selecione Expressão cron e insira uma expressão cron.

  13. Em Selecionar barramento de eventos, selecione Barramento de eventos padrão da AWS.

  14. Na seção Selecionar destinos, faça o seguinte:
    Em Destino, selecione Função do Lambda na lista suspensa.
    Em Função, selecione o nome da sua função do Lambda na lista suspensa.

  15. Clique em Criar.

Observação: há cotas para o número permitido de chamadas para a API do Athena por conta. Certifique-se de permanecer dentro das cotas se quiser programar várias consultas. Para obter mais informações, consulte Cotas de chamada de API por conta.

Crie um pipeline de ETL com o Step Functions

Se você usar o Step Functions para criar um pipeline de ETL que inclua o Athena, pode usar o Step Functions para programar uma consulta do Athena.

Use o crontab a partir de uma máquina Linux

Se você usa uma máquina Linux, é possível usar o crontab para programar uma consulta do Athena.

Use um trabalho shell do AWS Glue em Python

É possível usar um trabalho shell do AWS Glue em Python para executar a consulta do Athena usando a API Boto3 do Athena. Em seguida, defina um cronograma para o trabalho do AWS Glue.

Informações relacionadas

Tutorial: Tutorial: Crie uma regra EventBridge programada para AWS Lambda funções

Criação de uma regra que é executada de acordo com um cronograma na Amazon EventBridge

AWS OFICIALAtualizada há 2 anos