Como posso configurar a ajuste de escala automática no Amazon EMR?

2 minuto de leitura
0

Quero usar o Amazon Elastic Compute Cloud (Amazon EC2) Auto Scaling em um cluster do Amazon EMR.

Breve descrição

  • Amazon EMR versões 5.30.0, 6.1.0 e posteriores: use o ajuste de escala gerenciado do Amazon EMR. Ou use o ajuste de escala automático com uma política personalizada para grupos de instâncias.
  • Amazon EMR versões 4.0.0-5.29.0 e 6.0.0: use o ajuste de escala automático com uma política personalizada para grupos de instâncias.

Resolução

Amazon EMR versões 5.30.0, 6.1.0 e posteriores

Se você estiver usando o Amazon EMR 5.30.0, 6.1.0 ou versões posteriores, terá duas opções de ajuste de escala automático: ativar o ajuste de escala gerenciado do Amazon EMR para aumentar ou diminuir automaticamente o número de instâncias ou unidades no seu cluster com base na workload. Ou usar o ajuste de escala automático com uma política personalizada para grupos de instâncias, conforme explicado na seção a seguir.

Amazon EMR versões 4.0.0 e posteriores

  1. Siga as etapas em Usar o ajuste de escala automático com uma política personalizada para grupos de instâncias. Para obter informações sobre as métricas do Amazon CloudWatch que você pode usar para ajuste de escala automático no Amazon EMR, consulte Monitorar métricas com o CloudWatch. A seguir estão duas métricas comumente usadas para ajuste de escala automático:
    YarnMemoryAvailablePercentage: a porcentagem da memória restante que está disponível para o YARN.
    ContainerPendingRatio: a proporção entre contêineres pendentes e contêineres alocados. Você pode usar essa métrica para escalar um cluster com base no comportamento de alocação de contêineres para cargas variadas. Isso é útil para ajuste de performance.
  2. Para confirmar se a política de ajuste de escala está anexada ao grupo de instâncias, escolha Eventos no painel de navegação.
  3. Verifique se há eventos de política de ajuste de escala automática.

Informações relacionadas

Ajuste de escala de recursos do cluster

AWS OFICIAL
AWS OFICIALAtualizada há um ano