Como configurar o ajuste de escala automático no Amazon EMR?

Resolução

Para configurar o ajuste de escala automático no Amazon EMR, conclua as seguintes etapas:

Amazon EMR versões 5.30.0, 6.1.0 e posteriores

Se você usa o Amazon EMR 5.30.0 e versões posteriores (exceto o Amazon EMR versão 6.0.0), adote um dos seguintes métodos para configurar o ajuste de escala automático:

• Ative o Ajuste de Escala Gerenciado do Amazon EMR para aumentar ou diminuir automaticamente o número de instâncias ou unidades em seu cluster com base na workload. Para mais informações, consulte Configurar o ajuste de escala gerenciado do Amazon EMR.
• Use o ajuste de escala automático com uma política personalizada para grupos de instâncias.

Amazon EMR versões 4.0.0 e posteriores

O ajuste de escala automático com uma política personalizada está disponível com a configuração dos grupos de instâncias, mas não ao usar frotas de instâncias. Para mais informações, consulte Usar o ajuste de escala automático com uma política personalizada para grupos de instâncias.

Para usar as métricas do Amazon CloudWatch no ajuste de escala automático no Amazon EMR, consulte Monitorar métricas do Amazon EMR com o CloudWatch. Seguem as métricas recomendadas para uso no ajuste de escala automático:

• YarnMemoryAvailablePercentage: essa métrica indica a porcentagem de memória disponível para o YARN.
• ContainerPendingRatio: essa métrica indica a proporção entre contêineres pendentes e contêineres alocados. Use essa métrica para escalar um cluster com base no comportamento de alocação de contêineres para cargas variadas.

Para confirmar se a política de ajuste de escala está anexada ao grupo de instância, abra o Console do Amazon EMR e, em seguida, selecione Eventos no painel de navegação à esquerda. Verifique se há eventos de política de ajuste de escala automático.

Informações relacionadas

Usar o ajuste de escala de clusters do Amazon EMR para se ajustar às mudanças em workloads