Come posso configurare il ridimensionamento automatico in Amazon EMR?

2 minuti di lettura
0

Desidero utilizzare Amazon Elastic Compute Cloud (Amazon EC2) Auto Scaling su un cluster Amazon EMR.

Breve descrizione

  • Amazon EMR versioni 5.30.0, 6.1.0 e successive: Usa la scalabilità gestita di Amazon EMR. Oppure, utilizza il ridimensionamento automatico con una politica personalizzata, ad esempio i gruppi.
  • Versioni Amazon EMR 4.0.0-5.29.0 e 6.0.0: Usa il ridimensionamento automatico con una politica personalizzata, ad esempio i gruppi.

Risoluzione

Amazon EMR versioni 5.30.0, 6.1.0 e successive

Se utilizzi Amazon EMR 5.30.0, 6.1.0 o versioni successive, hai due opzioni per il ridimensionamento automatico: attiva la scalabilità gestita di Amazon EMR per aumentare o diminuire automaticamente il numero di istanze o unità nel tuo cluster in base al carico di lavoro. In alternativa, utilizza il ridimensionamento automatico con una politica personalizzata, ad esempio i gruppi, come spiegato nella sezione seguente.

Amazon EMR versioni 4.0.0 e successive

  1. Segui i passaggi descritti in Utilizzo del ridimensionamento automatico con una politica personalizzata, ad esempio i gruppi. Per informazioni sui parametri di Amazon CloudWatch che puoi utilizzare per il ridimensionamento automatico in Amazon EMR, consulta Monitora i parametri con CloudWatch. Di seguito sono riportate due metriche comunemente utilizzate per il ridimensionamento automatico:
    YarnMemoryAvailablePercentage: Questa è la percentuale di memoria residua disponibile per YARN.
    ContainerPendingRatio: Questo è il rapporto tra contenitori in sospeso e contenitori allocati. È possibile utilizzare questa metrica per scalare un cluster in base al comportamento di allocazione dei contenitori per carichi diversi. Ciò è utile per l'ottimizzazione delle prestazioni.
  2. Per confermare che la politica di ridimensionamento è associata al gruppo di istanze, scegli Eventi dal riquadro di navigazione.
  3. Verifica la presenza di eventi relativi alla politica di scalabilità automatica.

Informazioni correlate

Scalabilità delle risorse del cluster

AWS UFFICIALE
AWS UFFICIALEAggiornata un anno fa