Desidero utilizzare Amazon Elastic Compute Cloud (Amazon EC2) Auto Scaling su un cluster Amazon EMR.
Breve descrizione
- Amazon EMR versioni 5.30.0, 6.1.0 e successive: Usa la scalabilità gestita di Amazon EMR. Oppure, utilizza il ridimensionamento automatico con una politica personalizzata, ad esempio i gruppi.
- Versioni Amazon EMR 4.0.0-5.29.0 e 6.0.0: Usa il ridimensionamento automatico con una politica personalizzata, ad esempio i gruppi.
Risoluzione
Amazon EMR versioni 5.30.0, 6.1.0 e successive
Se utilizzi Amazon EMR 5.30.0, 6.1.0 o versioni successive, hai due opzioni per il ridimensionamento automatico: attiva la scalabilità gestita di Amazon EMR per aumentare o diminuire automaticamente il numero di istanze o unità nel tuo cluster in base al carico di lavoro. In alternativa, utilizza il ridimensionamento automatico con una politica personalizzata, ad esempio i gruppi, come spiegato nella sezione seguente.
Amazon EMR versioni 4.0.0 e successive
- Segui i passaggi descritti in Utilizzo del ridimensionamento automatico con una politica personalizzata, ad esempio i gruppi. Per informazioni sui parametri di Amazon CloudWatch che puoi utilizzare per il ridimensionamento automatico in Amazon EMR, consulta Monitora i parametri con CloudWatch. Di seguito sono riportate due metriche comunemente utilizzate per il ridimensionamento automatico:
YarnMemoryAvailablePercentage: Questa è la percentuale di memoria residua disponibile per YARN.
ContainerPendingRatio: Questo è il rapporto tra contenitori in sospeso e contenitori allocati. È possibile utilizzare questa metrica per scalare un cluster in base al comportamento di allocazione dei contenitori per carichi diversi. Ciò è utile per l'ottimizzazione delle prestazioni.
- Per confermare che la politica di ridimensionamento è associata al gruppo di istanze, scegli Eventi dal riquadro di navigazione.
- Verifica la presenza di eventi relativi alla politica di scalabilità automatica.
Informazioni correlate
Scalabilità delle risorse del cluster