如何在 Amazon EMR 中配置自动扩展?

1 分钟阅读
0

我想在 Amazon EMR 集群上使用 Amazon Elastic Compute Cloud(Amazon EC2)Auto Scaling。

简短描述

  • **Amazon EMR 版本 5.30.0、6.1.0 及更高版本:**使用 Amazon EMR 托管的扩展。或者,对实例组使用自动扩展和自定义策略。
  • **Amazon EMR 版本 4.0.0-5.29.0 和 6.0.0:**对实例组使用自动扩展和自定义策略。

解决方法

Amazon EMR 版本 5.30.0、6.1.0 及更高版本

如果您使用的是 Amazon EMR 5.30.0、6.1.0 或更高版本,则有两个自动扩展选项:开启 Amazon EMR 托管的扩展,以根据工作负载自动增加或减少集群中的实例或设备数量。或者,对实例组使用自动扩展和自定义策略,如以下部分所述。

Amazon EMR 版本 4.0.0 及更高版本

  1. 按照对实例组使用自动扩展和自定义策略中的步骤执行操作。有关可在 Amazon EMR 中用于自动扩展的 Amazon CloudWatch 指标的信息,请参阅使用 CloudWatch 监控指标。以下是用于自动扩展的两个常用指标:
    YarnMemoryAvailablePercentage:这是 YARN 可用的剩余内存百分比。
    ContainerPendingRatio:这是待处理容器与分配的容器的比率。使用此指标,您可以根据不同负载的容器分配行为来扩展集群。这对于性能优化非常有用。
  2. 要确认扩展策略已附加到实例组,请从导航窗格中选择事件
  3. 检查自动扩展策略事件

相关信息

扩展集群资源

AWS 官方
AWS 官方已更新 2 年前