如何在 Amazon EMR 中配置自动扩缩？

解决方法

要在 Amazon EMR 中配置自动扩缩，请完成以下步骤：

Amazon EMR 版本 5.30.0、6.1.0 及更高版本

如果您使用 Amazon EMR 5.30.0 及更高版本（Amazon EMR 版本 6.0.0 除外），请使用以下方法之一来配置自动扩缩：

• 启用 Amazon EMR 托管式自动扩缩功能，以根据工作负载自动增加或减少集群中的实例或单元的数量。有关详细信息，请参阅为 Amazon EMR 配置托管式自动扩缩功能。
• 对实例组使用包含自定义策略的自动扩缩。

Amazon EMR 版本 4.0.0 及更高版本

包含自定义策略的自动扩缩可用于实例组配置，但在使用实例集时不可用。有关详细信息，请参阅对实例组使用包含自定义策略的自动扩缩。

要在 Amazon EMR 中将 Amazon CloudWatch 指标用于自动扩缩，请参阅使用 CloudWatch 监控 Amazon EMR 指标。以下是用于自动扩缩的推荐指标：

• YarnMemoryAvailablePercentage： 该指标表示可用于 YARN 的内存百分比。
• ContainerPendingRatio： 该指标表示待处理容器与已分配容器的比率。使用此指标可根据不同负载的容器分配行为来扩展集群。

要确认扩展策略是否已附加到实例组，请打开 Amazon EMR 控制台，然后从左侧导航窗格中选择 Events（事件）。然后，检查是否存在自动扩缩策略事件。

相关信息

利用 Amazon EMR 集群扩缩来应对不断变化的工作负载