如何在 Amazon EMR 中設定自動擴展?

1 分的閱讀內容
0

我想在 Amazon EMR 叢集上使用 Amazon Elastic Compute Cloud (Amazon EC2) 自動擴展。

簡短說明

  • **Amazon EMR 5.30.0、6.1.0 及更新版本:**使用 Amazon EMR 受管擴展功能。或者,您也可以針對執行個體群組將自訂政策與自動擴展搭配使用。
  • **Amazon EMR 4.0.0-5.29.0 和 6.0.0 版本 :**針對執行個體群組將自訂政策與自動擴展搭配使用。

解決方法

Amazon EMR 5.30.0、6.1.0 及更新版本

如果您使用的是 Amazon EMR 5.30.0、6.1.0 或更新版本,則有兩種自動擴展選項:開啟 Amazon EMR 受管擴展功能,根據工作負載自動增加或減少叢集中的執行個體或單位數量。或者,您也可以針對執行個體群組將自動擴展與自訂原則搭配使用,如下節所述。

Amazon EMR 4.0.0 及更新版本

  1. 請遵循針對執行個體群組將自動擴展與自訂原則搭配使用的步驟。如需可在 Amazon EMR 中用於自動擴展的 Amazon CloudWatch 指標的相關資訊,請參閱使用 CloudWatch 監控指標。以下是用於自動擴展的兩個常用指標:
    YarnMemoryAvailablePercentage: 這是可用於 YARN 的剩餘記憶體百分比。
    ContainerPendingRatio: 這是擱置容器與已配置容器的比率。您可以使用此指標根據各種負載的容器配置行為來擴展叢集。這對於效能調整很有用。
  2. 若要確認擴展政策已附加至執行個體群組,請從導覽窗格中選擇 Events(事件)。
  3. 檢查是否有自動擴展政策事件

相關資訊

擴展叢集資源

AWS 官方
AWS 官方已更新 2 年前