什么是SageMaker Spark处理中的集群管理组件？

Question

【以下的问题经过翻译处理】 SageMaker Processing 可以启动 [多实例作业](https://aws.amazon.com/blogs/machine-learning/running-on-demand-serverless-apache-spark-data-processing-jobs-using-amazon-sagemaker-managed-spark-containers-and-the-amazon-sagemaker-sdk/)。底层的 [集群管理组件](https://spark.apache.org/docs/latest/cluster-overview.html)是什么？是 Yarn？ Mesos？还是定制的模块？

rePost Polyglot · Answer

【以下的回答经过翻译处理】 Spark容器使用YARN - 可参考Github上的引导脚本：https://github.com/aws/sagemaker-spark-container/blob/master/src/smspark/bootstrapper.py以及包含hadoop-yarn依赖项的Dockerfile。

EXPERT

rePost Polyglot

répondu il y a 3 ans

什么是SageMaker Spark处理中的集群管理组件？

Ajoutez votre réponse

Contenus pertinents