1 回答
- 最新
- 投票最多
- 评论最多
0
【以下的回答经过翻译处理】 使用R和AWS Batch的分布式计算支持,可以实现在AWS Batch中运行多节点并行作业。 要将R应用程序代码放置在容器中,可以使用Docker镜像并将其推送到Amazon Elastic容器注册表(ECR)。一旦镜像在ECR中可用,就可以使用它来创建AWS Batch中的作业定义。 关于并行逻辑,可以将其放置在R代码中。您可以使用R内置的并行处理库,例如'parallel'或'foreach',将作业拆分为块并并行运行它们。例如,您可以使用'foreach'软件包定义并行循环,以并行运行不同用户的模型。在这种情况下,您不需要在Dockerfile中定义并行逻辑。 要定义作业将被分割成多少块,可以使用'registerDoParallel'函数指定并行工作者的数量。您还可以在作业定义中设置为容器分配的vCPU数量。 AWS Batch将根据等待执行的作业数和可用实例数自动缩放实例数。您还可以配置计算环境中的实例数。 总之,您可以将并行逻辑放置在R代码中,并使用相同的镜像创建作业定义。AWS Batch将根据R代码中指定的并行工作者和为容器分配的vCPU数量自动将作业分成块。
相关内容
- AWS 官方已更新 1 年前
- AWS 官方已更新 1 年前
- AWS 官方已更新 3 年前