ParallelCluster中AWS Batch作为调度程序时使用post_install

0

【以下的问题经过翻译处理】 我已经在alinux上使用awsbatch调度程序成功地运行了pcluster。现在我想在Master节点和Compute节点上都挂载EFS卷。我有很多自定义的本地库需要从运行的代码中引用,这些库会随着时间的推移而更新。输出数据也将写入EFS。

我已经使用post_install配置在Master节点上使其工作。不幸的是,我刚刚注意到post_install配置在awsbatch中有限制:

.....使用awsbatch作为调度程序时,postinstall脚本仅在Master节点上执行。

在创建awsbatch计算节点时,有什么推荐的方法可以挂载EFS卷吗?

我看到有关Batch AMI的内容:

https://docs.aws.amazon.com/batch/latest/userguide/create-batch-ami.html

我已经尝试使用pcluster和awsbatch调度程序的自定义AMI,但到目前为止都没有成功。这些批处理指令应该能够与pcluster一起工作吗?我该如何启用这种AMI?

我在pcluster配置中看到其他文件共享选项:S3访问、共享EBS卷、"shared"文件夹。这些选项是否可在awsbatch计算节点上工作?还是我最好回到sge调度程序?

谢谢,

Kim

profile picture
专家
已提问 5 个月前23 查看次数
1 回答
0

【以下的回答经过翻译处理】 对于Batch而言,共享驱动器是挂载在容器内部而非计算节点上的。在提交作业时,可以访问共享目录。

请查看以下示例以获取更多详细信息: https://aws-parallelcluster.readthedocs.io/en/latest/tutorials/03_batch_mpi.html#running-your-first-job-using-aws-batch

此外,在选择awsbatch作为调度程序时,您可以使用shared_dir、EBS、RAID和EFS。只需要注意共享驱动器(除EFS外)是从主节点共享的,因此在选择主节点的实例类型时需要考虑这一点。

profile picture
专家
已回答 5 个月前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则