ParallelCluster中AWS Batch作为调度程序时使用post_install
【以下的问题经过翻译处理】 我已经在alinux上使用awsbatch调度程序成功地运行了pcluster。现在我想在Master节点和Compute节点上都挂载EFS卷。我有很多自定义的本地库需要从运行的代码中引用，这些库会随着时间的推移而更新。输出数据也将写入EFS。
我已经使用post_install配置在Master节点上使其工作。不幸的是，我刚刚注意到post_install配置在awsbatch中有限制：
.....使用awsbatch作为调度程序时，postinstall脚本仅在Master节点上执行。
在创建awsbatch计算节点时，有什么推荐的方法可以挂载EFS卷吗？
我看到有关Batch AMI的内容：
https://docs.aws.amazon.com/batch/latest/userguide/create-batch-ami.html
我已经尝试使用pcluster和awsbatch调度程序的自定义AMI，但到目前为止都没有成功。这些批处理指令应该能够与pcluster一起工作吗？我该如何启用这种AMI？
我在pcluster配置中看到其他文件共享选项：S3访问、共享EBS卷、"shared"文件夹。这些选项是否可在awsbatch计算节点上工作？还是我最好回到sge调度程序？
谢谢，
Kim
- 最新
- 投票最多
- 评论最多
【以下的回答经过翻译处理】 对于Batch而言，共享驱动器是挂载在容器内部而非计算节点上的。在提交作业时，可以访问共享目录。
请查看以下示例以获取更多详细信息： https://aws-parallelcluster.readthedocs.io/en/latest/tutorials/03_batch_mpi.html#running-your-first-job-using-aws-batch
此外，在选择awsbatch作为调度程序时，您可以使用shared_dir、EBS、RAID和EFS。只需要注意共享驱动器（除EFS外）是从主节点共享的，因此在选择主节点的实例类型时需要考虑这一点。