ParallelCluster中AWS Batch作为调度程序时使用post_install

0

【以下的问题经过翻译处理】 我已经在alinux上使用awsbatch调度程序成功地运行了pcluster。现在我想在Master节点和Compute节点上都挂载EFS卷。我有很多自定义的本地库需要从运行的代码中引用,这些库会随着时间的推移而更新。输出数据也将写入EFS。

我已经使用post_install配置在Master节点上使其工作。不幸的是,我刚刚注意到post_install配置在awsbatch中有限制:

.....使用awsbatch作为调度程序时,postinstall脚本仅在Master节点上执行。

在创建awsbatch计算节点时,有什么推荐的方法可以挂载EFS卷吗?

我看到有关Batch AMI的内容:

https://docs.aws.amazon.com/batch/latest/userguide/create-batch-ami.html

我已经尝试使用pcluster和awsbatch调度程序的自定义AMI,但到目前为止都没有成功。这些批处理指令应该能够与pcluster一起工作吗?我该如何启用这种AMI?

我在pcluster配置中看到其他文件共享选项:S3访问、共享EBS卷、"shared"文件夹。这些选项是否可在awsbatch计算节点上工作?还是我最好回到sge调度程序?

谢谢,

Kim

profile picture
EXPERTE
gefragt vor 5 Monaten27 Aufrufe
1 Antwort
0

【以下的回答经过翻译处理】 对于Batch而言,共享驱动器是挂载在容器内部而非计算节点上的。在提交作业时,可以访问共享目录。

请查看以下示例以获取更多详细信息: https://aws-parallelcluster.readthedocs.io/en/latest/tutorials/03_batch_mpi.html#running-your-first-job-using-aws-batch

此外,在选择awsbatch作为调度程序时,您可以使用shared_dir、EBS、RAID和EFS。只需要注意共享驱动器(除EFS外)是从主节点共享的,因此在选择主节点的实例类型时需要考虑这一点。

profile picture
EXPERTE
beantwortet vor 5 Monaten

Du bist nicht angemeldet. Anmelden um eine Antwort zu veröffentlichen.

Eine gute Antwort beantwortet die Frage klar, gibt konstruktives Feedback und fördert die berufliche Weiterentwicklung des Fragenstellers.

Richtlinien für die Beantwortung von Fragen