Slurm 如何在计算节点和主节点之间同步文件?

0

【以下的问题经过翻译处理】 我在AWS上建立了一个类似于这篇博客文章描述的高性能集群:https://aws.amazon.com/blogs/compute/running-ansys-fluent-on-amazon-ec2-c5n-with-elastic-fabric-adapter-efa/。这个集群有一个主节点和一个计算节点。

考虑以下文件(保存为test_slurm.sh):

#!/bin/bash

#SBATCH --job-name=test
#SBATCH --output=res.txt

#SBATCH --ntasks=1
#SBATCH --time=10:00

ip a > file.txt

当我从主节点运行sbatch test_slurm.sh时,一个新的file.txt出现在相同目录下,该文件包含与计算节点匹配的IP信息。如果我通过ssh进入计算节点,该文件也可在那里使用。

在我看来,计算节点会执行test_slurm.sh的内容,在其文件系统中保存一个文件,并以某种方式将其与主节点同步。是哪个机制负责文件同步?在传输过程中以这种方式同步的文件是否加密?

profile picture
专家
已提问 1 年前79 查看次数
1 回答
0

【以下的回答经过翻译处理】 你好,ProlucidDavid,

我假设你正在默认目录/home/<cluster_user>中工作。

如果是这种情况,我们通过NFS从头节点分享/home目录到所有计算节点上,因此你实际上可以从头节点和计算节点访问相同的/home/<cluster_user>/file.txt文件。

我们还通过NFS从头节点到计算节点共享了一些目录,具体取决于你的集群配置。你可以通过检查头节点上的/etc/exports来查看分享的目录。

如果你在寻找其他的文件系统选项,我们也支持其他类型的共享文件系统,比如EFS和FSx for Lustre。

希望可以帮到你!如果你有其他问题,请让我们知道。

编辑者:AWS-Rex,于2020年12月14日下午3:28编辑。

profile picture
专家
已回答 1 年前

您未登录。 登录 发布回答。

一个好的回答可以清楚地解答问题和提供建设性反馈,并能促进提问者的职业发展。

回答问题的准则