Slurm 如何在计算节点和主节点之间同步文件？

Question

【以下的问题经过翻译处理】 我在AWS上建立了一个类似于这篇博客文章描述的高性能集群：。这个集群有一个主节点和一个计算节点。

考虑以下文件（保存为test\_slurm.sh）：

#!/bin/bash

#SBATCH --job-name=test  
#SBATCH --output=res.txt

#SBATCH --ntasks=1  
#SBATCH --time=10:00

ip a > file.txt

当我从主节点运行sbatch test\_slurm.sh时，一个新的file.txt出现在相同目录下，该文件包含与计算节点匹配的IP信息。如果我通过ssh进入计算节点，该文件也可在那里使用。

在我看来，计算节点会执行test\_slurm.sh的内容，在其文件系统中保存一个文件，并以某种方式将其与主节点同步。是哪个机制负责文件同步？在传输过程中以这种方式同步的文件是否加密？

Answer

【以下的回答经过翻译处理】 你好，ProlucidDavid，

我假设你正在默认目录/home/中工作。

如果是这种情况，我们通过NFS从头节点分享/home目录到所有计算节点上，因此你实际上可以从头节点和计算节点访问相同的/home//file.txt文件。

我们还通过NFS从头节点到计算节点共享了一些目录，具体取决于你的集群配置。你可以通过检查头节点上的/etc/exports来查看分享的目录。

如果你在寻找其他的文件系统选项，我们也支持其他类型的共享文件系统，比如EFS和FSx for Lustre。

希望可以帮到你！如果你有其他问题，请让我们知道。

编辑者：AWS-Rex，于2020年12月14日下午3:28编辑。

相关内容