Slinky 作业环境
每个 srun / sbatch 步骤跑在 worker 的 slurmd Pod 里:Ubuntu 24.04、你自己的 UID。各 worker 镜像相同,落哪台行为一致。
srun bash -c 'hostname; id -un; grep PRETTY /etc/os-release'
早期共享 chroot jail 已退役;步骤直接在 Pod 用户空间跑,Pyxis 可用。
#作业内路径
| 路径 | 含义 |
|---|---|
/home | 集群共享盘;与 login pod / 登录节点相同 |
/shared | 同盘公共数据集区(全员可写) |
/local | 该 worker 本地 NVMe;跨作业与重启可残留 |
/tmp | 本地 NVMe,作业结束删除 |
/dev/shm | 内存盘,作业结束删除 |
/<SFS名> | 创建时额外挂上的共享盘(若有) |
Pyxis 容器默认带 $HOME、/shared、/local;额外共享盘需 --container-mounts。
#GPU
只有申请了才看得见。 无 --gpus / --gres=gpu:N 时:
srun nvidia-smi -L # No devices found
srun --gpus=1 nvidia-smi -L # 看到 1 张
CUDA_VISIBLE_DEVICES 由调度写入。驱动用户态由 NVIDIA Container Toolkit 注入 Pod。登录节点与 login pod 无 GPU。
#Worker 镜像里有什么
- - Python 3.12(
venv/pip),与 login pod 同代 - - CUDA toolkit(常见在
/usr/local/cuda,未必在默认PATH) - - Ubuntu 自带 Open MPI(
mpirun) - - Pyxis + Enroot、Apptainer
没有 HPC-X / module load。多机 MPI/NCCL 请用自带栈的容器,或装到 /home。
Enroot 主要在 worker:login pod 上直接跑 enroot 往往只会打印提示;经 srun 或在 :2222 主机上操作。
#Python:用容器,慎用 /home venv
已知问题:刚在共享盘写了大量小文件后,下一作业首次读取可能卡住甚至 drain 节点。在修复前:
srun --gpus=8 --container-image=nvcr.io#nvidia/pytorch:25.10-py3 \
--container-name=pytorch-25.10 --container-workdir="$PWD" \
python train.py
不要在容器里 pip install 到 ~/.local(同样落 /home)。登录节点主机(2222)的 Python 可能比作业 Pod 新,主机上建的环境不要指望进作业能用。
更多容器用法见 容器。