Slinky 作业环境

每个 srun / sbatch 步骤跑在 worker 的 slurmd Pod 里:Ubuntu 24.04、你自己的 UID。各 worker 镜像相同,落哪台行为一致。

srun bash -c 'hostname; id -un; grep PRETTY /etc/os-release'

早期共享 chroot jail 已退役;步骤直接在 Pod 用户空间跑,Pyxis 可用。

#作业内路径

路径含义
/home集群共享盘;与 login pod / 登录节点相同
/shared同盘公共数据集区(全员可写)
/local该 worker 本地 NVMe;跨作业与重启可残留
/tmp本地 NVMe,作业结束删除
/dev/shm内存盘,作业结束删除
/<SFS名>创建时额外挂上的共享盘(若有)

Pyxis 容器默认带 $HOME、/shared、/local;额外共享盘需 --container-mounts。

#GPU

只有申请了才看得见。 无 --gpus / --gres=gpu:N 时:

srun nvidia-smi -L          # No devices found
srun --gpus=1 nvidia-smi -L # 看到 1 张

CUDA_VISIBLE_DEVICES 由调度写入。驱动用户态由 NVIDIA Container Toolkit 注入 Pod。登录节点与 login pod 无 GPU。

#Worker 镜像里有什么

  • - Python 3.12(venv / pip),与 login pod 同代
  • - CUDA toolkit(常见在 /usr/local/cuda,未必在默认 PATH)
  • - Ubuntu 自带 Open MPI(mpirun)
  • - Pyxis + Enroot、Apptainer

没有 HPC-X / module load。多机 MPI/NCCL 请用自带栈的容器,或装到 /home。

Enroot 主要在 worker:login pod 上直接跑 enroot 往往只会打印提示;经 srun 或在 :2222 主机上操作。

#Python:用容器,慎用 /home venv

已知问题:刚在共享盘写了大量小文件后,下一作业首次读取可能卡住甚至 drain 节点。在修复前:

srun --gpus=8 --container-image=nvcr.io#nvidia/pytorch:25.10-py3 \
     --container-name=pytorch-25.10 --container-workdir="$PWD" \
     python train.py

不要在容器里 pip install 到 ~/.local(同样落 /home)。登录节点主机(2222)的 Python 可能比作业 Pod 新,主机上建的环境不要指望进作业能用。

更多容器用法见 容器。