Slinky 容器

作业内两条路(都以你的 UID 跑):

  1. 1. Pyxis + Enroot:srun --container-image=…(多机训练常用)
  2. 2. Apptainer:步骤里 apptainer exec(可用预构建 SIF)

作业内没有 Docker daemon,docker run 不可用。

#Pyxis

srun --container-image=alpine:3 grep PRETTY /etc/os-release

镜像名跟 Enroot:Docker Hub 直接写名字;其它仓库用 #,例如 nvcr.io#nvidia/pytorch:25.10-py3。

默认获得:$HOME、/shared、/local、申请到的 GPU、InfiniBand 设备、足够的 locked memory(NCCL 需要)。工作目录是镜像 WORKDIR(NGC 常为 /workspace)——用 --container-workdir="$PWD" 回到提交目录。

拉一次、跑多次

大镜像不要每步从仓库转:

srun -c 32 enroot import -o /shared/pytorch-25.10.sqsh \
  docker://nvcr.io#nvidia/pytorch:25.10-py3

srun --gpus=8 --container-image=/shared/pytorch-25.10.sqsh \
     --container-name=pytorch-25.10 --container-workdir="$PWD" \
     python train.py

--container-name 把解压结果留在节点 NVMe,同节点后续秒起。名字里带版本号。

CUDA 构建要匹配 GPU 代际(Blackwell 需较新 CUDA/框架)。

#Apptainer

srun apptainer exec docker://alpine:3 cat /etc/os-release

singularity 是别名。GPU:步骤申请 --gpus=N,并加 --nv:

srun --gpus=1 apptainer exec --nv docker://nvidia/cuda:13.0.0-base-ubuntu24.04 nvidia-smi -L

拉成 SIF 复用

srun --time=00:10:00 bash -c '
  export APPTAINER_CACHEDIR=/local/apptainer-cache-$USER \
         APPTAINER_TMPDIR=/local/apptainer-tmp-$USER
  mkdir -p "$APPTAINER_CACHEDIR" "$APPTAINER_TMPDIR"
  apptainer pull $HOME/cuda.sif docker://nvidia/cuda:13.0.0-base-ubuntu24.04'

srun --gpus=1 apptainer exec --nv $HOME/cuda.sif nvidia-smi -L

缓存/临时目录放 /local,别堆在共享 /home。

#清理

东西位置
Pyxis 命名容器/local/enroot/data-<uid>/pyxis_<name>
Enroot 层缓存/local/enroot/cache-<uid>(闲置约 14 天可自动清)
Apptainer 缓存$APPTAINER_CACHEDIR 或 ~/.apptainer/cache
.sqsh / .sif你存放的路径
srun -N <worker数> --ntasks-per-node=1 bash -c '
  echo "== $(hostname)"; enroot list
  du -sh /local/enroot/*-$(id -u) 2>/dev/null
  df -h /local | tail -1'

删除命名容器、清缓存、删不用的 .sqsh/.sif,避免占满 NVMe。完整示例见 教程。