Slinky 容器
作业内两条路(都以你的 UID 跑):
- 1. Pyxis + Enroot:
srun --container-image=…(多机训练常用) - 2. Apptainer:步骤里
apptainer exec(可用预构建 SIF)
作业内没有 Docker daemon,docker run 不可用。
#Pyxis
srun --container-image=alpine:3 grep PRETTY /etc/os-release
镜像名跟 Enroot:Docker Hub 直接写名字;其它仓库用 #,例如 nvcr.io#nvidia/pytorch:25.10-py3。
默认获得:$HOME、/shared、/local、申请到的 GPU、InfiniBand 设备、足够的 locked memory(NCCL 需要)。工作目录是镜像 WORKDIR(NGC 常为 /workspace)——用 --container-workdir="$PWD" 回到提交目录。
拉一次、跑多次
大镜像不要每步从仓库转:
srun -c 32 enroot import -o /shared/pytorch-25.10.sqsh \
docker://nvcr.io#nvidia/pytorch:25.10-py3
srun --gpus=8 --container-image=/shared/pytorch-25.10.sqsh \
--container-name=pytorch-25.10 --container-workdir="$PWD" \
python train.py
--container-name 把解压结果留在节点 NVMe,同节点后续秒起。名字里带版本号。
CUDA 构建要匹配 GPU 代际(Blackwell 需较新 CUDA/框架)。
#Apptainer
srun apptainer exec docker://alpine:3 cat /etc/os-release
singularity 是别名。GPU:步骤申请 --gpus=N,并加 --nv:
srun --gpus=1 apptainer exec --nv docker://nvidia/cuda:13.0.0-base-ubuntu24.04 nvidia-smi -L
拉成 SIF 复用
srun --time=00:10:00 bash -c '
export APPTAINER_CACHEDIR=/local/apptainer-cache-$USER \
APPTAINER_TMPDIR=/local/apptainer-tmp-$USER
mkdir -p "$APPTAINER_CACHEDIR" "$APPTAINER_TMPDIR"
apptainer pull $HOME/cuda.sif docker://nvidia/cuda:13.0.0-base-ubuntu24.04'
srun --gpus=1 apptainer exec --nv $HOME/cuda.sif nvidia-smi -L
缓存/临时目录放 /local,别堆在共享 /home。
#清理
| 东西 | 位置 |
|---|---|
| Pyxis 命名容器 | /local/enroot/data-<uid>/pyxis_<name> |
| Enroot 层缓存 | /local/enroot/cache-<uid>(闲置约 14 天可自动清) |
| Apptainer 缓存 | $APPTAINER_CACHEDIR 或 ~/.apptainer/cache |
.sqsh / .sif | 你存放的路径 |
srun -N <worker数> --ntasks-per-node=1 bash -c '
echo "== $(hostname)"; enroot list
du -sh /local/enroot/*-$(id -u) 2>/dev/null
df -h /local | tail -1'
删除命名容器、清缓存、删不用的 .sqsh/.sif,避免占满 NVMe。完整示例见 教程。