多节点工作负载
#MPIJob(MPI Operator)
MPIJob 是预装 MPI Operator 提供的 CRD,用来跑跨节点 GPU 作业。提交后 Operator 会创建:
- - 一个 Launcher Pod(类似
mpirun协调) - - 一个或多个 Worker Pod(实际算力)
并自动处理 Pod 间 SSH 密钥与网络。你只需写镜像、资源请求与命令。
API:v1 vs v2beta1
本集群用 kubeflow.org/v2beta1(推荐)。
kubeflow.org/v1 | kubeflow.org/v2beta1 | |
|---|---|---|
| Worker 连通 | kubectl exec(经 API Server) | SSH(Pod 直连) |
| 镜像要求 | 不需要 sshd | 必须带 sshd |
| Launcher 网络 | 走 API Server | 直连 Worker,延迟更低 |
| Hostfile | ConfigMap | 写入 /etc/mpi/hostfile |
| 状态 | 稳定但偏旧 | 活跃开发,新集群推荐 |
文档示例一律按 v2beta1。若外部教程是 v1,注意镜像是否含 SSH 服务。
适用:NCCL 测试、torchrun 多机训练、任何需要跨节点 GPU 通信的作业。
完整示例(2 节点 × 8 卡 NCCL)
镜像名以跳板机预置 YAML 为准;下列结构说明必填点:
apiVersion: kubeflow.org/v2beta1
kind: MPIJob
metadata:
generateName: nccl-test-2n-
spec:
slotsPerWorker: 8
runPolicy:
cleanPodPolicy: Running
mpiReplicaSpecs:
Launcher:
replicas: 1
template:
spec:
containers:
- name: launcher
image: <含 mpirun 与 nccl-tests 的镜像>
env:
- name: OMPI_ALLOW_RUN_AS_ROOT
value: "1"
- name: OMPI_ALLOW_RUN_AS_ROOT_CONFIRM
value: "1"
command: ["/bin/bash", "-c"]
args:
- |
while [ ! -f /etc/mpi/hostfile ] || [ ! -s /etc/mpi/hostfile ]; do sleep 2; done
for worker in $(awk '{print $1}' /etc/mpi/hostfile); do
until ssh -o ConnectTimeout=2 "$worker" hostname >/dev/null 2>&1; do sleep 5; done
done
mpirun -np 16 -bind-to none \
/opt/nccl-tests/build/all_reduce_perf -b 512M -e 8G -f 2 -g 1
resources:
requests: { cpu: 2, memory: 256Mi }
Worker:
replicas: 2
template:
metadata:
labels: { app: nccl-test }
spec:
containers:
- name: worker
image: <与 launcher 同系列、含 sshd 的镜像>
securityContext:
capabilities:
add: [IPC_LOCK]
resources:
requests:
cpu: 32
memory: 128Gi
nvidia.com/gpu: 8
rdma/rdma_shared_device_a: 1
limits:
nvidia.com/gpu: 8
rdma/rdma_shared_device_a: 1
volumeMounts:
- { mountPath: /dev/shm, name: dshm }
affinity:
podAntiAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
- labelSelector:
matchLabels: { app: nccl-test }
topologyKey: kubernetes.io/hostname
volumes:
- name: dshm
emptyDir: { medium: Memory, sizeLimit: 64Gi }
要点:
- - 用
generateName避免重名 - - 申请
rdma/rdma_shared_device_a+IPC_LOCK - - 足够大的
/dev/shm - -
podAntiAffinity强制 Worker 落不同物理机 - - Worker 镜像必须含
/usr/sbin/sshd;标准 NGC PyTorch 通常没有,直接用会StartError
#InfiniBand 与 NCCL
| 变量 | 何时 |
|---|---|
NCCL_IB_PKEY=1 | H200 / B200 容器内需要 |
不设 NCCL_IB_PKEY | B300(分区在 index 0) |
NCCL_DEBUG=INFO | 排障时临时打开 |
优先复制 /home/ubuntu/ 预置示例里的 env 块。
#PyTorchJob(需自装 Training Operator)
集群预装的是 MPI Operator。若要用 PyTorchJob(自动注入 MASTER_ADDR / WORLD_SIZE / RANK,且不要求 sshd):
kubectl apply --server-side -k "github.com/kubeflow/training-operator.git/manifests/overlays/standalone?ref=v1.8.1"
kubectl get crd | grep kubeflow
| MPIJob | PyTorchJob | |
|---|---|---|
| 预装 | 是 | 否(需自装) |
| 通信 | MPI / SSH 拉起 | torchrun / elastic |
| 镜像 | 必须含 sshd | 标准 NGC 即可 |
| 适合 | NCCL、MPI 原生 | torch.distributed 训练 |
排队见 Kueue。