多节点工作负载

#MPIJob(MPI Operator)

MPIJob 是预装 MPI Operator 提供的 CRD,用来跑跨节点 GPU 作业。提交后 Operator 会创建:

  • - 一个 Launcher Pod(类似 mpirun 协调)
  • - 一个或多个 Worker Pod(实际算力)

并自动处理 Pod 间 SSH 密钥与网络。你只需写镜像、资源请求与命令。

API:v1 vs v2beta1

本集群用 kubeflow.org/v2beta1(推荐)。

kubeflow.org/v1kubeflow.org/v2beta1
Worker 连通kubectl exec(经 API Server)SSH(Pod 直连)
镜像要求不需要 sshd必须带 sshd
Launcher 网络走 API Server直连 Worker,延迟更低
HostfileConfigMap写入 /etc/mpi/hostfile
状态稳定但偏旧活跃开发,新集群推荐

文档示例一律按 v2beta1。若外部教程是 v1,注意镜像是否含 SSH 服务。

适用:NCCL 测试、torchrun 多机训练、任何需要跨节点 GPU 通信的作业。

完整示例(2 节点 × 8 卡 NCCL)

镜像名以跳板机预置 YAML 为准;下列结构说明必填点:

apiVersion: kubeflow.org/v2beta1
kind: MPIJob
metadata:
  generateName: nccl-test-2n-
spec:
  slotsPerWorker: 8
  runPolicy:
    cleanPodPolicy: Running
  mpiReplicaSpecs:
    Launcher:
      replicas: 1
      template:
        spec:
          containers:
            - name: launcher
              image: <含 mpirun 与 nccl-tests 的镜像>
              env:
                - name: OMPI_ALLOW_RUN_AS_ROOT
                  value: "1"
                - name: OMPI_ALLOW_RUN_AS_ROOT_CONFIRM
                  value: "1"
              command: ["/bin/bash", "-c"]
              args:
                - |
                  while [ ! -f /etc/mpi/hostfile ] || [ ! -s /etc/mpi/hostfile ]; do sleep 2; done
                  for worker in $(awk '{print $1}' /etc/mpi/hostfile); do
                    until ssh -o ConnectTimeout=2 "$worker" hostname >/dev/null 2>&1; do sleep 5; done
                  done
                  mpirun -np 16 -bind-to none \
                    /opt/nccl-tests/build/all_reduce_perf -b 512M -e 8G -f 2 -g 1
              resources:
                requests: { cpu: 2, memory: 256Mi }
    Worker:
      replicas: 2
      template:
        metadata:
          labels: { app: nccl-test }
        spec:
          containers:
            - name: worker
              image: <与 launcher 同系列、含 sshd 的镜像>
              securityContext:
                capabilities:
                  add: [IPC_LOCK]
              resources:
                requests:
                  cpu: 32
                  memory: 128Gi
                  nvidia.com/gpu: 8
                  rdma/rdma_shared_device_a: 1
                limits:
                  nvidia.com/gpu: 8
                  rdma/rdma_shared_device_a: 1
              volumeMounts:
                - { mountPath: /dev/shm, name: dshm }
          affinity:
            podAntiAffinity:
              requiredDuringSchedulingIgnoredDuringExecution:
                - labelSelector:
                    matchLabels: { app: nccl-test }
                  topologyKey: kubernetes.io/hostname
          volumes:
            - name: dshm
              emptyDir: { medium: Memory, sizeLimit: 64Gi }

要点:

  • - 用 generateName 避免重名
  • - 申请 rdma/rdma_shared_device_a + IPC_LOCK
  • - 足够大的 /dev/shm
  • - podAntiAffinity 强制 Worker 落不同物理机
  • - Worker 镜像必须含 /usr/sbin/sshd;标准 NGC PyTorch 通常没有,直接用会 StartError

#InfiniBand 与 NCCL

变量何时
NCCL_IB_PKEY=1H200 / B200 容器内需要
不设 NCCL_IB_PKEYB300(分区在 index 0)
NCCL_DEBUG=INFO排障时临时打开

优先复制 /home/ubuntu/ 预置示例里的 env 块。

#PyTorchJob(需自装 Training Operator)

集群预装的是 MPI Operator。若要用 PyTorchJob(自动注入 MASTER_ADDR / WORLD_SIZE / RANK,且不要求 sshd):

kubectl apply --server-side -k "github.com/kubeflow/training-operator.git/manifests/overlays/standalone?ref=v1.8.1"
kubectl get crd | grep kubeflow
MPIJobPyTorchJob
预装是否(需自装)
通信MPI / SSH 拉起torchrun / elastic
镜像必须含 sshd标准 NGC 即可
适合NCCL、MPI 原生torch.distributed 训练

排队见 Kueue。