Kubernetes 概述与架构

下单时作业编排选 Kubernetes,得到 kubeadm 风格集群,面向 InfiniBand 上的多机 GPU 作业。你拥有 cluster-admin:可装 Operator、跑 Helm、用标准 kubectl。

Slinky(Slurm)见 Slinky 概述。控制台下单见 即时集群。

#架构

  • - 跳板机(登录节点):SSH 入口;预装 kubectl / k9s / helm
  • - 服务节点:控制面 + 插件管理面 + 监控栈;带 NoSchedule,不跟训练抢资源
  • - GPU worker:每节点通常 8 × nvidia.com/gpu,并暴露 RDMA(常见 rdma/rdma_shared_device_a)
  • - /home:全节点共享盘;同时支撑 shared-path(RWX)StorageClass

API Server 只在内网——在跳板机上跑 kubectl,不要把 kubeconfig 当公网客户端用。

#预装组件

组件用途
NVIDIA GPU Operatornvidia.com/gpu 调度与发现(驱动/toolkit 已在镜像)
MPI OperatorMPIJob 多机编排
Kueue队列与配额(预置 default)
Network OperatorInfiniBand / RDMA
CiliumPod 以太网 CNI
metrics-serverkubectl top
StorageClasslocal-path / shared-path / local-disk

集中式多用户身份目前主要在 Slinky;K8s 侧以 admin kubeconfig 为主。

#本节目录

页面内容
入门登录、首个 NCCL、拉镜像
多节点工作负载MPIJob、NCCL、PyTorchJob
作业排队(Kueue)队列、配额、优先级
存储三类 StorageClass
可观测性Grafana、top、profiling
健康检查检查目录与手动触发

交接校验与 Grafana 总入口:校验、监控。