Kubernetes 概述与架构
下单时作业编排选 Kubernetes,得到 kubeadm 风格集群,面向 InfiniBand 上的多机 GPU 作业。你拥有 cluster-admin:可装 Operator、跑 Helm、用标准 kubectl。
Slinky(Slurm)见 Slinky 概述。控制台下单见 即时集群。
#架构
- - 跳板机(登录节点):SSH 入口;预装
kubectl/k9s/helm - - 服务节点:控制面 + 插件管理面 + 监控栈;带
NoSchedule,不跟训练抢资源 - - GPU worker:每节点通常
8 × nvidia.com/gpu,并暴露 RDMA(常见rdma/rdma_shared_device_a) - -
/home:全节点共享盘;同时支撑shared-path(RWX)StorageClass
API Server 只在内网——在跳板机上跑 kubectl,不要把 kubeconfig 当公网客户端用。
#预装组件
| 组件 | 用途 |
|---|---|
| NVIDIA GPU Operator | nvidia.com/gpu 调度与发现(驱动/toolkit 已在镜像) |
| MPI Operator | MPIJob 多机编排 |
| Kueue | 队列与配额(预置 default) |
| Network Operator | InfiniBand / RDMA |
| Cilium | Pod 以太网 CNI |
| metrics-server | kubectl top |
| StorageClass | local-path / shared-path / local-disk |
集中式多用户身份目前主要在 Slinky;K8s 侧以 admin kubeconfig 为主。