架构
即时集群是多节点 GPU 套件:节点之间走高速 InfiniBand,再配共享文件系统与作业编排。控制台只负责下单与跳板机 IP;节点角色、路径、预装软件以下文与机内实测为准。
#节点角色
标准集群有三类节点:
| 角色 | 常见命名 | 作用 |
|---|---|---|
| 登录 / 跳板机 | <主机名>-login(控制台只暴露其公网 IP) | 唯一默认公网入口;SSH 登录点;对内做 NAT 网关 |
| 服务节点 | <主机名>-service | Slurm 控制面 / Kubernetes 控制面、监控栈等(不跑你的训练作业) |
| 计算节点(worker) | <主机名>-1、-2…(Slinky 作业里常见 slinky-0…) | 每节点通常 8 张 GPU + 本地 NVMe;节点间走 InfiniBand |
计算节点与服务节点默认不直接暴露公网。先 SSH 到跳板机,再 ssh <节点名> 进内网(需 Tab 补全时,补全依赖跳板机上的主机名配置)。
创建时填的「集群名称」会成为节点名前缀;留空则平台生成类似 cluster-……。
#规模与互联(量级)
以控制台规格页为准。常见形态:
- - 整集群 GPU 量级大约 16~128 张(每 worker 8 卡 → 约 2~16 个计算节点)
- - 每计算节点多条 InfiniBand 链路(代际带宽不同:常见单链路 400 Gb/s 量级,新一代更高)
- - 节点间另有以太网平面;公网上行带宽有上限(常见对称约 2 Gb/s 量级)
- - 每计算节点本地 NVMe 量级约数 TB(页上「本地存储」已含在计算价内)
精确卡型、节点数、本地盘 GB 以 即时集群 所选规格行为准。
#存储布局
| 路径 | 在哪 | 用途 |
|---|---|---|
/home | 所有节点(含跳板机) | 创建时选的 SFS 共享存储;脚本、数据、镜像文件放这里最稳 |
/mnt/local_disk | 各计算节点主机 | 本地 NVMe 高速盘;适合 scratch、缓存、SQLite 类频繁小写入 |
/shared | 作业环境内(Slinky) | 共享盘上的公共数据区(全员可写) |
/local | 作业环境内(Slinky) | 映射到该 worker 的本地 NVMe;跨作业可残留在同一节点 |
/tmp | 作业环境内(Slinky) | 也在本地 NVMe,但作业结束即清 |
Kubernetes 侧还有 StorageClass:local-path(默认)、shared-path(RWX,落在共享盘)、local-disk(裸 NVMe)。见 Kubernetes。
共享盘使用注意
- -
/home上的flock/fcntl跨节点生效,但每次加锁是网络往返;长时间阻塞的锁可能导致作业收尾变慢。 - - SQLite、频繁 commit 的本地库、某些缓存目录(如依赖
diskcache的工具)放/mnt/local_disk(或作业内/local) 比放/home快一个数量级;不要在多节点间共享同一份 WAL 模式 SQLite。 - - 一节点用 rename 覆盖文件时,另一节点可能偶发
ESTALE(Stale file handle):对open()重试即可。 - - SFS 与集群生命周期绑定:释放集群后,本次创建附带的
/home不会当作长期独立云盘保留。要跨集群保留的数据,请提前scp/rsync到本机或其它持久位置。
#预装软件(主机)
各节点主机侧通常已装:NVIDIA 驱动、CUDA、OFED/InfiniBand 用户态、HPC-X(常见在 /opt/hpcx,含 MPI)。登录节点上可能有辅助脚本(如 PyTorch 环境安装助手)。
Slinky:真正跑作业的是 worker 上的 slurmd Pod,作业里看到的软件栈与主机不完全相同(无 HPC-X/Lmod 等)。见 Slinky。
Kubernetes:工作负载跑在你的 Pod 里;GPU / RDMA 由预装 Operator 暴露。见 Kubernetes。