架构

即时集群是多节点 GPU 套件:节点之间走高速 InfiniBand,再配共享文件系统与作业编排。控制台只负责下单与跳板机 IP;节点角色、路径、预装软件以下文与机内实测为准。

下单与计费见 即时集群。接入端口见 网络与端口。

#节点角色

标准集群有三类节点:

角色常见命名作用
登录 / 跳板机<主机名>-login(控制台只暴露其公网 IP)唯一默认公网入口;SSH 登录点;对内做 NAT 网关
服务节点<主机名>-serviceSlurm 控制面 / Kubernetes 控制面、监控栈等(不跑你的训练作业)
计算节点(worker)<主机名>-1、-2…(Slinky 作业里常见 slinky-0…)每节点通常 8 张 GPU + 本地 NVMe;节点间走 InfiniBand

计算节点与服务节点默认不直接暴露公网。先 SSH 到跳板机,再 ssh <节点名> 进内网(需 Tab 补全时,补全依赖跳板机上的主机名配置)。

创建时填的「集群名称」会成为节点名前缀;留空则平台生成类似 cluster-……。

#规模与互联(量级)

以控制台规格页为准。常见形态:

  • - 整集群 GPU 量级大约 16~128 张(每 worker 8 卡 → 约 2~16 个计算节点)
  • - 每计算节点多条 InfiniBand 链路(代际带宽不同:常见单链路 400 Gb/s 量级,新一代更高)
  • - 节点间另有以太网平面;公网上行带宽有上限(常见对称约 2 Gb/s 量级)
  • - 每计算节点本地 NVMe 量级约数 TB(页上「本地存储」已含在计算价内)

精确卡型、节点数、本地盘 GB 以 即时集群 所选规格行为准。

#存储布局

路径在哪用途
/home所有节点(含跳板机)创建时选的 SFS 共享存储;脚本、数据、镜像文件放这里最稳
/mnt/local_disk各计算节点主机本地 NVMe 高速盘;适合 scratch、缓存、SQLite 类频繁小写入
/shared作业环境内(Slinky)共享盘上的公共数据区(全员可写)
/local作业环境内(Slinky)映射到该 worker 的本地 NVMe;跨作业可残留在同一节点
/tmp作业环境内(Slinky)也在本地 NVMe,但作业结束即清

Kubernetes 侧还有 StorageClass:local-path(默认)、shared-path(RWX,落在共享盘)、local-disk(裸 NVMe)。见 Kubernetes。

共享盘使用注意

  • - /home 上的 flock/fcntl 跨节点生效,但每次加锁是网络往返;长时间阻塞的锁可能导致作业收尾变慢。
  • - SQLite、频繁 commit 的本地库、某些缓存目录(如依赖 diskcache 的工具)放 /mnt/local_disk(或作业内 /local) 比放 /home 快一个数量级;不要在多节点间共享同一份 WAL 模式 SQLite。
  • - 一节点用 rename 覆盖文件时,另一节点可能偶发 ESTALE(Stale file handle):对 open() 重试即可。
  • - SFS 与集群生命周期绑定:释放集群后,本次创建附带的 /home 不会当作长期独立云盘保留。要跨集群保留的数据,请提前 scp/rsync 到本机或其它持久位置。

#预装软件(主机)

各节点主机侧通常已装:NVIDIA 驱动、CUDA、OFED/InfiniBand 用户态、HPC-X(常见在 /opt/hpcx,含 MPI)。登录节点上可能有辅助脚本(如 PyTorch 环境安装助手)。

Slinky:真正跑作业的是 worker 上的 slurmd Pod,作业里看到的软件栈与主机不完全相同(无 HPC-X/Lmod 等)。见 Slinky。

Kubernetes:工作负载跑在你的 Pod 里;GPU / RDMA 由预装 Operator 暴露。见 Kubernetes。

#文档地图

主题页面
控制台下单 / 释放 / 计费即时集群
SSH、端口、InfiniBand/NCCL网络与端口
Grafana / 日志监控
交接前校验与持续健康检查校验
Slurm on KubernetesSlinky
纯 KubernetesKubernetes