校验

集群从「部署」到「可安心投训」会先跑自动校验;之后还有周期性健康检查。控制台「我的集群」可能短暂出现 validating 等英文态(未全部映射成中文),属过程态,以最终 运行中 与登录欢迎语为准。

#两阶段校验

阶段何时失败影响
Phase 1上游状态多为 validating必须通过才会进入 running
Phase 2已进入 running 之后目前多为信息性,不挡状态流转

创建后预计约 20 分钟量级(含校验)。跳板机往往更早能 SSH;欢迎语若仍写 IS NOT READY,等该提示消失再投大规模作业。

各节点起来时的早期检查(共通)

  • - 内核版本一致性
  • - InfiniBand 端口状态、配置与固件
  • - 单节点内各 GPU 的 ECC 配置一致

Phase 1 就绪门(共通,示意)

登录节点会等待并核对大致包括:

  • - 预期数量的节点已就绪(Slinky:Slurm idle;K8s:Prometheus / kubectl get nodes)
  • - 监控抓取目标健康、Grafana 可响应
  • - 对象存储端点可达(若镜像启用)
  • - 集群身份认证组件在线
  • - K8s 镜像:kubectl get nodes 全部 Ready

按编排的差异

Kubernetes(无 Slurm)

  • - Phase 1:主要靠共通门 + 节点 Ready
  • - Phase 2:RDMA 策略、StorageClass、MPI Operator 等是否齐套(信息性)

Slinky(Slurm on Kubernetes)

  • - Phase 1 额外:RDMA 策略、slurmctld 起来、worker pod 注册、scontrol reconfigure / srun 冒烟
  • - Phase 2:跨节点 srun hostname / nvidia-smi -L 等(信息性)
  • - 之后每个 GPU 作业前还有轻量 prolog(GPU 可见、空闲、NVLink 等),失败会 drain 节点以避免脏作业

Phase 2 产物常见落在登录节点 ~/ 下校验目录、slurm-*.out,或可用 journalctl 查校验相关 unit(机内实际服务名以 systemctl list-units | grep -i valid 为准)。

#运行期健康检查

交接完成后,检查会继续跑,结果进 Grafana Health Checks 目录(见 监控)。概览仪表盘一行一项:上次结果与新鲜度;停止上报会显示 OVERDUE,而不是 silently 消失。

类型节奏内容(摘要)
主动检查约每 6 小时空闲节点上的 DCGM / matmul / 节点内 NCCL / memcpy 等;以及全集群 NCCL AllReduce(对照该规模基线)
作业前检查每个 GPU 作业(Slinky)分配到的 GPU 可见且空闲、NVLink 正常
被动监控持续XID/SXID、ECC、NVLink/IB、温度等;硬件类告警会转给平台侧
周度基准每周、空闲容量训练(如大规模 LLM 探针)、存储 IO(fio/mdtest)、部分机型上的推理前沿;新开集群首次可能显示 Pending

主动检查排队跟在你的作业后面,不抢占训练。节点不健康时,Slinky 会 drain,新作业避开该节点。

#你怎么判断「可以开训」

  1. 1. 「我的集群」为 运行中,跳板机 IP 可复制
  2. 2. SSH 欢迎语不再提示 NOT READY
  3. 3. Slinky:sinfo 里 worker 为 idle/mix;K8s:kubectl get nodes 全 Ready,且 nvidia.com/gpu 可分配
  4. 4. (可选)跑登录节点上预置的双节点 NCCL 示例,Avg bus bandwidth 与 #wrong 列正常

异常:带集群名称、跳板机 IP、编排类型与时间提工单,资源类型写 集群。

#相关