校验
集群从「部署」到「可安心投训」会先跑自动校验;之后还有周期性健康检查。控制台「我的集群」可能短暂出现 validating 等英文态(未全部映射成中文),属过程态,以最终 运行中 与登录欢迎语为准。
#两阶段校验
| 阶段 | 何时 | 失败影响 |
|---|---|---|
| Phase 1 | 上游状态多为 validating | 必须通过才会进入 running |
| Phase 2 | 已进入 running 之后 | 目前多为信息性,不挡状态流转 |
创建后预计约 20 分钟量级(含校验)。跳板机往往更早能 SSH;欢迎语若仍写 IS NOT READY,等该提示消失再投大规模作业。
各节点起来时的早期检查(共通)
- - 内核版本一致性
- - InfiniBand 端口状态、配置与固件
- - 单节点内各 GPU 的 ECC 配置一致
Phase 1 就绪门(共通,示意)
登录节点会等待并核对大致包括:
- - 预期数量的节点已就绪(Slinky:Slurm idle;K8s:Prometheus /
kubectl get nodes) - - 监控抓取目标健康、Grafana 可响应
- - 对象存储端点可达(若镜像启用)
- - 集群身份认证组件在线
- - K8s 镜像:
kubectl get nodes全部Ready
按编排的差异
Kubernetes(无 Slurm)
- - Phase 1:主要靠共通门 + 节点 Ready
- - Phase 2:RDMA 策略、StorageClass、MPI Operator 等是否齐套(信息性)
Slinky(Slurm on Kubernetes)
- - Phase 1 额外:RDMA 策略、
slurmctld起来、worker pod 注册、scontrol reconfigure/srun冒烟 - - Phase 2:跨节点
srun hostname/nvidia-smi -L等(信息性) - - 之后每个 GPU 作业前还有轻量 prolog(GPU 可见、空闲、NVLink 等),失败会 drain 节点以避免脏作业
Phase 2 产物常见落在登录节点 ~/ 下校验目录、slurm-*.out,或可用 journalctl 查校验相关 unit(机内实际服务名以 systemctl list-units | grep -i valid 为准)。
#运行期健康检查
交接完成后,检查会继续跑,结果进 Grafana Health Checks 目录(见 监控)。概览仪表盘一行一项:上次结果与新鲜度;停止上报会显示 OVERDUE,而不是 silently 消失。
| 类型 | 节奏 | 内容(摘要) |
|---|---|---|
| 主动检查 | 约每 6 小时 | 空闲节点上的 DCGM / matmul / 节点内 NCCL / memcpy 等;以及全集群 NCCL AllReduce(对照该规模基线) |
| 作业前检查 | 每个 GPU 作业(Slinky) | 分配到的 GPU 可见且空闲、NVLink 正常 |
| 被动监控 | 持续 | XID/SXID、ECC、NVLink/IB、温度等;硬件类告警会转给平台侧 |
| 周度基准 | 每周、空闲容量 | 训练(如大规模 LLM 探针)、存储 IO(fio/mdtest)、部分机型上的推理前沿;新开集群首次可能显示 Pending |
主动检查排队跟在你的作业后面,不抢占训练。节点不健康时,Slinky 会 drain,新作业避开该节点。
#你怎么判断「可以开训」
- 1. 「我的集群」为 运行中,跳板机 IP 可复制
- 2. SSH 欢迎语不再提示 NOT READY
- 3. Slinky:
sinfo里 worker 为idle/mix;K8s:kubectl get nodes全 Ready,且nvidia.com/gpu可分配 - 4. (可选)跑登录节点上预置的双节点 NCCL 示例,Avg bus bandwidth 与
#wrong列正常
异常:带集群名称、跳板机 IP、编排类型与时间提工单,资源类型写 集群。