Slinky 健康检查
检查走普通 Slurm 作业:排队在你作业后面,不抢占,有资源才跑。
#看结果
Grafana → Health Checks → Cluster Active Health Check Overview(入口见 监控)。列含义与 K8s 侧相同;Scheduler 列为 slurm。
新开集群的 Pending / Idle 不是失败;Overdue 才要查。
#检查目录(摘要)
| 登记名 | 范围 | 内容 |
|---|---|---|
active-node-suite | 节点 | DCGM、matmul、节点内 NCCL、memcpy 等 |
passive-node-suite / gpud-node-agent / dcgm-exporter | 节点 | 持续健康与遥测 |
inter-node-nccl | 全集群 | InfiniBand AllReduce vs 基线 |
prolog-epilog-job-checks | 节点 | 每个 GPU 作业开始前的可见性 / 空闲 / NVLink |
weekly-*-benchmark | 节点或全集群 | 训练 / IO / 推理(机型相关) |
#自动 drain
sinfo -R
scontrol show node slinky-0
# 修好原因后:
scontrol update NodeName=slinky-0 State=RESUME
硬件告警会转给平台侧。
#查看与手动触发
在登录节点主机上:
squeue
sacct -X --starttime today | head
systemctl list-timers --all | grep -Ei 'chc|bench|io-bench|infbench|tb-weekly' || true
服务名以机内为准,常见可手动:
sudo systemctl start chc-active.service # 名称以 list-timers 为准
部分检查用 marker 文件避免未到期重跑;强制重跑前先看 /var/lib/cluster-health-check/(或机内同类目录),只删对应 marker。prolog 无单独手动触发,随 GPU 作业跑。
排障:点 Grafana Check 名 → 看 squeue/sacct → 看对应 journal / Slurm 输出。Overdue 可能只是在等你的训练让出 GPU——不要为了健康检查杀用户作业。
总览见 校验。