Slinky 健康检查

检查走普通 Slurm 作业:排队在你作业后面,不抢占,有资源才跑。

#看结果

Grafana → Health Checks → Cluster Active Health Check Overview(入口见 监控)。列含义与 K8s 侧相同;Scheduler 列为 slurm。

新开集群的 Pending / Idle 不是失败;Overdue 才要查。

#检查目录(摘要)

登记名范围内容
active-node-suite节点DCGM、matmul、节点内 NCCL、memcpy 等
passive-node-suite / gpud-node-agent / dcgm-exporter节点持续健康与遥测
inter-node-nccl全集群InfiniBand AllReduce vs 基线
prolog-epilog-job-checks节点每个 GPU 作业开始前的可见性 / 空闲 / NVLink
weekly-*-benchmark节点或全集群训练 / IO / 推理(机型相关)

#自动 drain

sinfo -R
scontrol show node slinky-0
# 修好原因后:
scontrol update NodeName=slinky-0 State=RESUME

硬件告警会转给平台侧。

#查看与手动触发

在登录节点主机上:

squeue
sacct -X --starttime today | head
systemctl list-timers --all | grep -Ei 'chc|bench|io-bench|infbench|tb-weekly' || true

服务名以机内为准,常见可手动:

sudo systemctl start chc-active.service   # 名称以 list-timers 为准

部分检查用 marker 文件避免未到期重跑;强制重跑前先看 /var/lib/cluster-health-check/(或机内同类目录),只删对应 marker。prolog 无单独手动触发,随 GPU 作业跑。

排障:点 Grafana Check 名 → 看 squeue/sacct → 看对应 journal / Slurm 输出。Overdue 可能只是在等你的训练让出 GPU——不要为了健康检查杀用户作业。

总览见 校验。