Kubernetes 健康检查
检查以 Job / CronJob / MPIJob 跑在 monitoring 命名空间。GPU 检查走正常调度,排队在你作业后面,不抢占。
#看结果
打开 Grafana(见 监控)→ Health Checks → Cluster Active Health Check Overview。
登记表常见列:Check、Scope、Kind、Scheduler(K8s 上为 k8s)、Result(Healthy / Degraded / Failed)、Freshness / Age、Last run。节点表可点进单机详情。
新开集群可能显示 Pending first run / Awaiting registry / Idle——不是失败。Overdue 表示超过预期新鲜度窗口未上报,需要排查。
#检查目录(摘要)
| 登记名 | 范围 | 内容 |
|---|---|---|
active-node-suite | 节点 | DCGM、matmul、节点内 NCCL、memcpy、kernel launch、CPU 带宽 |
passive-node-suite | 节点 | GPU / NVLink / IB / 温度 / ECC 等持续信号 |
gpud-node-agent | 节点 | XID/SXID、remapped rows、链路 |
dcgm-exporter | 节点 | DCGM 遥测 |
inter-node-nccl | 全集群 | InfiniBand 上 AllReduce,对照该拓扑基线 |
weekly-training-benchmark | 全集群 | 大规模训练探针(部分机型) |
weekly-io-benchmark | 节点 | fio / mdtest(本地 NVMe + 共享盘) |
weekly-inference-benchmark | 全集群 | 推理前沿(部分机型,如 B300) |
Degraded:跑完了但指标越阈值;Failed:检查本身失败或不完整。点 Check 名进详情。
#看调度对象
kubectl -n monitoring get cronjobs
kubectl -n monitoring get jobs,mpijobs,pods
kubectl -n monitoring get jobs,mpijobs,pods -w
#手动触发 CronJob
suffix=$(date +%s)
kubectl -n monitoring create job --from=cronjob/cluster-health-check-active "chc-manual-${suffix}"
训练类周度 CronJob 名以机内 kubectl -n monitoring get cronjobs 为准。NCCL / IO / 推理等由登记器到期派发,同样出现在 monitoring。
kubectl -n monitoring describe job <名>
kubectl -n monitoring logs job/<名>
kubectl -n monitoring describe mpijob <名>
Pending 时看 describe pod 的调度事件。检查在等 GPU 时不要删用户作业去「腾地方」。
硬件类被动告警会转给平台侧。交接校验总览见 校验。