Kubernetes 健康检查

检查以 Job / CronJob / MPIJob 跑在 monitoring 命名空间。GPU 检查走正常调度,排队在你作业后面,不抢占。

#看结果

打开 Grafana(见 监控)→ Health Checks → Cluster Active Health Check Overview。

登记表常见列:Check、Scope、Kind、Scheduler(K8s 上为 k8s)、Result(Healthy / Degraded / Failed)、Freshness / Age、Last run。节点表可点进单机详情。

新开集群可能显示 Pending first run / Awaiting registry / Idle——不是失败。Overdue 表示超过预期新鲜度窗口未上报,需要排查。

#检查目录(摘要)

登记名范围内容
active-node-suite节点DCGM、matmul、节点内 NCCL、memcpy、kernel launch、CPU 带宽
passive-node-suite节点GPU / NVLink / IB / 温度 / ECC 等持续信号
gpud-node-agent节点XID/SXID、remapped rows、链路
dcgm-exporter节点DCGM 遥测
inter-node-nccl全集群InfiniBand 上 AllReduce,对照该拓扑基线
weekly-training-benchmark全集群大规模训练探针(部分机型)
weekly-io-benchmark节点fio / mdtest(本地 NVMe + 共享盘)
weekly-inference-benchmark全集群推理前沿(部分机型,如 B300)

Degraded:跑完了但指标越阈值;Failed:检查本身失败或不完整。点 Check 名进详情。

#看调度对象

kubectl -n monitoring get cronjobs
kubectl -n monitoring get jobs,mpijobs,pods
kubectl -n monitoring get jobs,mpijobs,pods -w

#手动触发 CronJob

suffix=$(date +%s)
kubectl -n monitoring create job --from=cronjob/cluster-health-check-active "chc-manual-${suffix}"

训练类周度 CronJob 名以机内 kubectl -n monitoring get cronjobs 为准。NCCL / IO / 推理等由登记器到期派发,同样出现在 monitoring。

kubectl -n monitoring describe job <名>
kubectl -n monitoring logs job/<名>
kubectl -n monitoring describe mpijob <名>

Pending 时看 describe pod 的调度事件。检查在等 GPU 时不要删用户作业去「腾地方」。

硬件类被动告警会转给平台侧。交接校验总览见 校验。