Kubernetes 可观测性

#Grafana

访问方式见 监控(跳板机 HTTPS,不在控制台侧栏)。Kubernetes 集群上优先看:

  • - Kubernetes 目录:集群 / 节点 / Pod / 工作负载
  • - Health Checks 目录:见 健康检查
  • - 通用:GPU Overview、GPUd、DCGM、Node Exporter、Cluster Log Explorer

指标数据源为 Prometheus 兼容;可用 VMServiceScrape / VMPodScrape 抓你自己的工作负载,并自建面板。

#健康检查(摘要)

被动探针持续跑;主动节点 / 互联 / 存储 / 训练 / 推理检查以 Job、CronJob、MPIJob 形式落在 monitoring 命名空间,排队跟在你的作业后面、不抢占。完整目录与手动触发见 健康检查。

#实时资源

kubectl top nodes
kubectl top pods -A

由预装 metrics-server 提供。

#Profiling

非特权用户即可:

  • - Nsight Compute(ncu):GPU 硬件计数器已放开,无需 root / SYS_ADMIN
  • - perf:worker 上 perf_event_paranoid / kptr_restrict 已放宽,Pod 内可做 CPU 侧剖析
  • - dmesg:非特权可读,便于快速看 XID / 硬件线索