监控

即时集群自带指标、集中日志与告警。这些能力在集群登录节点 / 机内 Grafana上,不是起源算力控制台里的「查看仪表板」按钮。控制台只提供跳板机 IP;打开监控走 HTTPS 或 SSH 欢迎语里的链接。

#怎么打开 Grafana

  1. 1. 浏览器访问 https://<跳板机IP>/(端口 443)。若证书为自签,按浏览器提示继续访问。
  2. 2. 只读一键链接:SSH 登录欢迎语里常有形如 https://…/grafana-login/<token> 的 URL,打开后以只读 viewer 进入,无需另记密码。链接约每周轮换;欢迎语里永远是当前可用的那条。把该链接当密码保管。
  3. 3. 管理员:改仪表盘 / 告警规则需要 admin。密码文件常见在登录节点(及 Slinky login pod)的 /root/grafana_password.txt(需 sudo 可读)。

起源控制台侧栏没有集群 Grafana 入口;不要在「我的集群」列表里找。

#预置仪表盘(常见)

目录 / 名称看什么
GPU Overview / DCGM / GPUdGPU 利用率、健康、DCGM 指标
Node Exporter主机 CPU / 内存 / 盘 / 网
Cluster Log Explorer各节点集中日志
Slurm(Slinky)队列、节点、调度与 operator
Kubernetes集群 / 节点 / Pod / 工作负载
Health Checks主动检查、全集群 NCCL、prolog、周度基准登记表

指标后端多为 VictoriaMetrics(Prometheus 兼容数据源名常见为 Metrics);日志为 VictoriaLogs(数据源常见名 Logs)。可在 Grafana 里自建面板与 PromQL。

#告警

预置规则在 Grafana Alerts。硬件相关告警会自动转给平台侧以便介入。你可改 contact point(例如默认邮件通道)把业务告警发到自己的邮箱 / webhook。

#与校验的关系

校验与持续健康检查的结果也会进 Health Checks 目录。详见 校验。

#相关