监控
即时集群自带指标、集中日志与告警。这些能力在集群登录节点 / 机内 Grafana上,不是起源算力控制台里的「查看仪表板」按钮。控制台只提供跳板机 IP;打开监控走 HTTPS 或 SSH 欢迎语里的链接。
#怎么打开 Grafana
- 1. 浏览器访问
https://<跳板机IP>/(端口 443)。若证书为自签,按浏览器提示继续访问。 - 2. 只读一键链接:SSH 登录欢迎语里常有形如
https://…/grafana-login/<token>的 URL,打开后以只读viewer进入,无需另记密码。链接约每周轮换;欢迎语里永远是当前可用的那条。把该链接当密码保管。 - 3. 管理员:改仪表盘 / 告警规则需要
admin。密码文件常见在登录节点(及 Slinky login pod)的/root/grafana_password.txt(需sudo可读)。
起源控制台侧栏没有集群 Grafana 入口;不要在「我的集群」列表里找。
#预置仪表盘(常见)
| 目录 / 名称 | 看什么 |
|---|---|
| GPU Overview / DCGM / GPUd | GPU 利用率、健康、DCGM 指标 |
| Node Exporter | 主机 CPU / 内存 / 盘 / 网 |
| Cluster Log Explorer | 各节点集中日志 |
| Slurm(Slinky) | 队列、节点、调度与 operator |
| Kubernetes | 集群 / 节点 / Pod / 工作负载 |
| Health Checks | 主动检查、全集群 NCCL、prolog、周度基准登记表 |
指标后端多为 VictoriaMetrics(Prometheus 兼容数据源名常见为 Metrics);日志为 VictoriaLogs(数据源常见名 Logs)。可在 Grafana 里自建面板与 PromQL。
#告警
预置规则在 Grafana Alerts。硬件相关告警会自动转给平台侧以便介入。你可改 contact point(例如默认邮件通道)把业务告警发到自己的邮箱 / webhook。
#与校验的关系
校验与持续健康检查的结果也会进 Health Checks 目录。详见 校验。
#相关
- - 网络与端口(443 / 防火墙)
- - Slinky · Kubernetes