Slinky 可观测性

#Grafana

访问见 监控。Slinky 上额外相关:

  • - Slurm 目录:Native Overview、Nodes/Partitions、Scheduler、Slinky operator
  • - Kubernetes 目录:集群 / 节点 / Pod
  • - Health Checks 目录:见 健康检查
  • - 通用:GPU / GPUd / DCGM / Node Exporter / Log Explorer

#健康检查(摘要)

每个 worker 的 slurmd 周期性做轻量门禁(GPU 可见、DCGM、致命 XID);失败则 drain,新作业避开。主动 / 周度检查走普通 Slurm 作业,不抢占。详见 健康检查。

#自定义 prolog / epilog

Slurm 在作业开始前跑 prolog、结束后跑 epilog。Slinky 上脚本经 ConfigMap 挂到 controller,operator 写入配置并分发,无需改镜像或重启 Pod。

集群通常已有 GPU 状态门禁 prolog(可用 scontrol show config | grep -iE '^Prolog|^Epilog' 查看)。加自己的钩子时:

  1. 1. 写脚本,做成 ConfigMap(文件名即脚本名;多脚本用数字前缀排序)
  2. 2. kubectl -n slurm 把 ConfigMap 写进 controller 的 prologScriptRefs / epilogScriptRefs——整表替换,先读出现有列表再合并
  3. 3. scontrol show config 确认

注意:prolog 要快(秒级内);非 0 退出会 drain 节点——先小范围试。