Slinky 可观测性
#Grafana
访问见 监控。Slinky 上额外相关:
- - Slurm 目录:Native Overview、Nodes/Partitions、Scheduler、Slinky operator
- - Kubernetes 目录:集群 / 节点 / Pod
- - Health Checks 目录:见 健康检查
- - 通用:GPU / GPUd / DCGM / Node Exporter / Log Explorer
#健康检查(摘要)
每个 worker 的 slurmd 周期性做轻量门禁(GPU 可见、DCGM、致命 XID);失败则 drain,新作业避开。主动 / 周度检查走普通 Slurm 作业,不抢占。详见 健康检查。
#自定义 prolog / epilog
Slurm 在作业开始前跑 prolog、结束后跑 epilog。Slinky 上脚本经 ConfigMap 挂到 controller,operator 写入配置并分发,无需改镜像或重启 Pod。
集群通常已有 GPU 状态门禁 prolog(可用 scontrol show config | grep -iE '^Prolog|^Epilog' 查看)。加自己的钩子时:
- 1. 写脚本,做成 ConfigMap(文件名即脚本名;多脚本用数字前缀排序)
- 2.
kubectl -n slurm把 ConfigMap 写进 controller 的prologScriptRefs/epilogScriptRefs——整表替换,先读出现有列表再合并 - 3.
scontrol show config确认
注意:prolog 要快(秒级内);非 0 退出会 drain 节点——先小范围试。