作业排队(Kueue)
Kueue 已预装。它补上原生调度对批量 GPU 作业缺的一环:准入控制——作业先在队列里等,Pod 还不存在;再加配额、优先级与团队间公平分享。
#预置默认队列
LocalQueue "default"(命名空间 default)
→ ClusterQueue "default"
→ ResourceFlavor "default-flavor"
给 Job / MPIJob / 其它 Kueue 支持的工作负载 打标签即可入队:
metadata:
labels:
kueue.x-k8s.io/queue-name: default
随后:
- 1. Kueue 把工作负载 挂起(suspended)——还不创建 Pod
- 2. 有配额时 准入(admitted),Pod 才启动
- 3. 超出配额的按 FIFO(同优先级内)等待
没有该标签的工作负载完全绕过 Kueue,普通 kubectl apply 不受影响。
kubectl get workloads -n default
kubectl get clusterqueue default
kubectl get jobs # SUSPEND=true 表示仍在排队
#把配额改成真实容量
出厂配额往往接近「无限」,单用户立刻准入。要真正排队,把配额改成集群实际容量。例如 2 节点 × 8 卡:
kubectl patch clusterqueue default --type=json -p '[{"op":"replace",
"path":"/spec/resourceGroups/0/flavors/0/resources",
"value":[{"name":"cpu","nominalQuota":400},
{"name":"memory","nominalQuota":"3000Gi"},
{"name":"nvidia.com/gpu","nominalQuota":16},
{"name":"rdma/rdma_shared_device_a","nominalQuota":2000}]}]'
此后突发提交只会准入装得下的作业,其余挂起等待;作业结束自动放行下一个。
#优先级
创建 WorkloadPriorityClass,再给工作负载打标签:
apiVersion: kueue.x-k8s.io/v1beta2
kind: WorkloadPriorityClass
metadata:
name: high
value: 1000
---
apiVersion: kueue.x-k8s.io/v1beta2
kind: WorkloadPriorityClass
metadata:
name: low
value: 100
metadata:
labels:
kueue.x-k8s.io/queue-name: default
kueue.x-k8s.io/priority-class: high
high 会排在等待中的 low 前面;默认不会抢占已在跑的作业(若要抢占,需在 ClusterQueue 上打开 preemption)。
#多团队队列
常见模式:每团队一个命名空间 + LocalQueue,指向同一个 ClusterQueue(共享配额)或多个(硬分割)。预置 default 可先给第一队用。管理细节见 Kueue 管理指南。
#Gang 调度
多机训练忌讳「只起了一部分 Pod」:Kueue 按工作负载整组准入。可与外部启动器(如 SkyPilot)组合;本站暂不展开第三方启动器安装步骤,核心是给工作负载打上队列标签并设好配额。