作业排队(Kueue)

Kueue 已预装。它补上原生调度对批量 GPU 作业缺的一环:准入控制——作业先在队列里等,Pod 还不存在;再加配额、优先级与团队间公平分享。

#预置默认队列

LocalQueue "default"(命名空间 default)
  → ClusterQueue "default"
  → ResourceFlavor "default-flavor"

给 Job / MPIJob / 其它 Kueue 支持的工作负载 打标签即可入队:

metadata:
  labels:
    kueue.x-k8s.io/queue-name: default

随后:

  1. 1. Kueue 把工作负载 挂起(suspended)——还不创建 Pod
  2. 2. 有配额时 准入(admitted),Pod 才启动
  3. 3. 超出配额的按 FIFO(同优先级内)等待

没有该标签的工作负载完全绕过 Kueue,普通 kubectl apply 不受影响。

kubectl get workloads -n default
kubectl get clusterqueue default
kubectl get jobs          # SUSPEND=true 表示仍在排队

#把配额改成真实容量

出厂配额往往接近「无限」,单用户立刻准入。要真正排队,把配额改成集群实际容量。例如 2 节点 × 8 卡:

kubectl patch clusterqueue default --type=json -p '[{"op":"replace",
  "path":"/spec/resourceGroups/0/flavors/0/resources",
  "value":[{"name":"cpu","nominalQuota":400},
           {"name":"memory","nominalQuota":"3000Gi"},
           {"name":"nvidia.com/gpu","nominalQuota":16},
           {"name":"rdma/rdma_shared_device_a","nominalQuota":2000}]}]'

此后突发提交只会准入装得下的作业,其余挂起等待;作业结束自动放行下一个。

#优先级

创建 WorkloadPriorityClass,再给工作负载打标签:

apiVersion: kueue.x-k8s.io/v1beta2
kind: WorkloadPriorityClass
metadata:
  name: high
value: 1000
---
apiVersion: kueue.x-k8s.io/v1beta2
kind: WorkloadPriorityClass
metadata:
  name: low
value: 100
metadata:
  labels:
    kueue.x-k8s.io/queue-name: default
    kueue.x-k8s.io/priority-class: high

high 会排在等待中的 low 前面;默认不会抢占已在跑的作业(若要抢占,需在 ClusterQueue 上打开 preemption)。

#多团队队列

常见模式:每团队一个命名空间 + LocalQueue,指向同一个 ClusterQueue(共享配额)或多个(硬分割)。预置 default 可先给第一队用。管理细节见 Kueue 管理指南。

#Gang 调度

多机训练忌讳「只起了一部分 Pod」:Kueue 按工作负载整组准入。可与外部启动器(如 SkyPilot)组合;本站暂不展开第三方启动器安装步骤,核心是给工作负载打上队列标签并设好配额。