引言一张A100的采购价超过十万云上单卡月租上万但大多数公司的GPU平均利用率只有20%到40%。训练任务白天排队、夜里空跑推理服务按峰值配资源、平时大半闲置算法团队之间互相抢卡——这些场景几乎每家有GPU集群的公司都在上演。算力调度要解决的问题很朴素让对的任务在对的时间拿到对的卡把每一块钱烧出最大的价值。本文从编排、混部、降本三个层面梳理GPU集群调度的核心技术和落地经验。GPU调度和CPU调度有什么不同CPU任务默认可分时复用内存可以超卖调度器几十年前就成熟了。GPU不一样显存是硬约束超了直接OOM任务大多是长时间运行的训练作业动辄几天几周深度学习框架对多卡拓扑敏感同一条NVLink域内的卡和跨节点的卡性能天差地别而且GPU任务对成组调度Gang Scheduling有强需求——分布式训练要么8张卡同时到位要么一张都别给给一半就是死等。这些特性决定了GPU调度不能照搬CPU那套必须在资源感知、拓扑感知、任务协作三个维度做增强。编排层Kubernetes加调度器增强工业界的主流做法是Kubernetes打底NVIDIA Device Plugin负责发现GPU并向kubelet上报资源再通过调度器扩展解决K8s原生调度的短板。原生K8s调度器的问题在于按张分配GPU不支持显存维度的细粒度切分缺少Gang SchedulingPod逐个调度分布式作业容易死锁不感知GPU拓扑可能把多卡任务拆到不同NUMA节点甚至不同机器。对应的解决方案Volcano、Koordinator、YuniKorn这类批调度器提供PodGroup和Gang Scheduling能力拓扑感知方面配合Node Feature Discovery上报NVLink和PCIe拓扑调度时做拓扑打分显存切分则依靠vGPU方案如cGPU、qGPU或时间片插件。一个典型的Volcano Job配置长这样apiVersion: batch.volcano.sh/v1alpha1 kind: Job metadata: name: llm-pretrain spec: minAvailable: 9 # 9个Pod全部就位才开跑Gang Scheduling schedulerName: volcano tasks: - name: worker replicas: 8 template: spec: containers: - name: train image: train:latest resources: limits: nvidia.com/gpu: 8 # 每Pod 8卡整机独占 - name: launcher replicas: 1 template: spec: containers: - name: launcher image: train:latest resources: limits: cpu: 8 memory: 64Gi混部与隔离三种切卡姿势把一张卡同时塞给多个任务是提升利用率最直接的杠杆。主流有三条路。时间片Time Slicing多个进程轮流使用整卡CUDA上下文切换带来一定开销适合对延迟不敏感的开发调试和小模型推理。配置最简单但没有显存隔离一个任务OOM会把同卡任务都带崩。MPSMulti-Process ServiceNVIDIA官方的多进程服务把多个进程的CUDA上下文合并实现真正的并发执行开销比时间片小。配合显存限制环境变量可以做到一定程度的隔离适合在线推理混部。MIGMulti-Instance GPUA100/H100的硬件级切分一张A100最多切成7个独立实例每个实例有专属显存、SM和缓存隔离性最好性能几乎无损。代价是切分粒度固定1g.5gb、2g.10gb等规格不能灵活调整且实例创建销毁有次数限制。生产上常见的组合是训练任务用整卡或MIG大实例在线推理用MIG小实例加MPS离线批处理和开发机用时间片。降本实战弹性、竞价与调度策略混部解决一张卡装更多降本还要解决集群要不要这么多卡。训练任务错峰。离线训练对完成时间不敏感可以通过优先级队列把大训练任务排到夜间和周末白天把资源让给在线推理和交互式开发。Volcano的优先级加抢占机制可以直接支撑这个策略。竞价实例兜底扩容。云厂商的Spot实例价格是按量付费的三折左右代价是可能被回收。训练任务必须做checkpoint容错推荐每小时保存一次配合调度器的重试和驱逐感知可以把训练成本砍掉一半以上。队列治理与公平调度。多团队共用集群时最怕两类行为有人用大量小任务把队列塞满有人提交占坑任务霸住卡不放。对策是按团队配配额Quota加公平共享Fair Share队列按等待时长和历史用量动态排序给任务设最长运行时间和显存申报校验申报32G实际只用8G的任务下次调度时自动降权。这些规则不性感但往往是集群从天天吵架到相安无事的分水岭。利用率驱动的容量治理。用Prometheus加DCGM Exporter采集每张卡的SM利用率、显存占用和功耗每周出一次利用率报告长期低于20%的卡回收或降级显存占用常年低于30%的任务强制改用MIG小实例。下面是一个简单的利用率分析脚本import pandas as pd # dcgm_metrics.csv: timestamp, gpu_uuid, sm_util, mem_used_gb, mem_total_gb df pd.read_csv(dcgm_metrics.csv, parse_dates[