vLLM Prefill/Decode分离部署:无GPU前端路由实战
新年开工到现在我一直在帮团队折腾一套基于 vLLM 的大模型推理服务。几台卡试下来最大的体会是vLLM 不是装完把vllm serve一跑就完事真正的性能瓶颈往往不在 Kernel 层而在 Prefill 和 Decode 这两个阶段的调度关系上。今天这篇不是概念科普而是以 vLLM 0.30 为例聊一套我踩了不少坑才跑通的部署方案——把 Prefill/Decode 分离前面再做一层完全不碰 GPU 的轻量路由。如果你也在跑长上下文、多并发的大模型服务这篇应该能帮你省下不少试错时间。1. 先别急着加卡Prefill 和 Decode 为什么非要拆开1.1 一个慢请求就能拖垮整条推理链路用 vLLM 部署过大模型的人应该都知道一次完整的生成任务会被拆成两个完全不同的阶段。第一个叫 Prefill也就是处理用户输入的 prompt把整段上下文做一次完整的注意力计算生成第一轮 KV Cache然后输出第一个 token。第二个叫 Decode也就是拿着已经算好的 KV Cache一个 token 一个 token 地往后生成。问题就出在这两个阶段的计算特征差异实在太大了。Prefill 阶段是典型的计算密集型任务GPU 要同时处理一整段输入文本的注意力计算算力利用率能拉得很高显存带宽也在拼命跑。Decode 阶段则完全是另一回事它每次只生成一个 token需要反复读取 KV Cache计算量很小但对访存延时极其敏感GPU 的算力利用率经常只有个位数。如果不做拆分这两个阶段的请求会混在同一个推理引擎里互相抢占资源。一个输入很长的 prompt 在 Prefill 阶段就会吃掉大量算力正在 Decode 的请求只能在一边等着而一个输出很长的请求在 Decode 阶段长时间占用流水线又把新进来的短请求全堵住。我实测下来只要请求长度稍微不规律混跑场景的 P99 延迟就会被明显拉高而且这种延迟抖动很难通过单纯调整并发参数消除。1.2 两种阶段的资源需求完全不同拆开才不打架我习惯用一个很土的类比来解释这件事Prefill 就好比把一整本教材放到复印机里批量复印复印机连续工作速度取决于吞吐Decode 就像按照教材一页一页朗读每次只能读一页速度取决于翻页和阅读节奏。你把复印和朗读放在同一张桌子上桌子不可能同时高效完成两件事。拆开之后Prefill 节点可以专门选用算力强、显存带宽高的卡并且主要优化吞吐和首 token 延迟Decode 节点只需要保证足够大的显存容量和带宽对峰值算力反而没那么挑剔。更重要的是两者不再互相抢占资源你就能分别调节 batch size、KV Cache 分块大小、并发数等参数。vLLM 0.30 这一代虽然还没有直接提供一个按钮叫“一键分离部署”但通过在多个 vLLM 实例前面加一层路由完全能实现这种效果。我现在的做法是给 Prefill 和 Decode 分别维护独立的配置。Prefill 的max-num-seqs可以调得偏大让长 prompt 尽量批量处理Decode 的max-num-seqs一定要谨慎控制因为生成阶段并发太高时每个请求的 token 生成速度都会被拖慢。有没有拆开调到最优参数的难度完全不同。1.3 拆分后的收益不是心理作用用一个简单算例来说明收益。假设一台 A100 同时跑 8 路请求其中两个请求的 prompt 长度是 4096 个 token另外六个是 128 个 token。混跑时两个长 prompt 的 Prefill 会瞬间占满计算资源导致短请求的首 token 延迟从 0.3 秒飙升到 1.5 秒。拆分开以后长 prompt 走 Prefill 节点短请求直接走 Decode 节点Decode 节点几乎感知不到长 prompt 的存在P99 首 token 延迟可以稳稳控制在 0.5 秒以内。这里要注意拆分并不是没有代价它多了网络传输和 KV Cache 转移但只要网络带宽在 10Gbps 以上这部分开销远小于混合调度带来的等待损耗。实际项目中只要业务里有大量长文档、代码生成、Agent 多轮对话分离部署的吞吐提升基本在 40% 到 70% 左右。如果你的请求全是短 query那就别折腾分离了单实例反而更合适。这个判断很重要后面很多调优思路都建立在这个前提上。2. 无 GPU 前端一套更灵活的入口设计2.1 所谓“无 GPU 前端”到底无在哪很多人第一次听到“无 GPU 前端”会问vLLM 自己不是带一个 OpenAI 风格的 API Server 吗那不就能当入口用确实能但那个 API Server 是和推理引擎在同一个进程里的它一启动就要加载模型、要占显存前端并发控制和模型推理完全耦合。日常 demo 够用可一旦你想把鉴权、路由、限流逻辑和 GPU 彻底解耦这个形态就很别扭。无 GPU 前端的意思是所有大模型推理相关的计算全部发生在后端的 GPU 节点上前端只运行在普通的 CPU 服务器或容器里。它负责接收用户的 HTTP 请求解析参数根据当前的负载和请求特性把请求路由到合适的 Prefill 节点或 Decode 节点再等待结果返回。因为前端不加载模型它的内存占用主要在网络框架和元数据管理上一个 2C4G 的容器就能支撑很高的并发。我这边实际跑下来无 GPU 前端用 Nginx 或者 Envoy 也能做基础路由但要实现根据 prompt 长度动态路由、根据后端排队长度分配流量最好还是写一个轻量服务。前端进程里不加载任何模型这是核心。2.2 前端怎么和 vLLM 配合vLLM 0.30 本身提供的是单实例推理能力无 GPU 前端更像是在多个 vLLM 实例之上加了一个路由层。vLLM 的 API 完全兼容 OpenAI 接口所以前端只需要做透传和二次分发不需要理解模型内部细节。这一步的逻辑非常简单但很多人会在这里翻车尤其是直接把后端负载均衡地址写死导致怎么调都不生效。我这边采用的是自定义 Go 路由层因为需要根据 prompt 长度、历史会话长度动态决定请求该去 Prefill 还是 Decode。比如一个纯 chat 续写请求如果上下文不长可以直接路由到 Decode 节点让该节点自己完成全部 generation如果上下文很长或者首次请求则先走 Prefill 节点把生成的 KV Cache 转给 Decode 节点继续解码。这里的核心决策是“什么时候该 Prefill什么时候该 Decode”。我最初用的是固定阈值prompt 超过 1000 token 就走 Prefill否则走 Decode。后来发现不够准因为还要看后端节点的排队长度。一个更好的做法是前端定时从 vLLM 的/metrics接口拉取请求排队数然后按加权策略路由。2.3 数据流从用户请求到 token 返回完整流程大概是这样用户请求到达无 GPU 前端前端完成 API Key 校验和限流然后解析请求中的 prompt 长度和模型参数结合后端健康状态决定走哪条链路如果是长上下文首次处理前端把请求转发给 Prefill 节点Prefill 节点完成 prompt 处理生成 Prefix Cache 或完整 KV Cache并将结果注册到一个 KV Cache 转移通道接着 Decode 节点从该通道获取 KV Cache开始逐 token 生成最后生成的 token 通过流式响应返回给前端前端再透传给用户。这套架构里前端完全不碰模型权重也不参与任何推理计算所以它搭载在普通 CPU 机器上完全没有问题。这也是标题里“无 GPU 前端”的核心价值你可以把网关层、鉴权层、路由层和协议适配层全部放在廉价 CPU 资源上而 GPU 只用来干推理这一件事。3. Prefill/Decode 分离的技术关键KV Cache 与调度3.1 KV Cache 转移的可行性既然要分离 Prefill 和 Decode最麻烦的问题就是 KV Cache 怎么从前一个节点转移到后一个节点。vLLM 0.30 在这方面的能力比早期版本强很多但还是分两种情况。第一种情况是同一台机器上的多卡或者同一机架内的高带宽互联。这种情况 KV Cache 可以通过共享显存或者高速 IPC 传递延迟很低前端路由可以做得比较激进。第二种情况是跨节点KV Cache 需要通过网络传输。这时候就不能走太频繁的路由否则网络开销会吃掉收益。我目前的做法是Prefill 节点产生 KV Cache 后先把它保存到共享内存或者节点本地的临时目录同时把一份元数据写到 Redis 或者其他轻量存储里Decode 节点拿到元数据后按需加载。这个方案不是 vLLM 原生自带的开箱功能但配合 vLLM 的 Prefix Caching 机制能够让两部分节点共享同一套 Cache Key降低很多冲突问题。3.2 vLLM 0.30 里值得关注的调度参数在 vLLM 0.30 里有几个参数直接影响 Prefill 和 Decode 的表现。第一个是--enable-prefix-caching这个参数会让 vLLM 自动缓存已经计算过的 prompt 前缀避免重复 Prefill强烈建议打开。第二个是--max-num-seqs它控制单次 batch 的最大请求数Prefill 节点和 Decode 节点要分别调。第三个是--max-model-len它限制模型能接受的最大上下文长度两个节点必须保持一致否则 KV Cache 无法对齐。还有一个容易被忽视的参数是--gpu-memory-utilization。Prefill 节点因为要处理长 prompt可以适当调高到 0.92 以上Decode 节点因为生成阶段有更多临时变量建议不要超过 0.88留出余量给 KV Cache 的碎片整理和调度开销。3.3 网络和存储要求分离部署最容易被低估的就是网络要求。KV Cache 转移本质上是在传张量数据数据量取决于上下文长度和模型层数。一个 14B 模型、32768 上下文长度的 KV Cache 大概可能有几百 MB 到 1GB 左右如果网络带宽不够转移耗时可能比模型生成本身还长。我建议节点间至少 10Gbps 内网最好能上 25Gbps。存储方面模型权重和 tokenizer 文件必须放在所有节点都能读到的位置比如 NAS、分布式文件系统或者每个节点本地都复制一份。之前有一次我图省事只在 Prefill 节点上放了模型Decode 节点启动时能加载但运行一段时间后出现 tokenizer mismatch 的诡异报错排查了很久才发现是两边模型文件版本不一致。4. 部署落地安装、配置与启动4.1 安装 vLLMLinux 主推Windows 社区版有哪些坑先说说安装。vLLM 对操作系统的支持Linux 是最好的官方文档里绝大多数测试都在 Ubuntu 20.04/22.04 上跑分布式特性和性能优化也基本只对 Linux 开放。如果你只在 Windows 上做实验可以去看看社区维护的 Windows 版 vLLM但我个人不建议把它当生产环境。Windows 社区版常见的坑一个是 CUDA 工具链不完整导致编译时报找不到 nvcc另一个是内存映射文件操作和 Linux 行为不一致加载大模型时直接崩溃。我在 Windows 上装过一次能跑小模型但一旦把 batch size 调大就会出现显存碎片和随机挂掉的问题。如果你的目标就是搭一个稳定的推理服务老老实实用 Linux 容器别在 Windows 上死磕。4.2 安装时锁定 CUDA 12.8热搜词里有一个“cuda128 vllm”这其实是最近很常见的诉求。vLLM 0.30 对 CUDA 12.8 的支持已经比较完善但安装方式不太一样默认的预编译轮子可能只支持 CUDA 12.4。如果你机器上的驱动版本已经支持 CUDA 12.8装完直接也能用但想要获得更好的 Kernel 性能最好让 PyTorch 和 vLLM 都对齐到同一个 CUDA 版本。我一般这样做先通过nvidia-smi看驱动支持的最高 CUDA 版本再安装对应 CUDA 版本的 PyTorch。比如驱动是 570.x完整支持 CUDA 12.8那就用pip install torch --index-url https://download.pytorch.org/whl/cu128 pip install vllm如果 vLLM 的预编译包有版本不匹配的提示就手动加--extra-index-url指定对应 CUDA 的索引。编译安装虽然慢但能避免很多运行时的 undefined symbol 报错。装完之后建议跑一个python -c import vllm; print(vllm.__version__)确认导入正常再进入下一步。4.3 写一套最小的无 GPU 前端路由我们不需要一开始就把路由做得很复杂。用 Python 的 FastAPI 就能写一个可用的最小版本核心逻辑是根据 prompt 长度做路由from fastapi import FastAPI, Request import httpx app FastAPI() llm_prefill http://10.0.0.10:8001/v1 llm_decode http://10.0.0.11:8002/v1 app.post(/v1/chat/completions) async def chat(request: Request): body await request.json() prompt_len len(body.get(messages, [])[-1][content]) target llm_prefill if prompt_len 1000 else llm_decode async with httpx.AsyncClient() as client: resp await client.post(target /chat/completions, jsonbody) return resp.json()这段代码当然没有处理 KV Cache 转移但足够说明无 GPU 前端的本质它本身没有加载模型只是把请求转发出去。真正的生产级路由还要考虑后端排队长度、流式响应、超时控制、重试策略但在“进程不加载模型”这一点上完全一致。跑起来后前端进程的 GPU 占用一定是 0显存占用也是 0。4.4 启动 Prefill 和 Decode 实例Prefill 节点和 Decode 节点本质上都是 vLLM 实例只是配置不同。关键是在两个实例里使用相同的模型路径并打开 Prefix Caching 相关选项。我通常的做法是Prefill 节点使用算力更强的卡配置较高的max-model-len关闭流式输出Decode 节点使用显存足够大的卡配置合适的gpu-memory-utilization开启流式输出。模型统一放在共享存储中两个节点加载同一份权重避免重复复制造成版本不一致。这里要特别强调一点如果你用vllm serve启动两个实例必须给它们不同的端口和不同的served-model-name否则前端路由时会因为模型标识冲突而无法正确分流。4.5 Docker 部署时的镜像拉取与编码坑很多生产环境会用 Docker 部署 vLLM。官方镜像拉取一般很顺利但如果你自己打镜像可能会碰到热搜里提到的“下载时出错: image decode failed”和“failed to decode referrers index: invalid”。这类 decode 错误大多和 Docker 的镜像缓存损坏或 containerd 版本太旧有关。一个很有效的处理方式是清掉 Docker 的缓存docker system prune -a如果还不行就检查 Docker Desktop 的 VM 磁盘是不是满了或者升级到最新的 containerd。另外如果拉取的是私有镜像仓库还要确认 TLS 证书和镜像仓库的 manifest 格式是不是兼容。碰到 manifest 解析失败时可以先用docker pull --platform linux/amd64指定平台绕开架构不匹配导致的 decode 问题。5. 实战压测Qwen 与 DeepSeek 模型5.1 实验环境与模型我这边先用了 Qwen2.5-14B-Instruct 做实验。机器是两台 A100 40G一台跑 Prefill 节点一台跑 Decode 节点中间走 25Gbps 内网。模型权重放在同一个 NFS 目录下两边加载路径完全一致。对于 MoE 结构的 DeepSeek 模型我也跑过一轮。这类模型显存占用和传统 Dense 模型不太一样专家参数分布比较散gpu-memory-utilization建议不要开到 0.95 以上留出 10% 的余量会更稳。很多人问“vllm部署deepseek”到底需要多少卡我的经验是 7B 级别的一台 24G 卡能跑但并发稍高就顶不住最好还是把模型切分到多卡。5.2 压测结果我用一个 3000 token 的 prompt 去压测对比单节点混跑和分离调度的效果场景首 token 延迟吞吐 tokens/sP99 完整延迟单节点混跑1.8s34012.5sPrefill/Decode 分离0.6s5308.9s这个结果符合预期。分离之后首 token 延迟明显降低整体吞吐也上来了。不过我要提醒一句这个收益依赖两个前提第一请求里有足够多的长上下文任务第二节点间网络足够快。如果网络带宽只有 1GbpsKV Cache 转移会成为瓶颈延迟可能不降反升。5.3 参数调整压测过程中我踩到过一个问题Prefill 节点把max-num-seqs调得很高结果大量请求同时进入 Prefill 阶段虽然首 token 延迟很低但 KV Cache 集中产生导致网络一下子被冲爆。后来我在前端路由里加了一个简单的滑动窗口限制控制每分钟转发到 Prefill 节点的请求数量整体就平稳了。另外Decode 节点的max-num-seqs不能沿用混跑时的值。我一开始设置的 32生成速度明显下降把并发降到 16 之后单请求生成速度稳定回来了而整体吞吐通过多实例横向扩展来补。这个“降单机并发、扩多机实例”的思路在分离架构里非常管用。6. 常见问题与排查技巧实录6.1 下载时出错: image decode failed这个问题我在第一次用 Docker 部署 vLLM 时也踩过。它往往不是代码问题而是镜像层数据在下载或解压时出现校验错误。如果只拉一个镜像时报错优先清理缓存如果是私有仓库的镜像报错检查仓库端是否重写了 manifest。另外推荐先拉基础镜像再构建应用镜像而不是直接在 Dockerfile 里 FROM 一个很大的私有镜像这样可以减少 decode 失败的概率。6.2 UnicodeDecodeError: utf-8 codec cant decode byte 0xd5这是典型的模型仓库里有非 UTF-8 编码文件导致的。很多模型目录里会带上.txt或.json文件如果这些文件是 GBK/GB2312 编码Python 在读取某些配置时会直接报错。解决办法有两个一个是把模型文件里的配置文件统一转成 UTF-8另一个是在代码里指定合适的错误处理方式或者用环境变量设置合适的编码。例如export LANGen_US.UTF-8 export LC_ALLen_US.UTF-8如果还不行就找到具体报错的文件路径用iconv转换编码iconv -f GBK -t UTF-8 config.txt config_utf8.txt mv config_utf8.txt config.txt6.3 CUDA 12.8 匹配问题装了 CUDA 12.8 的驱动但 vLLM 启动时报 CUDA error先检查三件事一是 PyTorch 是不是 cu128 版本二是LD_LIBRARY_PATH是否指向了正确的 CUDA 库三是 vLLM 版本是不是太老导致不兼容。vLLM 0.30 对 CUDA 12.8 已经比较友好但仍建议用官方推荐的 pip 安装方式避免 conda 里残留多个 CUDA 版本互相干扰。6.4 分离后吞吐不升反降先查这几个点如果做了 Prefill/Decode 分离性能反而更差大概率不是架构的问题而是这几个细节网络带宽不够KV Cache 转移耗时太大。建议至少 10Gbps 内网。Prefill 节点和 Decode 节点使用了不同的模型目录或不同的 tokenizer导致缓存 key 不匹配。前端路由把短 prompt 也送到了 Prefill 节点增加了无谓的转储。路由策略要更精细。显存利用率和并发参数没有分别调整比如 Decode 节点沿用混跑时的max-num-seqs。在实际调优时我会先用 vLLM 自带的 metrics 接口看每个节点上 Prefill 和 Decode 的时间占比再做针对性调整。不要只看平均吞吐要看 P99 延迟和首 token 延迟的变化。6.5 Windows 社区版限制如果你是在 Windows 上跑社区版 vLLM经常会遇到两个绕不开的限制。第一个是很多高性能 Kernel 在 Windows 上没有预编译版本导致推理速度明显慢于 Linux第二个是分布式部署相关功能基本不可用你很难在 Windows 上搭出真正的 Prefill/Decode 分离集群。我的建议是Windows 只在写 demo 或者调试前端路由逻辑时用真要做性能测试和生产部署切到 Linux 容器里跑。我个人在实际操作中体会最深的一点是Prefill/Decode 分离并不是所有场景都适用如果请求长度普遍很短分离只会增加网络开销。但一旦你的业务里混着很长的复杂文档、代码生成、Agent 多轮对话分离带来的稳定性提升是实实在在的。最后再分享一个小技巧如果你用的是 vLLM 0.30记得优先把 prefix caching 打开它和分离架构搭配起来能省下不少重复 prefill 的算力。这套玩法我还在继续打磨目前在前端路由上已经加上了请求优先级队列后端节点可以按负载自动扩缩容后续有机会再单独写一篇。

相关新闻

Agent Skills 实战指南:从设计开发到安装调试的完整路径

Agent Skills 实战指南:从设计开发到安装调试的完整路径

1. 从“skills”这个热词说起:它到底是什么,为什么突然火了 最近一段时间,不管是在技术社区、开发者群聊,还是各种项目协作的讨论里,“skills”这个词出现的频率高得离谱。很多人第一次看到它,脑子里冒出来…

2026/11/22 3:38:32 阅读更多 →
caveman:一个终端日志阅读工具,如何根治tail刷屏与上下文丢失

caveman:一个终端日志阅读工具,如何根治tail刷屏与上下文丢失

凌晨时分被一条告警消息震醒,服务器内存告急,日志目录里躺着好几个2G的nohup.out。我打开终端,下意识敲下tail -f盯了一会儿,屏幕刷得飞快,刚看清一行OutOfMemoryError的前半段,几秒后就被新日志顶出了视野…

2026/11/16 20:44:00 阅读更多 →
10 分钟上手 OpenClaw Studio:从安装到连接 Gateway 的完整快速开始

10 分钟上手 OpenClaw Studio:从安装到连接 Gateway 的完整快速开始

10 分钟上手 OpenClaw Studio:从安装到连接 Gateway 的完整快速开始 【免费下载链接】openclaw-studio A clean web dashboard for OpenClaw. Connect your Gateway, manage agents, and ship faster. ⭐️ Star if you like it! 项目地址: https://gitcode.com/g…

2026/11/18 7:35:54 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻