1. 背景与目标在前两个阶段我们已经完成了 Agent 的搭建与基础功能联调核心链路依赖 OpenAI API 提供的 GPT 系列模型。虽然效果不错但随之而来的问题是调用成本随使用频率线性增长且数据需出域、延迟受公网波动影响。本阶段的目标很明确在本地或自有 GPU 服务器部署一套vLLM 量化模型的推理服务通过 OpenAI 兼容接口无缝替换云端 API让 Agent 在几乎不修改业务代码的前提下跑在自托管模型上同步展示部署与降本能力。完成后整体架构从Agent → OpenAI API公网、按 token 计费切换为Agent → 自建推理网关vLLMOpenAI 兼容协议→ 本地量化模型2. 为什么选择 vLLM 量化2.1 vLLM 的优势vLLM 是目前社区活跃度最高的高性能 LLM 推理框架之一核心优势在于PagedAttention 机制显存利用率大幅提升支持更高并发。Continuous Batching动态合并请求吞吐量显著高于原生 transformers。OpenAI 兼容接口原生提供/v1/chat/completions、/v1/completionsAgent 侧几乎零改动。量化模型友好支持 AWQ、GPTQ、FP8 等多种量化格式。2.2 量化的意义量化是在可接受精度损失范围内显著降低显存占用与推理延迟的有效手段。以 7B 模型为例精度显存占用约说明FP1614 GB基线AWQ 4-bit56 GB体积减半以上速度提升明显FP88 GB需要 H100/H20 及以上硬件支持对于单卡 24 GB如 4090、A10、L4的环境量化几乎是部署 7B14B 模型的必经之路。3. 环境准备3.1 硬件建议场景推荐配置个人实验单卡 24 GBRTX 4090 / A10团队共用单卡 48 GBA40 / L40S或双卡推理生产级并发多卡 Tensor Parallel本阶段以单卡 24 GB、部署 7B 量化模型为例进行说明。3.2 软件环境# 建议使用 Python 3.10python--version# 创建独立环境python-mvenv vllm_envsourcevllm_env/bin/activate# 升级 pippipinstall--upgradepip4. 安装 vLLMvLLM 现在提供了非常方便的安装方式直接通过 pip 即可完成pipinstallvllm如果你的 CUDA 版本与默认构建不匹配可以去 vLLM 官方文档查看对应的安装指令。以 CUDA 12.1 环境为例pipinstallvllm --index-url https://download.pytorch.org/whl/cu121安装完成后验证python-cimport vllm; print(vllm.__version__)5. 选择并下载量化模型本阶段推荐使用Qwen2.5-7B-Instruct-AWQ理由如下中文能力强适合 Agent 的中文指令场景。官方提供 AWQ 4-bit 版本开箱即用。显存占用约 6 GB单卡 24 GB 环境可留出充足余量跑长上下文。下载模型fromhuggingface_hubimportsnapshot_download model_pathsnapshot_download(repo_idQwen/Qwen2.5-7B-Instruct-AWQ,local_dir./models/Qwen2.5-7B-Instruct-AWQ)print(model_path)也可以使用 ModelScope 加速国内下载pipinstallmodelscopefrommodelscopeimportsnapshot_download model_pathsnapshot_download(Qwen/Qwen2.5-7B-Instruct-AWQ,local_dir./models/Qwen2.5-7B-Instruct-AWQ)6. 启动 vLLM 推理服务6.1 基础启动命令vllm serve ./models/Qwen2.5-7B-Instruct-AWQ\--host0.0.0.0\--port8000\--max-model-len8192\--gpu-memory-utilization0.85\--dtypeauto参数说明参数作用--host 0.0.0.0允许局域网访问--port 8000服务端口--max-model-len 8192最大上下文长度--gpu-memory-utilization 0.85显存占用上限留出 KV Cache 余量--dtype auto自动识别量化格式6.2 验证服务服务启动后用 curl 快速探测curlhttp://localhost:8000/v1/models预期返回模型列表确认/v1端点已就绪。再测一遍对话curlhttp://localhost:8000/v1/chat/completions\-HContent-Type: application/json\-d{ model: Qwen2.5-7B-Instruct-AWQ, messages: [ {role: user, content: 用一句话介绍 vLLM} ], temperature: 0.7 }7. 将 Agent 切换到本地 vLLM这是本阶段最关键的一步让上一步的 Agent 用本地模型替换 OpenAI API同时尽量少改代码。由于 vLLM 提供了 OpenAI 兼容协议绝大多数 OpenAI SDK 场景只需要修改三个配置项7.1 使用 OpenAI SDK 直接切换原来连接 OpenAI 的代码可能类似fromopenaiimportOpenAI clientOpenAI(api_keysk-xxxx,# 原来填 OpenAI 密钥base_urlhttps://api.openai.com/v1)现在只需更换base_url与api_keyfromopenaiimportOpenAI clientOpenAI(api_keyEMPTY,# vLLM 默认不校验占位即可base_urlhttp://127.0.0.1:8000/v1)后续调用逻辑完全不用变responseclient.chat.completions.create(modelQwen2.5-7B-Instruct-AWQ,messages[{role:system,content:你是一个严谨的代码助手。},{role:user,content:帮我设计一个日志采集模块。}],temperature0.7)print(response.choices[0].message.content)7.2 使用 LangChain 场景切换如果 Agent 基于 LangChain 构建同样只需要改两行fromlangchain_openaiimportChatOpenAI llmChatOpenAI(modelQwen2.5-7B-Instruct-AWQ,openai_api_keyEMPTY,openai_api_basehttp://127.0.0.1:8000/v1,temperature0.7)7.3 Agent 工具调用注意事项如果上一阶段的 Agent 依赖Function Calling需要注意Qwen2.5-Instruct 系列本身支持工具调用vLLM 下需要加上--enable-auto-tool-choice --tool-call-parser hermes参数以正确解析函数调用格式。建议把提示词中的模型相关描述改成对本地模型的描述避免模型自报家门出现偏差。对应启动命令升级为vllm serve ./models/Qwen2.5-7B-Instruct-AWQ\--host0.0.0.0\--port8000\--max-model-len8192\--gpu-memory-utilization0.85\--dtypeauto\--enable-auto-tool-choice\--tool-call-parser hermes8. 部署效果与降本分析8.1 单请求延迟对比在同一台服务器上对比云端 API 与本地 vLLM 的端到端延迟单请求、512 token 输出链路平均延迟备注OpenAI API公网815 s受网络与排队影响本地 vLLM AWQ36 s无公网往返稳定本地部署在网络敏感场景下优势明显延迟抖动显著降低。8.2 成本模拟对比假设团队每天调用 10 万 token包含输入与输出一个月约 300 万 token方案月估算成本说明云端 GPT-4 级 API数千元级按 token 计费随用量上升本地 vLLM 7B AWQ电费 折旧约数百元一次性硬件投入外边际成本极低实际成本会因 token 单价、硬件折旧方式不同而变化此处只做数量级对比。核心结论是使用量越大本地部署的相对成本优势越明显。8.3 并发吞吐测试可使用 vLLM 自带的 benchmark 脚本进行简单压测python-mvllm.entrypoints.openai.benchmark\--base-url http://127.0.0.1:8000/v1\--modelQwen2.5-7B-Instruct-AWQ\--num-prompts50\--request-rate2重点关注Throughput与TTFT首 token 时间两个指标便于后续调优对比。9. 常见问题与优化建议9.1 显存不足若启动时 OOM降低--max-model-len或--gpu-memory-utilization--max-model-len4096--gpu-memory-utilization0.79.2 输出被截断检查max_tokens设置并确认--max-model-len足够容纳完整上下文。9.3 高并发下延迟上升可开启 Prefix Caching 复用公共前缀如固定的 system prompt--enable-prefix-caching对于固定 system prompt 的 Agent 场景该优化通常能显著降低 TTFT。9.4 生产化建议使用systemd或 Docker 守护 vLLM 进程避免异常退出。通过 Nginx 反向代理统一入口便于后续多模型路由与鉴权。定期保存并回放线上日志样本用于量化模型的效果回归。10. 小结本阶段完成了从「云端 API 依赖」到「本地自托管推理」的关键切换使用 vLLM 部署了 Qwen2.5-7B-Instruct-AWQ 量化模型。通过 OpenAI 兼容接口仅修改base_url和api_key即完成 Agent 接入。对比了延迟、成本与并发表现验证了本地部署在降本与稳定性上的价值。针对 Function Calling、高并发、显存受限等场景给出了可落地的优化方案。这一步不只是能跑通更重要的是证明了在控制成本的前提下团队完全有能力将核心模型能力掌握在自己手中为后续私有化交付、行业定制微调打下基础。