vLLM 快速上手教程3 步从零到首次生成新手最完整的入门路径【免费下载链接】vllmA high-throughput and memory-efficient inference and serving engine for LLMs项目地址: https://gitcode.com/GitHub_Trending/vl/vllmvLLM是一款开源的高吞吐、低显存消耗的LLM 推理与服务引擎由加州大学伯克利分校发起现已成为最活跃的 AI 开源项目之一。它支持 200 多种模型架构提供 PagedAttention、连续批处理等核心加速技术并内置 OpenAI 兼容的 API 服务器。本教程带你用 3 步从零完成vLLM 安装、首次文本生成和 API 服务部署新手也能轻松上手。为什么选择 vLLM在开始之前先用 30 秒了解 vLLM 的核心优势核心能力说明 极致吞吐先进的服务吞吐量连续批处理 分块预填充 省显存PagedAttention 高效管理注意力 KV 缓存 生态无缝直接加载 Hugging Face 模型OpenAI 兼容 API 硬件广泛支持 NVIDIA、AMD、Intel GPU 及主流 CPU 模型丰富Llama、Qwen、DeepSeek-V3、LLaVA 等 200 架构vLLM 的推理引擎内部将任务拆分为输入处理、调度、模型执行和输出处理四个模块理解这个结构有助于你快速定位问题第 1 步30 秒完成 vLLM 安装vLLM 支持 Linux 环境Python 版本要求 3.10 – 3.13。推荐使用 uv一个超快的 Python 环境管理工具来创建环境并安装uv venv --python 3.12 --seed source .venv/bin/activate uv pip install vllm --torch-backendauto--torch-backendauto会根据你机器上的 CUDA 驱动版本自动选择合适的 PyTorch 版本避免新手常见的版本不匹配问题。如果习惯用 pip也可以直接执行pip install vllm。安装完成后运行以下命令验证是否成功vllm --help只要看到命令行帮助信息就说明vLLM 安装已完成。AMD GPU 用户可参考官方安装文档 docs/getting_started/installation/gpu.md 中的 ROCm 章节。第 2 步离线推理生成你的第一段文字vLLM 的第一个入口是LLM类适合在本地脚本中批量生成文本。官方示例脚本在 examples/basic/offline_inference/basic.py核心逻辑只有 3 行from vllm import LLM, SamplingParams llm LLM(modelfacebook/opt-125m) # 1. 加载模型 outputs llm.generate(prompts, sampling_params) # 2. 批量生成 print(outputs[0].outputs[0].text) # 3. 打印结果逐步解释一下加载模型LLM(model...)会自动从 Hugging Face 下载模型并初始化推理引擎。首次运行需要联网下载建议使用较小的模型如facebook/opt-125m仅约 0.5GB用于入门体验。设置采样参数SamplingParams(temperature0.8, top_p0.95)控制生成随机性。temperature越低输出越确定top_p控制候选词范围。批量生成llm.generate()一次性处理多条 prompt这正是 vLLM 高吞吐优势体现的地方。 如果你使用的是对话模型如 Qwen、Llama-3建议改用llm.chat()方法传入消息列表vLLM 会自动应用模型自带的对话模板效果更稳定。模型代码的入口实现位于 vllm/entrypoints/llm.py想深入了解的同学可以顺着源码看。第 3 步一条命令启动 OpenAI 兼容 API 服务这是 vLLM 最受新手欢迎的能力——用一条命令把任意模型变成OpenAI 兼容的 API 服务器vllm serve Qwen/Qwen2.5-1.5B-Instruct服务默认启动在http://localhost:8000你可以用--host和--port修改地址。此时用curl测试一下# 查看已加载的模型 curl http://localhost:8000/v1/models # 发起一次聊天补全请求 curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: Qwen/Qwen2.5-1.5B-Instruct, messages: [ {role: user, content: 用一句话介绍 vLLM} ] }因为协议与 OpenAI 完全兼容任何现有的 OpenAI 客户端代码只需把base_url指向本地即可无缝切换官方客户端示例见 examples/basic/online_serving/openai_chat_completion_client.pyclient OpenAI(api_keyEMPTY, base_urlhttp://localhost:8000/v1)进阶接入图形化聊天界面有了 API 服务你就可以把它接入各种现成的聊天前端零代码拥有自己的 AI 助手界面常见选择包括 Open WebUI、Dify、AnythingLLM 等只需将 API 地址填为http://localhost:8000/v1即可部署细节可参考 docs/deployment/ 目录下的各框架文档。新手常见问题速查❓ 启动时报显存不足怎么办调小--max-model-len最大上下文长度或对大模型使用量化版本vLLM 原生支持 FP8、AWQ、GPTQ 等格式。❓ 支持哪些硬件NVIDIA CUDA、AMD ROCm、Intel XPU、Google TPU 及主流 CPU 均可运行对应安装方式在 docs/getting_started/installation/README.md 中有分平台说明。❓ 模型从哪里下载默认从 Hugging Face 拉取国内用户可设置环境变量VLLM_USE_MODELSCOPETrue切换为 ModelScope 源。❓ 离线推理和在线服务怎么选批量跑固定 prompt 选离线推理LLM类需要被其他应用调用、多人访问则选在线服务vllm serve。两者入口关系如下图所示下一步学习路径恭喜你已完成 vLLM 从安装到部署的全部 3 步 接下来可以按兴趣深入 完整入门文档docs/getting_started/quickstart.md 架构原理详解docs/design/arch_overview.md 在线服务进阶配置docs/serving/online_serving/ 更多上手示例examples/basic/核心路径回顾安装 →LLM类离线生成 →vllm serve启动 API 服务。掌握这条主线后量化、LoRA、结构化输出、多机并行等高级功能都将成为你顺手可得的工具。【免费下载链接】vllmA high-throughput and memory-efficient inference and serving engine for LLMs项目地址: https://gitcode.com/GitHub_Trending/vl/vllm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考