如何10分钟上手TokenSpeedLLM推理引擎最简快速入门教程【免费下载链接】tokenspeedTokenSpeed is a speed-of-light LLM inference engine.项目地址: https://gitcode.com/gh_mirrors/to/tokenspeedTokenSpeed是一款面向智能体Agentic工作负载的“光速”LLM 推理引擎主打 TensorRT-LLM 级别的性能与 vLLM 级别的使用体验。无论你是想快速部署一个大模型服务还是评估推理引擎选型跟着这篇 TokenSpeed 快速入门教程10 分钟就能跑通「安装 → 验证 → 起服务 → 调 API」全流程。TokenSpeed 是什么TokenSpeed 由非营利组织 LightSeek Foundation 主导开发是 PyTorch 生态系统的一员并得到 NVIDIA、AMD 等硬件厂商的工程支持。它的核心差异点可以概括为三块核心组件说明调度器SchedulerC 控制面 Python 执行面分离请求生命周期与 KV 缓存管理被建模为有限状态机资源安全由类型系统在编译期保证内核Kernels可插拔的分层内核系统提供统一公开 API 与集中式注册表内含 Blackwell 上最快的 MLA多头潜在注意力实现之一入口Entrypoint集成 SMG 的 AsyncLLM 服务CPU 侧请求处理开销极低对外暴露OpenAI 兼容 API对新手来说最关键的一点是TokenSpeed 沿用了业界熟悉的参数命名如--tensor-parallel-size、--kv-cache-dtype几乎零学习成本。环境准备两种方式任选其一方式一Docker 运行容器推荐新手拉取官方运行镜像并启动容器需要 NVIDIA GPU 支持 GPU 的 Dockerdocker pull lightseekorg/tokenspeed-runner:latest docker run -itd \ --shm-size 32g \ --gpus all \ -v /raid/cache:/home/runner/.cache \ --ipchost --networkhost --pidhost \ --privileged \ --name tokenspeed \ lightseekorg/tokenspeed-runner:latest \ /bin/bash进入容器后克隆源码git clone https://gitcode.com/gh_mirrors/to/tokenspeed cd tokenspeed方式二本地 Python 环境安装在 Python 3.10–3.13 环境中从源码依次安装三个包即可细节见 docs/guides/getting-started.md# 1. Python 运行时 export PIP_BREAK_SYSTEM_PACKAGES1 pip install -e ./python --no-build-isolation # 2. 内核包会自动安装所选后端的依赖 pip install -e tokenspeed-kernel/python/ --no-build-isolation # 3. 调度器包C 控制面 pip install -e tokenspeed-scheduler/ H100/H200 CUDA 12.9 的用户可以参考 Hopper / CUDA 12.9 源码安装指南一条命令完成环境搭建。一分钟验证 拉起第一个 LLM 服务第 1 步验证环境tokenspeed env # 检查环境配置与依赖版本 tokenspeed serve --helptokenspeed env会打印关键依赖版本是排查安装问题最快的命令。第 2 步最小化启动命令TokenSpeed 的服务启动只需一行命令把模型路径直接写在serve后面即可tokenspeed serve openai/gpt-oss-20b \ --host 0.0.0.0 \ --port 8000 \ --tensor-parallel-size 1启动完成后服务会在http://0.0.0.0:8000/v1暴露OpenAI 兼容 API无需任何额外网关配置。第 3 步发起第一次对话请求用 Python 的 OpenAI SDK 直接接入现有 OpenAI 客户端代码可以无缝迁移from openai import OpenAI client OpenAI(api_keyEMPTY, base_urlhttp://localhost:8000/v1) response client.chat.completions.create( modelgpt-oss-20b, messages[{role: user, content: 一句话介绍一下 TokenSpeed}], max_tokens256, ) print(response.choices[0].message.content)到这里一个可用的 LLM 推理服务已经跑起来了 进阶调优生产级 LLM 推理的关键参数想从能跑到跑得快只需关注几个高频参数完整参考见 docs/configuration/server.md参数作用--tensor-parallel-size/--data-parallel-size张量/数据并行度匹配硬件拓扑详见 并行策略文档--enable-expert-parallelMoE 专家并行大模型部署常用--kv-cache-dtype fp8FP8 KV 缓存显著降低显存占用--max-model-len最大上下文长度--attention-backend注意力后端如 Blackwell 上的trtllm_mla--moe-backendMoE 计算后端如flashinfer_trtllm--speculative-algorithm投机解码MTP / EAGLE3 / DSpark 等大幅提升解码吞吐以 Kimi K2.5 的生产部署为例完整命令见 docs/guides/launching.mdtokenspeed serve nvidia/Kimi-K2.5-NVFP4 \ --served-model-name kimi-k2.5 \ --max-model-len 262144 \ --kv-cache-dtype fp8 \ --quantization nvfp4 \ --tensor-parallel-size 4 \ --enable-expert-parallel \ --attention-backend trtllm_mla \ --moe-backend flashinfer_trtllm \ --host 0.0.0.0 --port 8000官方基准测试显示在 B200 上运行 Kimi K2.5 智能体工作负载时TokenSpeed 的吞吐-延迟帕累托曲线全面优于 TensorRT-LLM为什么 TokenSpeed 这么快性能的秘密藏在两个子系统里控制面/执行面分离架构——首个将 C 有限状态机作为控制面的开源 LLM 推理引擎KV 资源复用、请求生命周期等正确性保证在编译期完成而不是运行时打补丁Python 执行面则保证了快速迭代。内核作为一等公民——内核系统与核心引擎解耦通过集中注册表 插件机制支持异构加速卡。其 MLA 内核在 prefill 阶段相比基线有显著延迟优势在 AMD GPU 上专用内核同样覆盖了注意力与 MoE 两大热点路径常见模型食谱与下一步 仓库内置了大量经过验证的部署配方覆盖 Kimi K2.5/K3、DeepSeek V4、GLM5、Qwen3.8、GPT-OSS、MiniMax M3 等模型家族直接对号入座即可 模型部署食谱 —— 按模型家族查找启动命令模板 服务参数参考 —— 模型加载、量化、投机解码等参数详解 入门指南 —— 环境搭建与验证的完整流程 启动服务指南 —— 最小启动与生产级启动骨架 并行策略 —— 多卡/多机拓扑选择 CLI 入口源码 ——serve/env/version子命令实现上手小结阶段耗时关键命令安装~5 分钟pip install -e ./python等三条命令验证~1 分钟tokenspeed env起服务~3 分钟tokenspeed serve 模型 --port 8000调 API即时OpenAI 兼容 SDK 直接接入TokenSpeed 用「熟悉的参数 强大的默认值」把 LLM 推理引擎的上手门槛压到了最低。现在就挑一个你熟悉的模型把tokenspeed serve跑起来吧【免费下载链接】tokenspeedTokenSpeed is a speed-of-light LLM inference engine.项目地址: https://gitcode.com/gh_mirrors/to/tokenspeed创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考