Kimi K2 本地部署教程1T 参数开源智能体模型的最小运行门槛【免费下载链接】Kimi-K2Kimi K2 is the large language model series developed by Moonshot AI team项目地址: https://gitcode.com/GitHub_Trending/ki/Kimi-K2Kimi K2 是 Moonshot AI 开源的智能体大模型1T 总参数、32B 激活参数可以在 vLLM 或 SGLang 上本地部署。它支持 128K 上下文与自主工具调用能帮你搭建自己的编码与任务自动化链路。Kimi K2 能干什么智能编码、自主工具调用与长文档推理官方基准里最被强调的是下面三个场景智能体编码SWE-bench Verified 单次尝试准确率 65.8%、多次尝试 71.6%SWE-bench Multilingual 47.3%LiveCodeBench v6 得分 53.7开源模型里处于第一梯队自主工具调用把工具函数描述传给模型后它自己决定何时调用、如何传参并把调用结果回传模型继续多轮推理长上下文与数学推理128K 上下文MATH-500 得分 97.4GPQA-Diamond Avg8 得分 75.1模型有两个变体Kimi-K2-Instruct是开箱即用的指令模型适合聊天和智能体场景Kimi-K2-Base是基础模型面向需要微调的研究者。代码与权重均采用Modified MIT许可证发布。Kimi K2 本地部署最小硬件要求与启动命令 先弄清资源门槛这是最容易误判的一步GPU 规模FP8 权重、完整128k 上下文下在主流 H200/H20 平台上最小部署单元是 16 卡集群纯 TP 或 DPEP推理引擎官方推荐 vLLM≥v0.10.0rc1、SGLang、KTransformers、TensorRT-LLM 四选一模型权重block-fp8 格式从 Hugging Face 的 moonshotai 组织下载文档仓库下面这个仓库存放官方部署文档先克隆备查# 克隆官方文档仓库部署指南在 docs/ 目录 git clone https://gitcode.com/GitHub_Trending/ki/Kimi-K2 # 安装 Kimi K2 要求的 vLLM 最低版本 pip install vllm0.10.0rc1在 16 卡机器上用一条命令启动 vLLM 服务vllm serve $MODEL_PATH \ --port 8000 \ --served-model-name kimi-k2 \ --trust-remote-code \ --tensor-parallel-size 16 \ --enable-auto-tool-choice \ --tool-call-parser kimi_k2服务起来后调用 OpenAI 兼容的 chat 接口验证一下官方推荐 temperature 为 0.6from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keyEMPTY) resp client.chat.completions.create( modelkimi-k2, messages[{role: user, content: 请做一段简短的自我介绍。}], temperature0.6, max_tokens256, ) print(resp.choices[0].message.content)Kimi K2 vLLM 配置3 组必知的开关并行策略按卡数选--tensor-parallel-size 16是纯张量并行适用 GPU 数量 ≤ 16 的场景多机大规格改用数据并行 专家并行--data-parallel-size 16 --enable-expert-parallel用于放大推理批大小和整体吞吐超过 16 卡时再叠加流水线并行工具调用开关--enable-auto-tool-choice与--tool-call-parser kimi_k2是启用工具调用的必配组合SGLang 上同样需要--tool-call-parser kimi_k2批处理与显存官方 DPEP 示例使用--max-num-batched-tokens 8192、--max-num-seqs 256、--gpu-memory-utilization 0.85可按实际负载在这组数值附近调整Kimi K2 部署排障4 个可自行判断的问题 ️引擎版本不够新vLLM 低于 v0.10.0rc1 不满足要求先升级再启动使用了非推荐框架Kimi K2 复用DeepSeekV3CausalLM架构config.json中model_type为kimi_k2非推荐框架可临时改成deepseek_v3作为权宜方案但工具调用需要手动解析引擎没有内置工具调用解析器模型输出被|tool_calls_section_begin|等特殊标记包裹可以按标记手动解析出函数名与参数流式输出下的完整实现见 docs/tool_call_guidance.mdfinish_reason 随引擎而异工具调用循环里finish_reason在工具调用结束时的取值可能因引擎不同而变化循环退出条件要相应调整另外注意官方提示部署命令仅为示例、不一定是最优配置推理引擎更新很快调优应以各引擎最新官方文档为准。多机 DPEP、Prefill-Decode 分离等进阶配置见 docs/deploy_guidance.md完整聊天与工具调用代码见 README.md 的 Model Usage 章节。【免费下载链接】Kimi-K2Kimi K2 is the large language model series developed by Moonshot AI team项目地址: https://gitcode.com/GitHub_Trending/ki/Kimi-K2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考