【免费下载链接】Step-5-Preview-BF16项目地址https://ai.gitcode.com/StepFun/Step-5-Preview-BF16点击查看免费下载Step-5-Preview 是 StepFun 面向智能体Agentic场景的旗舰大模型本仓库提供其BF16 权重600B 总参数、27B 激活参数、最高 100 万 token 上下文。本文将带你用OpenAI 兼容 API快速拉起服务并讲透工具调用Tool Calling与推理参数调优的完整用法新手也能一次上手。模型规格速览先花 30 秒了解你手上这台发动机的能力边界规格Step-5-Preview架构稀疏混合专家Sparse MoE总参数 / 激活参数600B / 27B上下文窗口最高 1M tokens输入输出合计最大输出最高 1M tokens输入 / 输出文本、图片 / 文本专家数量352 个路由专家每 token 激活 8 个更底层的结构92 层解码器、滑窗注意力、稀疏注意力 DSA 等都写在 config.json 中想深挖可以查看text_config与sparse_config两个字段。一键拉起 OpenAI 兼容 API三种部署路线Step-5-Preview 官方支持三条部署路径选哪条取决于你的硬件和目标路线精度硬件适合场景vLLMFP8 / BF16单节点 4~8 卡或双节点 16 卡生产服务暴露 OpenAI 兼容 APISGLangFP8单节点 4 或 8 卡生产服务EAGLE 投机解码加速Transformers 独立推理FP8 / BF168 卡或 16 卡离线批量生成不启动 API完整命令见根目录 README.md 的 Deployment 章节离线推理的详细流程见 inference/README.zh.md。vLLM 最快启动方式vLLM 路线最省心官方提供了内置 Step-5 支持含推理解析、工具调用、MTP 投机解码的镜像。docker pull vllm/vllm-openai:step-5-preview docker run --rm -it \ --gpus all \ --ipchost \ --networkhost \ --volume $HOME/.cache/huggingface:/root/.cache/huggingface \ --entrypoint /bin/bash \ vllm/vllm-openai:step-5-preview容器内执行vllm serve启动服务。对新手最关键的 4 个参数如下完整参数组合见 README.md参数推荐值作用--max-model-len1048576放开 1M 上下文显存不足时调小--reasoning-parserstep5自动解析 推理过程--tool-call-parserstep5自动解析 工具调用--spec-method/--spec-tokensmtp/3启用 MTP 投机解码提速⚠️ 两个高频踩坑点1M 上下文是输入输出合计KV cache 显存不足时请下调--max-model-len或并发数BF16 权重必须用本仓库BF16 checkpoint加载在 FP8 checkpoint 上加--dtype bfloat16并不能还原 BF16 权重。发送第一个请求服务就绪后用 OpenAI SDK 或curl都能直接对话。Base URL 随部署方式变化部署方式Base URLvLLMFP8 / BF16http://localhost:18000SGLangFP8http://localhost:30000最小请求示例注意模型名用启动时指定的step5curl http://127.0.0.1:18000/v1/chat/completions \ --header Content-Type: application/json \ --data { model: step5, messages: [{role: user, content: Hello!}], max_tokens: 4096, stream: true }这样你的业务代码只需要把 OpenAI SDK 的base_url指过来即可无缝接入 Step-5-Preview。推理参数调优官方推荐的 3 个值很多新手习惯沿用temperature0.7之类的默认值但对 Step-5-Preview 来说官方评测全部基于下面这组参数强烈建议直接照抄参数推荐值说明temperature1.0保持模型原生采样分布top_p0.95核采样阈值top_k00 表示禁用 top-k 截断这组设置来自 README.md 的 Evaluation NotesDeepSWE 等编码基准同样使用temperature1.0top_p0.95。如果你发现回答质量下降先检查是不是在这三个参数上自作主张了。用 reasoning_effort 控制思考深度Step-5-Preview 是推理型模型回答会先输出 内的思考过程再输出正式回答。模板 chat_template.jinja 支持在 system 消息中注入推理强度声明Reasoning: high当请求携带reasoning_effort变量时模板会自动把Reasoning: {等级}写入系统提示块。实践中常见用法简单问答 / 高并发服务调低推理强度减少思考 token降本提速代码修复、金融分析等复杂任务官方基准测试使用的就是High级别建议保持高档位。在 OpenAI 兼容 API 中 思考内容会被解析器拆到reasoning_content字段与正式回答content分离——展示给终端用户时通常只渲染content即可。工具调用让模型自己动手Step-5-Preview 主打 Agentic 能力它能反复调用工具、执行、验证并修正。开启方式在服务端加两个解析器参数见上文 vLLM 参数表客户端则按 OpenAI 的tools字段传 JSONSchema 函数定义即可。一次完整的工具调用长什么样模板 chat_template.jinja 规定当传入tools时系统提示中会自动注入函数清单和格式要求模型会输出如下结构化块functionget_weather parametercity Shanghai /parameter /function解析器--tool-call-parser step5会把它还原成标准的tool_calls字段。执行完工具后把结果以role: tool的消息回传模板会自动包进...标签见 chat_template.jinja模型继续多步推理。几个相关特殊 token 都定义在 tokenizer_config.json 中、、、图像占位符im_patch等自研推理框架需要处理这些标记。多步工具循环的三个实践要点保持消息顺序assistant含 tool_calls→tool结果→ 下一轮assistant模板对顺序敏感长任务依赖长上下文反复调用工具会让上下文快速膨胀这正是 1M 上下文 前缀缓存--enable-prefix-caching的价值所在保留思考内容模板默认preserve_thinkingtrue多轮工具调用时回传完整reasoning_content能显著提高后续步骤的一致性。BF16 离线推理不走 API 也能跑如果你的场景是批量生成或私有化离线计算inference/目录提供了一条独立的 Transformers 推理路径典型流程两步走inference/convert.py 一次性把权重切成 TP 分片inference/generate.py 用torchrun多进程加载并贪心生成。cd inference python3 convert.py --checkpoint $MODEL --out-dir $OUT --tp-size 16 --ep-size 16 torchrun --nnodes2 --nproc-per-node8 --node-rank0 \ --master-addr$MASTER_ADDR --master-port29500 \ generate.py --tp-dir $OUT/tp16 --ep-size 16 \ --prompt 请介绍一下张量并行。 --max-new-tokens 128generate.py会对文本 prompt 自动套用 chat template见 generate.py因此离线跑出的格式与 API 服务一致。需要注意BF16 完整路径需双节点 16 卡每卡约 75 GiB 参数占用且该路径当前仅支持贪心解码不支持流式采样——需要采样与工具解析时请用 vLLM/SGLang 路线。依赖版本范围见 inference/requirements.txt。高效调用检查清单 ✅环节建议采样参数temperature1.0、top_p0.95、top_k0别乱改推理强度复杂任务用 High 档reasoning_effort简单任务降档省 token服务端务必开启--reasoning-parser step5与--tool-call-parser step5上下文1M 为输入输出合计长对话注意预算开启前缀缓存工具调用结果用role: tool回传多轮保留reasoning_content硬件匹配BF16 权重 → 8 B300 或 16 H200显存不够先调max-model-len按这份清单配置后你就拿到了 Step-5-Preview 的完整能力面OpenAI 生态无缝接入、可靠的工具调用循环以及可预测的推理质量。仓库文件索引文件用途README.md官方部署指南vLLM / SGLang / Transformers 完整命令config.json模型架构配置MoE、注意力、1M 上下文chat_template.jinja对话模板推理强度、工具调用格式定义tokenizer_config.json / tokenizer.json分词器与特殊 token 定义inference/独立推理convert.py 权重分片、generate.py 离线生成model-vit-00001.safetensors / vit.safetensors视觉编码器Vision Encoder权重 使用提示本仓库权重采用 StepFun Model License 1.0Apache-2.0 风格 额外署名与商用条款商用前请阅读 LICENSE.txt。赞分享【免费下载链接】Step-5-Preview-BF16项目地址https://ai.gitcode.com/StepFun/Step-5-Preview-BF16点击查看免费下载相关推荐如何调用 Underdog-Saluki-27B-1.0 的函数调用能力OpenAI兼容API工具调用实战如何调用 Underdog Saluki 27B 1.0 的函数调用能力OpenAI兼容API工具调用实战 Underdog Saluki 27B 1.0 是人工智能大模型本地部署模型量化多模态如何用OpenAI兼容API调用NVIDIA-Nemotron-Labs-Teacher-General-Reasoning推理开关与工具调用实战全解析如何用OpenAI兼容API调用NVIDIA Nemotron Labs Teacher General Reasoning推理开关与工具调用实战全解析 如何用OpenAI SDK 5分钟调通Kimi-K3-NVFP4工具调用与推理内容解析完全实战如何用OpenAI SDK 5分钟调通Kimi K3 NVFP4工具调用与推理内容解析完全实战 Kimi K3 NVFP4 是 NVIDIA 基于 Model创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考