大模型基础模型人工智能多模态AI Agent本地部署【免费下载链接】Step-5-PreviewStep 5 Preview 是阶跃星辰面向智能体工作打造的旗舰模型。该模型在软件工程和专业知识工作领域均展现出前沿级性能尤其在金融领域表现突出。 Step 5 Preview 是一个稀疏混合专家MoE模型总参数量为 600B激活参数量为 27B。它支持高达 100 万 token 的上下文长度并可接收文本、图像和视频输入能够在复杂任务中实现持续推理与工具调用。项目地址https://ai.gitcode.com/StepFun/Step-5-Preview点击查看免费下载Step-5-Preview 是阶跃星辰StepFun面向智能体工作打造的旗舰模型稀疏 MoE 架构、600B 总参数、27B 激活参数支持最高 100 万 token 的上下文长度可接收文本和图像输入。无论你是想体验它的长上下文能力还是想把它接入自己的工作流这篇指南都能帮你在 5 分钟内完成 Step-5-Preview 的首次调用。Step-5-Preview 核心规格速览先看几个关键数字帮你建立直观认识规格数值架构稀疏混合专家MoE352 个路由专家每 token 激活 8 个总参数 / 激活参数600B / 27B上下文窗口最高 1M tokens输入输出合计最大输出最高 1M tokens输入 / 输出文本、图像 / 文本文本解码器92 层hidden size 4096其中 1M 上下文来自 config.json 中的max_seq_len: 1048576配置。这意味着你可以把一整份年报、整个代码仓库一次性喂给它而模型在长文本检索、跨文件修改、长文档分析等任务中依然能稳定推理。两条部署路线选一条最省事的Step-5-Preview 支持两条开箱即用的路线新手建议先看这里再动手路线适合场景硬件门槛FP8① vLLM / SGLang 服务想要 OpenAI 兼容 API接入现有应用4 张 B300 或 8 张 H200② 仓库自带独立推理离线批量生成、验证模型效果8 张 H200两种方式都用官方提供的 Docker 镜像或独立推理脚本不需要自己改任何代码。路线一vLLM Docker 一键起服务推荐这是最贴近生产环境的玩法拉一个镜像、起一个容器、发一条请求。第一步拉取镜像并进入容器docker pull vllm/vllm-openai:step-5-preview docker run --rm -it \ --gpus all \ --ipchost \ --networkhost \ --volume $HOME/.cache/huggingface:/root/.cache/huggingface \ --entrypoint /bin/bash \ vllm/vllm-openai:step-5-preview第二步启动 Step-5-Preview 推理服务以 4 张 B300 的 TP4 配置为例8 张 H200 请把--tensor-parallel-size改为 8 即可export CUDA_VISIBLE_DEVICES0,1,2,3 vllm serve stepfun-ai/Step-5-Preview \ --host 0.0.0.0 \ --port 18000 \ --served-model-name step5 \ --tensor-parallel-size 4 \ --max-model-len 1048576 \ --gpu-memory-utilization 0.85 \ --enable-prefix-caching \ --reasoning-parser step5 \ --enable-auto-tool-choice \ --tool-call-parser step5 几个关键参数解释--max-model-len 1048576开启完整 100 万 token 上下文。如果显存紧张可先调小这个值--reasoning-parser step5正确解析推理thinking过程--tool-call-parser step5启用工具调用能力。完整的并行配置TP4 / TEP4 / DEP4详见 README.md 的 Deployment 章节。第三步发送第一次请求服务就绪后默认地址http://localhost:18000用一条 curl 就能跑通curl http://127.0.0.1:18000/v1/chat/completions \ --header Content-Type: application/json \ --data { model: step5, messages: [{role: user, content: 用三句话介绍 Step-5-Preview}], max_tokens: 4096, stream: true }看到流式输出的内容恭喜你Step-5-Preview 已经跑起来了 由于是 OpenAI 兼容接口现有的openaiPython SDK、LangChain 等框架只需改base_url即可复用。路线二用仓库内置脚本离线生成如果你的目标是先离线验证模型效果比如批量跑评测 prompt可以直接使用仓库inference/目录下的独立推理路径完整说明见 inference/README.zh.md。第一步安装依赖进入 inference/ 目录依赖版本范围见 inference/requirements.txtcd inference python3 -m venv --system-site-packages .venv source .venv/bin/activate python -m pip install -r requirements.txt第二步把权重切分成多卡分片只需一次以 FP8 权重、8 卡 TP/EP8 为例inference/convert.py 负责把原始 checkpoint 切成按 GPU 分片的权重export STEP5_FP8_CHECKPOINTfp8权重目录 export STEP5_FP8_OUT分片输出目录 python3 convert.py \ --checkpoint $STEP5_FP8_CHECKPOINT \ --tp-size 8 --ep-size 8 --check-only # 先检查权重结构 python3 convert.py \ --checkpoint $STEP5_FP8_CHECKPOINT \ --out-dir $STEP5_FP8_OUT \ --tp-size 8 --ep-size 8 # 正式切分第三步运行第一次生成inference/generate.py 会按torchrun进程数自动加载对应分片传一段 prompt 即可torchrun --standalone --nproc-per-node8 generate.py \ --tp-dir $STEP5_FP8_OUT/tp8 --ep-size 8 \ --prompt 请介绍一下张量并行。 \ --max-new-tokens 128控制台开始逐 token 打印回复就是第一次调用成功了。官方推荐采样参数发请求时建议使用官方评测所用的推理设置来自 README.md 的 Evaluation Notes参数推荐值temperature1.0top_p0.95top_k0不启用另外模型输出的推理过程会遵循 chat_template.jinja 定义的对话模板im_start/im_end等占位标记由模板自动处理你只管传普通messages即可。新手常见坑3 个注意事项显存不够就降--max-model-len1M 上下文会消耗大量 KV cache 显存KV cache 分配不足时服务会启动失败或拒绝长请求调小上下文长度是最直接的解决办法。FP8 和 BF16 不通用--dtype bfloat16不会把 FP8 权重还原成 BF16需要 BF16 精度就请下载对应 checkpoint 并走 BF16 部署配置。权重文件别乱动权重索引见 model.safetensors.index.json包含主模型、视觉编码器model-vit-00001.safetensors和 MTP 投机解码层独立推理路径只加载普通生成所需的部分MTP 层用于服务端的投机解码加速。下一步可以做什么体验图像输入inference/目录支持图文联合生成输入约定见 inference/README.md 的 Vision inputs 小节搭建多模态工作流模型擅长分析长文档、图表、截图配合工具调用--enable-auto-tool-choice即可组成智能体应用了解架构细节config.json 中可以看到 92 层解码器、滑动窗口注意力与稀疏注意力混合布局等完整配置。跟着上面的步骤从拉镜像到看到模型回复只需要 5 分钟。祝部署顺利玩得开心赞分享大模型基础模型人工智能多模态AI Agent本地部署【免费下载链接】Step-5-PreviewStep 5 Preview 是阶跃星辰面向智能体工作打造的旗舰模型。该模型在软件工程和专业知识工作领域均展现出前沿级性能尤其在金融领域表现突出。 Step 5 Preview 是一个稀疏混合专家MoE模型总参数量为 600B激活参数量为 27B。它支持高达 100 万 token 的上下文长度并可接收文本、图像和视频输入能够在复杂任务中实现持续推理与工具调用。项目地址https://ai.gitcode.com/StepFun/Step-5-Preview点击查看免费下载相关推荐100 万 token 上下文实测Step 5 Preview 一次能吞下多大的工程100 万 token 上下文实测Step 5 Preview 一次能吞下多大的工程 10 月 15 日阶跃星辰把 Step 5 Preview 的完整权重大模型基础模型人工智能多模态AI Agent本地部署GetQzonehistory 完整指南免费把 QQ 空间全部历史说说导出成 Excel 和图片GetQzonehistory 完整指南免费把 QQ 空间全部历史说说导出成 Excel 和图片 想翻几年前自己写的说说QQ 空间信息流却只能刷到近几年——网页爬虫数据分析如何快速上手Step-Audio-2-mini5分钟完成环境配置与首次推理如何快速上手Step Audio 2 mini5分钟完成环境配置与首次推理 Step Audio 2 mini是阶跃星辰推出的端到端多模态大语言模型专门针对大模型语音/音频多模态深度学习创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考