大模型人工智能模型量化【免费下载链接】NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4点击查看免费下载NVIDIA Dory1.0-4B-NVFP4 是 NVIDIA 推出的 4B 参数循环式Looped大语言模型原生以 NVFP4 4-bit 格式训练支持最长 256K token 上下文。本文带你用 vLLM 完整部署它从安装 Dory 支持的 vLLM、一条命令启动 256K 上下文推理服务到选择循环次数Loops与 KV Cache 模式实现精度、显存与成本的最佳平衡。一、Dory1.0-4B 是什么4B 小参数循环式LLMDory1.0-4B 采用Loopedlatent-recurrentnormalized-GPT架构模型共 72 层拆分为 Input、Recurrent、Output 三组其中共享的 Recurrent 块40 层会在输入与输出块之间被重复套用多次。它不靠更多参数而是让同一组参数多转几圈用计算换智能。四大亮点弹性推理算力单个 checkpoint 只需改n_recurrent_loops1~4即可在精度与算力之间自由权衡无需重训练、无需换模型⚡Token 效率循环机制让模型用更少的输出 token 解决任务多出来的算力花在隐空间思考上内存高效循环支持 last-loop KV 缓存无论多少圈循环KV Cache 都只占单圈大小原生 NVFP4预训练前 ~4.5T token 原生采用 NVFP4W4A16精度足迹小、推理快——官方实测在 DGX Spark 上比 BF16 快2.17×~2.44×。架构与量化细节可直接查看仓库内的 config.json 和 hf_quant_config.json。二、第一步安装支持 Dory 的 vLLMvLLM 对 Dory 的支持仍在代码评审中vllm-project/vllm#60149正式发布版暂不包含该模型类型。在合入官方版本前需要从该 PR 安装 vLLM。完整安装命令见 README.md 的Quick Start Guide章节加上VLLM_USE_PRECOMPILED1可复用兼容的预编译 vLLM 内核避免本地 CUDA 编译安装速度会快很多。 NVFP4 格式需要NVIDIA HopperH100或 BlackwellB200 / B300 / DGX Spark级别 GPU 才能发挥加速。三、第二步一条命令启动 256K 上下文推理服务安装完成后用下面这条命令即可拉起服务完整参数说明见 README.mdvllm serve --model nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4 \ --hf-overrides {n_recurrent_loops: 2, recurrent_kv_cache_mode: per_loop} \ --max-model-len 262144 \ --max-num-seqs 128 \ --enable-prefix-caching \ --async-scheduling \ --reasoning-parser nemotron_v3 \ --tool-call-parser qwen3_coder \ --enable-auto-tool-choice参数值作用--max-model-len262144已验证支持 256K token 上下文显存紧张时可调低--hf-overridesn_recurrent_loops: 2循环次数默认推荐 2--hf-overridesrecurrent_kv_cache_mode: per_loop每圈循环独立 KV Cache可换last_loop省显存--max-num-seqs128最大并发序列数--enable-prefix-caching-前缀缓存多轮对话/共享前缀场景显著提速--async-scheduling-异步调度提升吞吐--reasoning-parser/--tool-call-parsernemotron_v3/qwen3_coder解析思维链与工具调用服务就绪后模型标识即--model传入的nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4可用GET /v1/models确认OpenAI 兼容 API 位于http://localhost:8000/v1。四、选循环次数Loops默认推荐 2 Loopsn_recurrent_loops是 Dory 最核心的算力旋钮。官方基准显示大部分精度增益来自第 2 圈之后边际收益递减。循环次数 k 从 1→2→4 时Dory1.0-4B 的 AA v4.3.2 估计分从 13.8 升至 17.7、18.4超过 Qwen3.5-9B、Gemma4-26B-A4B 等更大模型选型建议1 loop优先压缩单 token 算力与延迟2 loop默认精度与算力的最佳平衡点多数场景首选4 loop精度优先尤其适合 SWE-bench、Terminal-Bench 等 Agentic 编码任务。五、循环越多输出 token 反而越少循环的另一大红利是省 token额外的计算被投入隐空间思考而非更长的输出。以 1 loop 为基准4 loop 在 GDPval-AA-V2 上输出 token 仅为 0.40×Terminal-Bench 2.1 上为 0.50×⚠️ 注意循环次数越高每 token 计算量也越大。选择配置前建议在你自己的业务负载上实测端到端延迟与成本再决定最终 loop 数。六、降低 KV Cache 显存开销last_loop 模式上面的命令使用per_loop模式——每圈循环各存一份 KV Cache显存随 loop 数线性增长。改为last-loop 模式后每层循环注意力只保留一份 Cache后一圈覆写前一圈任意循环数下 KV Cache 都保持单圈大小为更长上下文和更高并发留出空间。官方实验表明该模式下精度与输出长度几乎不变。切换方法把--hf-overrides中的recurrent_kv_cache_mode改为last_loop即可。七、接入客户端OpenAI 兼容 API 调用官方推荐采样参数为Temperature 1.0、Top_P 0.95见 generation_config.json思维链Reasoning在 vLLM 中始终开启。最小调用示例from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keyEMPTY) response client.chat.completions.create( modelnvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4, messages[{role: user, content: 用两句话解释 Transformer 工作原理}], max_tokens16000, temperature1.0, top_p0.95, ) print(response.choices[0].message.content)对话与工具调用模板由 chat_template.jinja 定义接入编码 Agent 时建议在 API 请求中附加extra_body{chat_template_kwargs: {force_nonempty_content: True}}。八、仓库文件速查表文件说明README.md模型卡亮点、Benchmark、vLLM / llama.cpp 部署指南config.json架构配置72 层结构、SWA/Full-Attention 交错、256K 位置编码hf_quant_config.jsonNVFP4 量化配置W4A16_NVFP4group_size16generation_config.json推荐采样参数temperature 1.0 / top_p 0.95chat_template.jinja聊天与工具调用模板model.safetensorsNVFP4 权重文件九、常见问题 FAQQ显存不够跑 256K降低--max-model-len或把 KV 缓存切到last_loop模式两者都能显著释放 KV Cache 空间。Qllama.cpp 能跑吗可以。官方同时提供了 llama.cpp 路线Dory 支持 PR: ggml-org/llama.cpp#30306适合 Apple Silicon 本地部署需下载 Q5_K_M 的 GGUF 导出细节见 README.md 的 llama.cpp 章节。Q有其他精度版本吗Dory1.0-4B 还提供 BF16、MXFP8、Q5_K_MGGUF版本可按硬件条件选择本仓库为 NVFP4 版本。总结 跑通 Dory1.0-4B-NVFP4 只需三步装 Dory 支持的 vLLM → 一条vllm serve命令启动 256K 上下文服务 → 用 OpenAI 兼容客户端调用。默认 2 loops 起步显存紧张时切last_loop追求精度时升到 4 loops——这就是4B 参数、循环换智能的完整部署链路。赞分享大模型人工智能模型量化【免费下载链接】NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4点击查看免费下载相关推荐如何上手Qwen-AgentWorldSGLang与vLLM部署首次推理完整教程256K长上下文如何上手Qwen AgentWorldSGLang与vLLM部署首次推理完整教程256K长上下文 Qwen AgentWorld 是一个通用智能体语言世如何在昇腾NPU上部署vLLM-ascend跑通MiniMax-M2.7-w8a8-QuaRot推理服务教程如何在昇腾NPU上部署vLLM ascend跑通MiniMax M2.7 w8a8 QuaRot推理服务教程 本文带你使用 vLLM ascend 在昇腾 NNVIDIA-Nemotron-Labs-Teacher-STEM 快速部署教程4×B200 上 vLLM 一键启动 1M 上下文推理服务NVIDIA Nemotron Labs Teacher STEM 快速部署教程4×B200 上 vLLM 一键启动 1M 上下文推理服务 NVIDIA Ne上一篇Afilmory开发者指南如何贡献代码并参与社区建设下一篇Sinon 断言机制解析assert.pass 钩子的作用、源码实现与测试运行器集成创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考