人工智能大模型模型量化【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr点击查看免费下载NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr 是一个专为 Nemotron-3.5-Bolt-74B-A9B-24GB 目标模型服务的 LiLiCorr 投机解码草稿模型。本文带你拆解它的训练细节如何用两阶段合成数据策略和最高 10T 级万亿token 的数据规模训练出一个高效加速大模型生成的小助手。 草稿模型是什么给大模型当快写手投机解码Speculative Decoding的核心思路是让小草稿模型先一口气猜出一串 token再由大目标模型一次性验证——猜对的部分直接保留输出分布与目标模型完全一致但生成速度大幅提升。这个 checkpoint 的关键参数见 README.md草稿参数仅 1.113B5 层 Dense MLP GQA 注意力32 个 Query 头 / 2 个 KV 头草稿块内部采用双向注意力LiLiCorr 头部2 层、37M 参数的关联头负责在草稿块每个槽位上关联 top-8 候选 token1024 token 滑动窗口 attention sinks每个 attention/MLP 子层外围包裹分组动态卷积不是独立语言模型它只产出草稿候选用户可见文本由 24GB 目标模型生成README.md 两阶段合成数据策略草稿模型训练的精髓这个草稿模型最有意思的地方在于数据管线——所有训练回复都是合成的而非人类撰写第一阶段用 post-training 检查点预训练。草稿模型先在 Nemotron-3.5-Boltpost-training 检查点生成的回复上完成大规模训练快速学会大模型说话的方式。第二阶段用发布版本微调。正式发布检查点出来后草稿模型再在发布检查点生成的回复上 fine-tune让它的猜词习惯对齐最终目标模型的分布——这正是高接受率的关键。三个值得注意的细节README.md只使用开源数据集中的prompt 和对话上下文做数据合成原始回复不作为训练目标每一条训练回复都以temperature1.0采样生成贴近真实服务条件合成来源覆盖 Nemotron-Post-Training-Dataset-v2、Nemotron-RL-Super-Training-Blends、Nemotron-Post-Training-v3、Nemotron-Instruction-Following-Chat-v1、Nemotron-Science-v1 共 5 个开源数据集。为什么不直接用目标模型的原始输出因为草稿模型必须模拟目标模型当前最终状态的 token 分布。两阶段训练 先学通用分布再对最终版本做精准对齐。 10T 级数据规模从 1B 到 10 万亿 token模型卡明确标注训练数据规模为1 Billion 到 10 Trillion tokensREADME.md。10T token 是个什么概念如果持续生成平均每秒约 30 万个 token——这为草稿模型覆盖了目标模型可能遇到的各种任务形态。合成语料覆盖 7 大类任务任务类型覆盖内容Reasoning推理与思维链Code代码生成Science科学问答Tool use工具调用Instruction following指令遵循Structured outputs结构化输出Multilingual多语言任务数据采集与标注均采用混合模式自动化 人工收集 合成三者结合兼顾覆盖面与质量。 SPEED-Bench 评测草稿长度 7平均接受长度 4.30草稿模型的专属评测基准是SPEED-BenchREADME.md让投机解码跑在标准基准测试集上测量接受率。官方结果draft length7temperature1.0top_p0.95README.md类别接受长度coding5.26rag5.13multilingual5.06summarization4.80math4.59reasoning4.47qa3.91stem3.73humanities3.54roleplay3.45writing3.41总体平均4.30平均 4.30 意味着每轮投机起草 8 个 token 槽位平均有 4.3 个被一次性采纳大幅减少了大模型需要跑的前向次数。可以看出coding、RAG、multilingual 等模式规整的任务接受率最高而 roleplay、writing 等自由创作类任务偏低。⚙️ 架构与量化速览从 config.json 可以看到工程侧的关键设计block_size: 8每块起草 8 个 tokentarget_layer_ids: [1, 18, 35, 51, 68, 85]草稿模型融合目标模型 6 个不同深度层的隐藏状态特征lilicorr_candidate_topk: 8、lilicorr_num_layers: 22 层关联头处理 top-8 候选swa_window_size: 10245 层全部使用滑动窗口注意力支持最长 256K 上下文权重方面该检查点已通过 Model Optimizer 完成NVFP4W4A16_NVFP4量化hf_quant_config.jsonattention、norm、LiLiCorr 头部等精度敏感模块被排除在量化之外见 config.json 的exclude_modules列表在体积与精度之间取得平衡——这也是它能在 24GB 级紧凑型 Blackwell 硬件上流畅跑投机解码的原因之一。 部署注意事项推理引擎vLLM硬件NVIDIA Blackwell仅 SM 120含 DGX Spark GB10推荐 LinuxREADME.md必须配对使用草稿检查点不能独立产生用户可见输出需与 24GB 目标模型搭配安全护栏草稿侧没有独立安全控制需保留目标模型的 safeguards 和应用层防护许可证OpenMDW-1.1LICENSE支持商用与非商用❓ 常见问题Q它能当独立的小模型用吗不能。它是投机解码的配件核心价值在于为 24GB 目标模型加速。Q为什么非要两阶段训练post-training 检查点与最终发布检查点的输出分布存在差异。用发布版本做第二阶段微调草稿模型的猜测习惯才能对齐目标模型接受长度进而推理速度才有保障。Q10T 级具体指什么模型卡给出的是 1B–10T token 的量级区间实际规模随任务类型与合成策略增长确保草稿模型见过目标模型会遇到的各类任务场景。要点回顾NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr 展示了草稿模型训练的完整方法论——prompt 驱动的全合成数据、post-training 检查点 → 发布检查点两阶段训练、最高 10T 级 token 的 7 类任务语料最终在 SPEED-Bench 上取得 4.30 的平均接受长度为 24GB 目标模型提供了一条兼顾延迟与质量的投机解码加速路径。赞分享人工智能大模型模型量化【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr点击查看免费下载相关推荐NVIDIA Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF 是什么一文读懂 LiLiCorr 投机解码草稿模型NVIDIA Nemotron 3.5 Bolt 74B A9B 24GB LiLiCorr GGUF 是什么一文读懂 LiLiCorr 投机解码草稿模型 N为什么 24GB 显存能跑 74B 大模型NVIDIA Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF 背后的 MoE 激活奥秘为什么 24GB 显存能跑 74B 大模型NVIDIA Nemotron 3.5 Bolt 74B A9B 24GB LiLiCorr GGUF 背后的 MoNVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 完全入门24GB级本地视觉Agent大模型是什么、能做什么NVIDIA Nemotron 3.5 Bolt 74B A9B GGUF 完全入门24GB级本地视觉Agent大模型是什么、能做什么 想在只有 24GB 内大模型基础模型多模态本地部署上一篇Area51内存池实现性能基准测试结果下一篇SolidWorks破解版完整指南深度解析CAD软件激活与3D建模工具的专业解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考