【免费下载链接】NVIDIA-Nemotron-3.5-Lightning-30B-A3B-DSpark-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-DSpark-bf16点击查看免费下载NVIDIA-Nemotron-3.5-Lightning-30B-A3B-DSpark-bf16 是面向 NVIDIA 混合架构大模型 Nemotron 3.5 Lightning 30B-A3B 的DSpark 投机解码草稿模型drafter已从 NVFP4 反量化为bf16并适配 MLX 生态。它的核心价值在于「无损验证环lossless verify loop」生成的文本与目标模型贪心解码逐字一致投机只改变速度绝不改变内容。为什么叫无损验证环是如何工作的一句话理解草稿模型猜目标模型验验不过就丢弃回滚。草稿模型drafter一次性快速猜出接下来的若干个 token目标模型target在一次批量计算中逐个校验这些 token从第一个不一致的 token 处截断重新发起下一轮猜测。由于每个真正进入输出的 token 都经过目标模型本人验证最终文本是无损的——与目标模型单独做贪心解码的结果一致仅浮点边界值除外。README 中的原话是 speculation only changes speed, never the text见 README.md。而这套机制要成立有一个硬前提被拒绝的 token 必须让目标模型完整回到猜测前的状态——这正是 Mamba-2 递归状态回滚机制登场的地方。最大难点Mamba-2 的递归结构与回滚难题目标模型 Nemotron-3.5-Lightning-30B-A3Bmodel_type: nemotron_h是一个Mamba-2 latent-MoE attention 的混合架构。对传统纯 attention 模型来说校验后只需丢弃投机段写入的 KV 条目即可但 Mamba-2 层是顺序递归结构它的隐藏状态就像一本流水账——新 token 的状态一旦写入旧状态就被覆盖。问题来了校验到第 N 个 token 时若被拒绝如何把 Mamba 层状态恢复到还没吃进这 N 个 token的时刻若状态恢复不精确目标模型就被污染无损性当场破产。mlx-dspark 框架针对nemotron_h专门补充了两个特性hidden-state 采集口hidden-state tap与精确的 Mamba-2 递归状态回滚exact Mamba-2 recurrent-state rollback这才让无损验证环能在该混合模型上跑通见 README.md。递归状态回滚猜测前先拍快照可以把 Mamba-2 递归状态回滚理解为每轮投机前给模型拍一张照片猜测前对每一个 Mamba-2 层的递归状态做快照一个紧凑张量远小于 KV cache校验中状态照常逐 token 向前递归流动不影响任何计算路径被拒绝时把快照原样写回对应层模型即刻回到猜测前的原始状态。由于递归状态是历史的积分状态回滚即历史回滚——这就是验证环无损而非近似的根本原因。相比之下attention 层只需丢弃投机段的 KV 条目几乎零成本Mamba 层则靠这套精确回滚机制补上了混合架构在投机解码上的最后一块短板。草稿模型架构967M 的轻量猜词机本仓库的 drafter 是一个小身材大能力的 6 层 Qwen3 GQA 模型结构细节均可在 config.json 中查证配置项取值含义num_hidden_layersconfig.json6仅 6 层 attentionhidden_sizeconfig.json2688紧凑隐藏层维度num_attention_heads/num_key_value_heads32 / 2GQA 分组注意力sliding_windowconfig.json1024因果滑动窗口注意力block_sizeconfig.json8草稿块大小dspark_fixup_head_typeconfig.jsonmarkovrank-512 Markov 修正头target_layer_idsconfig.json[1, 5, 19, 29, 41, 51]融合目标模型 6 个隐藏状态采集口has_lm_headconfig.jsonfalse复用目标模型的 lm_head总参数量 967M不含 embedding 为 615M比 30B 目标模型轻量得多——猜得便宜、猜得快是投机解码赢得速度比赛的前提。bf16 格式转换而非重训 需要强调这是格式转换不是重训。NVIDIA 原始 DSpark 草稿模型采用 NVFP4W4A16_NVFP4格式标准 MLX / mlx-lm 无法读取。本仓库将 FP4 (E2M1) 权重 FP8 (E4M3) 块级 scale 手工解码回 bf16权重本身保持不变详见 README.md。mlx-dspark 加载时会把 drafter 重新量化到 4-bit实测不影响接受率。仓库文件一览文件用途model.safetensorsbf16 权重唯一的大文件config.json草稿模型架构配置LICENSEOpenMDW-1.1 许可协议使用方法三步开启投机解码配合 4-bit MLX 目标模型最简用法如下pip install mlx-dspark mlx-dspark generate \ --model mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-4bit \ --drafter mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-DSpark-bf16 \ --max-draft 4 --prompt Write a Python function for the n-th Fibonacci number.实测效果代码场景提速 1.27 倍M4 Pro 实测mlx 0.32、greedy、热机状态4-bit 目标模型基线约 91 tok/s--max-draft 4时内容类型提速平均接受长度代码1.27×约 117 tok/s4.55数学1.24×4.41闲聊1.06×3.74 一个实用经验--max-draft的甜点位是4再往上反而变慢——MoE 目标的校验宽度成本增长快于接受率提升。也就是说这里的提速上限由目标模型的 MoE 校验成本决定而不是草稿模型它的猜测能力依然很强。要点小结无损 ≠ 近似每个 token 都经目标模型验证Mamba-2 递归状态回滚保证验证环境永远无污染状态回滚是混合架构的关键Mamba-2 递归结构曾是投机解码的拦路虎精确的快照-回滚机制补齐了最后一块短板一次反量化省下转换成本NVFP4 → bf16 的转换让 Apple Silicon 用户开箱即用参数建议MoE 目标下--max-draft 4即最优无需盲目加大草稿长度。赞分享【免费下载链接】NVIDIA-Nemotron-3.5-Lightning-30B-A3B-DSpark-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-DSpark-bf16点击查看免费下载相关推荐为什么 DSpark 推测解码是无损加速NVIDIA-Nemotron-3.5-Lightning-30B-A3B-DSpark-bf16 的验证机制原理详解为什么 DSpark 推测解码是无损加速NVIDIA Nemotron 3.5 Lightning 30B A3B DSpark bf16 的验证机制原理详解DSpark 生态路线图NVIDIA-Nemotron-3.5-Lightning-30B-A3B-DSpark-bf16 与 mlx-dspark 社区的未来走向DSpark 生态路线图NVIDIA Nemotron 3.5 Lightning 30B A3B DSpark bf16 与 mlx dspark 社区的未LifeOS TELOS Goals 文件详解GOALS.md 的目标数据结构、解析链路与新鲜度机制LifeOS TELOS Goals 文件详解GOALS.md 的目标数据结构、解析链路与新鲜度机制 本文以 LifeOS 仓库中的 GOALS.md htt创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考