DFlash原理深度剖析:块扩散如何用一次前向并行起草整块token
DFlash原理深度剖析块扩散如何用一次前向并行起草整块token【免费下载链接】dflashDFlash: Block Diffusion for Flash Speculative Decoding项目地址: https://gitcode.com/GitHub_Trending/df/dflashDFlash 是一款开源的块扩散Block Diffusion推测解码模型专为大模型推理加速而生草稿模型不再逐词生成而是借助块扩散机制一次前向并行起草一整块 token再交给目标大模型一次性验证从而显著缩短 LLM 逐字输出的等待时间。本文将拆解 DFlash 的起草 → 验证 → 接受全流程并给出在 vLLM / SGLang / MLX 中快速启用 DFlash 加速的方法。一、问题背景大模型逐词自回归为何慢大语言模型LLM默认是自回归生成每写出 1 个 token就要对整份 KV 缓存做一次前向计算再采样下一个词。生成 1000 字就要串行跑 1000 多轮GPU 大部分时间在等内存搬运算力严重吃不饱。推测解码Speculative Decoding是公认最有效的解法让一个轻量的草稿模型先猜一段内容再让目标大模型一次前向并行验证整段猜测——猜对的部分直接收下等于用 1 次前向换回了多个 token。方案每轮前向产出特点普通自回归1 个 token逐词串行GPU 利用率低传统小模型起草猜 k 个需 k 次前向草稿模型本身也是自回归起草同样慢DFlash 块扩散起草1 次前向出整块并行起草 极轻参数草稿开销趋近于零DFlash 的关键创新就在第三行它把扩散模型去噪的思想搬进了起草环节——整块 token 并行生成而不是逐个猜。二、核心原理块扩散如何一次前向起草整块 token1. 把填空当作去噪mask 块并行预测传统起草是第 2 个词必须等第 1 个词出来天然串行。DFlash 的块扩散改换思路取上一个已确认 token N-1 个 mask 占位符组成一个草稿块默认块大小 16即 1 个已知 token 15 个 mask草稿模型一次前向同时预测所有 mask 位置的内容直接得到 15 个候选 token。这就像扩散图像模型从一整张噪声图一步还原出细节DFlash 是从一整块噪声mask一步还原出一整块文字所以叫块扩散。2. 块内双向注意力是并行的前提能做到一次前向出整块靠的是草稿块内部使用非因果注意力源码中is_causalFalse见 dflash/model.py块内每个 mask 位置都能同时看到全部上下文和块内其他位置彼此之间没有先后依赖因此 15 个位置可以同一步算完。这与自回归只能看左边的约束完全不同。3. 借目标模型搭便车草稿模型极轻DFlash 的草稿模型并不闭门造车而是复用目标模型的三样东西中间层隐藏状态从目标模型中段若干层抽取上下文特征层号由 build_target_layer_ids 均匀选取经一层线性投影 RMSNorm 后注入草稿模型dflash/model.py词嵌入与输出头直接绑定目标模型的embed_tokens和lm_headdflash/model_mlx.py草稿模型自身不重复携带这两大块参数KV 缓存草稿侧维护独立缓存并随接受结果同步裁剪保证下一轮草稿与真实前文严格对齐。因此 DFlash 草稿模型只有极少的 Transformer 层参数量与显存开销都很小——闪Flash就闪在起草这一步几乎不花成本。三、完整工作流程起草 → 验证 → 接受第 1 步草稿模型一次前向并行起草整块 token每轮循环开始时取出最后 1 个已确认 token 15 个 mask送进草稿模型1 次前向拿到整块候选主循环见 dflash/model.py。第 2 步目标模型单次前向验证整块把整块候选一次性喂给目标大模型。得益于注意力机制的并行性目标模型只需1 次前向就能同时算出块内每个位置自己本来会生成什么dflash/model.py。这一步与普通解码的代价相同却验证了 16 个位置。第 3 步从最长前缀开始接受还免费多得 1 个 token验证时逐位比对草稿与目标模型的采样结果用累积乘积找出连续匹配的最长前缀dflash/model.py首个不匹配位置之前草稿 token 全部接受首个不匹配位置改用目标模型自己的 token——它无论如何都正确相当于每轮至少白拿 1 个 tokenbonus token接受后立即把两个模型的 KV 缓存裁剪到已确认长度dflash/model.py丢弃被拒绝部分的缓存状态永远与真实前文一致。由于拒绝时总是回退到目标模型的输出DFlash 的最终文本质量与目标模型直接生成完全一致加速不以质量为代价。⚡ 直观理解最坏情况每轮也得 1 个 token与原始解码持平最好情况整块 16 个全对等于 1 次目标模型前向产出 16 个 token。草稿猜得越准加速比越高。四、快速上手三步在推理框架中启用 DFlash 加速 DFlash 同时支持Transformers、vLLM、SGLang、MLXApple Silicon四个后端已为 Qwen3 / Qwen3.5、Gemma-4、Llama-3.1、gpt-oss 等模型提供现成草稿权重完整清单见 README.md。1. 克隆并安装 DFlashgit clone https://gitcode.com/GitHub_Trending/df/dflash cd dflash uv pip install -e .[vllm] # 按所选后端替换为 transformers / sglang / vllm / mlx各后端依赖定义见 pyproject.toml。2. 在 vLLM 中一行启用 DFlash 推测解码启动服务时通过--speculative-config指定方法为dflash、草稿模型与推测 token 数即可vllm serve Qwen/Qwen3.5-27B \ --speculative-config {method: dflash, model: z-lab/Qwen3.5-27B-DFlash, num_speculative_tokens: 15}3. 在 Apple Silicon 上用 MLX 体验MLX 版实现了流式生成与状态回滚含对门控 DeltaNet 等新型缓存的兼容处理dflash/model_mlx.py。只需加载目标模型 DFlash 草稿模型调用stream_generate即可边生成边看到吞吐tok/s完整示例见 README.md 的 MLX (Apple Silicon) 一节。五、验证加速效果用自带基准测试一键压测 仓库内置基准工具 dflash/benchmark.py覆盖 gsm8k、math500、humaneval、mbpp、mt-bench 五类任务数据集定义见 dflash/benchmark.py首次运行自动下载缓存。以 Transformers 后端为例torchrun --nproc_per_node8 -m dflash.benchmark --backend transformers \ --model Qwen/Qwen3-8B --draft-model z-lab/Qwen3-8B-DFlash-b16 \ --dataset gsm8k --max-samples 128报告中的acceptance_lengths统计能直接反映块扩散起草的平均接受长度——它是衡量 DFlash 加速比的核心指标。六、项目文件导航文件说明dflash/model.py核心实现草稿模型DFlashDraftModel、生成主循环与接受逻辑dflash/model_mlx.pyApple Silicon / MLX 版草稿模型与流式生成dflash/benchmark.py多后端基准测试与数据集准备README.md支持模型清单、四后端安装与启动示例pyproject.toml依赖与后端可选依赖定义小结DFlash 用块扩散 双向注意力把起草从串行变并行用复用目标模型特征把草稿模型做到极致轻量再用最长前缀接受 bonus token保证输出质量零损失——这正是它能让大模型推理加速同时保持原生成质量的原因。官方亦表示将尽快开源训练配方届时你可以为自己的任意大模型训练专属 DFlash 草稿模型。【免费下载链接】dflashDFlash: Block Diffusion for Flash Speculative Decoding项目地址: https://gitcode.com/GitHub_Trending/df/dflash创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

编码智能体安全:SLM+IRM构建可拦截、可审计的执行边界

编码智能体安全:SLM+IRM构建可拦截、可审计的执行边界

编码智能体的安全边界,比普通代码生成要复杂得多。模型不再只是补全一段代码,而是会打开终端、读取文件、安装依赖、执行测试甚至发布版本。只要一个步骤被绕过,攻击者就能通过提示词注入、恶意仓库内容或工具权限配置,让智能体替…

2026/11/21 21:42:46 阅读更多 →
obsidian-skills 用户调研实录:需求、口碑与改进信号全解

obsidian-skills 用户调研实录:需求、口碑与改进信号全解

obsidian-skills 用户调研实录:需求、口碑与改进信号全解 【免费下载链接】obsidian-skills Agent skills for Obsidian. Teach your agent to use Obsidian CLI and open formats including Markdown, Bases, JSON Canvas. 项目地址: https://gitcode.com/GitHub…

2026/10/26 13:25:15 阅读更多 →
Orca 多 Agent 编排完全指南:任务 DAG、决策门与 worker_done 机制

Orca 多 Agent 编排完全指南:任务 DAG、决策门与 worker_done 机制

Orca 多 Agent 编排完全指南:任务 DAG、决策门与 worker_done 机制 【免费下载链接】orca Orca is the ADE for working with a fleet of parallel agents. Run any coding agent with your own subscription. Available on desktop, mobile and VPS. 项目地址: h…

2026/10/26 13:25:15 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/20 23:27:28 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/20 23:27:28 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/20 23:27:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/20 21:55:32 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/20 23:27:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/20 22:59:12 阅读更多 →

日新闻

周新闻

月新闻