【免费下载链接】DeepSeek-V4-Flash-0731-2.4bit-mixed项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/DeepSeek-V4-Flash-0731-2.4bit-mixed点击查看免费下载DeepSeek-V4-Flash-0731-2.4bit-mixed是一个面向 Apple Silicon 的 MLX 混合精度量化模型仓库基于 284B 总参数含 3 个 MTP 块约 304B的 DeepSeek-V4-Flash-0731每个 token 仅激活约13.8B参数采用 2bit/6bit/8bit 混合量化后整体压到2.44 bit/weight、92.8 GB 磁盘占用让 32k 长上下文推理在一台 128 GB 内存的 Mac 上跑得起来。 模型速览一张表看懂 DeepSeek-V4-Flash项目数值说明总参数量284B含 MTP 约 304BMoE 架构每 token 激活参数约 13.8B仅 6/256 专家参与计算层数43稀疏注意力索引器每 2 层一个有效位宽2.44 bit/weight混合精度量化磁盘占用92.8 GB原生 FP8FP4 为 155 GB峰值内存短上下文84.4 GB需要 128 GB 内存的 Mac上下文最高 1MYaRN 外推它凭什么瘦下来答案藏在四个机制里MLA 压缩 KV 缓存、稀疏注意力索引器、MoE top-6 路由、混合精度量化。下面逐一拆解。 MLA 多潜在注意力KV 缓存不再随层数疯涨传统多头注意力MHA里每个 token 要为每个注意力头分别保存一份 Key 和 ValueKV 缓存显存随层数和上下文长度线性膨胀。MLAMulti-head Latent Attention的做法是不把 Key/Value 原样存入缓存而是先压缩成一个低秩 latent 向量再保存用时再展开Query 和 Output 投影走两级低秩分解进一步砍掉权重体积。在 config.json 里可以直接看到 MLA 的指纹参数q_lora_rank: 1024、o_lora_rank: 1024Query 与 Output 投影的低秩秩head_dim: 512、qk_rope_head_dim: 64每个头的总宽度与其中负责旋转位置编码RoPE的维度o_groups: 8Output 投影按 8 组切分grouped output projections用更窄的中间矩阵分摊计算num_key_value_heads: 1KV 侧只剩 1 个头因为信息已经被 latent 压缩了。对应的张量命名也印证了这种分解结构wq_a/wq_b两级 Query 投影、wkv压缩 KV、wo_a/wo_b两级 Output 投影全部可以在 model.safetensors.index.json 中查到。对显存意味着什么MLA 把 KV 缓存压得极紧实测 32k 上下文比 1k 上下文的峰值内存只多1.03 GB——这几乎就是长上下文不爆内存的直接原因。⚡ 稀疏注意力索引器32k 上下文只算 512 个 token光压缩 KV 还不够注意力计算本身仍是 O(n²)。DeepSeek-V4-Flash 的解法是稀疏注意力索引器sparse-attention indexer每 2 层配一个索引器位于第 2、4、6 … 42 层共 21 个它用 64 个索引头index_n_heads: 64、index_head_dim: 128给历史 token 打分只选出最相关的512 个index_topk: 512见 config.json进入真正的注意力计算最近邻信息由滑动窗口兜底sliding_window: 128保证局部上下文不丢配合compress_ratios参数config.json 中4/128交替、首两层与末三层为0对各层 KV 做不同倍率压缩再用 YaRNrope_scaling.type: yarn外推 factor 16把上下文窗口拉到 1Mmax_position_embeddings: 1048576。效果非常直观生成速度几乎不随上下文长度衰减——4k 上下文 33.8 tok/s32k 上下文仍有 31.5 tok/s。 因为不管 prompt 多长真正参与注意力计算的 token 数量都被index_topk 512封顶了。代价在 prefill 阶段32k 输入的首 token 延迟约 97 秒长文档首次提问需要耐心。 MoE top-6 路由284B 参数只算 13.8BMoEMixture of Experts是这个模型大参数、小算力的核心路由参数数值含义n_routed_experts256每层 256 个路由专家num_experts_per_tok6每个 token 只激活 6 个专家n_shared_experts1加 1 个常驻共享专家保证基础能力moe_intermediate_size2048单个专家的中间层宽度topk_methodnoaux_tc无辅助损失的门控路由routed_scaling_factor1.5路由专家输出的缩放系数每层专家的选择由门控网络完成对应张量ffn.gate.weight、ffn.gate.tid2eid见 model.safetensors.index.json选中后按norm_topk_prob: true对 top-k 权重做归一化。43 层 × 256 个专家就是 284B 总参数的主体而每个 token 实际流经的只有 6 个路由专家 1 个共享专家激活参数约 13.8B。一句话理解 MoE 省显存的逻辑显存要装下全部专家但算力和激活内存只需要服务其中 6 个——总参数越大模型越聪明单 token 的计算却近乎恒定。️ 混合精度量化2bit / 6bit / 8bit / 3bit 分档压缩权重省显存的最后一道关是量化。这个仓库没有一刀切而是按使用频率分档完整逐层配置见 config.json 的quantization_config权重分组张数量位宽组大小磁盘占用路由专家主模型占文件 84%1292 bit12877.9 GB注意力层wq_a/wq_b/wkv/wo_a/wo_b、compressor、indexer3966 bit1284.0 GB共享专家1388 bit641.2 GBembed_tokens、lm_head28 bit641.1 GBMTP 路由专家93 bit1288.4 GB整个 MTP 栈思路很简单每 token 都要读的权重注意力、词嵌入、输出头保精度高读得最少的 256 个路由专家放到最低位宽。整体平均 2.44 bit/weight把原生 FP8FP4 的 155 GB 压到 92.8 GB且输出是标准 MLX affine 量化格式不需要任何自定义 kernel。 实测效果与运行门槛作者在MacBook Pro M5 Max 128GB上用 oMLX 基准测试单请求、128 生成 token上下文生成速度prefill 速度首 token 延迟峰值内存1k36.1 tok/s498 tok/s2.1 s79.8 GB8k33.1 tok/s371 tok/s22.1 s79.9 GB32k31.5 tok/s337 tok/s97.3 s80.8 GB几个值得记住的结论生成端长上下文几乎不掉速稀疏注意力立功内存端32k 上下文峰值仅 80.8 GBMLA 压缩 KV 立功加上权重后短上下文峰值 84.4 GB128 GB 内存是硬门槛精度端mmlu_pron600得 0.573比 bf16 官方 API 的 0.647 低 7.3 分——这是 2.44 bpw 量化应付费用的正常区间但具体到你的工作负载前请先自行测试运行方式需要 oMLX 0.5.7 及以上版本mlx-lm 尚不支持deepseek_v4架构模型可直接从缓存加载使用omlx serve起服务即可。✅ 总结显存到底省在了哪里机制作用对象一句话原理MLA 多潜在注意力KV 缓存低秩 latent 替代每头独立 KV长上下文内存近乎不涨稀疏注意力索引器注意力计算index_topk 512给参与计算的 token 数量封顶MoE top-6 路由激活算力284B 参数只激活 13.8B单 token 成本恒定2.44 bit 混合量化权重体积高频权重保精度、低频权重压到底155 GB → 92.8 GB四层机制叠加才让一个 300B 级别的 MoE 模型住进了一台消费级工作站。如果你正在 128 GB 的 Apple Silicon 上寻找能跑长上下文的开源大模型这个仓库值得放进你的测试清单。赞分享【免费下载链接】DeepSeek-V4-Flash-0731-2.4bit-mixed项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/DeepSeek-V4-Flash-0731-2.4bit-mixed点击查看免费下载相关推荐DeepSeek V3架构拆解Kimi-K2-Thinking-NVFP4的MLA注意力与MoE路由实现原理DeepSeek V3架构拆解Kimi K2 Thinking NVFP4的MLA注意力与MoE路由实现原理 Kimi K2 Thinking NVFP4 是TileLang 实现 DeepSeek V3.2 稀疏 MLA 全流程Lightning Indexer、Top-k Selector 与稀疏注意力内核实战TileLang 实现 DeepSeek V3.2 稀疏 MLA 全流程Lightning Indexer、Top k Selector 与稀疏注意力内核实战编程语言编译器高性能计算人工智能256个专家如何协同LLaDA2.2-flash-OptiQ-2bit的MoE稀疏块级路由架构详解256个专家如何协同LLaDA2.2 flash OptiQ 2bit的MoE稀疏块级路由架构详解 LLaDA2.2 flash OptiQ 2bit 是约创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考