大模型人工智能模型压缩模型量化本地部署【免费下载链接】Ornith-1.5-35B-A3B-OptiQ-4bit-REAP-19B项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.5-35B-A3B-OptiQ-4bit-REAP-19B点击查看免费下载Ornith-1.5-35B-A3B-OptiQ-4bit-REAP-19B 是一款用 REAP 专家剪枝方法压缩的 MoE 大模型在 4-bit 量化父模型基础上把每层 256 个路由专家砍到 128 个体积从 21.9 GB 缩到 12.8 GB而每 token 激活参数不变与未剪枝模型的 KL 散度仅 0.331。本文用KL 0.331 同配方基准实测两组数据回答新手最关心的问题剪掉一半专家质量到底掉不掉 先说结论掉得很少。损失集中在宽泛知识MMLU −21.4推理、代码、指令遵循等程序化能力基本无损部分甚至小幅提升。 体积降42%MoE专家剪枝到底改了什么先看核心数字来自 README.md 的对比表指标父模型剪枝前本模型剪枝后变化磁盘体积21.9 GB12.8 GB−42%总参数量35.1B18.8B−47%每层路由专家256128−50%每 token 激活专家88不变运行内存—约 14.5 GB—为什么变小了却不變慢MoE混合专家模型每个 token 只激活 top-8 个最相关的专家。剪枝只是把专家库从 256 个精简到 128 个路由器router同步裁剪每个 token 该用几个专家、用多少计算完全没变——所以是仓库变薄而不是算力变少。还有一个关键工程细节保留的专家是从父量化检查点逐位bit-for-bit拷贝的——不做反量化、不重新量化、不合并、不重训。这意味着剪枝过程本身不会引入二次量化损伤18.8B 的骨架和父模型完全同构config.jsonnum_experts: 128、num_experts_per_tok: 8、num_hidden_layers: 40。剪枝前后专家权重的精确字节数记录在 optiq_metadata.json 中expert_bytes_before: 19,595,788,288约 19.6 GBexpert_bytes_after: 9,797,894,144约 9.8 GB——正好对半砍 REAP剪枝方法哪些专家被留下、依据是什么本模型采用REAP专家剪枝算法Cerebras ResearchICLR 2026。它的核心思路打分排序在标定数据上按路由权重 × 专家输出范数的条件均值给每个专家打分分数最低的先删均匀保留每层都保留 128 个uniform_retention: true不留某层留得多、某层留得少的偏科分配量化域直接剪枝在 4-bit 量化检查点上直接操作不需要 BF16 父模型也不反量化幸存者。完整的剪枝配方参数都可以在 optiq_metadata.json 里查到calibration_mix: optiq六领域混合标定集8 个样本、seed: 42、retention_target: 0.5、ranking: conditional。每一层最终保留的 128 个专家编号也完整记录在retained_experts字段中整个过程可复现。值得一提的是连用哪种打分规则本身都是对比实验选出来的作者把两种候选排名规则分别拿去和未剪枝模型对比打分条件均值conditional mean胜出。 如何解读 KL 0.331 这个质量损失温度计KL 散度衡量的是剪枝后模型的输出概率分布和原模型差多远。数字越小两个模型的说话方式越接近。README.md 给出了这个模型最有价值的对照参考与未剪枝父模型的 KL 散度为 0.331。作为参照剪枝后出现肉眼可见退化的检查点KL 通常超过 1.0而 0.331 落在人工审阅下生成结果不可区分的区间内。对新手来说可以这样理解这条标尺KL 区间大致含义 1.0生成质量人工审阅基本无法分辨差异 1.0退化肉眼可见需要认真评估本模型0.331远低于警戒线 基准实测数据同配方的姐妹模型考了多少分必须诚实说明本 Ornith 变体本身没有单独跑过基准测试。但同一套配方相同架构、相同 4-bit 量化、相同 50% 专家保留率已在同架构模型 Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B 上端到端验证过数据如下README.md基准变化解读Capability Score综合能力分80.03 →76.57总分 −3.46MMLU宽泛知识−21.4损失集中在这里GSM8K数学应用题2.6小幅提升IFEval指令遵循4.3小幅提升BFCL函数调用−1.0基本持平HumanEval代码−1.3基本持平怎么理解这个分布剪掉一半专家后低频的长尾知识缺少了备份专家所以 MMLU 这类靠广博知识回忆的科目掉得最狠而程序化任务解题、写代码、按指令办事主要依赖最常用的头部专家——这些恰恰是 REAP 打分最高、被优先保留下来的所以不仅不掉分还有个别科目不降反升。 在 Apple Silicon 上快速跑起来14.5GB 内存够用吗答案是够。这个模型约需14.5 GB 运行内存16GB 统一内存的 MacBook 即可跑起来比父模型21.9 GB需要 24GB 以上内存的门槛低了一档。最快启动方式两步pip install mlx-optiq optiq serve --model mlx-community/Ornith-1.5-35B-A3B-OptiQ-4bit-REAP-19B也可以用 mlx_lm 加载后直接generate生成文本。采样参数沿用 generation_config.jsontemperature: 1.0、top_k: 20、top_p: 0.95kv_config.json 中还配置了 KV Cache 混合 4-bit/8-bit 量化长上下文场景下能进一步压低内存占用。模型本身支持 262144 token 的最大上下文长度config.json其中 3/4 的层使用 linear attention长文本推理开销更低。模型权重索引见 model.safetensors.index.json总大小约 12.4 GB量化配方明细在 optiq/metadata.json512 个张量按 4-bit/8-bit 混合精度配置对话模板为 chat_template.jinja。✅ 选型建议该选这个19B剪枝版还是35B父模型你的场景推荐16GB 统一内存 Mac、下载/存储敏感✅ 本 19B 剪枝版12.8 GB日常对话、推理、代码、Agent 工具调用✅ 本剪枝版完全够用KL 0.331程序化能力持平对宽泛知识问答百科类 MMLU 任务要求最高精度35B 父模型21.9 GB建议 24GB 内存总结对剪枝后还能打吗这个问题数据给出的答案是明确的体积减半21.9 GB → 12.8 GB内存门槛从 24GB 降到约 16GB质量可控KL 0.331 远低于 1.0 的退化警戒线综合分仅从 80.03 微降至 76.57能力结构损失集中在长尾知识推理/代码/指令遵循等实用能力无损甚至微涨。如果你在 Mac 上追求装得下、跑得动、不掉链子的大模型这个 REAP-19B 剪枝版是一个值得优先考虑的压缩方案。赞分享大模型人工智能模型压缩模型量化本地部署【免费下载链接】Ornith-1.5-35B-A3B-OptiQ-4bit-REAP-19B项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.5-35B-A3B-OptiQ-4bit-REAP-19B点击查看免费下载相关推荐21.9GB到12.8GB的秘密Ornith-1.5-35B-A3B-OptiQ-4bit-REAP-19B混合精度量化机制全解析4bit8bit21.9GB到12.8GB的秘密Ornith 1.5 35B A3B OptiQ 4bit REAP 19B混合精度量化机制全解析4bit8bit Or大模型人工智能模型压缩模型量化本地部署Switchyard 阶段路由 tanh 评分数学详解双轴信号如何压成置信度的完整指南Switchyard 阶段路由 tanh 评分数学详解双轴信号如何压成置信度的完整指南 Switchyard 是一个 LLM 应用流量路由器能在多模型、多供人工智能大模型模型量化模型优化本地部署REAP 专家剪枝原理全解Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B 为何删掉一半专家却更快REAP 专家剪枝原理全解Qwen3.6 35B A3B OptiQ 4bit REAP 19B 为何删掉一半专家却更快 本文全解 REAP 专家剪枝原理M上一篇react-admin 权限处理函数 getPermissionsFromRoles 实战从角色定义合并权限到 authProvider.canAccess 的 RBAC 落地下一篇gbrain 合成校准语料深度解析从 concept 概念页到 takes 主张提取与校准评估创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考