【免费下载链接】gemma-4-e2b-it-OptiQ-4bit-decision项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-e2b-it-OptiQ-4bit-decision点击查看免费下载Gemma-4 E2B 决策模型gemma-4-e2b-it-OptiQ-4bit-decision是一个基于 Google Gemma-4 底座、用 OptiQ 4-bit 量化 LoRA 微调打造的「决策模型」可在 Apple Silicon 上通过 MLX 一键运行。它在 400 个测试用例、共 2000 条决策上完成了基准测试本文带你读懂 Accuracy、KL 散度、Brier 分数这三大核心指标到底在衡量什么。 一句话定位把一个小模型约 4.6B 参数训练成「只会做决策」的专用头在苹果芯片上既快又准是「端侧决策模型」的代表作。一、什么是 Gemma-4 E2B 决策模型这个模型并不是一个会闲聊的通用聊天模型而是一个被「特化」出来的决策引擎。它的构成很简单理解这三块就够了组成作用对应文件4-bit 量化底座承载主干能力占用显存/内存小model.safetensorsLoRA 适配器在冻结底座上叠加的一层「决策微调」adapter_config.json联合 schema 头joint head一次性为多种问题类型打分joint_head_config.json所谓「联合头」就是让模型在一次推理里同时处理三类决策问题——数值类noul、选择类choice、评分类score而不需要分三次调用。这正是它区别于普通问答模型的关键输出的不是自然语言而是结构化的决策与概率。整个模型在磁盘上约5.4 GB4-bit 主干 视觉伴随体 LoRA 头参数总量约4.63B详见 model.safetensors.index.json。二、基准测试成绩一览表测试用的是Typed Decisions基准LocalLLaMA/typed-decisions。训练只用了基准自带的训练集1080 条3 个 epochLoRA rank 16测试集与之完全不重合共400 个用例、2000 条决策每个用例 5 个问题纯文本单次请求完成。先看这张总表↓ 表示数值越低越好模型Accuracy ↑KL from gold ↓Brier ↓ECE ↓p50 延迟本模型0.8020.0720.0390.1810.99 sQwen3.5-0.8B-decision0.7720.0970.0540.1770.34 sclef-OptiQ-4bit27B0.7190.1890.1020.1189.7 s无脑答训练集均值对照0.4890.3270.181––几个「一眼看」的重点Accuracy 最高0.802小模型~4.6B打过了 27B 的大模型。KL 与 Brier 同为最低概率分布和校准都最接近「标准答案」。⚡延迟极低0.99s比 27B 的 9.7s 快了近 10 倍适合端侧实时决策。对照基线0.489证明提升不是靠「押一个固定答案」蒙出来的。三、三大核心指标怎么读这是全文的核心。下面用「答题」的直觉来解释每一个指标。3.1 Accuracy 准确率答对了多少本模型 0.802Accuracy 最直观2000 条决策里答对与标准答案一致的比例。本模型约 80% 正确。它是「对不对」的粗粒度判断——答对就是 1答错就是 0不区分「错得离谱」和「差一点点」。所以光看 Accuracy 还不够需要下面两个指标来补充「错得有多惨」的信息。3.2 KL 散度概率分布偏了多远本模型 0.072越低越好模型给的往往不是一个死答案而是一个概率分布比如「选 A 的概率 0.6选 B 的概率 0.4」。KL 散度衡量的是模型输出的分布和标准答案gold的分布之间偏离了多远。0.072意味着分布贴合得相当紧。对照基线0.327差了 4 倍多——说明本模型不仅「蒙对了」而且「蒙得有理有据」。可以把它理解为「自信度的准确度」KL 越低模型的概率越「靠谱」。3.3 Brier 分数校准得好不好本模型 0.039越低越好Brier 分数是预测领域的经典指标本质是「预测概率 − 实际结果」的平方误差取值在 0完美到 1最差之间。0.039是个非常低的值说明模型的概率标尺非常准——它说「我有 80% 把握」的时候实际命中率也确实接近 80%。这对决策场景极其重要下游系统经常要靠这个概率来做风险排序、触发阈值或人机回退概率不准整个链路都会跑偏。3.4 附带指标ECE 与 p50 延迟ECE预期校准误差 0.181对「最高置信标签」的校准。README 里坦诚地指出这一项并不比 Clef 更好——它是本模型的相对短板选型时要留意。p50 延迟 0.99 s在 Apple M3 Max 上每个用例一次性跑完 5 题的中位耗时。对端侧部署而言这是决定「能不能用起来」的硬指标。 三个指标的关系可以这样记Accuracy 看对不对KL 看分布准不准Brier 看概率稳不稳三者叠加才是一个合格的「决策模型」。四、与对手模型的横向对比把上面三列放一起看结论其实很清晰打小模型Qwen3.5-0.8B本模型 Accuracy 0.03、KL 更低、Brier 更低唯一略输的是 ECE0.181 vs 0.177但延迟稍高0.99s vs 0.34s。综合看本模型决策质量更优。打大模型clef-OptiQ-4bit27B本模型 Accuracy 0.083、KL 近乎减半、Brier 减半延迟快了近 10 倍。这是「小模型专用头」对「大模型通用能力」的一次漂亮逆袭。一句话用更小的体积、更快的速度换来了更高的决策准确率与更稳的概率。五、模型技术规格速览如果你想「知其所以然」这几组参数值得记住均来自仓库配置文件维度数值出处主干层数35 层config.jsonLoRA rank / scale / dropout16 / 1.0 / 0.0adapter_config.json量化方式4-bit 混合精度group_size 64optiq_metadata.json实际每参数位数bpw5.26目标 5.0optiq_metadata.json联合头结构hidden 1536 / 4 层 / 8 头 / ff 2048joint_head_config.json三类问题的温度≈1.07 / 0.98 / 1.03decision_config.json几个值得新手注意的细节LoRA 只动「注意力 MLP 线性注意力」的投影矩阵主干冻结所以训练又快、权重又小——这也是它能在端侧落地的原因。混合精度量化并非一刀切全 4-bit而是逐层在 4/8-bit 间分配optiq_metadata.json里每层都标了bits在「省内存」和「保精度」之间找平衡。️每类问题独立温度decision_config.json里三个温度分别对应 noul / choice / score说明联合头对不同类型做了针对性采样校准。六、如何部署运行决策模型在 macOSApple Silicon上两步即可把模型跑起来并暴露/v1/systemone接口pip install -U mlx-optiq optiq serve --model mlx-community/gemma-4-e2b-it-OptiQ-4bit-decision服务起来后它就是标准的 HTTP 决策接口你的业务侧只需按问题类型构造请求拿到结构化决策与概率即可。得益于 4-bit 量化 小体积内存压力远低于同档 27B 模型更适合本地/边缘环境。七、评测结果文件在哪里本仓库把完整的评分结果与备注都留了下来方便你复核建议重点看这两个文件 README.md基准测试总表 模型说明 部署方式。 .eval_results/typed-decisions.yaml四项指标accuracy、kl_from_gold、brier、ece的精确数值与训练备注1080 条、rank 16、3 epoch、M3 Max。对照一下 README 的展示值与 YAML 里的精确值如 Accuracy0.8015≈ 0.802数据是自洽的可以直接用于你的选型报告。八、总结适合谁用你的场景是否推荐理由苹果芯片端侧、需要低延迟决策✅ 强推0.99s p50、5.4GB 体积需要「概率」做风险排序/阈值触发✅ 推荐Brier 0.039、KL 0.072 概率稳对最高置信标签校准要求极苛刻⚠️ 留意ECE 0.181 是相对短板非同一类工作流的决策⚠️ 谨慎测试集与训练集来自同 4 类工作流跨域表现会衰减一句话总结Gemma-4 E2B 决策模型用「4-bit 量化底座 LoRA 微调 联合 schema 头」的组合在 400 用例 2000 决策的 Typed Decisions 基准上拿下了 Accuracy 0.802、KL 0.072、Brier 0.039 的领先成绩——小、快、准、概率稳是当前端侧决策模型里非常值得重点关注的一个选项。赞分享【免费下载链接】gemma-4-e2b-it-OptiQ-4bit-decision项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/gemma-4-e2b-it-OptiQ-4bit-decision点击查看免费下载相关推荐让 Gemma-4 E2B 决策模型更可信ECE、Brier 分数与 temperature 校准的科学原理让 Gemma 4 E2B 决策模型更可信ECE、Brier 分数与 temperature 校准的科学原理 Gemma 4 E2B 决策模型gemma 4如何看懂 clef-flash-OptiQ-4bit 的基准数据Accuracy、KL、Brier、ECE 四指标深度解析如何看懂 clef flash OptiQ 4bit 的基准数据Accuracy、KL、Brier、ECE 四指标深度解析 clef flash OptiQ人工智能大模型模型量化本地部署Gemma-4 E2B 决策模型配置全参考config.json、joint_head 与 optiq_metadata 逐字段清单Gemma 4 E2B 决策模型配置全参考config.json、joint_head 与 optiq_metadata 逐字段清单 本文带你逐字段读懂 ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考