d1a_config.json 终极指南：温度 1.55 校准、LoRA 合并与 8-bit 量化参数全解

• 大模型
• 模型量化
• 本地部署
• 人工智能
• NLP

D1A-E4B-it 是面向 Apple Silicon 的小型决策模型：给它一份文档加几个问题，一次前向即返回每个选项的校准概率。本仓库是它的 MLX 8-bit 量化版，而 d1a_config.json 就是这份模型的「参数蓝图」——温度校准值 1.55 是怎么来的、LoRA rank 16 如何合并进底座、group_size 64 的 8-bit 量化策略，本文逐条讲清。

🧭 快速上手：参数蓝图里都有什么

d1a_config.json 的顶层字段一览：

🌡️ 温度 1.55 校准：这个数字是怎么来的

对决策模型来说，temperature不是「创造力开关」，而是概率校准参数：logits 除以温度后，输出的概率才真正等于「它说多自信，就有多大概率是对的」。

121 点网格搜索法

temperature_fit字段完整记录了校准过程（d1a_config.json#L38-L97）：

• 搜索空间：0.25 ~ 4 之间的 121 点对数网格；
• 目标函数：最小化 micro 平均 NLL（负对数似然）；
• 校准集：共 3178 条——evals/v7/decision-v7校准切分 1148 题 +evals/d1a/pr-labels开发切分 2030 题（见 fit_rows）；
• 结果：1.5511447618337346，90% 置信区间 [1.481, 1.625]。

5 折交叉验证：会不会过拟合

5 折交叉验证（按来源分层、1670 组）的对比结果：

折外 ECE 从 0.057 降到 0.015（95% CI [0.011, 0.030]），说明 1.55 不是在训练集上背出来的，泛化性是可靠的。

分场景温度：routing 约 1.20

use_case_temperature_fits还给出了routing（请求路由）场景的专属校准：315 题（270 题机器生成 + 45 题人工标注），5 折温度集中在 1.15 ~ 1.26，取值约 1.203，90% 置信区间 [0.912, 1.382]。注意use_case_temperatures字段目前为空——这个 8-bit 构建随包发布的只有全局温度 1.55，场景温度只是「已拟合、未启用」的状态。

🧩 LoRA 合并：为什么它「不再聊天」

d1a_config.json#L4-L8 中的两条记录交代了这份构建的身世：

• adapter_sha256：LoRA 适配器的 sha256 指纹（e6528711…）；
• lora: 16+source: stage2：rank 16 的适配器、来自第二阶段训练。

也就是说，本仓库不是「底座 + 独立适配器」，而是把 rank 16 的 LoRA直接合并进了 Gemma 4 E4B-it。直接后果有两个：

1. 只用于决策：骨架权重已偏离原版 Gemma 4 E4B-it，用它做开放式对话，输出不可靠；
2. 少一个文件：仓库里没有单独的 LoRA 文件，合并后的权重就在 model-00001-of-00002.safetensors 和 model-00002-of-00002.safetensors 里。

另外，head字段指向的 head.safetensors（约 5.2 MB）是fp32 指针头——它把隐藏状态映射成各选项的概率，是全模型里唯一保持全精度不量化的部分，专门保住校准质量。

📦 8-bit 量化参数全解：group_size 64 + affine

quantization字段与 config.json 中的quantization_config完全一致：

「分组 + affine」意味着每 64 个权重共享一组缩放与零点，比整层 8-bit 更稳定。代价上：文本模型磁盘约 6.1 GB（74.6 亿参数，见 model.safetensors.index.json），另加 media/ 下约 0.9 GB 的照片 / 语音 / 视频编码器。

量化没吃掉多少质量吗？M1 Max 上与未合并的 8-bit 聊天构建对比（quality gate）：478 道问题里只变了 4 个答案，最大概率变化 0.073，模型耗时仅 1.01 倍。

🔢 Token ID：三个容易踩坑的细节

• leading_ids: [2]：模型训练时每条记录都以<bos>（id 2）开头。Gemma 的 tokenizer 默认不会帮你加——如果你自己编码输入，务必手动前置 id 2，否则输入就「分布外」了；
• delimiter_ids: [6,7,8,9,10]：选项分隔用的特殊 id，决策模型就是对这几个位置算概率；
• pad_id: 0：填充 token id。

🚀 2 分钟快速上手：MLX 上加载与部署

安装带 serve、mlx、media 扩展的 d1a SDK 后，按模型 ID 直接加载：

from d1a import D1A m = D1A.load("mlx-community/d1a-e4b-it-8bit@v0.6") m.decide("The customer was charged twice for the same order and wants a refund today.", {"team": {"type": "choice", "instructions": "Which team handles this?", "criteria": {"billing": None, "shipping": None, "support": None}}})

或者直接起一个服务：

python -m d1a.serving.serve --run mlx-community/d1a-e4b-it-8bit@v0.6 --port 8009

📁 仓库文件地图

❓ 常见问题

温度 1.55 需要为 8-bit 构建重新校准吗？不需要。该值来自原始训练 run，且 8-bit 构建的质检只翻转了 478 题中的 4 个答案，直接沿用即可。

这个模型能聊天吗？不能。LoRA 已合并，骨架不再是原版 Gemma 4 E4B-it，本构建只支持 D1A 决策任务；想聊天需用未合并的适配器构建。

为什么 head 单独存 fp32？指针头直接决定输出概率，保持全精度可避免量化拖累校准效果——这也是d1a_config.json把它与主体权重分开存放的原因。

• 大模型
• 模型量化
• 本地部署
• 人工智能
• NLP