负面结果也值得公开：gemma-4-12b-constraintkit的SFT数据工厂与被放弃的图像转CAD实验

gemma-4-12b-constraintkit是一个基于 Gemma 4 12B 微调的 text-to-CAD（文本生成 CAD）模型：你用一句大白话描述机械零件或装配体，它就写出一份"零件+参数+配合关系"的小程序，交给 constraint-kit 编译成真实 B-rep 实体并导出 STEP——而不是画一张看起来像 3D 的图。这篇文章想聊两件不太常被展示的事：它的SFT 数据工厂是怎么用约 4 万条样本把"诚实拒绝"训练出来的，以及一个训练完却被丢弃的图像转CAD多模态实验，为什么最终没能上线。

先看懂：这个模型到底做什么 🎯

它的工作流非常"工程化"：

1. 你输入自然语言，比如"3 个外径 12mm、内孔 5mm、高 8mm 的隔套叠放"；
2. 模型先输出一段思考过程，再输出一段 JSON 程序（parts + params + mates）；
3. constraint-kit 用确定性数学求解装配位置，生成精确几何并导出 STEP / GLB。

关键在于：每一座"积木"都可以拿真实几何去校验（体积、包围盒偏差控制在 2% 以内），而不是靠"生成得漂不漂亮"来打分。官方公布的 held-out 测试成绩：

对新手来说最值得记住的一点：它"知道自己不会什么"。比如你让它做"重型应用用的螺旋锥齿轮"，它不会偷偷给你一个直齿锥齿轮蒙混过关，而是老老实实回答{"unsupported": "only straight bevel gears are modeled"}。这条"诚实规则"（Honesty Rule）就写死在训练用的系统提示词里，可以逐字阅读：train_sys.txt。

SFT 数据工厂：4 万条训练样本是怎么来的 🏭

大多数微调项目最头疼的就是数据：手写太慢，网上抓的又不可靠。这个项目的解法是让 constraint-kit 自己当数据工厂——用自己体系内的零件、参数、配合关系去生成"自然语言 → 推理 → DSL 程序"的完整链路样本，规模约 4 万行。

数据里有三类内容，正好对应模型的三种能力：

• 正常建件：请求 → 推理 → 零件/参数/配合的 JSON 程序；
• 诚实拒绝：故意点名词表之外的东西（蜗轮、弹簧、凸轮、花键、活页铰链……），正确答案是{"unsupported": "..."}而不是近似替换；
• 自纠正轨迹：由诊断信息驱动的错误尝试 → 修正过程，其中坏尝试的部分做了 loss-mask，不让模型"学会犯错"。

训练本身并不重：LoRA r=16（配置见 lora/adapter_config.json，基于unsloth/gemma-4-12b-it），2 个 epoch，单张 RTX PRO 6000 跑了约 10.5 小时，成本大约 7 美元。

有一个很容易被忽视的工程细节：模型只对 train_sys.txt 里这一个系统提示词负责。换一句话的提示词都可能让它"失忆"，所以这个文件是仓库里的必备件，推理时必须原样使用。

GRPO 阶段：把 CAD 验证器直接当奖励 ⚡

SFT 之后，项目没有用常见的"奖励模型 + LLM 裁判"那套组合，而是把constraint-kit 的 DSL 验证器当成奖励函数：你的程序能不能通过检查、能不能真正构建、几何签名离目标有多近，直接折算成分数。

• 混合信号：70% 拒绝样本 + 30% 难建件样本，共 150 步；
• 效果：静默"建错变体"（该拒绝却偷偷建了个近似的）从 2/10 降到 1/10，正确拒绝升到 9/10，正常建件 6/6 不回退。

整个训练（SFT + GRPO）的租卡总成本约35 美元——对想复现这类工作流的人来说，这是个很有参考价值的数字。

被放弃的实验：图像转 CAD 为什么失败了 🚫

这是仓库里最值得读的一段"负面结果"，也是本文标题的由来。

作者另外训练了一个多模态图像→CAD 的 LoRA：给它渲染图，看它能不能还原出对应的 CAD 程序。听起来很美，但测试结果很尴尬：

• 在确认图片确实被送进模型的前提下，有渲染图时的得分是 52%，没渲染图时是 47%；
• 5 个点的差距，完全落在噪声范围内——也就是说图片基本没用；
• 复盘发现：模型无视了画面内容，转而依赖包围盒（bounding box）这种粗粒度线索来猜答案。

结论很直白：这条路暂时走不通，实验报告写进了仓库，但权重不随模型发布。对新手读者，这个案例的价值在于提醒：多模态 ≠ 把图喂进去就行，"输入真的被利用了"必须先被验证，否则你优化的可能只是一个 47% 的基线。

仓库文件清单：拿到的都是什么 📦

如何本地运行：llama.cpp 两步启动 🚀

先获取仓库：

git clone https://gitcode.com/hf_mirrors/jajmangold/gemma-4-12b-constraintkit-GGUF

然后用 llama.cpp 起服务（一行命令）：

llama-server -m gemma4-12b-constraintkit-grpo-Q6_K.gguf -c 8192 -ngl 99 --port 8086

推理要点（完整脚本见 README.md）：

• 用原始/completion接口，系统轮以<|think|>模式 token 开头，遇到<turn|>停止生成；
• 建议temperature 0.2、top_p 0.95，输出取最后一个<channel|>之后的内容（即去掉思考过程，只留 JSON 程序）；
• 拿到 JSON 后发到 constraint-kit 服务校验并构建：POST /dsl/verify、POST /build。

局限性：它明确不会什么 ⚠️

• 它只认识 train_sys.txt 里的词表：spacer、spur_gear、plate、shaft、washer、nut、bolt、panel、link、housing、sheet_bracket，外加几个"维生素"库零件（NEMA 步进电机、齿条、蜗杆、直齿锥齿轮、指节铰链）——别的应该拒绝，而不是硬凑；
• 拒绝仍是短板：大约每 10 个不支持的请求里还有 1 个会被建成近似件；
• 正式使用请永远把输出过一遍 constraint-kit 的验证器再相信几何。

写在最后：负面结果为什么值得公开 💡

gemma-4-12b-constraintkit 给出的样本不大（4 万行 SFT、150 步 GRPO、35 美元成本），但它做对了几件常被跳过的事：

1. 用确定性验证器当奖励，而不是让模型互相打分；
2. 把"诚实拒绝"当成一等公民写进数据和训练目标；
3. 实验失败也记录在案：图像转CAD 的 52% vs 47% 被原样披露，而不是悄悄删掉。

对做 AI + 工程方向的新手来说，这套"数据工厂 + 可验证奖励 + 公开负面结果"的打法，比单看 93% 的通过率更值得抄作业。

Apache-2.0 许可（与 Gemma 4 基座一致），constraint-kit 本身为 MIT。