【免费下载链接】YOLO26n-OptiQ-6bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/YOLO26n-OptiQ-6bit点击查看免费下载YOLO26n-OptiQ-6bit是把 YOLO26n 目标检测模型通过 OptiQ 做混合精度量化平均约 6-bit后、面向 Apple SiliconMLX运行的版本。整个模型由两个文件组成权重文件 weights.safetensors以及这份量化说明书 config.json。本文带你逐层读懂 config.json它如何为126 个卷积层逐层分配位宽、如何记录权重形状映射、以及group_size 64分组量化到底在做什么。 这个仓库在做什么一句话概括用更少比特跑几乎一样准的 YOLO 检测。基座模型YOLO26nnano 版目标检测base 为 Ultralytics/YOLO26量化方式混合精度mixed-precision敏感层 8-bit、鲁棒层 4-bit目标6.0 BPW运行平台Apple SiliconMLX 后端量化效果9.9 MB → 2.5 MB约3.9× 压缩精度几乎无损BPWBits Per Weight指每个权重平均占多少比特。6.0 就表示平均每 1 个权重大约用 6 个比特存储。仓库文件只有三样职责非常清晰文件作用config.json量化配置逐层位宽、形状、分组大小weights.safetensors量化后的实际权重数据README.md项目说明、量化细节与基准测试️ config.json 的五大字段总览整份文件就是一个 JSON 对象顶层只有 5 个字段各司其职字段位置一句话解释allocationconfig.json位宽分配表每个层 → 4 或 8 bitshapesconfig.json每个权重的4D 原始形状[out, in, kH, kW]group_sizeconfig.json分组大小这里是64scaleconfig.json规模档位标记n nanoflat_shapeconfig.json压平后的2D 形状量化真正作用的对象下面按位宽 → 形状 → 分组的顺序逐一拆解。 allocation逐层位宽分配allocation是一张映射表左边是层名右边是该层量化用的位宽。全模型126 个权重张量中8-bit114 层更精细保精度4-bit12 层更省空间之所以不一刀切全 4-bit而是混着来是因为 OptiQ 会先测量每一层对最终检测输出的敏感度KL 散度再用贪心背包算法在整体逼近 6.0 BPW的预算下给每一层挑最合适的位宽。最终实际达成 5.96 BPW几乎正好卡在目标线上其中 4-bit 层贡献了约51%的参数量——省空间的主力正是那 12 个没那么怕损失的层。12 个 4-bit 层都给了谁把 12 个 4-bit 层按角色归类规律一目了然层名简化flat 形状角色为什么敢压到 4-bitlayers.5.conv[128,1152]主干下采样 3×3下采样层特征冗余度高layers.7.conv[256,1152]主干下采样 3×3同上layers.20.conv[128,1152]主干下采样 3×3同上layers.8.cv2[256,384]C3k 块 1×1 投影非关键投影layers.9.cv2[256,512]C3k 块 1×1 投影非关键投影layers.10.cv2[256,256]注意力块 1×1 投影非关键投影layers.22.cv1[256,384]注意力块输入 1×1非关键投影layers.22.cv2[256,384]注意力块输出 1×1非关键投影layers.22.m.0.layers.0.cv1[64,1152]注意力块卷积分支鲁棒分支layers.22.m.0.layers.0.cv2[128,576]注意力块卷积分支鲁棒分支layers.8.m.0.m.0.cv2[64,576]C3k2 内部 3×3内部小卷积layers.23.cv2.layer2.layers.0[16,2304]检测头通道卷积输出通道少、影响小两个直观结论下采样 3×3 卷积层 5 / 7 / 20被压得最狠——它们是压缩通道数的过渡层对最终框预测最不敏感。注意力attn与检测头head几乎全是 8-bit。比如layers.10.m.psa0.attn.qkv / proj / ffn、layers.23.*这些直接决定检测准不准的层OptiQ 给了更高的 8-bit 精度兜底。一句话总结保头保注意力压主干和下采样——这正是混合精度的精髓。 shapes 与 flat_shape形状映射这是很多新手最容易困惑的一块其实关系非常直观。shapes记录权重张量的原始 4D 形状顺序为[out, in, kH, kW]MLX 的 OIHW 约定。flat_shape把后三个维度乘成一维得到 2D 矩阵[out, in×kH×kW]——这才是量化器真正分组、缩放的对象。来看两个具体例子层名shapes4Dflat_shape2D换算layers.0.conv.weight首层 3×3[16,3,3,3][16, 27]27 3×3×3layers.7.conv.weight下采样 3×3[256,128,3,3][256, 1152]1152 128×3×3layers.9.cv2.conv.weight1×1 投影[256,512,1,1][256, 512]1×1无需相乘记住这个映射规则flat_shape [out, in·kH·kW]。对于 1×1 卷积flat_shape与shapes的前两项一致对于 3×3 卷积第二维会变成输入通道 × 9。理解这点后你就能自己推出任意层的量化分组数——这正是下一节的关键。 group_size 64分组量化原理group_size在 config.json 中被设为64。它决定了**分组量化group-wise quantization**的粒度把flat_shape的输入轴第 2 维每64 个元素切成一组每一组共享一个缩放系数scale和一个零点zero point权重按组归一化后存成 4-bit / 8-bit 整数加载时再用各自的 scale 还原。每层的分组数可以这样算对第 2 维向上取整层分组数 out × ceil(flat_cols ÷ 64)举例layers.7.conv.weightflat 形状[256, 1152]256 × ceil(1152 ÷ 64) 256 × 18 4608组。全模型累加后共有 42,576 个缩放组。为什么偏偏选 64这是一个精度与开销的平衡点分组大小精度表现缩放开销太小如 8每组范围窄、更准scale 数量暴涨、占空间64本模型精度足够开销适中是甜点太大如整层每组范围宽、误差大最省但易掉点组越小越精细、但 scale 越多越占空间组越大越省、但每组内误差被放大。64在两者之间取得了平衡这也是这类 6-bit 混合精度模型的常见取值。 量化效果省了 3.9 倍几乎不掉点压缩与精度的实际收益数据来自 README.md指标数值目标 / 达成 BPW6.0 /5.964-bit 层数128-bit 层数114原始 → 量化体积9.9 MB →2.5 MB压缩比3.9×COCO128 检测数548原 FP32 为 557体积缩小近 4 倍检测数只比 FP32 少 9 个约−1.6%。这正是逐层位宽分配想要的结果把比特花在刀刃上。 如何加载使用需要mlx-optiq与yolo-mlx两个包加载时会自动读取 config.json并据此还原量化权重pip install mlx-optiq yolo-mlx from optiq.models.yolo import load_quantized_yolo model load_quantized_yolo(mlx-community/YOLO26n-OptiQ-6bit) results model.predict(image.jpg)也就是说你只需要关心model与predictallocation、shapes、group_size这些细节已经被 runtime 按 config.json 处理好了。✅ 小结字段它回答了什么问题allocation每一层用几个比特→ 114 层 8-bit 12 层 4-bit达成 5.96 BPWshapes/flat_shape权重长什么样→ 4D 原始形状 与 压平后的 2D 量化形状group_size 64缩放按多大粒度分组→ 每 64 个元素共享一组 scalescale: n这是哪个规模档位→ n nano读懂这份 config.json你就掌握了这套 6-bit 量化模型的完整配方哪层该精、哪层可省、形状如何压平、按 64 分组缩放。下次想自己调混合精度策略这张表就是你最好的起点。赞分享【免费下载链接】YOLO26n-OptiQ-6bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/YOLO26n-OptiQ-6bit点击查看免费下载相关推荐JugglObsidian终极图视图插件 - 革命性知识图谱可视化工具完全指南JugglObsidian终极图视图插件 革命性知识图谱可视化工具完全指南 Juggl是Obsidian知识管理软件的终极图视图插件为您的知识图谱提供了革命前端逐字段读懂timesfm-3.0-pytorch的config.json32上下文Patch、20层Transformer与9个关键参数详解逐字段读懂timesfm 3.0 pytorch的config.json32上下文Patch、20层Transformer与9个关键参数详解 TimesFM人工智能基础模型Qwen3-32B-w8a8sc-310-vllm-tp4的config.json逐行解析64层GQA架构与32K上下文参数入门Qwen3 32B w8a8sc 310 vllm tp4的config.json逐行解析64层GQA架构与32K上下文参数入门 本文带你逐行读懂 Qwen3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考