【免费下载链接】Qwen3.8-27B-NVFP4-BF16-LMHead项目地址https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead点击查看免费下载Qwen3.8-27B-NVFP4-BF16-LMHead 是 27B 参数多模态大模型 Qwen3.8-27B 的 NVFP4 量化版本MLP 权重压到 4-bit、注意力压到 8-bit唯独保留 BF16 精度的 lm_head。它在 GSM8K 数学基准上跑出96.13%在 Terminal-Bench 2.1 上跑出69.4%并随模型发布了一套完整的资质验收档案。这篇文章把这两个数字的完整测试链路和验收闸门一次性讲清楚。一、 先认识这个模型27B 参数体积瘦身约 60%Qwen3.8-27B 原生支持文本、图像、视频输入上下文长度最高 262,144 token见 config.json。量化后的检查点只保留 3 个权重分片model-00001-of-00003.safetensors 等总体积21.9 GB而源模型 18 个分片共55.5 GB——瘦身约 60%源与输出清单对比记录在 conversion-manifest.json 中。混合精度方案MIXED_PRECISION让不同模块各司其职模块精度覆盖范围MLPgate_proj / up_proj / down_projNVFP4 W4A4group size 16193 个基张量注意力linear_attn / self_attn 各投影FP8208 个基张量lm_head、MTP 层、视觉塔BF16与源模型逐字节一致798 个张量、4.37 GB这套分工在 hf_quant_config.json 中逐层列出量化校准使用 1,024 条 cnn_dailymail 训练集样本、序列长 512、随机种子 1234见 conversion-manifest.json 的 calibration 段。整个制作与验证流程基于 NVIDIA Model Optimizermodelopt 0.47.0.dev0运行在 4×NVIDIA GB300Blackwell 架构上。二、 GSM8K 96.13%一条完整的数学推理测试链GSM8K 是小学数学应用题基准测试集共 1,319 题。这次评测的协议完整记录在 README.md硬件与引擎4×NVIDIA GB300SGLang 张量并行 TP4开启 NEXTN 3/1/4 投机解码用 MTP 层做草稿模型数据完整 1,319 题全量评测不做抽样模式thinking 模式开启思考链采样模型默认参数——temperature 1.0、top_k 20、top_p 0.95即 generation_config.json 中那份配置seed 0结果96.13%1,268/1,319且 1,319 题全部以正常 stop 结束——零截断、零报错、零空输出。作为参照把 lm_head 也量化的源 NVFP4 检查点在同样协议下得到 96.36%1,271/1,319。两者差距不到 0.3 个百分点处于 temperature 1.0 单次采样的噪声范围内说明保留 BF16 lm_head 既没有明显加分也没有掉分。三、 Terminal-Bench 69.4%Agent 能力的另一面Terminal-Bench 2.1 考察模型在终端里干活的能力读文件、执行命令、调试脚本属于典型的 AI Agent 场景。评测协议README.mdClaude Code 2.1.228 作为 Agent 外壳 DFlash2 drafterpass1 计分。88 个任务 × 4 轮重复通过 247/356即69.4%单轮口径为 68.18%60/88。两个基准合起来看GSM8K 验证推理底子扎实Terminal-Bench 验证能动手干活覆盖了量化后模型能力验收最关心的两条主线。需要说明的是两项评测均为纯文本口径尽管模型本身支持图像/视频输入。四、✅ 资质验收详解7 道闸门与一份 pass 报告这个仓库最有意思的地方是它随模型一起发布了两份验收档案qualification-criteria.json验收标准相当于考纲——事先约定数据集、运行时参数、采样参数与各项阈值qualification.json实测结果相当于成绩单最终verdict字段为pass 验收闸门与实测对照闸门gates阈值实测最低准确率 minimum_accuracy≥ 96.5%97.27%1,283/1,319停止率 required_stop_rate 100%1,319/1,319 全部正常 stop截断 maximum_truncations00请求错误 maximum_request_errors00空输出 maximum_empty_generations00OOM 次数 target_oom_kills0启动前/加载后/评测后/关闭后 4 个时点全为 0MTP 接受长度 minimum_mtp_acceptance_length≥ 1.02.775注验收跑记录的 GSM8K 成绩为 97.27%qualification.json略高于对外公布的 96.13%两次均为 temperature 1.0 单次采样属正常波动。几个值得注意的细节MTP 投机解码实测有效最终接受长度 2.775即平均每次草稿能接受约 2.8 个 token显著高于 1.0 的底线说明 NEXTN 3/1/4 配置下投机解码确实在提速而不是空转。FP8 KV Cache 的诚实备注运行时启用了 fp8_e4m3 KV cache但未提供校准的缩放因子默认按 1.0 处理。报告在 qualification.json 中如实记录了这条 warning——把坑也写进档案正是资质验收的价值所在。张量审计独立复核tensor-audit.json 对输出逐张量核验——2,194 个张量、401 个 input-scale 张量、约 11.5 亿个 scale 值798 个未改动张量与源模型逐字节一致verdict 同为 pass。五、 证据链8 个 SHA-256 让结果可复核qualification.json 的evidence_sha256段为 8 份证据材料逐一计算了 SHA-256转换清单、评测日志、评测指标、逐题预测、张量审计、验收标准、运行时指标、服务日志。这套机制意味着任何人拿到同一份检查点后都能对照哈希值确认我复现评测所依据的材料与发布方是否一致。再配合 conversion-manifest.json 中源模型 99 个文件的逐文件哈希清单整个源模型 → 量化 → 评测 → 验收链条可追溯、可复核而不仅是 README 里的两个百分比。六、️ SGLang 一键部署与文件核对官方推荐用 SGLang 起服务4×Blackwell 配置来自 README.mdsglang serve \ --trust-remote-code \ --model-path RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead \ --tp-size 4 \ --mem-fraction-static 0.75 \ --speculative-algorithm NEXTN \ --speculative-num-steps 3 \ --speculative-eagle-topk 1 \ --speculative-num-draft-tokens 4 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --host 0.0.0.0 \ --port 30000拿到仓库后建议先做两件事用 model.safetensors.index.json 核对 3 个分片的张量索引是否完整对照 LICENSE 确认 Apache License 2.0 条款本模型为 Qwen3.8-27B 的量化衍生版能力与限制以上游模型卡为准。七、 小结这份验收档案为什么值得参考成绩可复现96.13% 的 GSM8K 与 69.4% 的 Terminal-Bench 都绑定了明确的硬件4×GB300、引擎版本、采样参数与数据集切分闸门先于成绩验收标准写在 criteria 文件里成绩单逐项对照pass不是一句口号档案完整转换、审计、评测、证据哈希四类文件互相印证瘦身 60% 后能力没打折扣这一结论有据可查对于需要在 Agent、对话或 RAG 系统里部署 4-bit 量化大模型的开发者来说这套量化配方 完整验收文档的范式本身就是最有价值的一课。赞分享【免费下载链接】Qwen3.8-27B-NVFP4-BF16-LMHead项目地址https://ai.gitcode.com/hf_mirrors/RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead点击查看免费下载相关推荐为什么4bit量化模型还保留BF16输出层揭秘Qwen3.8-27B-NVFP4-BF16-LMHead的精度取舍为什么4bit量化模型还保留BF16输出层揭秘Qwen3.8 27B NVFP4 BF16 LMHead的精度取舍 Qwen3.8 27B NVFP4 BF1一个22GB量化检查点该长什么样Qwen3.8-27B-NVFP4-BF16-LMHead文件构成清单详解一个22GB量化检查点该长什么样Qwen3.8 27B NVFP4 BF16 LMHead文件构成清单详解 Qwen3.8 27B NVFP4 BF16 LMQwen3.8-27B-NVFP4-BF16-LMHead完全指南1分钟看懂这款NVFP4量化27B多模态模型Qwen3.8 27B NVFP4 BF16 LMHead完全指南1分钟看懂这款NVFP4量化27B多模态模型 Qwen3.8 27B NVFP4 BF16上一篇DiffableDataSources在macOS和tvOS上的应用跨平台数据源管理解决方案下一篇零代码到可视化Aurelia 1集成D3.js构建动态数据图表创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考