【免费下载链接】Qwen3.6-35B-A3B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/RedHatAI/Qwen3.6-35B-A3B-NVFP4点击查看免费下载Qwen3.6-35B-A3B-NVFP4 是 RedHatAI 基于 Qwen3.6-35B-A3B 发布的 NVFP4 4-bit 量化模型权重与激活均采用 4 位浮点存储面向推理与工具调用tool calling场景。本文用仓库中自带的 11 项基准评测数据README.md逐项解析量化后的精度恢复率AIME 2025 恢复到 98.2%SWE-bench Verified 仅 91.6%——差距背后的规律对判断量化版能否替代原版很有参考价值。NVFP4 量化配置速览4-bit 权重、动静态分组、哪些层没动在解析分数前先明确压缩了什么数据才读得懂量化方案NVFP44-bit 浮点权重与激活全部量化采用compressed-tensors格式由 llm-compressor 完成配方见 recipe.yaml分组策略group_size16的 tensor_group 分组量化权重使用memoryless_minmax观测器激活使用static_minmax静态观测器缩放因子为 FP8float8_e4m3fn详见 config.json 中的quantization_config刻意保留高精度的模块视觉塔model.visual.*、词嵌入embed_tokens、lm_head、MoE 路由门mlp.gate、shared_expert_gate以及线性注意力层linear_attn.*均不参与量化校准256 条 ultrachat_200k 样本、最长 4096 序列并对所有 MoE 专家做了全专家校准moe_calibrate_all_expertsTrue模型本体35B 总参数、每 token 激活 8/256 个专家约 3B 激活参数的 MoE 混合注意力架构另带独立的视觉权重 model_visual.safetensors 与 MTP 模块 model_mtp.safetensors一句话把最占体积的 Linear 层压到 4-bit把怕量化的路由、注意力与视觉部分原样保留——这正是后面分数分布的伏笔。11项基准精度恢复率总表一眼看清量化损失分布评测由 vLLM 提供服务使用 lm-evaluation-harness 与 lighteval 跑知识/推理类基准BFCL v4 跑工具调用每项基准用 3 个随机种子AIME 用 8 个取平均。恢复率 量化版得分 ÷ 原版得分基准原版 Qwen3.6-35B-A3BNVFP4 量化版恢复率GSM8K Platinum0-shot95.7396.08100.37%IFEval0-shot93.0992.4599.31%MMLU Pro Chat85.3284.7099.28%AIME 202592.9291.2598.21%GPQA Diamond84.5184.68100.20%MATH-50084.8085.00100.24%LiveCodeBench v677.3374.6796.55%BFCLv4 Overall57.8356.1097.01%BFCLv4 Single Turn53.8153.4599.34%BFCLv4 Multi-Turn62.2558.1393.38%BFCLv4 Agentic49.9149.3198.80%SWE-bench Verified54.8050.2091.61%BFCLv4 Overall 是其三个子项的汇总分正文按 11 项独立基准7 项知识推理 3 项 BFCLv4 子类 SWE-bench展开。 规律非常清晰恢复率与任务链条长度强相关。单轮短任务普遍 ≥98%多轮与长程 Agent 任务则掉到 91%~97%。数学与推理基准AIME、GPQA、MATH-500 几乎无损AIME 202592.92 → 91.25恢复98.21%。这是 8 个种子42、1234、4158、5322、1356、9843、3344、5678的平均值原始记录见 nvfp4_every_eval_ever/aime25.json绝对损失约 1.7 个百分点GPQA Diamond84.51 → 84.68恢复100.20%量化版反而略高MATH-50084.80 → 85.00恢复100.24%GSM8K Platinum95.73 → 96.08恢复100.37%恢复率超过 100% 并不代表量化变强了而是多轮随机采样temperature1.0带来的波动区间所致——原版与量化版在误差范围内持平。对单次推理即出答案的数学/科学题NVFP4 的精度损失基本可以忽略。代码能力LiveCodeBench 稳SWE-bench 是全场最低代码类基准分两层看LiveCodeBench v6代码生成77.33 → 74.67恢复96.55%明细在 nvfp4_every_eval_ever/lcb_codegeneration_v6.json。生成一道题一段代码尚可接受SWE-bench Verified真实仓库级缺陷修复54.80 → 50.20恢复91.61%是全部 11 项中的最低分原始记录见 nvfp4_every_eval_ever/swebench.json 与 bf16_every_eval_ever/swebench.json为什么 SWE-bench 掉得最多因为它的答题过程不是一次生成而是一条长程动作链读代码 → 定位缺陷 → 写补丁 → 跑测试 → 失败后修正重试。量化引入的微小数值偏差会在几十轮推理中逐级放大一步偏航往往导致整题失败。这与 BFCLv4 Multi-Turn 的表现互相印证见下节。工具调用 BFCL v4单轮近无损Multi-Turn 掉得最多BFCL v4 按场景拆成三类子项逐项对比来自 base_score/data_overall.csv 与 score/data_overall.csv单轮Non-Live Live53.81 → 53.45恢复 99.34%单轮简单调用、无关请求识别Irrelevance Detection 非 live 场景 90.00% → 87.08%基本持平明细见 score/non_live/ 与 score/live/ 下的得分 JSON多轮Multi-Turn62.25 → 58.13恢复 93.38%score/data_multi_turn.csv 显示四个子类全线下滑Base 74.50% → 69.00%、Miss Func 60.00% → 53.00%、Miss Param 51.50% → 48.00%、Long Context 63.00% → 62.50%掉点集中在**对话中缺少函数/参数的纠错场景**要求模型结合前几轮上下文自我修正——多轮上下文越长误差累积越明显Agentic记忆 联网搜索49.91 → 49.31恢复 98.80%score/data_agentic.csvMemory 子类 48.82% → 51.61%Recursive Summarization 从 44.52% 升到 56.77%略有提升失分主要在 Web Search No Snippet43.00% → 36.00%无摘要的纯链接搜索结果对模型信息整合要求更高完整评测过程日志可见 results_35B-A3B_NVFP4_all.txt 与 results_35B-A3B_base_all.txt长程任务为何掉分更狠误差累积效应把 11 项恢复率按推理链长度排序会得到一条近乎单调的曲线任务形态代表基准恢复率单轮短链IFEval / MMLU-Pro≈99.3%单轮长推理AIME 202598.21%单轮生成LiveCodeBench v696.55%多轮对话纠错BFCLv4 Multi-Turn93.38%多轮长程 AgentSWE-bench Verified91.61%原因不复杂4-bit 权重每次前向都带一点舍入噪声单轮任务里噪声被平均掉而在生成 → 观察 → 再生成的循环里每一步的输出都是下一步的输入噪声会像滚雪球一样传递。这也解释了为什么量化时把 MoE 路由门mlp.gate排除在外——路由一旦选错专家整层输出就偏了是长链任务最脆弱的环节。如何复现vLLM 部署与多种子评测命令部署只需一条命令注意--moe_backend flashinfer_cutlass参数vllm serve RedHatAI/Qwen3.6-35B-A3B-NVFP4 --reasoning-parser qwen3 --moe_backend flashinfer_cutlass评测时则用纯语言模型模式起服务再跑 lm-eval / lighteval / bfclvllm serve RedHatAI/Qwen3.6-35B-A3B-NVFP4 --reasoning-parser qwen3 --language-model-only --max-model-len 96000复现要点每项基准跑 3 个种子取平均AIME 2025 跑 8 个种子采样参数为 temperature1.0、top_p0.95、top_k20、presence_penalty1.5与 generation_config.json 的默认采样设置一致。完整的分步命令在 README.md 的 Reproduction 小节量化配方可对照 recipe.yaml。选型建议NVFP4 版适合什么场景结合恢复率分布给出几条实用结论数学、竞赛题、知识问答、指令遵循AIME/GPQA/MATH-500/IFEval/MMLU-Pro恢复率 ≥98%放心用量化版省下的是显存与显存带宽单轮工具调用BFCLv4 Single Turn99.34%FC 格式解析能力几乎无损适合 API 网关、单 Agent 应用多轮对话纠错、长程代码修复Multi-Turn 93.38%、SWE-bench 91.61%确有 3~8 个百分点的绝对损失若业务对这类场景有硬性 SLA建议保留 BF16 原版做关键路径成本参考BFCL v4 全程成本 $15.12 → $14.97平均时延 13.66s → 13.46s、P95 时延 28.68s → 24.44s见两份data_overall.csv推理开销基本持平收益主要在部署侧的显存占用总结Qwen3.6-35B-A3B-NVFP4 的精度画像很健康——短板不在模型智力而在长链任务的误差累积把 NVFP4 理解为98 分保底的单轮全能手 92 分上下的长程 Agent就能在成本与精度之间做出准确取舍。赞分享【免费下载链接】Qwen3.6-35B-A3B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/RedHatAI/Qwen3.6-35B-A3B-NVFP4点击查看免费下载相关推荐[Project Name] Design SystemProject Name Design System 0. Research Log greenfield only 1. Atmosphere Ident人工智能AI Agent代码智能体多智能体MCP ClientsAgent 编排CANN AMCT 结构化剪枝实战指南从 MiniMLP 到 Qwen3.6-35B-A3B 的 MoE 专家剪枝与恢复微调CANN AMCT 结构化剪枝实战指南从 MiniMLP 到 Qwen3.6 35B A3B 的 MoE 专家剪枝与恢复微调 导读 本文是 CANN AMCT人工智能大模型模型量化模型压缩模型优化Ascend终极指南Windows 11 24H2 LTSC微软商店一键恢复与优化方案终极指南Windows 11 24H2 LTSC微软商店一键恢复与优化方案 Windows 11 24H2 LTSC版本以其稳定性和高效性深受企业用户和技术爱运维CLI上一篇gh_mirrors/caf/caffe2论文解读原始框架设计思想分析下一篇免费U盘启动盘制作神器Rufus从新手到高手的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考