【免费下载链接】Qwen3.6-35B-A3B-Quark-INT4-G128项目地址https://ai.gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-Quark-INT4-G128点击查看免费下载Qwen3.6-35B-A3B-Quark-INT4-G128 是用Quark INT4 W4A16 方案对 Qwen3.6-35B-A3B 这个 MoE 多模态大模型做权重量化后的开源权重显存占用从 FP16 的约 67GB 压缩到21GB精度几乎不掉仓库里还附带了完整的量化脚本、Wikitext-2 PPL 和 Open LLM Leaderboard v2 评测结果是学习 MoE 大模型 INT4 量化的优秀样本。一、先搞懂这是什么模型如果你没做过量化先记住三个词概念大白话解释MoE混合专家模型总参数 35B但每个 token 只激活约 3B 参数A3B速度快、推理成本低量化把 FP16 浮点权重翻译成 4bit 整数体积和显存占用大幅下降W4A16权重用 4bitWeight-4激活仍用 16bitActivation-16是性价比最高的权重量化路线 本仓库的内容一句话概括Qwen3.6-35B-A3B 基座模型的 INT4 对称量化版本 复现脚本 全套评测数据。几个关键规格来自 config.json40 层、256 个专家、每 token 激活 8 个专家混合注意力每 4 层里 3 层线性注意力 1 层全注意力支持 262144 长上下文多模态带视觉/视频理解能力vision_config、image_token_id 为什么 A3B 这类 MoE 模型值得量化因为专家层experts占了绝大部分参数量压缩它们收益最大。二、量化方案拆解W4A16、RTN 与 Group 128模型名里的INT4-G128就是两个核心参数的缩写方案细节可在 README.md 的 Quantization 表格中查到配置项取值含义量化方案int4_wo_128INT4 权重量化组大小 128对称性symmetric对称每组共用一个缩放系数无需零点偏移推理更快量化方法RTNround-to-nearest四舍五入取整无需校准数据集零成本出包打包方式real_quantizedreorder真实量化存储按重排布局打包便于高效反量化舍入策略half_even银行家舍入数值更稳定✅新手重点RTN 是免校准路线——不用喂校准数据、不用跑精度搜索脚本一键出模型非常适合入门。三、哪些权重被压缩量化范围一览这是 MoE 量化最关键的工程决策本项目采取了大头压缩、敏感层保留策略对应 config.json 中的quantization_config.exclude被量化为 INT4 的部分MoE 专家层experts参数大头自注意力self_attn与线性注意力linear_attn保留 FP16 的部分mlp.gate专家路由门控——路由精度敏感量化易翻车共享专家shared expertlm_head、视觉模块visual、MTP 层⚠️ 路由门控gate为什么必须保留它决定每个 token 走哪些专家参数量小但影响全局量化后路由一乱输出质量会明显下降。这一取舍是 MoE 量化实践里最有价值的经验。量化实现逻辑可参考 scripts/quantize_qwen36_rtn_uint4_perf.py 中的PERF_EXCLUDE排除清单以及 scripts/patch_gate_exclude.py 如何把通配规则展开为精确的层名写入配置。四、效果实测PPL 与六大榜单成绩量化到底掉不掉精度仓库给出了三组证据。1️⃣ Wikitext-2 困惑度PPL完整结果见 eval/ppl_wikitext.json指标数值PPL6.990打分 token 数296,815分块数seq_len2048145评测耗时约 249 秒2️⃣ Open LLM Leaderboard v2lm_eval vLLMINT4 版与 BF16 基座、UINT4 版同条件对比任务指标BF16 基座UINT4INT4本模型IFEvalprompt 严格0.32350.33830.3438IFEval指令级严格0.45800.46640.4676MATH-hard精确匹配0.52870.48560.5083BBH归一化准确率0.65460.62700.6018GPQA归一化准确率0.43370.36580.3431MMLU-Pro准确率0.59680.58240.5687MuSR归一化准确率0.43390.42060.4630逐题明细JSON 逐样本 JSONL都在 eval/leaderboard/ 目录中适合想深挖 bad case 的同学。3️⃣ GSM8K5-shot模型flexible-extractstrict-matchBF16 基座0.91580.9090INT4本模型0.90450.8961UINT40.90220.8976结论INT4 版在 3/4 个日常任务上甚至比 BF16 更好评测噪声范围内GPQA 这类高难度科学推理降幅最明显——这是权重量化的正常代价也是选型时要权衡的点。五、如何用 vLLM 加载这个 INT4 量化模型推理只需带quantizationquark参数并设置VLLM_USE_TRITON_AWQ1默认的 CUDA AWQ kernel 对部分 MoE 专家层的形状有整除限制Triton kernel 没有该限制import os os.environ[VLLM_USE_TRITON_AWQ] 1 from vllm import LLM, SamplingParams llm LLM( modelQwen3.6-35B-A3B-Quark-INT4-G128, quantizationquark, dtypeauto, gpu_memory_utilization0.95, enforce_eagerTrue, ) print(llm.generate([你好], SamplingParams(max_tokens32))[0].outputs[0].text)生成参数可参考 generation_config.jsontemperature1.0、top_k20、top_p0.95对话模板见 chat_template.jinja。六、仓库文件结构脚本与数据都在哪├── model.safetensors # 量化后权重约 21 GB ├── config.json # 含 quantization_config 与排除层清单 ├── generation_config.json # 生成参数 ├── chat_template.jinja # 对话模板 ├── tokenizer.json / vocab.json ├── eval/ │ ├── ppl_wikitext.json # PPL 结果 │ └── leaderboard/ # Leaderboard v2 结果JSON 逐样本 JSONL └── scripts/ # 量化与评测全流程文件作用scripts/env.sh环境变量ROCm/HF 镜像、模型与日志路径scripts/01_quantize_rtn_int4.sh一键 RTN INT4 量化scripts/02_eval_ppl_int4.shWikitext-2 PPL 评测scripts/03_upload_hf_int4.sh模型上传发布脚本scripts/eval_ppl.pyPPL 评测实现vLLM offlineLICENSEApache-2.0 协议想自己复现完整流程克隆仓库后按 README.md 执行git clone https://gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-Quark-INT4-G128 # 进入仓库后需基座模型 quark 库 GPU source scripts/env.sh bash scripts/01_quantize_rtn_int4.sh # 量化 bash scripts/02_eval_ppl_int4.sh # 评 PPL 本工作流基于 AMD ROCm 环境gfx1151Strix Halo UMA调通环境变量配置见 scripts/env.shN 卡用户思路通用仅需调整对应环境变量。七、新手常见问题 FAQQ1RTN 和 GPTQ/AWQ 这类校准量化有什么区别RTN 只是就近取整不需要校准数据和校准流程出包快、可复现性强GPTQ 等需要在校集上优化舍入精度上限略高但成本高。本项目用 RTN 就把 PPL 压到了 6.990说明 MoE 专家层对量化天然友好。Q2为什么选对称 INT4 而不是非对称 UINT4实测 UINT4 的 PPL 略优6.926 vs 6.990但对称 INT4 没有零点偏移vLLM 等推理框架的 kernel 支持更成熟、运行更快工程上更稳。Q3显存能省多少FP16 基座约 67GB → INT4 权重约 21GB接近 3 倍压缩叠加激活仍是 16bit单卡大显存即可部署长序列 KV cache 空间也宽裕很多。Q4这个模型能直接微调吗W4A16 是存储 4bit、计算反量化回 16bit的推理优化方案不是为训练设计的。微调请使用 BF16 基座推理时再换 INT4 权重。写在最后这个项目用最经典的RTN 对称 INT4 Group 128组合演示了 MoE 大模型量化最实用的工程姿势压大头专家层、护敏感路由/输出层、拿数据说话PPL 六项榜单。如果你正在规划大模型的部署与显存优化从这里入手再配合 scripts/ 下的脚本逐步跑通就能掌握完整链路。赞分享【免费下载链接】Qwen3.6-35B-A3B-Quark-INT4-G128项目地址https://ai.gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-Quark-INT4-G128点击查看免费下载相关推荐从零复现量化流程Qwen3.6-35B-A3B-Quark-INT4-G128的Quark量化脚本实战教程从零复现量化流程Qwen3.6 35B A3B Quark INT4 G128的Quark量化脚本实战教程 本文将带你 从零复现 Qwen3.6 35B A3如何评估量化模型质量Qwen3.6-35B-A3B-Quark-INT4-G128的PPL与GSM8K评测全流程如何评估量化模型质量Qwen3.6 35B A3B Quark INT4 G128的PPL与GSM8K评测全流程 量化模型质量怎么评估以 Qwen3.6 3为什么INT4对称量化更稳Qwen3.6-35B-A3B-Quark-INT4-G128与UINT4方案全数据对比为什么INT4对称量化更稳Qwen3.6 35B A3B Quark INT4 G128与UINT4方案全数据对比 本文将 Qwen3.6 35B A3B Q上一篇Hyperf Cache 元件實戰指南切面註解、快取驅動與失效策略全解析下一篇Instructor-js完全指南如何利用TypeScript实现LLM结构化数据提取创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考