【免费下载链接】Qwen3.8-35B-A3B-Distill-GGUF项目地址https://ai.gitcode.com/hf_mirrors/empero-ai/Qwen3.8-35B-A3B-Distill-GGUF点击查看免费下载Qwen3.8-35B-A3B-Distill-GGUF是 Empero 团队发布的 Qwen3.8-35B-A3B-Distill 蒸馏模型的GGUF 量化文件合集包含从 12 GB 的 IQ2_M 到 71 GB 的 BF16 全精度、共 11 个文件可直接用于 llama.cpp、Ollama、LM Studio、Jan、KoboldCpp 等本地推理运行时。本文提供完整的文件清单与显存匹配表帮你在 1 分钟内定位适合自己显卡的那一份。一、这是什么模型35B 总量、每 token 只激活 3B先看懂两个关键数字就能理解为什么它比同体积的普通模型更好跑特性说明MoE 架构总参数量 35B每 token 仅激活约 3B推理速度远快于同量级的稠密dense35B 模型混合注意力Qwen3.6 级混合结构30 层 Gated DeltaNet 10 层全注意力256 个专家每 token 路由 8 个蒸馏而来由 Qwen3.8 前沿模型蒸馏到 Qwen3.6-35B-A3B 架构文本能力与推理reasoning表现突出运行门槛稀疏架构让 CPU / 部分 offload 推理非常实用但整个权重文件仍必须装进内存或显存⚠️ 注意模型采用 Gated DeltaNet MoE 结构需要支持 Qwen3.6 / Gated DeltaNet MoE 的较新 llama.cpp 构建版本旧版会直接加载失败。二、11 个量化文件完整清单仓库中全部 11 个文件一览体积为十进制 GB1 GB 1,000,000,000 字节#文件量化体积定位1Qwen3.8-35B-A3B-IQ2_M.ggufIQ2_M12.558 GB最小可用能塞进 16 GB 显存2Qwen3.8-35B-A3B-Q2_K.ggufQ2_K13.839 GB2-bit K-quant同体积下运行时兼容性最广3Qwen3.8-35B-A3B-IQ3_M.ggufIQ3_M16.340 GB3-bit 下单位字节质量更强4Qwen3.8-35B-A3B-Q3_K_M.ggufQ3_K_M17.664 GB传统 3-bit K-quant5Qwen3.8-35B-A3B-IQ4_XS.ggufIQ4_XS19.628 GB接近 Q4_K_M 质量体积还小约 2 GB6Qwen3.8-35B-A3B-Q4_K_M.ggufQ4_K_M21.713 GB⭐官方推荐质量/体积最佳平衡7Qwen3.8-35B-A3B-Q5_K_M.ggufQ5_K_M25.348 GB质量更高体积增幅温和8Qwen3.8-35B-A3B-Q6_K.ggufQ6_K29.209 GB接近无损9Qwen3.8-35B-A3B-Q8_0.ggufQ8_037.802 GB最高质量量化10Qwen3.8-35B-A3B-BF16.ggufBF1671.067 GB全精度参考版11mmproj-Qwen3.8-35B-A3B-F16.ggufF160.899 GB视觉投影器vision projector配合任意文本量化实现图片输入 补充所有 IQ* 系列以及 2/3-bit K-quant 均使用重要性矩阵importance matrix校准这正是它们在低比特下仍能保持连贯输出的原因。三、1分钟选文件按你的显存/内存对号入座按小上下文 权重装得下的标准官方给出的匹配建议如下你的硬件推荐文件16 GB 显存 或 16 GB 系统内存IQ2_M / Q2_K还能保持连贯的最小规格20–24 GB 显存 或 24 GB 内存IQ3_M / Q3_K_M24 GB 显存全 GPU 加载或 32 GB 内存纯 CPUIQ4_XS /Q4_K_M多数用户的最优解32 GB 显存 或 48 GB 内存Q5_K_M / Q6_K48 GB 显存 或 64 GB 内存Q8_080 GB 显存 或 96 GB 内存BF16仅参考基准两个实用提醒长上下文时 KV cache 才是大头长对话/长文档场景下KV cache 开销会成为主要成本即便权重量化很低也可能需要部分 offload。MoE 红利因为每 token 只激活约 3B 参数CPU 推理和部分权重放显存的混合模式比同体积稠密模型实用得多——显存不够 24 GB 也别直接放弃试试 Q4_K_M 部分 offload。四、快速上手llama.cpp 与 Ollama 两种跑法方式一llama.cpp 命令行llama-cli -m Qwen3.8-35B-A3B-Q4_K_M.gguf \ --temp 0.6 --top-p 0.95 --top-k 20 \ -n 16384 -cnv-cnv启用文件内置的聊天模板chat template无需自己配置。它是推理模型每条回答开头都会先输出think.../think思考块所以-n要留足建议 16384面向终端展示时再剥掉思考段即可。方式二Ollama / LM Studio / Jan / KoboldCpp下载对应 GGUF 后直接加载即可聊天模板已内嵌在文件里。推荐采样参数temperature0.6, top_p0.95, top_k20。视觉输入mmproj 投影器 任意量化llama-mtmd-cli -m Qwen3.8-35B-A3B-Q4_K_M.gguf \ --mmproj mmproj-Qwen3.8-35B-A3B-F16.gguf \ --image photo.jpg -p Describe this image.视觉塔完整继承自 Qwen3.6-35B-A3B 基座蒸馏只做了文本部分视觉行为未单独评测按需使用。五、下载后验证用 SHA256 确认文件完整仓库附带 SHA256SUMS 清单覆盖全部 11 个 GGUF 文件。下载完成后执行sha256sum -c SHA256SUMS --ignore-missing全部显示OK即校验通过避免下断/下错导致模型加载报架构错误的误判。六、小结问题答案24 GB 显卡该下哪个Q4_K_M21.713 GB官方推荐质量/体积平衡最佳16 GB 显卡能跑吗可以选 IQ2_M12.558 GB或 Q2_K13.839 GB显存不够怎么办MoE 每 token 仅激活 3BCPU/混合 offload 依然实用想看图任意文本量化 mmproj-Qwen3.8-35B-A3B-F16.gguf仅 0.899 GB更多细节在哪看README.md权重采用 Apache-2.0 许可继承自 Qwen 基座。更多能力说明与基准测试请参考上游主模型卡本地部署就从上面的清单挑一个文件开始吧 赞分享【免费下载链接】Qwen3.8-35B-A3B-Distill-GGUF项目地址https://ai.gitcode.com/hf_mirrors/empero-ai/Qwen3.8-35B-A3B-Distill-GGUF点击查看免费下载相关推荐Tiel-Coder-35B-A3B-GGUF量化档位选择全清单Q2到Q8共9个版本你的显存该选哪一档Tiel Coder 35B A3B GGUF量化档位选择全清单Q2到Q8共9个版本你的显存该选哪一档 Tiel Coder 35B A3B GGUF 是一人工智能大模型基础模型代码模型模型量化本地部署多模态Omni Parse Bench完整指南为什么单一分数评不出最好的文档解析工具以及如何找到最适合你自己文档的那一个Omni Parse Bench完整指南为什么单一分数评不出最好的文档解析工具以及如何找到最适合你自己文档的那一个 Omni Parse Bench 是 D数据集AI 评测OCR数据标注如何在302个动作中快速找到最合适的那一个workout-guide搜索与过滤技巧详解如何在302个动作中快速找到最合适的那一个workout guide搜索与过滤技巧详解 workout guide 是一个包含 302 个开源健身动作插画的免创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考