【免费下载链接】Qwen3.6-35B-A3B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-GGUF点击查看免费下载Qwen3.6-35B-A3B-GGUF是阿里 Qwen3.6-35B-A3B 大模型的 GGUF 量化权重仓库由 unsloth 团队整理发布。通过GGUF 量化格式你可以在自己的电脑上完成本地推理35B 总参数量、仅激活 3B 的 MoE 架构让中高端显卡甚至高性能 CPU 也能流畅跑起这个具备 262K 超长上下文、原生多模态的编码 Agent 模型。本教程带你 5 分钟跑通第一次对话。一、30秒认识 Qwen3.6-35B-A3B 本地模型在动手前先了解你要跑的是什么详见 README.md特性说明架构MoE混合专家总参数 35B每次仅激活 3B上下文原生 262,144 tokens可扩展至 1,010,000模态文本 图像 视频配套 mmproj 投影文件亮点强化 Agentic Coding 能力支持工具调用、思考模式 MoE 的关键优势激活参数少 推理速度快。日常对话和代码任务的响应速度远快于同规模的稠密模型。二、看懂仓库文件该下载哪个 GGUF 文件仓库内按不同量化精度组织好了所有文件下载前建议先看这张选型表文件精度大致体积适合场景Qwen3.6-35B-A3B-UD-Q4_K_M.ggufQ4_K_M~20 GB⭐新手首选质量/体积平衡最佳Qwen3.6-35B-A3B-UD-Q5_K_M.ggufQ5_K_M~24 GB24G 显存以上追求更高精度Qwen3.6-35B-A3B-UD-IQ3_S.ggufIQ3_S~15 GB内存吃紧的轻量部署Qwen3.6-35B-A3B-UD-IQ2_XXS.ggufIQ2_XXS~10 GB极限压缩仅体验用Qwen3.6-35B-A3B-Q8_0.ggufQ8_0~36 GB高显存下的近无损精度BF16/Qwen3.6-35B-A3B-BF16-00001-of-00002.ggufBF16~70 GB研究/微调多文件需全部下载配套文件说明mmproj-F16.gguf多模态投影文件。想给它传图片就下载一个F16/F32 任选纯文本推理可不下载imatrix_unsloth.gguf_fileunsloth 制作 UD 量化时使用的 imatrix 数据文件普通用户无需关心它保证了 UD 系列量化在低比特下的质量。新手建议只下载UD-Q4_K_M.ggufmmproj-F16.gguf两个文件约 21 GB。三、用 llama.cpp 一键启动本地服务GGUF 文件的标准运行器是 llama.cpp各平台均已提供编译好的二进制包。第 1 步准备文件将下载好的Qwen3.6-35B-A3B-UD-Q4_K_M.gguf和mmproj-F16.gguf放到同一个目录例如~/qwen36/。第 2 步启动服务llama-server -m ~/qwen36/Qwen3.6-35B-A3B-UD-Q4_K_M.gguf \ --mmproj ~/qwen36/mmproj-F16.gguf \ -c 8192参数解释-m模型文件路径--mmproj多模态投影文件纯文本可省略-c 8192上下文长度设为 8K内存不足时这是第一优先调小的参数第 3 步打开浏览器对话服务启动后访问http://localhost:8080即可看到内置聊天界面输入你好介绍一下你自己看到流式输出即代表跑通 更简单的方式不想碰命令行可以下载LM Studio等图形化工具拖入.gguf文件即可运行原理完全相同。四、推荐采样参数效果直接翻倍模型默认开启思考模式先输出思考过程再回答官方推荐的通用参数如下# 通用思考模式 temperature1.0, top_p0.95, top_k20, presence_penalty1.5 # 精细编码任务如 Web 开发 temperature0.6, top_p0.95, top_k20, presence_penalty0.0在 llama.cpp 服务中可通过 WebUI 或 API 请求体设置presence_penalty在 0~2 之间调整可有效减少复读现象若想要直接回答不思考通过 API 传入chat_template_kwargs: {enable_thinking: false}即可。五、常见问题排查新手必踩的 3 个坑Q1报 out of memory / OOM 怎么办按顺序尝试① 把-c调小到 4096 或 2048② 换更低量化如 Qwen3.6-35B-A3B-UD-IQ3_S.gguf③ 增加--n-gpu-layers把更多层放显卡。Q2输出乱码或答非所问通常是量化过猛或文件下载不完整。优先使用 Q4_K_M 及以上精度并用下载工具校验文件完整性UD 系列基于 imatrix_unsloth.gguf_file 校准本身质量有保障。Q3推理速度太慢MoE 模型对 CPU 内存带宽敏感确保内存为双通道 DDR4/DDR5显卡显存放不下的层会自动回落到 CPU属正常现象不影响正确性关闭不需要的多模态支持去掉--mmproj可释放一部分内存。六、小结步骤耗时动作1~1 min选型并下载 Q4_K_M mmproj 文件2~1 min安装 llama.cpp或 LM Studio3~1 minllama-server启动本地服务4~1 min浏览器打开聊天界面开聊5~1 min按官方推荐参数微调采样至此你已经在本地跑通了Qwen3.6-35B-A3B 的 GGUF 量化模型——它不仅能陪你聊天写代码接入工具调用后还能作为 Agent 完成更复杂的自动化任务。祝使用愉快赞分享【免费下载链接】Qwen3.6-35B-A3B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-GGUF点击查看免费下载相关推荐5分钟跑起来Qwen3.6-14B-A3B-FableVibes-GGUF本地部署快速上手教程llama.cpp一条命令版5分钟跑起来Qwen3.6 14B A3B FableVibes GGUF本地部署快速上手教程llama.cpp一条命令版 Qwen3.6 14B A3B如何在 Apple Silicon 上 5 分钟跑起 Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B本地部署完全教程如何在 Apple Silicon 上 5 分钟跑起 Qwen3.6 35B A3B OptiQ 4bit REAP 19B本地部署完全教程 想在 Mac 上如何在llama.cpp上5分钟跑通MiniCPM-V 4.7 GGUF新手本地多模态大模型快速上手教程如何在llama.cpp上5分钟跑通MiniCPM V 4.7 GGUF新手本地多模态大模型快速上手教程 MiniCPM V 4.7 35B A3B gguf大模型基础模型多模态本地部署openBMB上一篇如何用Dough快速实现5种超酷的Squishy交互效果下一篇ComfyUI-KJNodesAI图像处理的终极节点库完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考