【免费下载链接】Qwen3.6-35B-A3B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-GGUF点击查看免费下载Qwen3.6-35B-A3B-GGUF 是专为智能体编程优化的本地大模型总参数 35B、激活仅 3B配合 GGUF 量化格式可在消费级硬件上流畅运行。本文将带你完成从模型下载到接入 Codex 与 OpenCode 的全过程用 Qwen3.6-35B-A3B-GGUF 打造一个完全私有的本地 AI 编程助手代码不出内网响应又快又省钱。Qwen3.6-35B-A3B 是什么为 Agentic Coding 而生的 MoE 大模型这一代 Qwen3.6 的官方定位非常明确智能体编程Agentic Coding。相比上一代它在两大方向上有实质升级前端工作流与仓库级推理处理整个代码仓库的理解、跨文件改动、前端开发流程更流畅精准思考上下文保留Preserve Thinking新增preserve_thinking选项保留历史消息中的推理上下文让多轮迭代开发更连贯、更省 token。模型关键规格一览规格项数值总参数 / 激活参数35B / 3BMoE 架构专家结构256 个专家每次激活 8 路由 1 共享上下文长度原生 262,144 tokens可用 YaRN 扩展至约 1,010,000多模态带视觉编码器支持图像输入工具调用显著改进嵌套对象解析适配 Agent 场景由于激活参数只有 3B它在 CPU 内存混合推理下速度非常快——这正是本地 AI 编程助手能够实用的关键。本仓库由 Unsloth 提供全套 UD动态量化GGUF 文件详细说明见 README.md。GGUF 量化怎么选一张表搞定显存与质量平衡仓库提供了从 1bit 到 BF16 的全档位 GGUF 量化文件均位于仓库根目录另有 BF16/ 目录存放全精度分片。由于 MoE 模型大部分权重在专家层激活少、存储多内存混合-ngl 0或部分 GPU 层反而是最佳实践。量化档位代表文件体积参考含权重推荐场景Q8_0Qwen3.6-35B-A3B-Q8_0.gguf≈37 GB追求近全精度内存 ≥48 GBQ6_KQwen3.6-35B-A3B-UD-Q6_K.gguf≈29 GB高质量 长上下文主力档Q5_K_MQwen3.6-35B-A3B-UD-Q5_K_M.gguf≈25 GB高保真日常编程Q4_K_MQwen3.6-35B-A3B-UD-Q4_K_M.gguf≈20 GB⭐多数人的最优起点Q3_K_SQwen3.6-35B-A3B-UD-Q3_K_S.gguf≈16 GB16 GB 内存/显存机器Q2_K_XLQwen3.6-35B-A3B-UD-Q2_K_XL.gguf≈13 GB低配机器保底可用IQ2_XXSQwen3.6-35B-A3B-UD-IQ2_XXS.gguf≈9 GB极限低配体验功能BF16 全精度BF16/ 目录双分片≈70 GB生产/评测基准UD 前缀代表 Unsloth Dynamic 动态量化对重要层保留更高精度同档位下通常比传统 K-量化质量更好其校准依据来自 imatrix_unsloth.gguf_file。带视觉需求的用户还需要下载多模态投影文件mmproj-F16.gguf推荐或 mmproj-BF16.gguf。如果本地没有这些权重可以用 git 方式获取整个仓库git clone https://gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-GGUFllama.cpp 三步启动让本地模型开口说话本地 AI 编程助手的地基是一个 OpenAI 兼容 API 服务。用 llama.cpp 的llama-server只需三步第 1 步安装 llama.cpp从 llama.cpp 项目获取最新构建或可执行文件建议启用 CUDA/Vulkan 后端以获得加速。第 2 步启动本地服务llama-server \ -m Qwen3.6-35B-A3B-UD-Q4_K_M.gguf \ --port 8080 \ --ctx-size 32768 \ --n-gpu-layers 99 \ --jinja--n-gpu-layers 99尽可能把层卸载到 GPU显存不够会提示 OOM此时改为 0纯 CPUMoE 模型依然可用或按需调小--jinja启用官方 chat template工具调用格式才正确务必开启上下文默认给 32K 足够起步内存充裕可提到--ctx-size 65536。第 3 步验证服务浏览器访问http://localhost:8080输入一句你好介绍下你自己看到流式输出即成功。此时http://localhost:8080/v1就是一个标准的 OpenAI 兼容端点Codex 与 OpenCode 都会直接用它。接入 OpenCode把终端变成 AI 编程工作台OpenCode 是开源的终端 AI 编程 Agent原生支持 OpenAI 兼容模型。只需一份配置文件创建opencode.json放在项目根目录{ $schema: https://opencode.ai/config.json, provider: { local-qwen: { npm: ai-sdk/openai-compatible, name: Qwen3.6 Local, options: { baseURL: http://localhost:8080/v1 }, models: { Qwen3.6-35B-A3B-GGUF: { name: Qwen3.6-35B-A3B (Local GGUF) } } } } }启动 Agentopencode -m local-qwen/Qwen3.6-35B-A3B-GGUF之后就可以直接下达任务比如帮我重构 src/ 下的订单模块并补上单元测试。Qwen3.6 对工具调用的嵌套对象解析做了专项优化在 OpenCode 这类需要大量读写文件、执行命令的 Agent 中表现稳定。接入 Codex让 CLI 成为本地结对程序员Codex CLI 同样支持自定义模型提供方。编辑~/.codex/config.tomlmodel Qwen3.6-35B-A3B-GGUF model_provider local [model_providers.local] name llama.cpp Qwen3.6 base_url http://localhost:8080/v1 wire_api chat说明base_url指向你 llama.cpp 服务地址wire_api chat表示走 Chat Completions 接口配置完成后运行codex输入/model确认当前模型然后直接提问或下达开发任务即可。 本仓库的模型已支持Developer Role开发者角色对话因此模型在 Codex、OpenCode 这类以开发者身份对话的编程 Agent 中行为一致、角色不跑偏——这是官方专门为 Agentic 场景做的适配。智能体编程参数调优官方推荐配置README 中的 Best Practices 给出了不同场景的采样参数接本地模型时建议同步设置日常编程思考模式通用任务temperature1.0 top_p0.95 top_k20 presence_penalty1.5 repetition_penalty1.0精细编码任务如 WebDev 前端开发temperature0.6 top_p0.95 top_k20 presence_penalty0.0 repetition_penalty1.0Agent 场景强烈建议开启思考保留减少冗余推理、提升多轮一致性chat_template_kwargs: {preserve_thinking: True}其他两条实用建议输出长度给足普通查询 32,768 tokens 上限复杂任务可放到 81,920若输出出现无限重复把presence_penalty在 0~2 之间微调。常见问题OOM、响应慢、上下文溢出怎么办Q启动就报 OOM / 显存不足换更低的量化档位如 Q4_K_M → Q3_K_S或降低--ctx-sizeMoE 模型激活参数仅 3B纯 CPU 内存推理--n-gpu-layers 0完全可用只是速度稍慢。Q处理超大仓库时上下文不够模型原生支持 262,144 tokens。如需更长可参考 README.md 中 Processing Ultra-Long Texts 章节用 YaRN 把上下文扩展到百万级日常建议至少保持 128K 以保留深度思考能力。Q想让模型看图写前端启动时加上多模态投影参数指向 mmproj-F16.gguf即可传入截图让模型直接按图生成页面。Q回答跑偏、角色混乱确认 llama-server 已加--jinja参数并使用本文推荐的采样参数而不是框架默认值。小结本地 AI 编程助手的完整拼图到这一步你已经搭好了一条完整的本地智能体编程链路选量化Q4_K_M 起步按内存余量上下浮动起服务llama.cpp 三步起 OpenAI 兼容端点接 AgentOpenCode 配置一个 JSON、Codex 配置一个 TOML均指向http://localhost:8080/v1调参数套用官方推荐采样参数开启preserve_thinking。Qwen3.6-35B-A3B-GGUF 用 35B 的大脑容量和 3B 的激活成本让仓库级智能体编程第一次真正跑得动在个人电脑上。模型权重、量化文件与完整说明都收纳在本仓库配合 README.md 的 Quickstart 章节你随时可以回查细节。现在就可以打开终端让本地编程助手开始干活了。赞分享【免费下载链接】Qwen3.6-35B-A3B-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-GGUF点击查看免费下载相关推荐Tiel-Coder-35B-A3B-GGUF完全介绍4-bit就能打平Opus 4.6的本地AI编程模型Tiel Coder 35B A3B GGUF完全介绍4 bit就能打平Opus 4.6的本地AI编程模型 Tiel Coder 35B A3B GGUF 是人工智能大模型基础模型代码模型模型量化本地部署多模态Lunel AI编程助手实战OpenCodeCodex双引擎如何在手机上帮你写代码Lunel AI编程助手实战OpenCodeCodex双引擎如何在手机上帮你写代码 Lunel 是一个 AI 驱动的移动端 IDE 与云开发平台AI poOpenCode AI编程助手3分钟打造你的智能开发伙伴OpenCode AI编程助手3分钟打造你的智能开发伙伴 OpenCode是一款开源的AI编程助手能够帮助开发者提升编码效率简化开发流程。无论是新手还是有人工智能AI Agent代码智能体AI 应用开发工具CLI上一篇Doctrine Lexer 实战基于 AbstractLexer 编写 Simple Parser Example 字符分类词法器下一篇5步免费解锁iOS设备applera1n激活锁绕过完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考