【免费下载链接】Macaron-V1-Tall项目地址https://ai.gitcode.com/hf_mirrors/mindlab-research/Macaron-V1-Tall点击查看免费下载Macaron-V1-Tall 是 MindLab Research 发布的 Mixture of LoRAMoLLoRA 混合大语言模型基于 Qwen3.6-35B-A3B 底座构建通过 4 个 LoRA 专家Chat、Agent、Coding、GenUI和 L0 路由器实现一人分饰多角。本文将用通俗的方式带你完整看懂这套架构每个专家负责什么、L0 如何为请求挑选专家以及它最终跑出什么成绩。Macaron-V1-Tall 是什么一句话定位一个面向个人智能的 MoL 模型主打个人助理personal agent、工具调用tool use、仓库级编程和代码原生生成式 UIGenerative UI / UI4A。它的底座是 Qwen3.6-35B-A3B一个 MoEMixture of Experts架构的模型。可以从 config.json 中看到关键参数配置项数值通俗理解层数40 层模型思考的深度专家数量256 个每层内置 256 个小专家每 token 激活专家8 个每个字只叫醒 8 个专家省算力上下文长度262K262144能记住超长的对话与代码精度BF16兼顾速度与数值稳定Macaron 的巧妙之处在于不重新训练整个大模型而是在底座之上训练 4 个小补丁LoRA 适配器运行时由 L0 动态挑选最合适的专家上岗。MoLMixture of LoRA架构一个总部 四个部门把 Macaron-V1-Tall 想象成一家公司 总部大楼底座模型Qwen3.6-35B-A3B提供通用语言能力所有部门共享四个专业部门LoRA 专家各自只训练自己领域的增量参数互不干扰总机接线员L0 路由器每来一个新请求先判断该转给哪个部门。LoRALow-Rank Adaptation是一种轻量微调技术它不改动底座权重只训练一小撮低秩矩阵。这意味着每个专家都很便宜Tall 的每个适配器约 37.76 亿个存储值且可以在同一底座上热插拔。四个适配器统一存放在loras/目录下训练超参数一致参数值LoRA 秩r64LoRA alphaα128dropout0覆盖模块注意力投影q/k/v/o_proj、in_proj_*等 专家参数experts.gate_up_proj、experts.down_proj排除模块gate、lm_head、shared_expert_gate每个专家的具体配置可以打开对应文件查看例如 loras/L0/adapter_config.json、loras/L2/adapter_config.json。四大 LoRA 专家详解️ L0 Chat —— 对话主理人 总机接线员项目内容位置loras/L0/职责日常对话与指令遵循的骨干同时也是路由入口L0 是双重身份选手既是最基础的聊天专家又兼任路由器——每个新的用户请求先由它做约束解码只生成 24 个 token 的路由决策把任务派给最合适的专家。你可以理解为它既是前台也是分诊台。 L1 Agent —— 个人助理与工具专家项目内容位置loras/L1/职责个人生活 Agent 任务、重度工具调用、长程规划、动态工作流当你让模型帮我订好明天的会议室并同步给团队这类需要多步规划 调用外部工具的任务时L0 会把请求转给 L1。L1 专精观察—决策—再观察的长链路工作流是 4 个专家中路由准确率相对最低的一个95.1%因为 Agent 意图边界最模糊。 L2 Coding —— 编程与终端专家项目内容位置loras/L2/职责代码理解、SWE 任务、终端使用、仓库级开发工作流修 bug、读懂整个仓库、在终端里执行命令并验证结果——这些都归 L2 管。值得注意的是L2 在发布检查点中使用 F32全精度存储其余专家为 BF16可见团队对编码任务数值精度的重视。相关成绩SWE-bench Verified 75.4、TerminalBench 2.1 56.2均优于底座。 L3 GenUI —— 生成式 UI 专家项目内容位置loras/L3/职责UI4A 渲染与 UI 驱动操作帮我做一个追踪每周健身目标的小面板——L3 会直接生成可渲染的 UI 产物TSX而不只是给你一段文字描述。它是 4 个专家中路由准确率最高的100%因为要界面的意图通常非常明确。这也是 MoL 提升最猛的一项UI4A-Bench 从底座的 33.9 跃升至59.3。L0 路由如何工作请求的三步旅程 ⏱️一条新消息进入系统后的完整流程Route路由L0 做约束解码约 24 个 token平均 0.20sAnswer回答被选中的专家接管生成平均 1.24s推理和工具交互停留在同一专家内不来回切换Summary总结任务完成后生成不超过 192 token 的简明摘要用于跨专家共享成果平均 0.32s。阶段平均耗时占整轮比例RouteL0 路由0.20 s11%Answer专家生成1.24 s70%Summary摘要交接0.32 s19%合计1.76 s100%路由本身只引入约 30% 的开销份额而整套循环 1.76s 的端到端延迟比同家族的 748B 大模型 Macaron-V1-Venti4.68s低约 2.7 倍——这就是小底座 专家路由的性价比所在。在 6,448 条样本的测试轨迹上Tall 的路由准确率达99.04%。实测成绩MoL 架构带来了什么提升Macaron-V1-Tall 与其底座 Qwen3.6-35B-A3B 在 7 项基准上的对比均为 0–100 归一化分数越高越好基准Macaron-V1-TallQwen3.6-35B-A3B提升Macaron ChatBench54.948.06.9Macaron LivingBench48.447.11.3PinchBench86.282.53.7ClawGym64.058.65.4SWE-bench Verified75.473.42.0TerminalBench 2.156.252.53.7UI4A-Bench59.333.925.47 项全面领先底座其中生成式 UI 项提升最显著——正好对应 L3 GenUI 专家的专项训练效果。⚠️ 需要说明这是端到端系统对比含适配器、路由与推理框架差异并非参数对齐的消融实验各分项收益无法单独归因。仓库关键文件速查 文件作用config.json底座模型结构40 层、256 专家、262K 上下文loras/L0/ ~ loras/L3/四个 LoRA 专家含 adapter_config.json 配置model.safetensors.index.json底座 26 个分片权重的索引generation_config.json默认采样参数top_p 0.95、top_k 20 等tokenizer.json词表与分词器如需在本地体验可克隆仓库git clone https://gitcode.com/hf_mirrors/mindlab-research/Macaron-V1-Tall加载底座需使用支持 Qwen3.6 MoE 架构的 Transformers 版本若要完整的路由 专家切换服务可搭配官方的 Mixture of LoRA (MoL) serving harness它对外保持 OpenAI 兼容接口。项目采用 MIT 许可证可自由使用。小结Macaron-V1-Tall Qwen3.6-35B-A3B 底座 4 个 LoRA 专家MoL 架构以约 50B 的发布规模覆盖聊天、Agent、编码、GenUI 四大场景L0 身兼两职既是聊天骨干又是路由器用 24 token 的约束解码把请求派给最合适的专家专家间不抢戏任务在单一专家内完成靠 ≤192 token 的摘要跨专家交接路由准确率 99.04%以小博大1.76s 的端到端延迟比 748B 的兄弟模型快 2.7 倍UI4A-Bench 较底座暴涨 25.4 分。MoL 架构的核心价值在于不同团队甚至不同用户可以在同一个底座上训练自己的专家并组合服务——这正是 Macaron-V1 面向开放持续学习的设计愿景。赞分享【免费下载链接】Macaron-V1-Tall项目地址https://ai.gitcode.com/hf_mirrors/mindlab-research/Macaron-V1-Tall点击查看免费下载相关推荐CANNBot 仓群架构深度解析cannbot、cannbot-skills、cann-bench 如何各司其职CANNBot 仓群架构深度解析cannbot、cannbot skills、cann bench 如何各司其职 CANNBot 是 CANN 社区的 Inf人工智能AI AgentAI 技能代码智能体工作流自动化CANN模型优化深度解析Comet 0.4.0架构纯Node.js运行时上的确定性Skill引擎是如何构建的深度解析Comet 0.4.0架构纯Node.js运行时上的确定性Skill引擎是如何构建的 Comet 0.4.0 是一个 只依赖纯 Node.js 运行时在Switch上运行B站客户端完整指南在Switch上运行B站客户端完整指南 wiliwili 是一款专为手柄用户设计的第三方 B 站客户端可运行在 Nintendo Switch、PC 全平台、音视频桌面应用上一篇3分钟快速解密网易云音乐ncm文件ncmdump完整使用教程下一篇4步解锁音乐自由网易云NCM加密文件全平台播放解决方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考