LFM2.5-24B-A2B完全解读：24B MoE推理大模型为何只激活2B参数就能跑本地Agent

• 大模型
• 基础模型
• 推理模型
• 本地部署
• 模型量化

LFM2.5-24B-A2B-GGUF 是 Liquid AI 开源的 24B MoE 推理大模型的 GGUF 量化仓库，由 Unsloth Dynamic 3.0 量化而成。它的"杀手锏"是：总参数 24B、每 token 只激活约 2.45B 参数，因此在 Apple M5 Max 上能跑到 184 tok/s，成为目前最适合跑本地 Agent 的端侧大模型之一。本文将带你搞懂它的架构原理、量化档位选型和本地部署方法。

一句话认识 LFM2.5-24B-A2B

它是 LFM2.5 家族的"收官之作"——从 230M 到 24B，跨越了两个数量级。官方定位为快速、私密的端侧 Agent 模型：需要推理、调用工具、在你的设备上可靠运行。

为什么"只激活 2B 参数"还能有 24B 的脑子？

这是 MoE（Mixture of Experts，混合专家）架构的精髓，也是本文标题问题的答案：

• 24B 总参数 = 知识库。64 个专家的权重全部存储在显存/内存中，模型"读过"的知识都在里面；
• 2.45B 激活参数 = 每 token 的计算量。路由器只挑 top-4 个专家参与当前 token 的前向计算；
• 结果就是：内存占用按 24B 算，速度按 2B 算。

类比一下：一家医院有 64 位专科医生（24B 总参数），但你挂一次号只需要 4 位医生（top-4 路由）会诊，挂号费（算力开销）只按 4 位医生收（2B 激活参数），而你能享受的全部专业储备仍是 64 位医生。

这正是它能"跑在本地"的根本原因：同样 24B 规模的 MoE 模型，它端侧推理速度最高快 1.7 倍，同时内存占用最少——Apple M5 Max 上 184 tok/s，AMD Ryzen AI Max+ 395 上 114 tok/s。

性能实测：Agent 能力越级打怪

官方在 16 项基准上对比了 Qwen3.6-35B-A3B（总参数和激活参数都多约 50%）等模型，LFM2.5-24B-A2B 在 Agent 与工具调用类任务上全面占优：

可以看到：数学、指令遵循等"硬功夫"不输大模型，而在 Agent、工具调用、自动化流程上直接拉开差距——这就是"为 Agent 而生"的后训练配方（多领域蒸馏 + 在 OpenClaw、OpenCode 等主流 Agent 框架内做强化学习）的效果。

💡 官方建议：把它当作推理 + 工具调用的"大脑"，知识密集型任务请搭配 RAG 检索或联网搜索，效果最佳。

仓库内容一览：10 个 GGUF 量化档位怎么选

本仓库提供了从约 7GB 到 44.7GB 的完整量化矩阵，全部基于 Unsloth Dynamic 3.0（UD 前缀即 UD 量化）：

📌 选型经验法则：内存 ≥ 文件大小 + 2~4GB（留给上下文 KV Cache）。131K 长上下文会显著吃内存，建议实际使用时按 32K~64K 上下文规划。

快速开始：三步在本地跑起来

第 1 步：获取模型文件

git clone https://gitcode.com/hf_mirrors/unsloth/LFM2.5-24B-A2B-GGUF

第 2 步：用 llama.cpp 加载（任选其一）

llama.cpp 方式：

llama-cli -m LFM2.5-24B-A2B-UD-Q4_K_XL.gguf -cnv -p "帮我写一个查询天气的 Agent 提示词"

llama-server 提供本地 API（配合 Ollama、LM Studio、Open WebUI 等界面均可加载 GGUF）：

llama-server -m LFM2.5-24B-A2B-UD-Q4_K_XL.gguf -ngl 99 -c 32768

第 3 步：使用推荐生成参数

官方推荐的采样参数（写在 README.md 的 Model Details 一节）：

• temperature: 0.1
• top_k: 50
• repetition_penalty: 1.05

温度低是为了让推理链更稳定——这对 Agent 任务尤其重要。

适合谁、怎么用出效果

✅非常适合

• 本地 Agent：模型原生支持四步函数调用（工具定义 → 生成工具调用 → 执行 → 基于结果作答），在 OpenClaw、OpenCode 等 Agent 框架的后训练里"泡"过，天然懂工具调用协议；
• 端侧/边缘部署：Q4_K_XL 档位 13.9GB，普通 24GB 内存的 Mac 或 NPU 本就能流畅运行；
• 长文档处理：131K 上下文 + 短卷积块设计，读长文档、做代码库问答不吃力。

⚠️需要注意

• 知识密集型问答建议外挂检索（RAG）或联网搜索；
• 低量化（IQ2/Q2 档）在复杂多步 Agent 任务上会有可感知的质量损失，预算允许优先上 Q4_K_XL 或更高。

总结

LFM2.5-24B-A2B 证明了 MoE 路线在端侧的价值：24B 的知识容量 + 2B 的计算成本，换来的是本地 Agent 真正可用的推理速度。如果你想在隐私不出本地的前提下跑一个会思考、会调工具的 Agent，本仓库的 LFM2.5-24B-A2B-UD-Q4_K_XL.gguf 是最值得直接下载的起点。

• 大模型
• 基础模型
• 推理模型
• 本地部署
• 模型量化