【免费下载链接】LFM2.5-24B-A2B-Preview-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/LFM2.5-24B-A2B-Preview-GGUF点击查看免费下载LFM2.5-24B-A2B-Preview 是 Liquid AI 推出的 24B 总参数、2B 激活的纯推理大模型它每次回答前都会先用think标签输出一段思考过程。本文深度解析它的 think 标签推理机制与 ChatML 对话模板并带你选对 GGUF 量化版本轻松本地运行。 think标签的注入原理为什么它必须先思考LFM2.5-24B-A2B-Preview 与上一代 LFM2-24B-A2B 最本质的区别在于它是一个纯推理模型pure reasoning modelalways thinks before it answers——每次回答前都先输出思考过程README.md。这个先思考的行为并非模型自觉而是由 ChatML 模板硬性写入的模板在模型开始作答时自动在assistant消息开头插入think标签模型必须先填完思考内容、写出think结束标签才能给出最终答案无论问题难易推理链都稳定出现不会时隐时现。把思考写进模板而不是靠提示词引导带来两个直接好处推理行为可预测Agent工具调用场景需要稳定、可靠的决策链强制思考让输出结构一致思考几乎不占成本它是 MoE 架构每个 token 只激活约 2.45B 参数每个思考 token 都很便宜所以永远先想再答不牺牲速度README.md。 ChatML模板深度解析一条对话如何组织LFM2.5 采用ChatML 风格的对话格式用特殊标记special tokens界定每条消息的角色README.md|startoftext| |system| You are a helpful assistant trained by Liquid AI. |user| What is C. elegans? |assistant|特殊标记作用\|startoftext\|对话起点\|system\|系统提示可放工具定义\|user\|用户消息\|assistant\|模型回答开头会自动带上think标签新手不用手写这些标记tokenizer.apply_chat_template()会自动把消息列表拼成正确格式。 思考之后工具调用的四步流程推理链不只是用来想它还是标准工具调用的决策中枢。LFM2.5 支持四步函数调用README.md定义函数把工具描述以 JSON 列表放进 system 提示或交给apply_chat_template()处理发起调用模型在\|tool_call_start\|与\|tool_call_end\|之间输出 Python 风格调用例如[get_candidate_status(candidate_id12345)]执行函数把执行结果以tool角色回传给模型最终回答模型整合工具输出给出面向原始问题的纯文本答案。整个过程里思考发生在发起调用之前的think段——先推理该查什么再动手调用这正是 Agent 可靠性的来源。 模型档案24B总参数、2B激活的MoE结构项目数值总参数24B每 token 激活参数2.45B层数40 层30 层短卷积块 10 层 GQA 注意力MoE 结构每个 MoE 块 64 个专家top-4 路由训练数据量约 33 万亿 tokens词表大小128,000较上一代翻倍上下文窗口131,072 tokens128K较上一代 32K 扩展详见 README.md2B 激活是关键卖点容量接近 24B 大模型每步推理却只计算约 2B 参数速度接近小模型——这就是它敢永远先思考再回答的底气也适合单台笔记本运行本地私有 Agent。 如何本地运行GGUF量化版怎么选本仓库提供了由Unsloth Dynamic 3.0UD生成的全套 GGUF 量化权重。UD 系列动态量化在同等体积下精度通常更高按显存需求从高到低排列量化文件精度近似权重占用*BF16/LFM2.5-24B-A2B-Preview-BF16.ggufBF16约 48GB最高精度适合微调LFM2.5-24B-A2B-Preview-Q8_0.ggufQ8_0约 25GB近乎无损LFM2.5-24B-A2B-Preview-UD-Q6_K_XL.ggufUD-Q6_K_XL约 20GB高精度LFM2.5-24B-A2B-Preview-UD-Q5_K_XL.ggufUD-Q5_K_XL约 17GB均衡之选LFM2.5-24B-A2B-Preview-UD-Q4_K_XL.ggufUD-Q4_K_XL约 14GB推荐默认选择LFM2.5-24B-A2B-Preview-UD-Q3_K_XL.ggufUD-Q3_K_XL约 12GB省显存LFM2.5-24B-A2B-Preview-UD-Q2_K_XL.ggufUD-Q2_K_XL约 10GB低显存LFM2.5-24B-A2B-Preview-UD-IQ2_M.ggufUD-IQ2_M约 9GB极限省显存LFM2.5-24B-A2B-Preview-UD-IQ2_XXS.ggufUD-IQ2_XXS约 8GB最小体积*权重本身占用实际显存还需加上上下文 KV cache128K 长上下文会明显增加开销。新手选择建议8–12GB 显卡从 UD-Q3_K_XL 或 UD-Q2_K_XL 起步16GB 显卡优先 UD-Q4_K_XL精度与速度平衡最好24GB 显卡UD-Q6_K_XL 或 Q8_0还能开更长的上下文。❓ 新手常见问题Q能关掉思考直接回答吗不能。think标签写在对话模板里LFM2.5-24B-A2B-Preview 会始终先思考再回答。若需要非推理模式应选用 LFM2-24B-A2B。Q为什么 24B 模型也能跑得快MoE 架构每个 token 只激活约 2B 参数推理速度接近小模型思考开销因此可以忽略。Q上下文真能到 128K架构上限是 131,072 tokens但长度越大 KV cache 越吃显存。新手建议先用短上下文跑通再逐步加长。写在最后LFM2.5-24B-A2B-Preview 用模板级 think 标签 MoE 加速的组合做到像大模型一样推理、像小模型一样快是本地私有 Agent 的高性价比选择。模型细节与工具调用示例均可在 README.md 中查证。赞分享【免费下载链接】LFM2.5-24B-A2B-Preview-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/LFM2.5-24B-A2B-Preview-GGUF点击查看免费下载相关推荐如何控制LFM2.5-24B-A2B的思考think推理标签与多轮对话避坑指南如何控制LFM2.5 24B A2B的思考think推理标签与多轮对话避坑指南 LFM2.5 24B A2B Preview 是 Liquid AI 推出什么是 LFM2.5-24B-A2B-Preview-5bit一文看懂 24B 总参仅 2B 激活的 MoE 架构与 5bit 量化什么是 LFM2.5 24B A2B Preview 5bit一文看懂 24B 总参仅 2B 激活的 MoE 架构与 5bit 量化 LFM2.5 24B A什么是LFM2.5-24B-A2B-OptiQ-4bit16.7GB本地运行的24B推理大模型终极入门指南什么是LFM2.5 24B A2B OptiQ 4bit16.7GB本地运行的24B推理大模型终极入门指南 LFM2.5 24B A2B OptiQ 4bit人工智能大模型模型量化模型优化本地部署创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考