【免费下载链接】LongCat-Flash-Lite-Sparse-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/LongCat-Flash-Lite-Sparse-8bit点击查看免费下载LongCat-Flash-Lite-Sparse-8bit 是美团 LongCat 开源 MoE 大模型69B-A3B的 8-bit MLX 量化版专为 128GB 内存的 Mac 本地部署设计。本文用最小化示例讲透它的三大进阶玩法/think_on 思考模式开关、thinking_budget 思考预算控制与Function Calling 工具调用帮助你在 Mac 上把它跑成一个会思考、会用工具的 Agent 底座 一、模型速览为什么它值得折腾先看几个关键规格来自 config.json 与 README.md项目说明架构LongcatCausalLM69B 总参数 / 每 token 仅激活约 3B 的 MoE专家结构256 个路由专家 128 个零计算恒等专家top-12 路由注意力LSALongCat Sparse Attention最大上下文 983040 tokens量化8-bit affine 分组量化group_size 64权重量约 68GB硬件要求128GB 内存的 Mac6-bit / 4-bit 变体可跑在 96GB / 64GB 机型由于每 token 激活参数少8-bit 相比低比特在质量上的提升非常明显同时 LSA 稀疏注意力让长上下文的解码速度几乎不随上下文增长而下降README 实测 512→32k 上下文8-bit 解码速度保持在 60~80 tok/s。二、思考模式实战/think_on 与 /think_off LongCat 的思考模式不是独立的 API 开关而是由 chat_template.jinja 这套聊天模板控制的不传enable_thinking默认模板不附加任何思考标记模型直接回答enable_thinkingtrue模板在用户消息末尾自动追加/think_on模型会先把推理过程写在longcat_think.../longcat_think标签内再输出正式答案enable_thinkingfalse模板追加/think_off并预置空的思考块模型跳过深度推理直接作答。最终 prompt 大致长这样简化示意longcat_user 请证明若 a b 0则 a² b² /think_on longcat_assistantlongcat_think 由 a b 0 可知 a - b 0且 a b 0 相乘得 (a-b)(ab) a² - b² 0…… /longcat_think 结论a² b²。几个细节值得注意longcat_think、/longcat_think、longcat_answer等都是注册在 tokenizer.json 中的专用特殊 token模型对它们的边界识别非常稳定多轮对话中只有最后一条用户消息会被追加/think_on历史消息保持原样避免上下文膨胀工具结果回传后模板会在 observation 之后再次追加/think_on见 chat_template.jinja保证模型拿到工具结果后继续边想边答。三、thinking_budget给思考设一个预算 思考越长答案越稳但解码耗时也越长。LongCat 提供了thinking_budget参数来限制思考长度传入thinking_budgetN后模板会在/think_on后追加一行thinking_budget: N.明确告知模型思考 token 的上限下限保护若你传入的值小于 1024模板会自动抬到 1024见 chat_template.jinja避免思考空间被压缩到失去意义当enable_thinkingfalse时预算不会附加思考直接关闭。预算怎么选经验值场景建议预算简单问答、闲聊不开思考或 1024参数提取、常规工具调用1024 ~ 2048数学证明、代码调试、多步规划4096 ~ 8192 小技巧在 8-bit 量化下每 token 激活参数只有 3B 左右解码本身很快M5 Max 上约 60~80 tok/s适当放大预算的体感成本不高值得给复杂任务多留余量。四、Function Calling 实战让模型调用工具 ️LongCat 的 Function Calling 走的是 XML 风格协议整个流程分三步第 1 步工具声明。你以 OpenAI 兼容的 function schema 传入tools参数模板会自动渲染出longcat_tool_declare声明块列出每个工具的名称、描述与 InputSchema见 chat_template.jinja。此外还支持tool_choice参数默认auto模型自行决定设为none时整个声明块不会出现等价于禁用工具。第 2 步模型发起调用。模型按固定 XML 格式输出函数名与参数见 chat_template.jinjalongcat_tool_callget_weather longcat_arg_keycity/longcat_arg_key longcat_arg_value北京/longcat_arg_value longcat_arg_keyunit/longcat_arg_key longcat_arg_valuecelsius/longcat_arg_value /longcat_tool_call第 3 步回传执行结果。你把本地执行结果以tool角色的消息写回模板会将其包进longcat_observationlongcat_tool_response工具名\n结果/longcat_tool_response/longcat_observation结构中见 chat_template.jinja多个工具结果会合并进同一个longcat_observation块。几个实战要点所有关键标签longcat_tool_call、longcat_arg_key、longcat_arg_value、longcat_tool_response都是 tokenizer.json 中注册的特殊 token解析时可以放心按标签边界切分模板内置了code_interpreter沙箱工具的自动改写见 chat_template.jinja即声明代码解释器类工具时会替换为带网络隔离说明的标准描述工具参数是 JSON 序列化后填入longcat_arg_value的注意嵌套对象要整体传 JSON 字符串不要手工拆散。五、组合技思考 × 工具 × 多轮历史 三个参数搭配使用能显著影响 Agent 的稳定性save_history_reasoning_contentchat_template.jinja默认false开启后历史中 assistant 消息的reasoning_content会被写回longcat_think块保留在上下文里。长链推理、多步规划类任务建议开启让模型记得自己之前怎么想的普通问答保持默认节省上下文。工具调用 思考模式工具结果回传后模板会自动再追加/think_on此时给一个适中的thinking_budget1024~2048模型在汇总多个工具结果时参数提取和结论归纳的成功率会更高。多轮 user 消息模板只对最后一条 user 消息last_query_index之后见 chat_template.jinja追加思考标记历史不会重复膨胀可以放心做多轮 Agent 循环。六、参数速查表 ✅参数默认值作用enable_thinkingnonetrue追加/think_onfalse追加/think_off不传则无思考标记thinking_budget无思考 token 上限最小 1024仅思考开启时生效tools无OpenAI 风格 function 列表渲染为longcat_tool_declaretool_choiceauto设为none时不渲染工具声明save_history_reasoning_contentfalse多轮历史中是否保留推理链temperature/top_p/top_k0.7 / 0.95 / 4官方采样参数见 generation_config.json七、仓库关键文件索引 文件说明chat_template.jinja/think_on、/think_off与thinking_budget注入逻辑chat_template.jinja工具声明块longcat_tool_declare渲染chat_template.jinja工具调用输出格式与 observation 回传config.jsonLSA 稀疏注意力、98 万级长上下文配置generation_config.json推荐采样参数temperature 0.7 / top_p 0.95 / top_k 4tokenizer.jsonlongcat_think、longcat_tool_call等特殊 token 注册表model.safetensors.index.json20 个分片的 8-bit 权重重映射索引README.md各比特数量化变体、吞吐量与显存占用数据掌握以上三组参数你就把 LongCat-Flash-Lite-Sparse-8bit 的思考与行动能力都拿在手里了/think_on决定它想不想thinking_budget决定它想多久Function Calling 决定它做什么。剩下的就是在你的 Mac 上跑起来试试吧 赞分享【免费下载链接】LongCat-Flash-Lite-Sparse-8bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/LongCat-Flash-Lite-Sparse-8bit点击查看免费下载相关推荐Hemmingway-1 chat_template完整解析Function Calling、思考模式与多步工具调用机制Hemmingway 1 chat_template完整解析Function Calling、思考模式与多步工具调用机制 Hemmingway 1 是一个 2大模型AI 写作解锁DeepSeek-V3.1-W4A8-puring隐藏能力thinking思考模式与function calling对话模板实战解锁DeepSeek V3.1 W4A8 puring隐藏能力thinking思考模式与function calling对话模板实战 DeepSeek V3.Qwen3.5-9B_gpuep_1.0_gpu_128 工具调用实战chat_template.jinja 与 Function Calling 机制指南Qwen3.5 9B_gpuep_1.0_gpu_128 工具调用实战chat_template.jinja 与 Function Calling 机制指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考