这次我们来看一篇重量级论文《Toolformer: Language Models Can Teach Themselves to Use Tools》。这篇由 Meta AI 在 2023 年初发布的论文可以说是大模型“学会使用工具”这一方向的奠基性工作。它不依赖复杂的提示工程或人工标注而是让模型自己学会在什么时候、以什么格式调用外部工具如计算器、搜索引擎、翻译器从而突破自身在时效性、精确计算等方面的局限。对于关注大模型应用落地的开发者来说这篇论文的价值在于提供了一套可自举的、数据高效的微调框架。它证明了即使是一个中等规模的模型如 6.7B 参数经过恰当的训练也能自主决策调用工具显著提升任务完成能力。本文将带你精读这篇论文拆解其核心思想、方法实现并探讨其对当前 Agent 和工具调用生态的影响。1. 核心能力速览能力项说明论文核心提出让语言模型通过自监督学习学会调用外部工具来增强自身能力。核心方法通过模型自身生成标注数据筛选高质量样本对模型进行微调使其学会插入格式化的工具调用 API。支持工具论文演示了计算器、问答系统、搜索引擎、翻译器、日历等。方法具有通用性可扩展至任何有明确输入输出格式的 API。模型规模论文基于 6.7B 参数的 GPT-J 模型进行实验证明了方法在中等规模模型上的有效性。数据需求仅需少量工具调用示例作为种子即可通过模型自生成海量训练数据数据效率高。输出格式模型学会在文本中插入如[QA(Q: “xxx?”)] - “answer” [QA]的特殊标记表示工具调用和结果插入。关键优势1.自举学习无需大量人工标注。2.上下文学习微调后模型能在少样本提示下使用新工具。3.保持通用性微调后模型的基础语言能力未受损。开源情况论文开源了代码和数据集可供复现和研究。适合场景希望为现有大模型增加可靠工具调用能力的开发者、研究者构建专业化 AI Agent 的起点。2. 适用场景与使用边界Toolformer 的设计初衷是解决大模型的固有缺陷其适用场景非常明确适用场景事实性问答与时效性查询大模型的知识存在截止日期通过调用搜索引擎 API可以获取最新信息。精确计算大模型不擅长精确的数学运算调用计算器 API 可保证结果绝对正确。多语言翻译对于低资源语言专用翻译 API 通常比大模型内置能力更可靠。专业领域查询如查询天气、股票价格、航班信息等调用相应专业 API。构建初级 Agent 框架为模型赋予“动手能力”是构建能执行复杂工作流的 AI Agent 的基础。使用边界与注意事项工具可靠性依赖模型输出的质量严重依赖于所调用工具的可靠性。如果搜索引擎 API 返回错误信息模型也会基于错误信息生成回答。延迟与成本每次工具调用都涉及网络请求会增加整体响应延迟和 API 使用成本。工具范围限制模型只能学会调用预定义好的、输入输出格式固定的工具。对于需要复杂多步交互或状态保持的工具该方法需要扩展。安全与滥用风险模型学会了调用工具也可能被诱导调用有害的 API如发送邮件、执行代码。必须在工具层设置严格的权限控制和审核机制。并非取代提示工程对于简单、一次性的工具使用精心设计的提示词如“让我们一步步思考最后调用计算器”可能更快捷。Toolformer 的优势在于将工具调用内化为模型的“本能”适用于复杂、多步骤的任务。3. 核心思想精读模型如何“自学”使用工具Toolformer 的核心创新点是一个数据自标注的流程。它不要求人类标注海量的“何时调用工具、调用什么工具、参数是什么”的数据而是让模型自己尝试并根据工具返回的结果是否“有用”来筛选训练数据。整个过程可以分解为以下三步3.1 第一步生成候选 API 调用首先需要准备一个庞大的纯文本数据集如 C4。对于数据集中的每一条文本将其输入给基础语言模型例如 GPT-J并让模型在文本的不同位置尝试生成工具调用的语句。这里的关键是“少量示例”提示。研究者为每个工具准备了少量论文中是 1-3 个人工编写的工具调用示例。例如对于计算器工具示例可能是“3 的平方是 [Calculator(3^2)] - “9” [Calculator]。”然后将这个示例和待处理的文本一起输入模型让模型在文本的各个位置“续写”出类似的 API 调用语句。模型可能会在文本中插入多个不同位置、调用不同工具的候选语句。3.2 第二步执行 API 调用并评估效用对于上一步生成的每一个候选 API 调用例如[Calculator(3^2)]系统会实际执行它获取工具返回的结果例如“9”。接下来是最精妙的一步判断这次工具调用是否“有用”。论文提出了一个基于“加权交叉熵损失”的简单而有效的评估方法。计算损失将原始文本不含 API 调用输入模型计算模型预测下一个词的损失记为L。计算干预后损失将插入了 API 调用及结果的文本例如...是 [Calculator(3^2)] - “9” [Calculator]。输入模型计算同样位置后续词的预测损失记为L_t。判断效用如果L_t显著低于L说明插入工具调用和结果后模型对后续文本的预测更加确定、困惑度更低。这意味着工具提供的信息对模型继续生成文本是有帮助的这次调用就是“有用”的。通过设定一个阈值可以筛选出所有“有用”的 API 调用样本。这些样本构成了高质量的训练数据。3.3 第三步微调模型最后使用筛选出的高质量样本即文本中插入了“有用”的工具调用及结果对原始的基础语言模型进行微调。微调的目标是让模型学会两件事时机在文本的什么位置需要调用工具。格式如何以正确的格式[ToolName(input)] - “result” [ToolName]发起调用并整合结果。经过微调后模型就具备了自主调用工具的能力。当它遇到自己无法准确回答或需要最新信息时会自发地插入工具调用标记。4. 方法实现中的关键细节4.1 API 调用格式设计论文设计了一种非侵入式的标记格式[ToolName(argument)] - “tool_output” [ToolName][ToolName(argument)]是调用开始标记。- “tool_output”是工具返回的结果。[ToolName]是调用结束标记。这种格式的好处是可读性强即使在不执行调用的情况下文本依然保持一定的可读性。易于解析程序可以很容易地通过正则表达式提取出工具名、参数和结果。不影响正常文本生成这些特殊标记被当作普通词汇处理模型在微调后能自然地在生成流中插入它们。4.2 工具的选择与扩展性论文实验了五种工具问答系统基于维基百科段落检索的 QA 工具解决事实性问题。搜索引擎一个简化版的搜索工具返回搜索结果片段解决时效性问题。计算器解决精确数学计算。翻译器解决多语言问题。日历解决时间推理问题。这套方法的强大之处在于其“即插即用”的扩展性。只要你能为一个新工具提供一个清晰的输入输出格式定义。1-3 个调用示例。工具本身的执行函数API。 你就可以将其纳入 Toolformer 的训练框架让模型学会使用它。4.3 与提示工程和传统微调的对比方法所需数据优点缺点提示工程 (In-Context Learning)少量示例3-5个无需训练快速验证灵活。示例需精心设计占用上下文窗口不稳定难以保证模型每次都遵循格式。传统监督微调大量高质量人工标注数据行为稳定格式可控。标注成本极高数据稀缺泛化到新工具困难。Toolformer 自监督微调大量无标注文本 少量工具示例1-3个数据成本低可自举生成数据模型将工具调用内化为能力泛化性好。需要计算资源进行微调工具调用逻辑的可靠性依赖筛选机制。Toolformer 本质上是一种高效的、数据驱动的微调方法它结合了提示工程的灵活性和监督微调的稳定性。5. 实验结果与影响分析5.1 实验效果论文在多个下游任务上评估了 Toolformer6.7B与其基础模型 GPT-J6.7B以及更大的 GPT-3175B的对比事实性与时效性问答在涉及最新事实的问题上Toolformer 通过调用搜索引擎性能远超 GPT-J甚至媲美或超过 GPT-3。数学计算在数学数据集如 MATH上Toolformer 调用计算器后准确率大幅提升显著优于同等规模甚至更大规模的基础模型。多语言任务在翻译任务上通过调用翻译 APIToolformer 能有效处理低资源语言。语言建模能力微调后模型在标准语言建模任务如 WikiText-103上的困惑度没有上升表明其通用语言能力得以保留没有因学习工具调用而“遗忘”原有知识。5.2 对后续研究的影响Toolformer 论文的发表为 AI 社区打开了新的思路启发了 AI Agent 的发展Toolformer 证明了让模型自主使用工具是可行的这直接推动了 AI Agent智能体的研究热潮。后来的 AutoGPT、LangChain 等项目都在实践更复杂的工具使用和工作流编排。推动了工具学习标准化论文提出的[API] - result [API]格式成为一种事实上的工具调用表示标准被后续许多研究采纳。证明了中等模型潜力它表明通过精巧的训练方法参数规模不是获得工具使用能力的唯一决定因素为更高效的模型部署提供了可能。连接了 LLM 与外部世界为如何安全、有效地将大语言模型与数据库、知识库、执行系统连接起来提供了方法论基础。6. 实践启示如何借鉴 Toolformer 思想虽然直接复现论文需要相当的算力和数据但其核心思想可以被广大开发者在实际项目中借鉴6.1 为现有模型增加工具调用能力如果你在使用 ChatGPT API 或开源大模型如 LLaMA、Qwen可以借鉴其思路构建工具库将你的内部 API数据查询、业务计算封装成具有清晰输入输出的函数。设计调用格式定义类似{{tool_name: arguments}}的标记格式。构建示例数据集人工编写少量10-20条高质量的用户查询及对应的、包含工具调用和结果的回答。进行指令微调使用这些数据对模型进行微调Full Fine-tuning 或 LoRA教会模型这种新的响应格式。后处理与执行在模型生成文本后通过后处理程序解析出工具调用标记执行相应函数并将结果填充回文本最后呈现给用户。6.2 使用现有框架快速实现当前已有许多框架内置了类似 Toolformer 的思想降低了实现门槛LangChain / LangGraph提供了强大的Tool抽象和调用逻辑虽然更多依赖提示工程但结合智能体Agent的 ReAct 模式也能实现动态工具调用。你可以用微调过的模型作为 LangChain 中的 LLM可能会获得更稳定、更少幻觉的工具调用行为。OpenAI 的 Function Calling虽然机制不同模型输出结构化 JSON 而非文本标记但目的相似。你可以利用 GPT-4 等模型的 function calling 能力然后考虑如何将这种能力蒸馏到更小、更便宜的开源模型上。Hugging Face Transformers AgentsHugging Face 提供了基于开源模型的 Agent 框架其底层思想也与工具调用相关。6.3 注意事项工具可靠性是第一位的垃圾进垃圾出。确保你提供的工具 API 是稳定、准确、高效的。成本与延迟权衡每次调用都涉及模型生成 API 请求需评估是否值得。对于简单问题直接让模型回答可能更快更省。安全隔离模型调用的工具应在沙箱环境中运行特别是涉及文件操作、网络请求或系统命令时。评估与迭代需要建立评估体系判断工具调用是否真的提升了最终任务的效果并持续迭代工具集和训练数据。7. 常见问题与思考7.1 Toolformer 与 ChatGPT 的插件/函数调用有什么区别机制不同Toolformer通过微调让模型在文本生成流中自发地插入特殊标记来调用工具。它是一个“内生”的能力。ChatGPT 插件/函数调用属于“提示工程”范畴。系统在后台为模型描述可用的函数模型在需要时输出一个符合特定格式如 JSON的函数调用请求然后由系统执行并返回结果。模型本身并未被微调去学习这个模式。优势对比Toolformer 的方式可能更“自然”与文本生成融合得更好且不依赖复杂的系统提示。OpenAI 的方式更灵活无需重新训练模型可以动态增减工具但对提示设计依赖度高。7.2 为什么 Toolformer 没有像 ChatGPT 那样流行工程化复杂度高Toolformer 需要收集数据、训练模型整个流程比直接使用 OpenAI API 复杂得多。闭环要求高需要有一套完整的工具执行和环境。对于大多数应用来说直接使用已具备强大工具调用能力的商业 API如 GPT-4更经济快捷。研究先行Toolformer 更侧重于证明“模型可以自学工具调用”这一可能性为后续研究铺路。而 ChatGPT 等产品是面向大众的工程化实现。7.3 训练自己的 Toolformer 需要多少资源数据需要大规模纯文本数据集如 C4和工具执行环境。算力需要对一个至少数亿参数的基础模型进行全参数微调或高效微调如 LoRA。以 6.7B 模型为例需要多张高端 GPU如 A100进行数天训练。工程需要搭建完整的数据流水线包括候选生成、工具执行、效用评估和训练循环。对于个人或小团队更现实的路径是使用LoRA等高效微调技术在一个较小的、高质量的数据集上微调一个 7B-13B 级别的开源模型为其增加调用特定工具的能力。8. 总结与展望Toolformer 论文的精妙之处在于它用一种相对简单、自举的方法解决了大模型工具调用中的核心难题——数据标注。它向我们展示了一条路径大模型不仅可以被工具增强还可以主动学习如何使用工具。对于开发者和研究者而言这篇论文的价值不仅仅是其中的具体方法更是其背后体现的设计哲学让数据自己说话利用模型自身生成数据通过自动化的质量筛选解决监督数据稀缺问题。保持模型通用性增强特定能力的同时不损害其核心的语言理解和生成能力。设计可扩展的接口通过格式化的标记建立模型与世界交互的清晰、可解析的协议。当前AI Agent 和工具调用已成为大模型应用的主流方向。理解 Toolformer 这篇开山之作能帮助我们更好地把握现有框架如 LangChain的设计理念也能在需要为特定领域定制化模型时提供一种坚实的技术选型思路。下一步可以关注如何将这种自监督学习与更复杂的规划、推理、多工具协作结合起来构建真正智能、自主的 AI 智能体。