思维链提示CoT为什么这么强Prompt Engineering Guide带你解锁LLM推理能力的终极方法【免费下载链接】Prompt-Engineering-Guide Guides, papers, lessons, notebooks and resources for prompt engineering, context engineering, RAG, and AI Agents.项目地址: https://gitcode.com/GitHub_Trending/pr/Prompt-Engineering-Guide 你有没有发现大语言模型LLM在直接回答复杂问题时经常翻车可一旦让它一步步想答案准确率就大幅提升这就是思维链提示Chain-of-Thought Prompting简称 CoT的魔力。开源项目Prompt Engineering Guide系统整理了思维链提示的完整教程、零样本 CoT、Auto-CoT 自动推理链以及思维树ToT等进阶技巧是新手提升 LLM 推理能力的最佳学习入口。本文将带你快速吃透这套终极推理方法。什么是思维链提示CoT Prompting思维链提示的核心思路很简单让模型在给出最终答案之前先输出中间推理步骤。就像学生做数学题要先写解题过程一样模型写出思考过程后答案往往更准确。CoT 由 Wei 等人2022提出通常与少样本提示Few-Shot结合使用在提示中给几个带推理过程的示例模型就会模仿这种先推理、后作答的模式。研究还发现这种能力是一种涌现能力Emergent Ability——只有在足够大的语言模型上才会稳定出现。下图展示了思维链提示的基本原理在示例中嵌入推理链模型即可在复杂任务上展现出推理能力。图片来源Wei et al. (2022)出自 pages/techniques/cot.en.mdx一个直观的例子奇数求和以经典的奇数之和是否为偶数任务为例不带推理步骤的示例模型在多数样本上表现平平带推理步骤的示例如把所有奇数 9、15、1 相加得到 25答案为 False模型输出几乎完美——甚至只需要 1 个示例就能稳定解题。 关键结论推理步骤本身就是提示。你提供的示例中怎么写过程比答案是什么更重要。零样本 CoT一句让我们一步一步思考就够了不想费劲构造示例那就用零样本思维链Zero-shot CoT。Kojima 等人2022发现只需在原提示末尾加上一句Lets think step by step.让我们一步一步思考。效果立竿见影。看下面的对比出自 pages/techniques/cot.zh.mdx提问方式模型回答直接问还剩几个苹果❌ 11 个苹果错误加上让我们一步一步思考✅ 先有 10 个 → 送出 4 个剩 6 个 → 再买 5 个共 11 个 → 吃掉 1 个剩 10 个零样本 CoT 特别适合手头没有现成示例的场景是新手成本最低、见效最快的思维链技巧。图片来源Kojima et al. (2022)出自 pages/techniques/cot.en.mdxAuto-CoT让大模型自动生成推理链手写示例费时费力还可能不够多样。Auto-CoTZhang et al., 2022的思路是用让我们一步一步思考的零样本提示让 LLM自动批量生成推理链替代人工编写。整个过程分两个阶段问题聚类把数据集里的题目分成若干簇示例抽样从每个簇中挑一道代表性题目用启发式规则如题目长度约 60 tokens、推理步骤约 5 步筛选出简洁准确的推理链。这样既能保证示例的多样性又能缓解自动推理链中的错误传播是一种低人工成本的推理链构建方案。图片来源Zhang et al. (2022)出自 pages/techniques/cot.en.mdx进阶玩法从思维链到思维树ToT如果任务需要反复试探和回溯比如算 24游戏、策略规划单条思维链就不够用了。Yao 等人2023提出的**思维树Tree of ThoughtsToT**框架把思维链扩展成一棵搜索树每一步生成多个候选思维中间解法用广度优先 / 深度优先搜索系统性探索让模型自评每个候选的可行性sure / maybe / impossible可向前验证、可回溯。ToT 直接建立在思维链提示之上在算术与规划类任务上显著超越普通 CoT是 Prompt Engineering Guide 中复杂推理进阶的必读章节。图片来源Yao et al. (2023)出自 pages/techniques/tot.zh.mdx更多相关学习资源 Prompt Engineering Guide 中还有多篇与思维链、推理能力相关的资料建议按顺序阅读思维链中文教程pages/techniques/cot.zh.mdx思维树ToT中文教程pages/techniques/tot.zh.mdx多模态思维链pages/techniques/multimodalcot.zh.mdxLLM 推理能力研究报告推理任务分类与提示策略综述pages/research/llm-reasoning.zh.mdx图片来源Qiao et al. (2023)出自 pages/research/llm-reasoning.zh.mdx总结思维链为什么强优势说明✅ 准确率大幅提升中间步骤让模型慢思考减少跳步出错✅ 零成本上手零样本 CoT 只需加一句话无需示例✅ 可解释性强推理过程可见便于排查错误✅ 可组合扩展与少样本、ToT、Self-Consistency 等技巧叠加使用一句话行动建议下次遇到数学题、逻辑题或需要分步决策的任务先在提示里加一句让我们一步一步思考再逐步升级到多示例思维链和思维树。跟着 Prompt Engineering Guide 的思维链章节实践你也能稳定解锁 LLM 的推理能力【免费下载链接】Prompt-Engineering-Guide Guides, papers, lessons, notebooks and resources for prompt engineering, context engineering, RAG, and AI Agents.项目地址: https://gitcode.com/GitHub_Trending/pr/Prompt-Engineering-Guide创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考