做AI应用的人大概都经历过这种画面模型能把论文摘要写得比不少研究生还像样你让它算“小明有5个苹果小红又给了他2袋每袋3个苹果问小明现在有几个苹果”它一本正经地输出一个错的答案。这事放在两年前几乎是无解的但有一篇论文把局面彻底改了过来——就是标题里这篇《Chain-of-thought prompting elicits reasoning in large language models》中文可以翻译为“思维链提示激发大语言模型的推理能力”。这篇论文是我心里提示工程领域的“原点级文献”。它提出的思维链Chain-of-Thought下文简称CoT做法现在已经渗透到几乎所有大模型应用方案里。很多人只听过“思维链”三个字却不知道它到底解决什么问题、为什么有效、边界在哪。这篇博文我把它的核心逻辑、实验设计、关键数据和后续影响拆开来讲也分享一点我拿这个方法做真实业务时的体验。如果你正在做提示词工程、研究大模型推理能力或者想把大模型接入复杂任务链路这篇论文值得反复读。1. 这篇论文到底在解决什么问题1.1 一个绕不开的背景大模型会“说话”但不会“想”在CoT出现之前少样本提示few-shot prompting的标准做法很简单给模型看几个“问题-答案”对让它照着回答。比如问罗杰有5个网球他又买了2罐网球每罐有3个网球。现在他有多少个网球 答11。只看这种示例模型学到的是“问题后面接一个数字”。对于一步就能算出来的简单问题这招够用一旦问题变成多步推理“猜数字”的模式就崩了。模型不是不会算而是默认的输出模式压根不是“先算一步再算下一步”而是试图从输入直接跳到最终答案。这等于让一个学生口算算出三步综合算式不给草稿纸不出错才怪。论文作者敏锐地抓住了这个矛盾大语言模型在预训练时看过海量带有解题过程的文本——教科书解析、百科问答、论坛答疑这些文本天然包含“先……然后……最后……”的思考结构。模型内部并不缺推理能力缺的是把这种结构“引出来”的提示方式。1.2 核心方法在示例里塞进“思考过程”于是作者提出了思维链提示在少样本示例中不仅给出问题和答案还给出中间的推理步骤。还是网球那个例子CoT版本是这样写的问罗杰有5个网球他又买了2罐网球每罐有3个网球。现在他有多少个网球 答罗杰一开始有5个网球。2罐网球每罐3个一共是6个网球。5加6等于11。所以现在有11个网球。区别看似只是多写了两句话但性质完全不同。模型看到的不再是“问题→答案”的跳跃而是“问题→若干个小步骤→答案”的完整推导路径。它在回答新问题时会模仿这种路径先生成中间推理文字再给出最终结论。论文里把这种“中间的推理步骤序列”称为思维链。整个方法不调整模型任何参数不训练、不微调只是修改提示词。这在那时是很反直觉的——不做任何训练只靠改输入文本就能让模型在推理任务上的成绩大幅上涨。1.3 为什么说这是“引出”而不是“教会”论文标题里有个词用得很讲究elicit引出。作者刻意区分了“教会模型推理”和“引出模型已有推理能力”这两个概念。如果CoT是“教会”那任何规模的模型都应该有效果。但实验显示参数量在百亿级别以下的模型用了CoT不仅没涨有时还比标准提示更差。只有模型规模跨过某个阈值之后CoT才突然发力而且在千亿级模型上效果惊人。这说明CoT不是给模型灌输了新能力而是激活了模型在预训练阶段已经具备的能力。打个比方一个水平不错的棋手你直接让他盲目下快棋他会下得很平庸但如果你递给他一张记录纸让他在对弈时写下每一步的思考他就能发挥出真正的实力。思维链就是那张记录纸。2. 思维链为什么有效我的三层理解2.1 第一层语言模型的“自然语言解题轨道”很多人把大语言模型想象成一个“知识问答器”问什么答什么。但本质上它是“下一个词预测器”——预训练任务决定了它擅长的是“续写符合文本分布规律的文本”。人类在解决复杂问题时留下的文本长什么样解题答案、技术手册、人物传记都带有明显的因果链和递进结构“由于……所以……”“第一步……第二步……”。大模型在海量这类文本上做预测训练已经非常熟悉这种“一步步推导”的文本形态。标准提示相当于强迫模型走一条它不熟悉的捷径从问题直接蹦到答案。CoT则是把它放回熟悉的轨道像教科书那样先分析、再推导、最后总结。模型在“畅所欲言地写推导过程”这个任务上比“直接给答案”要顺手得多。2.2 第二层把隐式计算变成显式工作记忆更深一层的原因是多步推理本质上是一个需要“工作记忆”的过程。人类心算三位数乘法容易出错但用纸笔一步步算就不会因为纸面记录扩展了大脑的工作记忆。大模型生成文本时上下文窗口本身就是它的“纸面”。CoT强制模型先把中间结果写成文本这些文本成为后续生成的上下文。模型在算下一步时可以直接看到自己上一步写下的结论相当于把内部隐式计算外显成可复用的过程记录。这解释了为什么“步骤写下来”比“心里憋大招”更稳模型不需要在单个前向计算中把整个推理链压缩成一个隐藏状态里的隐式结论而是可以在若干token的生成过程中逐步完成逻辑推进。2.3 第三层分解降低单步难度错误空间被压缩任何推理任务都可以看成两步把事情拆成子问题然后逐个解决子问题。CoT把这道“分解题”替模型做了一半——示例本身就是分解的样板模型只需要模仿这个分解风格把新问题拆成类似的步骤即可。每一步子问题通常比原问题简单得多。比如“买了2罐每罐3个”这个问题拆成“2乘以3等于几”“5加6等于几”之后每一步都是模型相当擅长的单步计算。单步计算的成功率都很高组合起来自然就把整体准确率拉上去了。反过来看如果不加CoT模型是在做一个完整的多步映射输入问题输出最终数字。中间任何一个环节错了最终答案就是错的而且模型没有机会“看到”自己错在哪一步。CoT相当于在每个中间步骤上给了模型一次“修正和缓冲”的机会。3. 实验设计拆解作者是怎么说服学术界的3.1 用九类任务覆盖“推理”的不同形态光在数学题上有效还不够论文最扎实的地方在于任务选择。作者没有只挑一种任务刷分而是选了三大类九个数据集数学应用题GSM8K、SVAMP、MAWPS、AQuA。这类任务要求把自然语言描述转化成运算步骤既考理解又考计算。常识推理CommonsenseQA、StrategyQA。问题本身不需要复杂计算但要求基于常识做多步推断比如“如果某人没有驾照他还能做什么”符号操作Last Letter Concatenation、Coin Flip。这类任务与人类知识无关纯粹考验模型按规则做多步操作的能力比如“把给定几个单词的最后一个字母拼起来”。这个任务矩阵设计得很聪明。数学题验证CoT能提升数值计算能力常识推理验证CoT不只是在“背公式”符号操作则证明CoT是一项通用的“多步规则执行”能力跟语义知识和计算能力都无关。3.2 提示怎么写的少而精的人工示例论文里的CoT示例是人工手工编写的每个任务大概配了8个左右示例。别小看这个“人工”字写示例的质量直接决定效果。我看了论文附录里的提示原文写法上有几个共性示例覆盖不同的题型难度不是千篇一律的“加法套加法”每道示例的推导过程都是完整自然语言不是胡乱堆公式答案放在最后并且有明确标志性的总结句比如“所以答案是……”。这种设计让模型看到的是一个“丰富的解题风格模板”而不是“固定的解题套路”。如果示例太单一模型学到的是照猫画虎如果示例覆盖了多种拆解思路模型才能泛化到没见过的问题上。3.3 规模扫描为什么小模型不灵大模型突然起飞论文做了一组非常关键的模型规模扫描实验从几十亿参数一直测到几千亿参数每个规模都同时跑标准提示和CoT提示。结果画出来是那张经典的“涌现图”小模型上两条线几乎重合CoT甚至略差模型规模到了百亿级之后两条线开始分开到了千亿级CoT的曲线开始明显抬头在最大的模型上两条线之间的差距变成了一个巨大的剪刀差。这个现象背后有很强的现实含义CoT不是“免费的午餐”它的前提是模型能力已经达到某个水位。如果手里的模型只有几十亿参数与其折腾思维链不如把精力花在数据清洗和微调上。而如果模型规模上去了CoT就是性价比极高的能力放大器。3.4 最震撼的一组数字GSM8K上的翻倍提升在所有实验结果里最常被引用的是GSM8K上的数据。在参数量约5400亿的模型上标准提示的准确率只有约17.9%换成CoT提示后直接飙到56.3%。要知道GSM8K是当时公认难啃的数学应用题数据集此前的最优结果都是靠大量专门训练才能拿到的。而这篇论文只改了提示词一行参数都没动就把成绩翻了三倍还多。这个结果让整个圈子都意识到提示方式的潜力可能被严重低估了。当然也要冷静看待56.3%的准确率意味着仍有接近一半的题会答错。CoT是大幅提升不是完美解决。后面还有大量工作是在这个基础上继续修补比如自洽性采样、工具增强等。4. 读论文容易忽略的三个细节实验4.1 中间步骤用自然语言还是数学表达式论文里有一个让我印象很深的对比实验同样是“把思考过程写出来”用自然语言的CoT和用数学表达式的CoT效果差距很大。作者尝试让模型用类似“x3*515”这样的符号形式作为中间步骤效果明显不如自然语言的“每罐有3个网球有2罐所以一共有6个网球”。这个结果很反直觉明明模型底层是数学计算系统为什么用自然语言解释效果更好我的理解是模型在预训练阶段接触到的“带推理过程的自然语言文本”远多于“带推理过程的公式流文本”。自然语言的生成路径在概率分布里更陡峭、更顺滑模型更容易“顺着写下去”。纯公式的推导路径在训练数据里比较少见模型生成起来反而别扭。这就提醒我们写CoT示例时不要把它写成算术草稿要把它写成讲解稿。4.2 控制对照组变量标准提示必须用同样数量的示例论文在对比标准提示和CoT提示时刻意保持了示例数量一致。这个细节容易被忽略但实际上是实验设计里很重要的一环——如果CoT用了8个示例而标准提示只给2个实验结果就没有说服力无法分辨是“示例数量”还是“思维链”带来的增益。顺带一提示例数量本身对CoT效果也有影响。论文发现示例数量太少模型可能学习不到足够的拆解模式数量太多收益逐渐饱和。实际操作中我一般每个任务准备5到8个高质量示例刻意覆盖不同难度和不同解法这个“少而精”的策略和论文的发现是吻合的。4.3 答案格式的隐式约束论文里的CoT示例虽然写了完整推理过程但最后都会有一个明确的收尾句式比如“所以答案是11”。这个收尾不是随便写的它有实际作用模型在抄写示例风格时会养成“推理完后给出明确结论”的习惯保证模型的最终输出是干净可解析的答案。这个细节到工程落地时就变得非常重要。如果最后没有这个收尾句模型可能洋洋洒洒讲一大堆推理最后不给你一个明确的答案。我在实际调模型时就吃过这个亏后来在提示里强制要求“最后用一行单独输出答案”解析侧才稳定下来。5. 这篇论文孵化的后续方向与工程落地建议5.1 从CoT到零样本思维链CoT需要人工写演示示例还是有点麻烦。后来有一批工作在CoT的启发下发现只要在问题后面加上一句“Lets think step by step”让我们一步一步思考模型就会自己生成推理过程不需要任何示例。这就是零样本思维链Zero-shot CoT。它进一步证明了一个观点模型需要的不是具体的示例内容而是“触发推理模式”的信号。一句“让我们一步一步思考”就是对输出分布最直接的牵引。不过零样本CoT的效果通常不如精心设计示例的CoT稳定尤其是在复杂推理任务上。5.2 自洽性让模型多推理几次再投票CoT后处理里最有名的一个改进就是自洽性Self-Consistency既然大模型生成带有随机性那就让它对同一个问题生成多条不同的推理链分别得出答案然后做多数投票。这个方法在GSM8K上把准确率又往上推了大概10个点。它的哲学很简单推理链可能走得歪但多条独立采样的推理链如果最终指向同一个答案这个答案大概率是对的。这也带出一个工程心得在预算允许的前提下多次采样投票往往是提升准确率最粗暴而有效的手段比反复精调提示词更省心。5.3 我拿CoT做业务时踩过的三个坑Token成本飙升CoT让输出长度从几个词变成几百个词延迟和成本肉眼可见地涨。在实时场景里需要评估“多花这些token换来的准确率提升是否值得”。假推理链模型在能力不足或知识缺失时会编造一条看起来头头是道、实际上从头错到尾的推理链。这种“有逻辑感的胡说八道”比直接答错更危险因为没有经验的用户很容易被过程打动。嵌套多轮任务如果将CoT用于多步Agent系统中间任一步出错后面所有步骤都会被带偏。所以我现在更多地让模型用CoT来规划步骤但具体计算尽量交给工具执行比如调计算器、查数据库而不是让模型真的“人肉计算”。5.4 最佳实践CoT适合解决哪些任务结合业务实践我自己的判断是CoT最适合“步骤可写、结果可验”的任务。比如数学应用题、逻辑推理、流程规划、测试用例生成。这类任务有一个明确的多步结构过程可以被描述最终结果可以被校验。CoT不适合的任务是需要大量外部知识的问答此时该上RAG检索以及单轮直觉判断比如情感分类、意图识别。在这些任务上强行套CoT往往只会增加延迟正确率提升有限。6. 读论文时的一点方法论收获现在许多人把论文当“结果说明书”来读只记结论。但这篇论文真正值得学习的是它的思想转变过程从“模型不能推理”到“模型不会在默认模式下展示推理”这是一个很深刻的视角转换。建议拿到这篇论文时不要先读文字先看实验图。重点看那张“模型规模与准确率”的曲线图看懂两条线如何相交、分开、放大差距远比背几个数字重要。再看附录里的提示示例原文看作者如何用8个句子构建出一个能泛化的解题风格这本身就是教科书级别的提示工程训练。我在实际工作中养成的一个习惯是面对任何复杂任务先问自己——“如果让我给一个聪明但没做过类似任务的人讲清楚怎么做我会分几步讲”把这几个步骤自然地用自然语言写进示例就是一个合格的CoT提示。这个习惯对我帮助很大或者说我现在看任何提示方案都会先判断它与人类讲解思路的贴近程度。既然你读到这里说明你是真的想搞懂推理提示而不只是会抄一个公式。CoT这篇论文是这条路上一块很好的铺路石顺着它去读后续的自洽性、工具增强、推理智能体你会慢慢搭起对“大模型推理能力”的完整认知框架。