这篇是论文精读系列的第九期。选题的时候我特意挑了一个既讲方法、又讲工程的文章：ReST-MCTS，标题直译过来就是“基于过程奖励引导的树搜索做LLM自我训练”。一句话概括它的核心思想：让大模型不要只想着“快答”，而是像下棋一样，在推理空间里先搜几步、评几步、再决定怎么走，最后把搜出来的高质量推理轨迹反哺到训练里，让模型自己把自己训练成会“慢思考”的System 2。如果你调过数学推理、逻辑推导这类任务，你应该有同感：大模型在简单题上可以秒答，但一旦问题需要多步推导，就经常“一步错、步步错”。这背后不是模型笨，而是它的自回归训练目标天然偏向System 1式快思考。ReST-MCTS的思路很有意思，它把蒙特卡洛树搜索（MCTS）和过程奖励模型（PRM）绑成一个闭环，把推理时搜索当成数据生成器，再通过离线训练把搜索能力内化到模型参数里。这篇精读适合三类人：研究LLM推理增强和RL训练的同学，想理解MCTS类算法怎么落地到文本生成场景的工程师，以及想动手复现但被论文公式劝退的爱好者。我尽量把论文省略的细节补上，也会穿插一些我在复现类似思路时踩过的坑。1. 为什么大模型推理总差一口气：System 1与System 2的差距1.1 快思考与慢思考：LLM天生是System 1认知科学里有个经典划分：System 1是快思考，靠直觉、模式匹配，比如你看到“3+5”马上反应出8；System 2是慢思考，需要规划、验证、回溯，比如你解一道需要分情况讨论的不等式。大模型天生是System 1，因为它预训练阶段的目标函数就是“给定前文，预测下一个token”，说白了是在做极其高频的模式补全。你给它一道应用题，它会把从训练数据里见过的相似题目的“套路”直接投影出来，速度很快，但缺少真正的推演过程。这个问题在复杂推理任务上特别明显。我做个简单测试你就有体感：让模型算一个多步鸡兔同笼问题，它可以在前两句话里表现得逻辑清晰，到第三步突然开始重复题干里的信息，最后给一个明显偏差很大的数值。为什么？因为每一步生成之后，模型并没有一个“停下来检查一下当前状态”的机制。它只是凭着概率往下一个token走。这就是典型的System 1式答题：快，但缺乏可控性。1.2 已有的三条增强路线，各有各的坎为了让LLM拥有System 2能力，业界其实走过三条路，都有各自的瓶颈。第一条路是提示词工程路线，典型代表是思维链（CoT）和思维树（ToT）。CoT通过“让我们一步一步思考”引导模型多输出中间推理过程，有效但不稳定，遇到没见过的题型很容易在中间步骤悄悄跑偏。ToT更进一步，在推理时做树搜索，但它最大的麻烦是需要一个评估函数来给中间状态打分。人工设计这个评估函数非常难，写得太简单没区分度，写得太具体又没法泛化到新问题。第二条路是结果奖励强化学习路线，比如ReST系列、RLHF这类。它的做法是让模型生成完整答案，然后根据最终答案对不对给整体奖励，再用策略梯度或离线优化去更新模型。问题在于结果奖励太稀疏，一个很长的推理过程里，可能只有最后一步能提供学习信号。每一步走得好不好、哪一步导致错误，模型完全不知道，学起来就像蒙着眼睛走迷宫。第三条路是过程监督路线，也就是训练一个过程奖励模型给每个中间步骤打分。这条路理论最优，但需要大量人工标注：你得告诉模型哪一步推理是对的、哪一步是错的。标注成本高得离谱，很难规模化。ReST-MCTS最聪明的地方，就是绕开了这三条路的致命伤：它用MCTS做搜索，用模型自评代替人工标注PRM，再用离线训练把搜索结果变成学习信号。1.3 ReST-MCTS想回答的核心问题这个工作真正要回答的问题可以提炼成一句话：能不能让LLM在训练过程中自己搜索、自己评估、自己改进，形成一个不需要人工干预的自我训练飞轮？ReST这个前缀代表了Reinforced Self-Training，也就是强化自我训练。MCTS则承担了“搜索引擎”的角色。整个过程是迭代式的：第一轮用普通SFT模型去搜索，搜出来的轨迹训练出一个更强的模型；第二轮再用更强的模型去搜索，搜出更高质量的轨迹，继续训练。如此循环，每一轮的数据质量都会因为策略模型本身的进步而提高，而不是像传统做法那样依赖固定的、人工构造的训练集。这个思路让我想起了围棋AI里的自我对弈：最强的棋手不是靠背棋谱，而是靠不断跟自己对弈，从搜索中产生新的训练数据。ReST-MCTS本质上是把AlphaGo的方法论迁移到了语言模型的推理能力增强上。2. 方法拆解：ReST-MCTS的训练闭环到底怎么转2.1 四步循环：搜索、评估、回溯、再训练ReST-MCTS的训练流程不是一条静态的工作流，而是一个动态循环。我把每一轮迭代拆成四个阶段，方便你建立整体感。第一阶段是搜索前准备。拿着一组带标准答案的训练问题，每个问题输入给当前策略模型。这里要注意，不是让模型直接给出完整答案，而是让它在搜索框架中逐步构造推理路径。第二阶段是蒙特卡洛树搜索。从根节点（原始问题）出发，模型反复执行“选择、扩展、模拟、回溯”四个动作，在推理空间里搜索。这里的关键是，搜索的粒度不是token，而是一个推理步骤。比如一道数学题，一个步骤可以是“设未知数为x”或“根据条件列出方程”，每个步骤对应树上的一个节点。第三阶段是奖励评估。搜索过程中每走一步，都要有一个奖励信号告诉搜索算法“这一步走得怎么样”。在ReST-MCTS里，这个信号来自一个自动构建的过程奖励模型。模型会对每一步的推理进行打分，分数被回传到树节点上，指导后面的搜索走向。第四阶段是离线训练。搜索结束后，树里会积累很多条从根到叶的推理路径，但质量参差不齐。算法会根据路径的总奖励进行筛选或加权，挑出高质量路径作为训练数据，去更新策略模型。下一轮迭代开始后，搜索用的就是更新后的模型，如此循环。整个闭环里，最核心的洞察是：搜索产生的轨迹不仅仅是推理时用来解题的，它更是训练数据的来源。搜索能力会通过训练逐步参数化到模型内部，这才是“从System 2搜索蒸馏System 2能力”的本质。2.2 MCTS在推理空间里如何下棋MCTS原本用在围棋这类博弈场景，核心思想是通过多次模拟来评估不同动作的长远价值。ReST-MCTS把它改造成了语言推理版本，两者的映射关系是这样的：棋盘状态对应当前的推理前缀（包括问题文本和已经生成的所有步骤），动作对应下一步要生成的推理片段，游戏结束对应得到最终答案。具体执行起来，MCTS的四个阶段在LLM场景下是这样的：选择阶段：从当前根节点开始，按照UCT（Upper Confidence Bound for Trees）公式逐层选择子节点。UCT公式长这样：Q(s, a) + c * sqrt(ln N(s) / N(s, a))。其中Q是节点平均奖励，N(s)是父节点访问次数，N(s, a)是子节点访问次数，c是探索系数。这个公式的作用是在“选择高平均奖励的子节点”和“尝试访问次数少的子节点”之间做权衡。扩展阶段：选中一个叶子节点后，调用LLM生成一个新的推理步骤。论文里的做法是让LLM基于当前前缀生成下一个逻辑步骤，而不是生成完整答案。这里需要控制生成长度，一般限定几步以内，防止搜索树爆炸。我在实际测试中遇到一个细节：如果让模型自由生成，它有时会一次吐出两三个步骤，粒度控制不稳定。所以比较好的做法是在prompt里明确要求“只输出下一步”，或者从生成文本中按标点/逻辑边界切分。模拟阶段：从新扩展出的节点开始，让模型以rollout方式快速走到最终答案。这里比较常见的是让模型连续生成剩余推理过程，直到给出最终结果。为了控制成本，模拟过程的生成长度要限制，也可以用更小的辅助模型做模拟。回溯阶段：得到最终答案后，把结果奖励从叶节点逐层回传，更新路径上所有节点的访问次数和平均奖励。结果奖励怎么定？如果问题有标准答案，最简单的是看最终答案是否匹配，匹配给1，不匹配给0。但纯0/1奖励过于稀疏，对搜索帮助有限，所以工程上通常会把PRM给出的过程奖励和结果奖励结合，形成一个更平滑的奖励信号。这里有个常见误区：很多人把MCTS理解成一个“多次采样取最优”的过程，其实不对。MCTS的核心价值在于通过回溯更新让搜索有方向性，它能识别出“某些步骤虽然前期看起来不错，但后期注定失败”的坏节点，并在后续搜索中减少对这类节点的访问。2.3 过程奖励模型：让模型自己当裁判过程奖励模型（PRM）是整个方法里最有争议也最有创新点的地方。传统PRM需要人工标注中间步骤对错，ReST-MCTS则想办法绕开人工标注。具体做法是：让LLM自己对自己生成的推理步骤进行评分。比如，给定问题、当前推理前缀和最新一步推理，模型被要求评价这一步是否有助于得到正确答案。评分可以是一个数值，也可以是“正确/错误/不确定”的分类。这些评分被收集起来，用作MCTS回溯时的过程奖励。你可能会问：模型自己评自己，这不等于运动员兼裁判吗？论文显然也意识到这个问题，所以做了几个关键设计来缓解。第一，每次迭代的PRM是用上一轮模型来评本轮模型生成的步骤，相当于让“老师”稍微领先“学生”一步，减小同体偏差。第二，多个采样结果做集成，比如同一状态下让PRM评三次取多数票或平均值，降低单次打分噪声。第三，PRM的评分不是抽象的正确性判断，而是让模型预测“从这个步骤出发，最后有多大可能达到正确答案”，这更接近模型能够判断的范畴。我在复现时的体会是：自评PRM的效果取决于prompt设计。直接问“这一步对不对”，模型倾向于给保守或模糊的答案；但换成“请判断基于当前前缀，最终得到标准答案的可能性是高、中还是低”，模型反而能给出一致性更好的评分。这说明自评PRM不是让模型做客观判官，而是让它利用自身的先验知识做一种“自信度估计”。2.4 从搜索树到训练目标：优质轨迹如何变成学习信号搜索结束之后，每棵树上会记录很多条从根到叶的路径，每条路径都有一个累计奖励。接下来要做的就是从这些路径里提取训练信号。最简单的方式是像SFT那样，只拿累计奖励高于某个阈值的路径做监督训练。但ReST-MCTS没有直接用硬筛选，而是采用了一种加权方式：每条训练样本的权重与它对应的路径奖励挂钩，奖励越高、学习信号越强。这样做的原因很实际：硬阈值会丢掉大量中等质量但仍有学习价值的路径，而加权可以让模型在低质量样本上少学、在高质量样本上多学。训练目标可以写成交替优化的形式。策略模型以最大化加权对数似然为目标，加权的权重来自奖励估计。为了防止模型在重复几轮训练后坍塌成只输出固定模式，论文还在目标中加了KL正则项，约束更新后的策略不要偏离参考策略太远。这个过程本质上是把搜索得到的“经验”蒸馏进策略网络，让模型逐步内化System 2式推理。值得强调的是，PRM本身也会在迭代中更新。每一轮搜索完成后，可以用新的策略模型重新生成步骤、重新评分，微调PRM以适应策略模型的分布变化。如果PRM不更新，它会在几轮迭代后逐渐失效，因为策略模型生成步骤的分布已经偏移了。3. 关键设计原理解读：为什么这套组合能work3.1 步骤级奖励为什么比结果级奖励更重要要理解ReST-MCTS为什么有效，得先理解一个核心矛盾：在复杂推理任务里，结果级奖励几乎无法指导模型改进。举个例子，一个五步推理问题，模型前三步完全正确，第四步写错了符号，导致第五步得出错误答案。结果奖励是0，但模型并不知道错在哪一步。它只会笼统地觉得“这个推理路径不好”，至于前三步哪些值得保留，它无从得知。这种稀疏奖励在强化学习里是出了名的难优化，模型在巨大的步数空间里来回试错，学习效率非常低。过程奖励则不同，它在每个步骤后都给一个分数。试想同一个例子，有了PRM，前三步的节点会获得正反馈，第四步的节点获得负反馈。梯度信号就能明确告诉策略模型：“前三步很好，继续保持；第四步这种操作要尽量避免。”这就是把信用分配问题从最终结果拆解到了每一步。ReST-MCTS通过MCTS的回溯机制，把过程和结果奖励整合到节点上，让每一步的“好坏”都有数据支撑。这就像老师批改作业，如果只给最终分数，学生很难知道哪个知识点没掌握；但如果是逐题批改并标出错误步骤，学生就能精准定位问题。PRM对于LLM来说，就是那个逐步骤批改作业的老师，只不过这个老师也是AI。3.2 推理时搜索与训练时自增强的互补关系ReST-MCTS同时动用了两个杠杆：推理时计算和训练时计算。这两个杠杆单独用都有局限，合起来却能产生协同效应。推理时计算的典型代表是CoT、ToT、Self-consistency这类方法。它们的优点是不用改模型，靠增加采样次数和搜索来提高性能。缺点也很明显：成本高，且每次推理都要依赖外部搜索逻辑。试想一个Agent应用，每回答一个问题要调用几十次甚至上百次LLM采样，这在生产环境里很难承受。训练时计算的典型代表是SFT和RLHF。它们把能力压缩进模型参数，推理时不需要额外搜索，直接生成。但问题在于，如果没有强搜索过程做数据生成，你很难获得足够多的高质量推理轨迹去训练模型。ReST-MCTS把两者接成了一个飞轮：先用MCTS做强搜索，生成高质量轨迹；再用这些轨迹做离线训练，把搜索能力蒸馏进模型参数。下一轮搜索时，模型本身就更强，搜索深度可以更大，数据质量进一步提升。我自己的理解是，这个飞轮越转越快，是因为搜索和训练互相为对方创造条件。3.3 自评PRM的自我强化风险与控制手段自评PRM虽然省了人工标注，但它有一个天然风险：模型可能会偏好自己生成的，甚至是错误的推理步骤，导致错误信号被强化。这在多次迭代训练里尤其危险，可能造成模型对某种系统性错误产生“自信”。怎么控制这个风险？论文和后续的复现讨论里有几个关键手段比较有效。第一，时间差评估。让当前轮次生成的路径，由上一轮的模型来做评分者。由于两个模型之间有性能差，评分者的判断带有某种“外部性”，比完全自评要稳定得多。第二，对比评估代替绝对评估。与其让PRM输出“这个步骤对不对”这种绝对判断，不如让它比较两个候选步骤哪个更好。相对比较在LLM上往往更可靠，因为模型不擅长做精确的打分员，但擅长做粗糙的比较员。第三，在训练阶段对自评PRM的分数进行校准。比如收集一小批人工标注数据，用它们来校准自评分的置信度区间，纠正系统偏差。我在实操中还有一种体会：自评PRM最怕的是分布外输入。如果候选推理步骤本身很离谱，模型反而会给出很奇怪的偏高分数。所以给PRM的prompt里最好强调“如果推理步骤与问题求解无关或明显偏离，请打低分，哪怕它看起来自洽”。这种显式的先验约束能减少自评PRM的失控概率。3.4 离线优化中为什么必须加约束如果你尝试过离线强化学习，你应该知道一个坑：贪心最大化奖励很容易导致策略崩溃。原因很简单，奖励模型是有偏的，模型会去刻意利用奖励模型的漏洞，生成一些在评估视角下虚高、但实际上质量很差的文本。ReST-MCTS的离线训练同样面临这个问题。搜索路径的奖励来自PRM，PRM本身并不完美，如果策略模型在训练时单纯追求加权对数似然最大化，它可能学会反复生成那些“骗过PRM”的步骤模式，而不是真正的推理能力。约束手段主要有两种。一种是KL正则化：定义参考策略为当前训练前的策略模型，训练时在目标里加上一项与参考策略的KL散度惩罚，控制更新幅度。另一种是奖励裁剪/归一化：把奖励映射到固定区间，减少极端值对梯度的干扰。我在做类似项目时发现，把reward做log转换比直接使用原始分数稳定得多，因为PRM的打分分布往往不是线性的。还有一个不太容易被注意到的点：训练数据里如果只有高奖励路径，分布也会很快变窄。所以比较稳的做法是保留一部分中等奖励路径，但给它们分配较小的权重。这相当于给优化过程加了一个隐式的熵正则，保持了策略的多样性。4. 实验效果与影响范围：从数字到方法论4.1 数学推理上的提升，以及超出预期的泛化ReST-MCTS在论文里选了数学推理作为主要试验场，这个选择很聪明。数学问题是可验证的，最终答案对不对很容易判断，适合做MCTS的终局奖励。另一方面，数学推理需要多步逻辑，正好是System 2能力的合适标尺。论文在小学数学应用题基准和竞赛数学基准上都做了对比。在基础SFT模型上用ReST-MCTS迭代若干轮后，准确率有明显提升，尤其在竞赛级问题上提升幅度比简单应用题更大。这个现象很有意义，因为竞赛级问题推理链长、分支多，正是System 1式快思考最容易翻车的场景。我特别留意到论文还报告了分布外泛化。模型在某个数学题分布上训练，测试时换到另一套风格相近但题型稍有不同的数据集，效果没有大幅衰减。这说明MCTS搜索过程产生的训练数据不只是在刷题，它确实在帮助模型学习一种更通用的推理结构。这一点很关键，如果ReST-MCTS只是在拟合训练集题型，那它的工程价值就要大打折扣了。4.2 自评PRM与人工PRM的差距有多大人工标注PRM效果理论上最好，但成本太高。ReST-MCTS论文回答了大家最关心的一个问题：自评PRM和人工PRM比，差距到底有多少？结论比较乐观：在多个任务上，自评PRM的效果与人工PRM非常接近，某些情况下甚至能打平。我理解这个结果背后的原因：在数学推理任务里，LLM对“某一步是否有利于我最终得到标准答案”是有较强自我判断能力的，它可能无法精确给出分数，但它的相对判断已经足够指导MCTS走出一条比随机采样好得多的路径。这个结论的工程意义很大。它意味着只要有一个够用的基础模型，你就能启动ReST-MCTS的自我训练飞轮，不需要额外的人工标注，也不用在PRM训练上投入太多人力。当然，自评PRM在真实复杂场景下不一定都稳定，尤其是那些答案开放、没有标准答案的任务。但在数学这类可验证任务上，它已经被证明是一条可行的低成本路径。4.3 搜索深度、宽度与温度如何影响最终效果MCTS里有几个关键旋钮直接影响效果：搜索深度（一条路径最多包含多少个推理步骤）、搜索宽度（每个节点最多扩展几个子节点）、生成温度（扩展节点时LLM采样的随机性）。搜索深度如果太浅，MCTS基本退化成普通CoT采样，搜索优势发挥不出来。但如果深度拉得过大，一方面推理时间成本急剧上升，另一方面后期步骤的奖励信号噪声越来越大，收益反而饱和。单步生成仍然可能“跑偏”，这种情况下树数据的价值就很低。探索系数c控制“多尝试新步骤”的偏好。我自己的经验是：第一轮迭代时，模型本身能力弱，c可以设大一些，多探索；后几轮模型变强了，c要调小，让搜索更集中到高奖励区域。温度t在扩展节点时建议比普通生成略高，比如0.7到1.0，这样能保证同一前缀下不同子节点的多样性。5. 复现路径与工程实操5.1 最小可行复现：需要准备哪些东西我在自己机器上复现过类似思路，这里给出一份最小可行的准备工作清单。第一个是策略模型。最好选一个中等规模、有一定推理底子的开源模型作为起点。要有初步的CoT能力，否则搜索树第一步都走不明白。第二个是问题数据。准备几百到一千道带标准答案的数学题就足够启动一轮迭代了，数据规模不用太大，关键是答案要可验证。第三个是代码骨架。MCTS树结构、搜索循环、奖励回传、训练循环，没有现成库的话自己写也就几百行。第四个是计算资源。训练阶段需要能跑微调的GPU，如果模型在10B以上，至少需要多卡并行；搜索阶段需要调用模型推理，制约瓶颈是吞吐量，不是显存。我建议先别一上来就搞几十万道题和几百轮迭代。第一次复现的目标应该是“让飞轮转起来”，验证每个环节能闭环即可。比如拿500道题、2轮迭代、每问题搜索30次，先跑通，再去扩展规模。5.2 核心代码骨架：搜索与训练的关键片段我写一个Python风格的伪代码骨架，帮助你理解关键逻辑。代码不是完整实现，但核心控制流都在。# 搜索循环：对每个问题构建搜索树 def mcts_search(problem, policy_model, prm_model, max_depth, n_simulations, c): root = TreeNode(prefix=problem, depth=0) for _ in range(n_simulations): # Selection：按UCT选叶子节点 leaf = root.select(c) # Expansion：调用LLM生成下一步 if leaf.depth < max_depth and not leaf.is_terminal: step = policy_model.generate_next_step(leaf.prefix) leaf.add_child(step) leaf = leaf.children[-1] # Rollout：从当前节点快速模拟到结束 final_answer = policy_model.rollout(leaf.prefix) result_reward = judge(final_answer, standard_answer) # Backup：逐层回传奖励，更新Q值和访问次数 leaf.backup(result_reward) # 收集高质量路径 paths = root.collect_paths() return paths # 离线训练：用加权路径做策略优化 def train_update(paths, model, ref_model, beta): for path in paths: reward = path.total_reward() weight = softmax(reward / temperature) for step in path.steps: log_prob = model.log_prob(step.token, prefix=step.prefix) ref_log_prob = ref_model.log_prob(step.token, prefix=step.prefix) kl = log_prob - ref_log_prob loss = -weight * (log_prob - beta * kl) # 简化的加权KL正则 loss.backward() optimizer.step()要注意的关键点：这里的backup不能只回传最终结果奖励，还要把PRM对每一步的过程奖励同时累加进去。论文里Q值的更新是过程和结果奖励的加权混合。另外，select函数里要维护每个节点的总访问次数和平均Q值，这些信息是UCT公式的计算基础，需要单独设计好数据结构。5.3 关键超参经验值速查表下面这张表整理了我复现时觉得比较靠谱的超参初始值，以及调整方向，供你参考。参数建议初始值具体作用调试方向UCT探索系数c0.6控制探索与利用平衡第一轮设大些，后几轮调小每问题模拟次数n_simulations20-50搜索精度与成本效果好但慢就减半最大搜索深度10-15步覆盖长推理链根据任务难度调整每节点子节点数3-5扩展多样性过多易爆内存扩展温度t0.8控制生成随机性模型弱时调高KL正则系数beta0.1约束更新幅度训练不稳定就调大奖励温度1.0控制训练权重分布分布过尖调大有个经验是：搜索次数低的时候，PRM的作用不明显。因为路径长、分支少，MCTS很难积累足够统计量。如果发现搜索出来路径质量总是忽高忽低，先加模拟次数，而不是急着改PRM模型。搜索次数上去了，节点统计才稳定，UCT选出来的路径才有参考价值。5.4 复现途中容易踩的坑我在自己的实验里踩过不少坑，这里挑几个典型的说。第一个坑是步骤切分。最早我用句子分界来切推理步骤，但模型生成的句子常常很长，一句里包含两个逻辑动作。后来改成按“逻辑单元”切分，比如遇到“因此”“所以”“我们可以设”这类词就切开，效果稳定很多。步骤切分质量直接影响PRM评估的有效性，值得花时间调。第二个坑是PRM打分偏移。模型当裁判的时候特别喜欢给中等分段，也就是大部分步骤都打0.5左右，几乎没有区分度。我尝试把打分改成“正确概率”并用softmax归一化，让分数尽量拉开差距。同时要求模型在给出分数前先写一小段理由，能够显著提高打分的准确性。第三个坑是训练阶段过拟合。搜索树里的数据虽然质量高，但多样性有限。如果同一棵树上相似路径反复出现，模型很容易在训练时过拟合到这些路径，导致在测试集上泛化变差。我的缓解方式是：从同一棵树里采样路径时限制最多N条相似路径，或者给路径加一个小权重的去重逻辑。6. 常见问题排查速查表（含避坑技巧）我在复现和调参过程中积累了一些问题排查经验，整理成速查表，方便你快速定位。症状可能原因解决方案搜索树Q值几乎不更新最终答案奖励全是0，导致回传信号消失检查答案匹配逻辑，改用数值归一化兼容不同写法PRM打分全部集中在0.4-0.6评分prompt引导性太弱改成“从当前状态到正确答案的可能性”并分档评估搜索路径缺乏多样性探索系数c太小或扩展温度过低增大c，提高生成温度到0.9以上训练后模型重复输出相同话术KL约束太弱，策略偏移过大上调beta，检查参考模型加载是否正确训练loss在降但测试推理不涨搜索数据质量没提升，模型在学低质量模式检查PRM是否在使用上一轮模型，且分数区分度够大多次迭代后效果反而下降自评PRM自我强化了某种系统偏差引入多轮交叉评估，或用小批量人工标注校准PRM内存爆炸树的子节点数和搜索深度设计太大限制子节点数，定期删除低访问量子树rollout耗时过长模拟阶段生成长度太长、次数太多限制rollout最大token数，或用小模型做快速模拟这里补充一个我特别有感触的例子：一开始我在搜索结果里同时保留了过多低奖励路径，导致训练时信号被平均化，模型学不到尖锐的模式。后来调整了奖励权重分布，把低质量路径的权重压得很低，只保留少数中等路径，效果立刻有了明显提升。奖励分布的形状，比你想象的更影响训练结果。另一个容易被忽略的点是答案匹配逻辑。数学题的最终答案有时写法不统一，比如分数线、小数位、带不带单位，都可能导致结果奖励误判为0。我建议在结果判断时做一层归一化处理：提取数字表达式、去除空白和单位、做浮点数近似比较。一个小改动，对MCTS回传质量的影响可能很大。7. 写在最后：我的实操体会这个项目我在不同规模模型上试过之后，最大的体会是：ReST-MCTS的收益高度依赖任务的结构化程度。数学、代码、逻辑谜题这类中间步骤可验证的任务，它的效果非常显著；但如果是开放式写作、创意生成这类没有标准答案的任务，过程奖励的建模会变得很困难，飞轮效果也会大打折扣。所以如果你要复现，建议从数学题起步，先把闭环跑通，再思考怎么泛化到更开放的任务上。另外一点是，我越来越觉得“搜索空间切分”比“奖励模型”更重要。很多人复现时把精力都花在调PRM上，反而忽略了推理步骤怎么定义。同一个问题，按句子切和按逻辑单元切，得到的树结构天差地别。我的建议是，第一轮迭代先用最简单的方式切步骤，别过度设计；等基础流程稳定了，再回来优化步骤切分粒度，你会发现这个操作的性价比极高。最后分享一个小技巧：不要急于一次跑满多轮迭代。先用一个固定模型做MCTS采样，把采样结果存下来，单独做一轮SFT，看看效果涨幅。这一步骤本质是“离线蒸馏搜索能力”，它跑通了，再加PRM更新和策略迭代。渐进式复现能帮你快速定位到底是搜索引擎的问题，还是训练信号的问题，也避免在错误方向上浪费大量算力。ReST-MCTS是个很有嚼头的方法论，它在LLM身上复现了搜索与学习互相成就的古老智慧。希望这篇精读能让你的复现之路少踩几个坑。
这篇是论文精读系列的第九期。选题的时候我特意挑了一个既讲方法、又讲工程的文章：ReST-MCTS，标题直译过来就是“基于过程奖励引导的树搜索做LLM自我训练”。一句话概括它的核心思想：让大模型不要只想着“快答”，而是像下棋一样，在推理空间里先搜几步、评几步、再决定怎么走，最后把搜出来的高质量推理轨迹反哺到训练里，让模型自己把自己训练成会“慢思考”的System 2。如果你调过数学推理、逻辑推导这类任务，你应该有同感：大模型在简单题上可以秒答，但一旦问题需要多步推导，就经常“一步错、步步错”。这背后不是模型笨，而是它的自回归训练目标天然偏向System 1式快思考。ReST-MCTS的思路很有意思，它把蒙特卡洛树搜索（MCTS）和过程奖励模型（PRM）绑成一个闭环，把推理时搜索当成数据生成器，再通过离线训练把搜索能力内化到模型参数里。这篇精读适合三类人：研究LLM推理增强和RL训练的同学，想理解MCTS类算法怎么落地到文本生成场景的工程师，以及想动手复现但被论文公式劝退的爱好者。我尽量把论文省略的细节补上，也会穿插一些我在复现类似思路时踩过的坑。1. 为什么大模型推理总差一口气：System 1与System 2的差距1.1 快思考与慢思考：LLM天生是System 1认知科学里有个经典划分：System 1是快思考，靠直觉、模式匹配，比如你看到“3+5”马上反应出8；System 2是慢思考，需要规划、验证、回溯，比如你解一道需要分情况讨论的不等式。大模型天生是System 1，因为它预训练阶段的目标函数就是“给定前文，预测下一个token”，说白了是在做极其高频的模式补全。你给它一道应用题，它会把从训练数据里见过的相似题目的“套路”直接投影出来，速度很快，但缺少真正的推演过程。这个问题在复杂推理任务上特别明显。我做个简单测试你就有体感：让模型算一个多步鸡兔同笼问题，它可以在前两句话里表现得逻辑清晰，到第三步突然开始重复题干里的信息，最后给一个明显偏差很大的数值。为什么？因为每一步生成之后，模型并没有一个“停下来检查一下当前状态”的机制。它只是凭着概率往下一个token走。这就是典型的System 1式答题：快，但缺乏可控性。1.2 已有的三条增强路线，各有各的坎为了让LLM拥有System 2能力，业界其实走过三条路，都有各自的瓶颈。第一条路是提示词工程路线，典型代表是思维链（CoT）和思维树（ToT）。CoT通过“让我们一步一步思考”引导模型多输出中间推理过程，有效但不稳定，遇到没见过的题型很容易在中间步骤悄悄跑偏。ToT更进一步，在推理时做树搜索，但它最大的麻烦是需要一个评估函数来给中间状态打分。人工设计这个评估函数非常难，写得太简单没区分度，写得太具体又没法泛化到新问题。第二条路是结果奖励强化学习路线，比如ReST系列、RLHF这类。它的做法是让模型生成完整答案，然后根据最终答案对不对给整体奖励，再用策略梯度或离线优化去更新模型。问题在于结果奖励太稀疏，一个很长的推理过程里，可能只有最后一步能提供学习信号。每一步走得好不好、哪一步导致错误，模型完全不知道，学起来就像蒙着眼睛走迷宫。第三条路是过程监督路线，也就是训练一个过程奖励模型给每个中间步骤打分。这条路理论最优，但需要大量人工标注：你得告诉模型哪一步推理是对的、哪一步是错的。标注成本高得离谱，很难规模化。ReST-MCTS最聪明的地方，就是绕开了这三条路的致命伤：它用MCTS做搜索，用模型自评代替人工标注PRM，再用离线训练把搜索结果变成学习信号。1.3 ReST-MCTS想回答的核心问题这个工作真正要回答的问题可以提炼成一句话：能不能让LLM在训练过程中自己搜索、自己评估、自己改进，形成一个不需要人工干预的自我训练飞轮？ReST这个前缀代表了Reinforced Self-Training，也就是强化自我训练。MCTS则承担了“搜索引擎”的角色。整个过程是迭代式的：第一轮用普通SFT模型去搜索，搜出来的轨迹训练出一个更强的模型；第二轮再用更强的模型去搜索，搜出更高质量的轨迹，继续训练。如此循环，每一轮的数据质量都会因为策略模型本身的进步而提高，而不是像传统做法那样依赖固定的、人工构造的训练集。这个思路让我想起了围棋AI里的自我对弈：最强的棋手不是靠背棋谱，而是靠不断跟自己对弈，从搜索中产生新的训练数据。ReST-MCTS本质上是把AlphaGo的方法论迁移到了语言模型的推理能力增强上。2. 方法拆解：ReST-MCTS的训练闭环到底怎么转2.1 四步循环：搜索、评估、回溯、再训练ReST-MCTS的训练流程不是一条静态的工作流，而是一个动态循环。我把每一轮迭代拆成四个阶段，方便你建立整体感。第一阶段是搜索前准备。拿着一组带标准答案的训练问题，每个问题输入给当前策略模型。这里要注意，不是让模型直接给出完整答案，而是让它在搜索框架中逐步构造推理路径。第二阶段是蒙特卡洛树搜索。从根节点（原始问题）出发，模型反复执行“选择、扩展、模拟、回溯”四个动作，在推理空间里搜索。这里的关键是，搜索的粒度不是token，而是一个推理步骤。比如一道数学题，一个步骤可以是“设未知数为x”或“根据条件列出方程”，每个步骤对应树上的一个节点。第三阶段是奖励评估。搜索过程中每走一步，都要有一个奖励信号告诉搜索算法“这一步走得怎么样”。在ReST-MCTS里，这个信号来自一个自动构建的过程奖励模型。模型会对每一步的推理进行打分，分数被回传到树节点上，指导后面的搜索走向。第四阶段是离线训练。搜索结束后，树里会积累很多条从根到叶的推理路径，但质量参差不齐。算法会根据路径的总奖励进行筛选或加权，挑出高质量路径作为训练数据，去更新策略模型。下一轮迭代开始后，搜索用的就是更新后的模型，如此循环。整个闭环里，最核心的洞察是：搜索产生的轨迹不仅仅是推理时用来解题的，它更是训练数据的来源。搜索能力会通过训练逐步参数化到模型内部，这才是“从System 2搜索蒸馏System 2能力”的本质。2.2 MCTS在推理空间里如何下棋MCTS原本用在围棋这类博弈场景，核心思想是通过多次模拟来评估不同动作的长远价值。ReST-MCTS把它改造成了语言推理版本，两者的映射关系是这样的：棋盘状态对应当前的推理前缀（包括问题文本和已经生成的所有步骤），动作对应下一步要生成的推理片段，游戏结束对应得到最终答案。具体执行起来，MCTS的四个阶段在LLM场景下是这样的：选择阶段：从当前根节点开始，按照UCT（Upper Confidence Bound for Trees）公式逐层选择子节点。UCT公式长这样：Q(s, a) + c * sqrt(ln N(s) / N(s, a))。其中Q是节点平均奖励，N(s)是父节点访问次数，N(s, a)是子节点访问次数，c是探索系数。这个公式的作用是在“选择高平均奖励的子节点”和“尝试访问次数少的子节点”之间做权衡。扩展阶段：选中一个叶子节点后，调用LLM生成一个新的推理步骤。论文里的做法是让LLM基于当前前缀生成下一个逻辑步骤，而不是生成完整答案。这里需要控制生成长度，一般限定几步以内，防止搜索树爆炸。我在实际测试中遇到一个细节：如果让模型自由生成，它有时会一次吐出两三个步骤，粒度控制不稳定。所以比较好的做法是在prompt里明确要求“只输出下一步”，或者从生成文本中按标点/逻辑边界切分。模拟阶段：从新扩展出的节点开始，让模型以rollout方式快速走到最终答案。这里比较常见的是让模型连续生成剩余推理过程，直到给出最终结果。为了控制成本，模拟过程的生成长度要限制，也可以用更小的辅助模型做模拟。回溯阶段：得到最终答案后，把结果奖励从叶节点逐层回传，更新路径上所有节点的访问次数和平均奖励。结果奖励怎么定？如果问题有标准答案，最简单的是看最终答案是否匹配，匹配给1，不匹配给0。但纯0/1奖励过于稀疏，对搜索帮助有限，所以工程上通常会把PRM给出的过程奖励和结果奖励结合，形成一个更平滑的奖励信号。这里有个常见误区：很多人把MCTS理解成一个“多次采样取最优”的过程，其实不对。MCTS的核心价值在于通过回溯更新让搜索有方向性，它能识别出“某些步骤虽然前期看起来不错，但后期注定失败”的坏节点，并在后续搜索中减少对这类节点的访问。2.3 过程奖励模型：让模型自己当裁判过程奖励模型（PRM）是整个方法里最有争议也最有创新点的地方。传统PRM需要人工标注中间步骤对错，ReST-MCTS则想办法绕开人工标注。具体做法是：让LLM自己对自己生成的推理步骤进行评分。比如，给定问题、当前推理前缀和最新一步推理，模型被要求评价这一步是否有助于得到正确答案。评分可以是一个数值，也可以是“正确/错误/不确定”的分类。这些评分被收集起来，用作MCTS回溯时的过程奖励。你可能会问：模型自己评自己，这不等于运动员兼裁判吗？论文显然也意识到这个问题，所以做了几个关键设计来缓解。第一，每次迭代的PRM是用上一轮模型来评本轮模型生成的步骤，相当于让“老师”稍微领先“学生”一步，减小同体偏差。第二，多个采样结果做集成，比如同一状态下让PRM评三次取多数票或平均值，降低单次打分噪声。第三，PRM的评分不是抽象的正确性判断，而是让模型预测“从这个步骤出发，最后有多大可能达到正确答案”，这更接近模型能够判断的范畴。我在复现时的体会是：自评PRM的效果取决于prompt设计。直接问“这一步对不对”，模型倾向于给保守或模糊的答案；但换成“请判断基于当前前缀，最终得到标准答案的可能性是高、中还是低”，模型反而能给出一致性更好的评分。这说明自评PRM不是让模型做客观判官，而是让它利用自身的先验知识做一种“自信度估计”。2.4 从搜索树到训练目标：优质轨迹如何变成学习信号搜索结束之后，每棵树上会记录很多条从根到叶的路径，每条路径都有一个累计奖励。接下来要做的就是从这些路径里提取训练信号。最简单的方式是像SFT那样，只拿累计奖励高于某个阈值的路径做监督训练。但ReST-MCTS没有直接用硬筛选，而是采用了一种加权方式：每条训练样本的权重与它对应的路径奖励挂钩，奖励越高、学习信号越强。这样做的原因很实际：硬阈值会丢掉大量中等质量但仍有学习价值的路径，而加权可以让模型在低质量样本上少学、在高质量样本上多学。训练目标可以写成交替优化的形式。策略模型以最大化加权对数似然为目标，加权的权重来自奖励估计。为了防止模型在重复几轮训练后坍塌成只输出固定模式，论文还在目标中加了KL正则项，约束更新后的策略不要偏离参考策略太远。这个过程本质上是把搜索得到的“经验”蒸馏进策略网络，让模型逐步内化System 2式推理。值得强调的是，PRM本身也会在迭代中更新。每一轮搜索完成后，可以用新的策略模型重新生成步骤、重新评分，微调PRM以适应策略模型的分布变化。如果PRM不更新，它会在几轮迭代后逐渐失效，因为策略模型生成步骤的分布已经偏移了。3. 关键设计原理解读：为什么这套组合能work3.1 步骤级奖励为什么比结果级奖励更重要要理解ReST-MCTS为什么有效，得先理解一个核心矛盾：在复杂推理任务里，结果级奖励几乎无法指导模型改进。举个例子，一个五步推理问题，模型前三步完全正确，第四步写错了符号，导致第五步得出错误答案。结果奖励是0，但模型并不知道错在哪一步。它只会笼统地觉得“这个推理路径不好”，至于前三步哪些值得保留，它无从得知。这种稀疏奖励在强化学习里是出了名的难优化，模型在巨大的步数空间里来回试错，学习效率非常低。过程奖励则不同，它在每个步骤后都给一个分数。试想同一个例子，有了PRM，前三步的节点会获得正反馈，第四步的节点获得负反馈。梯度信号就能明确告诉策略模型：“前三步很好，继续保持；第四步这种操作要尽量避免。”这就是把信用分配问题从最终结果拆解到了每一步。ReST-MCTS通过MCTS的回溯机制，把过程和结果奖励整合到节点上，让每一步的“好坏”都有数据支撑。这就像老师批改作业，如果只给最终分数，学生很难知道哪个知识点没掌握；但如果是逐题批改并标出错误步骤，学生就能精准定位问题。PRM对于LLM来说，就是那个逐步骤批改作业的老师，只不过这个老师也是AI。3.2 推理时搜索与训练时自增强的互补关系ReST-MCTS同时动用了两个杠杆：推理时计算和训练时计算。这两个杠杆单独用都有局限，合起来却能产生协同效应。推理时计算的典型代表是CoT、ToT、Self-consistency这类方法。它们的优点是不用改模型，靠增加采样次数和搜索来提高性能。缺点也很明显：成本高，且每次推理都要依赖外部搜索逻辑。试想一个Agent应用，每回答一个问题要调用几十次甚至上百次LLM采样，这在生产环境里很难承受。训练时计算的典型代表是SFT和RLHF。它们把能力压缩进模型参数，推理时不需要额外搜索，直接生成。但问题在于，如果没有强搜索过程做数据生成，你很难获得足够多的高质量推理轨迹去训练模型。ReST-MCTS把两者接成了一个飞轮：先用MCTS做强搜索，生成高质量轨迹；再用这些轨迹做离线训练，把搜索能力蒸馏进模型参数。下一轮搜索时，模型本身就更强，搜索深度可以更大，数据质量进一步提升。我自己的理解是，这个飞轮越转越快，是因为搜索和训练互相为对方创造条件。3.3 自评PRM的自我强化风险与控制手段自评PRM虽然省了人工标注，但它有一个天然风险：模型可能会偏好自己生成的，甚至是错误的推理步骤，导致错误信号被强化。这在多次迭代训练里尤其危险，可能造成模型对某种系统性错误产生“自信”。怎么控制这个风险？论文和后续的复现讨论里有几个关键手段比较有效。第一，时间差评估。让当前轮次生成的路径，由上一轮的模型来做评分者。由于两个模型之间有性能差，评分者的判断带有某种“外部性”，比完全自评要稳定得多。第二，对比评估代替绝对评估。与其让PRM输出“这个步骤对不对”这种绝对判断，不如让它比较两个候选步骤哪个更好。相对比较在LLM上往往更可靠，因为模型不擅长做精确的打分员，但擅长做粗糙的比较员。第三，在训练阶段对自评PRM的分数进行校准。比如收集一小批人工标注数据，用它们来校准自评分的置信度区间，纠正系统偏差。我在实操中还有一种体会：自评PRM最怕的是分布外输入。如果候选推理步骤本身很离谱，模型反而会给出很奇怪的偏高分数。所以给PRM的prompt里最好强调“如果推理步骤与问题求解无关或明显偏离，请打低分，哪怕它看起来自洽”。这种显式的先验约束能减少自评PRM的失控概率。3.4 离线优化中为什么必须加约束如果你尝试过离线强化学习，你应该知道一个坑：贪心最大化奖励很容易导致策略崩溃。原因很简单，奖励模型是有偏的，模型会去刻意利用奖励模型的漏洞，生成一些在评估视角下虚高、但实际上质量很差的文本。ReST-MCTS的离线训练同样面临这个问题。搜索路径的奖励来自PRM，PRM本身并不完美，如果策略模型在训练时单纯追求加权对数似然最大化，它可能学会反复生成那些“骗过PRM”的步骤模式，而不是真正的推理能力。约束手段主要有两种。一种是KL正则化：定义参考策略为当前训练前的策略模型，训练时在目标里加上一项与参考策略的KL散度惩罚，控制更新幅度。另一种是奖励裁剪/归一化：把奖励映射到固定区间，减少极端值对梯度的干扰。我在做类似项目时发现，把reward做log转换比直接使用原始分数稳定得多，因为PRM的打分分布往往不是线性的。还有一个不太容易被注意到的点：训练数据里如果只有高奖励路径，分布也会很快变窄。所以比较稳的做法是保留一部分中等奖励路径，但给它们分配较小的权重。这相当于给优化过程加了一个隐式的熵正则，保持了策略的多样性。4. 实验效果与影响范围：从数字到方法论4.1 数学推理上的提升，以及超出预期的泛化ReST-MCTS在论文里选了数学推理作为主要试验场，这个选择很聪明。数学问题是可验证的，最终答案对不对很容易判断，适合做MCTS的终局奖励。另一方面，数学推理需要多步逻辑，正好是System 2能力的合适标尺。论文在小学数学应用题基准和竞赛数学基准上都做了对比。在基础SFT模型上用ReST-MCTS迭代若干轮后，准确率有明显提升，尤其在竞赛级问题上提升幅度比简单应用题更大。这个现象很有意义，因为竞赛级问题推理链长、分支多，正是System 1式快思考最容易翻车的场景。我特别留意到论文还报告了分布外泛化。模型在某个数学题分布上训练，测试时换到另一套风格相近但题型稍有不同的数据集，效果没有大幅衰减。这说明MCTS搜索过程产生的训练数据不只是在刷题，它确实在帮助模型学习一种更通用的推理结构。这一点很关键，如果ReST-MCTS只是在拟合训练集题型，那它的工程价值就要大打折扣了。4.2 自评PRM与人工PRM的差距有多大人工标注PRM效果理论上最好，但成本太高。ReST-MCTS论文回答了大家最关心的一个问题：自评PRM和人工PRM比，差距到底有多少？结论比较乐观：在多个任务上，自评PRM的效果与人工PRM非常接近，某些情况下甚至能打平。我理解这个结果背后的原因：在数学推理任务里，LLM对“某一步是否有利于我最终得到标准答案”是有较强自我判断能力的，它可能无法精确给出分数，但它的相对判断已经足够指导MCTS走出一条比随机采样好得多的路径。这个结论的工程意义很大。它意味着只要有一个够用的基础模型，你就能启动ReST-MCTS的自我训练飞轮，不需要额外的人工标注，也不用在PRM训练上投入太多人力。当然，自评PRM在真实复杂场景下不一定都稳定，尤其是那些答案开放、没有标准答案的任务。但在数学这类可验证任务上，它已经被证明是一条可行的低成本路径。4.3 搜索深度、宽度与温度如何影响最终效果MCTS里有几个关键旋钮直接影响效果：搜索深度（一条路径最多包含多少个推理步骤）、搜索宽度（每个节点最多扩展几个子节点）、生成温度（扩展节点时LLM采样的随机性）。搜索深度如果太浅，MCTS基本退化成普通CoT采样，搜索优势发挥不出来。但如果深度拉得过大，一方面推理时间成本急剧上升，另一方面后期步骤的奖励信号噪声越来越大，收益反而饱和。单步生成仍然可能“跑偏”，这种情况下树数据的价值就很低。探索系数c控制“多尝试新步骤”的偏好。我自己的经验是：第一轮迭代时，模型本身能力弱，c可以设大一些，多探索；后几轮模型变强了，c要调小，让搜索更集中到高奖励区域。温度t在扩展节点时建议比普通生成略高，比如0.7到1.0，这样能保证同一前缀下不同子节点的多样性。5. 复现路径与工程实操5.1 最小可行复现：需要准备哪些东西我在自己机器上复现过类似思路，这里给出一份最小可行的准备工作清单。第一个是策略模型。最好选一个中等规模、有一定推理底子的开源模型作为起点。要有初步的CoT能力，否则搜索树第一步都走不明白。第二个是问题数据。准备几百到一千道带标准答案的数学题就足够启动一轮迭代了，数据规模不用太大，关键是答案要可验证。第三个是代码骨架。MCTS树结构、搜索循环、奖励回传、训练循环，没有现成库的话自己写也就几百行。第四个是计算资源。训练阶段需要能跑微调的GPU，如果模型在10B以上，至少需要多卡并行；搜索阶段需要调用模型推理，制约瓶颈是吞吐量，不是显存。我建议先别一上来就搞几十万道题和几百轮迭代。第一次复现的目标应该是“让飞轮转起来”，验证每个环节能闭环即可。比如拿500道题、2轮迭代、每问题搜索30次，先跑通，再去扩展规模。5.2 核心代码骨架：搜索与训练的关键片段我写一个Python风格的伪代码骨架，帮助你理解关键逻辑。代码不是完整实现，但核心控制流都在。# 搜索循环：对每个问题构建搜索树 def mcts_search(problem, policy_model, prm_model, max_depth, n_simulations, c): root = TreeNode(prefix=problem, depth=0) for _ in range(n_simulations): # Selection：按UCT选叶子节点 leaf = root.select(c) # Expansion：调用LLM生成下一步 if leaf.depth < max_depth and not leaf.is_terminal: step = policy_model.generate_next_step(leaf.prefix) leaf.add_child(step) leaf = leaf.children[-1] # Rollout：从当前节点快速模拟到结束 final_answer = policy_model.rollout(leaf.prefix) result_reward = judge(final_answer, standard_answer) # Backup：逐层回传奖励，更新Q值和访问次数 leaf.backup(result_reward) # 收集高质量路径 paths = root.collect_paths() return paths # 离线训练：用加权路径做策略优化 def train_update(paths, model, ref_model, beta): for path in paths: reward = path.total_reward() weight = softmax(reward / temperature) for step in path.steps: log_prob = model.log_prob(step.token, prefix=step.prefix) ref_log_prob = ref_model.log_prob(step.token, prefix=step.prefix) kl = log_prob - ref_log_prob loss = -weight * (log_prob - beta * kl) # 简化的加权KL正则 loss.backward() optimizer.step()要注意的关键点：这里的backup不能只回传最终结果奖励，还要把PRM对每一步的过程奖励同时累加进去。论文里Q值的更新是过程和结果奖励的加权混合。另外，select函数里要维护每个节点的总访问次数和平均Q值，这些信息是UCT公式的计算基础，需要单独设计好数据结构。5.3 关键超参经验值速查表下面这张表整理了我复现时觉得比较靠谱的超参初始值，以及调整方向，供你参考。参数建议初始值具体作用调试方向UCT探索系数c0.6控制探索与利用平衡第一轮设大些，后几轮调小每问题模拟次数n_simulations20-50搜索精度与成本效果好但慢就减半最大搜索深度10-15步覆盖长推理链根据任务难度调整每节点子节点数3-5扩展多样性过多易爆内存扩展温度t0.8控制生成随机性模型弱时调高KL正则系数beta0.1约束更新幅度训练不稳定就调大奖励温度1.0控制训练权重分布分布过尖调大有个经验是：搜索次数低的时候，PRM的作用不明显。因为路径长、分支少，MCTS很难积累足够统计量。如果发现搜索出来路径质量总是忽高忽低，先加模拟次数，而不是急着改PRM模型。搜索次数上去了，节点统计才稳定，UCT选出来的路径才有参考价值。5.4 复现途中容易踩的坑我在自己的实验里踩过不少坑，这里挑几个典型的说。第一个坑是步骤切分。最早我用句子分界来切推理步骤，但模型生成的句子常常很长，一句里包含两个逻辑动作。后来改成按“逻辑单元”切分，比如遇到“因此”“所以”“我们可以设”这类词就切开，效果稳定很多。步骤切分质量直接影响PRM评估的有效性，值得花时间调。第二个坑是PRM打分偏移。模型当裁判的时候特别喜欢给中等分段，也就是大部分步骤都打0.5左右，几乎没有区分度。我尝试把打分改成“正确概率”并用softmax归一化，让分数尽量拉开差距。同时要求模型在给出分数前先写一小段理由，能够显著提高打分的准确性。第三个坑是训练阶段过拟合。搜索树里的数据虽然质量高，但多样性有限。如果同一棵树上相似路径反复出现，模型很容易在训练时过拟合到这些路径，导致在测试集上泛化变差。我的缓解方式是：从同一棵树里采样路径时限制最多N条相似路径，或者给路径加一个小权重的去重逻辑。6. 常见问题排查速查表（含避坑技巧）我在复现和调参过程中积累了一些问题排查经验，整理成速查表，方便你快速定位。症状可能原因解决方案搜索树Q值几乎不更新最终答案奖励全是0，导致回传信号消失检查答案匹配逻辑，改用数值归一化兼容不同写法PRM打分全部集中在0.4-0.6评分prompt引导性太弱改成“从当前状态到正确答案的可能性”并分档评估搜索路径缺乏多样性探索系数c太小或扩展温度过低增大c，提高生成温度到0.9以上训练后模型重复输出相同话术KL约束太弱，策略偏移过大上调beta，检查参考模型加载是否正确训练loss在降但测试推理不涨搜索数据质量没提升，模型在学低质量模式检查PRM是否在使用上一轮模型，且分数区分度够大多次迭代后效果反而下降自评PRM自我强化了某种系统偏差引入多轮交叉评估，或用小批量人工标注校准PRM内存爆炸树的子节点数和搜索深度设计太大限制子节点数，定期删除低访问量子树rollout耗时过长模拟阶段生成长度太长、次数太多限制rollout最大token数，或用小模型做快速模拟这里补充一个我特别有感触的例子：一开始我在搜索结果里同时保留了过多低奖励路径，导致训练时信号被平均化，模型学不到尖锐的模式。后来调整了奖励权重分布，把低质量路径的权重压得很低，只保留少数中等路径，效果立刻有了明显提升。奖励分布的形状，比你想象的更影响训练结果。另一个容易被忽略的点是答案匹配逻辑。数学题的最终答案有时写法不统一，比如分数线、小数位、带不带单位，都可能导致结果奖励误判为0。我建议在结果判断时做一层归一化处理：提取数字表达式、去除空白和单位、做浮点数近似比较。一个小改动，对MCTS回传质量的影响可能很大。7. 写在最后：我的实操体会这个项目我在不同规模模型上试过之后，最大的体会是：ReST-MCTS的收益高度依赖任务的结构化程度。数学、代码、逻辑谜题这类中间步骤可验证的任务，它的效果非常显著；但如果是开放式写作、创意生成这类没有标准答案的任务，过程奖励的建模会变得很困难，飞轮效果也会大打折扣。所以如果你要复现，建议从数学题起步，先把闭环跑通，再思考怎么泛化到更开放的任务上。另外一点是，我越来越觉得“搜索空间切分”比“奖励模型”更重要。很多人复现时把精力都花在调PRM上，反而忽略了推理步骤怎么定义。同一个问题，按句子切和按逻辑单元切，得到的树结构天差地别。我的建议是，第一轮迭代先用最简单的方式切步骤，别过度设计；等基础流程稳定了，再回来优化步骤切分粒度，你会发现这个操作的性价比极高。最后分享一个小技巧：不要急于一次跑满多轮迭代。先用一个固定模型做MCTS采样，把采样结果存下来，单独做一轮SFT，看看效果涨幅。这一步骤本质是“离线蒸馏搜索能力”，它跑通了，再加PRM更新和策略迭代。渐进式复现能帮你快速定位到底是搜索引擎的问题，还是训练信号的问题，也避免在错误方向上浪费大量算力。ReST-MCTS是个很有嚼头的方法论，它在LLM身上复现了搜索与学习互相成就的古老智慧。希望这篇精读能让你的复现之路少踩几个坑。