1. 从一道面试题说起：PPO和GRPO到底差在哪面试里聊强化学习，PPO几乎是绕不开的。但这两年如果你在简历上写了“做过RLHF”“训过大模型对齐”，面试官很可能追问一句：GRPO了解吗？它把Critic砍了，那优势函数从哪来？这个问题我第一次被问到时，脑子里第一反应是“组内相对嘛，减个均值除个标准差”，但真往深了说，会发现它背后牵扯的是整个策略梯度体系里一个很核心的取舍：我们到底需不需要一个独立的价值网络来估计基线。先把结论摆在这：PPO靠一个和策略网络参数量相当的Critic来估计状态价值，用GAE算出每个token的优势；GRPO直接把Critic整个拿掉，用同一组prompt下采样出来的多条回答，拿组内奖励的均值当基线，用组内标准差做归一化，得到每个样本的相对优势。省掉的是一个网络，换来的是一套“组内互相比”的估计方式。这篇文章我打算把这件事从头到尾拆一遍。适合谁看？如果你正在准备算法岗面试，或者手头在做RLHF、推理模型的后训练，想搞清楚PPO和GRPO在实现层面的真实差异，那这篇应该能帮你把脑子里那团浆糊理清楚。我会尽量把公式背后的直觉讲透，也会给出可以直接抄的参数配置和踩坑记录。2. 先搞懂PPO里Critic到底在干什么2.1 策略梯度的方差问题与基线的作用要理解GRPO为什么敢把Critic砍掉，得先明白Critic在PPO里承担了什么角色。最朴素的策略梯度是这么个形式：用一条轨迹的总回报乘以整条轨迹的log概率梯度。问题在于，这个总回报的方差极大。同一条轨迹，运气好奖励高，运气差奖励低，梯度方向就会剧烈抖动。训练起来就是“今天涨明天崩”。解决办法是引入一个基线（baseline）。把回报减去一个和动作无关的量，期望不变，但方差能大幅下降。最常用的基线就是状态价值函数V(s)，也就是“在这个状态下，平均能拿多少回报”。减去它之后，剩下的部分就是优势：这个动作比平均水平好多少。提示：基线必须只依赖状态、不依赖动作，否则会引入偏差。这是推导里的硬约束，面试时如果被问到“为什么不能用Q值当基线”，答案就在这里。所以Critic的本质工作，就是估计这个基线。它是个回归任务：输入状态，输出该状态下的期望回报。PPO用GAE（广义优势估计）把多步的TD误差加权求和，得到偏差和方差折中的优势估计。2.2 GAE的计算链路与Critic的训练成本GAE的公式不复杂，但实现里有个容易被忽略的点：它需要每个时间步的V值。也就是说，Critic要对序列里每一个token位置都输出一个价值估计。在语言模型场景下，这意味着Critic的输入和策略模型一样长，输出是一个标量序列。它的参数量通常和策略模型同量级，前向、反向的开销都实打实。更麻烦的是训练稳定性：Critic自己也在学，如果它估得不准，优势就带偏差，策略更新方向就歪。实践中经常出现Critic loss降不下去、价值估计漂移、策略跟着一起崩的情况。我自己的经验是，PPO训大模型时，Critic往往是那个“拖后腿”的模块。显存占用上，策略模型+参考模型+奖励模型+Critic，四个模型同时驻留，70B级别的模型基本要堆到多卡才能跑。这也是为什么大家一直在想：能不能不要Critic。2.3 Critic省不掉的根本矛盾但Critic不是想省就能省的。它提供的是绝对的价值基准：这个状态值多少分。没有它，优势就无从谈起。除非——你能找到另一种方式，在不训练价值网络的前提下，构造出一个合理的基线。GRPO的思路就藏在这个“除非”里。3. GRPO的核心思路：用组内相对值替代绝对价值3.1 组采样：同一个问题生成多条回答GRPO的全称是Group Relative Policy Optimization，关键词是“Group”。它的做法是：对同一个prompt，让当前策略采样出G条不同的回答（比如G=8或16），然后对这G条回答分别打分，得到一组奖励{r1, r2, ..., rG}。接下来是精髓：用这组奖励的均值作为基线。某条回答的优势，就是它的奖励减去组内均值。再除以组内标准差做归一化，得到标准化的相对优势。用一句话概括：PPO问的是“这条回答比这个状态的平均水平好多少”，GRPO问的是“这条回答比同题的其他回答好多少”。3.2 优势估计的数学形式与直觉把公式写出来更清楚。对第i条回答，它的优势估计是：A_i = (r_i - mean(r)) / std(r)这里mean和std都是在同一个prompt的G条回答内部算的。注意，这个优势是整条回答级别的，然后会广播到该回答的每一个token上（配合token级的概率比做裁剪）。为什么这样能work？直觉上，同一道题下的多条回答，面对的“题目难度”是一样的。它们之间的奖励差异，主要来自回答质量本身，而不是题目难易。所以组内均值天然就是一个合理的基线，把“这道题本身好不好答”这个因素消掉了。这其实和“配对比较”的思想一脉相承：与其给每个回答打绝对分，不如让它们互相比。绝对分难校准，相对分好校准。3.3 标准差归一化的作用与争议除以标准差这一步，作用是让不同prompt之间的优势尺度统一。有的题目组内奖励差异大，有的差异小，归一化之后梯度尺度更一致。但这一步也有争议。如果某个prompt的G条回答奖励几乎一样（std接近0），归一化会把微小的差异放大成很大的优势，引入噪声。实践中通常加一个极小值eps防止除零，但eps取多少、要不要对std做裁剪，都是调参的活儿。我见过的一种处理是：当std小于某个阈值时，直接把这一组的优势置零，相当于认为这组没有区分度，不产生梯度。这个技巧在训练后期奖励饱和时特别有用。4. 从PPO到GRPO：优势来源的完整对比4.1 两种优势估计的链路对照把两者的链路并排看，差异一目了然：维度PPOGRPO基线来源Critic网络估计的V(s)同组回答奖励的均值优势粒度token级（GAE逐token计算）回答级（广播到token）额外网络需要Critic不需要显存占用策略+参考+奖励+Critic策略+参考+奖励训练稳定性受Critic质量影响大受组内方差影响采样成本每条prompt采1条每条prompt采G条采样成本这一行值得单独说。GRPO省了Critic的显存和计算，但代价是每个prompt要采G条回答。如果G=8，采样量就是PPO的8倍。不过采样是推理，可以用vLLM这类推理引擎批量做，比训练Critic的backward便宜得多。这笔账算下来，GRPO在工程上通常更划算。4.2 为什么组内均值能当基线有人会问：组内均值凭什么能替代V(s)？它不是状态价值啊。关键在于，基线只需要满足“与动作无关”这个条件，不要求它是最优的V(s)。组内均值依赖的是同一个prompt，而prompt对所有G条回答是共享的，所以均值里不包含“某条特定回答”的信息，满足基线的基本要求。当然，它估计的精度不如训练良好的Critic。但强化学习里有个反直觉的事实：一个略有偏差但稳定的基线，往往比一个无偏但抖动的基线更好用。Critic训不好时引入的偏差和方差，可能比组内均值这种粗糙但稳定的估计更伤。4.3 省掉Critic带来的工程收益从工程角度看，省掉Critic的收益是实打实的：显存：少一个和策略同量级的模型，70B场景下能省下大量显存，直接决定能不能在现有卡上跑起来。代码复杂度：不用维护Critic的训练循环、不用调Critic的学习率、不用处理价值和策略的耦合。超参：少了一堆和Critic相关的超参（价值损失系数、GAE的lambda、Critic预热步数等）。对齐目标：GRPO直接优化相对偏好，和人类偏好的“比较”本质更契合。这也是为什么在推理模型的后训练里，GRPO系的方法流行得很快。它把RLHF的工程门槛降了一大截。5. 实操落地：GRPO的关键参数与实现细节5.1 组大小G怎么选G是最核心的超参。太小，组内均值估计不准，优势噪声大；太大，采样成本线性上涨。经验值：G=8到16是常见区间。数学推理任务上，G=8往往够用；如果任务奖励稀疏、区分度低，可以加到16甚至32。有个细节：G最好是偶数，方便做配对比较的扩展。另外，如果用了“组内奖励全相同就置零”的策略，G太小会导致置零比例过高，梯度信号不足。5.2 KL惩罚与参考模型的角色GRPO里通常还保留KL惩罚，约束策略不要偏离参考模型太远。这一项和PPO一样，用token级的KL估计，乘一个系数β加到奖励里。β的取值很关键。太大，策略学不动，一直贴着参考模型；太小，容易跑偏、语言退化。常见范围是0.01到0.1。我自己的习惯是从0.04起步，观察KL的实际值再调。注意：KL惩罚加在奖励上之后，组内优势的计算要用加了KL的奖励，而不是原始奖励。这个顺序别搞反，否则约束就失效了。5.3 裁剪范围与学习率GRPO沿用了PPO的clip机制，对概率比做裁剪，防止单步更新过大。裁剪范围ε通常取0.2，和PPO一致。学习率方面，GRPO因为优势是回答级的，梯度信号相对粗，学习率可以比PPO略大一点。实践中1e-6到5e-6是常见区间，配合warmup和cosine衰减。下面是一份可以直接参考的配置：# GRPO 关键超参参考配置 group_size = 8 # 每个prompt采样回答数 kl_coef = 0.04 # KL惩罚系数 clip_range = 0.2 # 概率比裁剪范围 learning_rate = 2e-6 # 策略学习率 warmup_ratio = 0.03 # 预热比例 std_eps = 1e-4 # 标准差归一化的防除零项 zero_adv_threshold = 1e-6 # 组内std低于此值时优势置零5.4 奖励设计：规则奖励还是模型奖励GRPO对奖励的依赖比PPO更直接，因为优势完全来自奖励的相对比较。奖励设计不好，组内区分度就出不来。数学、代码这类有明确对错的任务，用规则奖励（答案匹配、单测通过）最稳，噪声小、可复现。开放域任务用奖励模型，但要注意奖励模型的打分要有足够的分辨率，否则组内全是同一个分，优势全为零。我踩过的一个坑：奖励模型输出被量化得太粗（比如只有0/1两档），导致G=8的组里经常出现6个0、2个1，优势估计非常粗糙。后来把奖励改成连续值，训练曲线立刻平滑了很多。6. 常见问题与排查实录6.1 训练不涨反跌的几种典型原因GRPO训练崩掉，我遇到过的情况大概分几类：KL系数太小：策略跑飞，输出变得重复或乱码。排查方法是看KL的实际值，如果持续飙升，先把β调大。组内奖励无区分度：所有回答得分一样，优势全零，等于没训练。看组内std的分布，如果大量接近0，说明奖励设计或任务难度有问题。学习率过大：策略更新过猛，概率比频繁触发裁剪。看clip fraction，如果长期高于0.3，降学习率。采样温度不当：温度太低，G条回答几乎一样，组内没差异；温度太高，回答质量普遍差。推理任务上温度0.7到1.0比较常见。6.2 组内奖励全相同的处理这是GRPO最典型的问题。一组G条回答，奖励全一样，优势全零，这一组就白采了。处理方式有两种：一是直接置零跳过，不产生梯度；二是如果全相同是因为任务太简单，考虑提高任务难度或换数据。前者是工程手段，后者是数据手段，通常要一起用。监控指标上，建议记录有效组比例（组内std大于阈值的组占比）。这个比例低于50%就要警惕了，说明大部分采样都浪费了。6.3 与PPO的显存和速度实测对比在同等模型规模下，我做过一组粗略对比（7B级别，单机多卡）：指标PPOGRPO峰值显存高（含Critic）低约25%-30%每步采样量1xGx每步训练耗时较长（含Critic反向）较短端到端吞吐受Critic拖累通常更优结论是：GRPO把成本从“训练侧”挪到了“推理侧”。因为推理可以批量化、可以用高效引擎，整体吞吐往往更好。但如果你的推理资源紧张，这个挪移就不一定划算。6.4 面试高频追问与应答思路回到面试场景，几个高频追问和我的应答思路：“GRPO的优势有偏吗？”有。组内均值不是真实V(s)，估计是有偏的。但实践中偏差可接受，且换来了稳定性。“为什么不用G条回答的奖励直接做排序学习？”排序学习（如DPO）是离线偏好，GRPO是在线策略优化，能持续探索、持续改进，不局限于固定偏好数据。“GRPO能完全替代PPO吗？”不能。需要精细token级信用分配的任务，PPO的GAE仍有优势。GRPO更适合回答级奖励、比较型目标。“组大小G和batch size什么关系？”总采样量 = prompt数 × G。显存和吞吐要按总采样量算，别只盯着prompt数。7. 我个人在实际操作中的几点体会最后分享几个从实际训练里攒下来的经验，都是文档里不太会写的。第一，GRPO的调试重心在奖励，不在优化器。PPO时代大家花大量时间调Critic，GRPO时代这些时间应该转移到奖励设计和数据分析上。组内区分度就是生命线。第二，别迷信G越大越好。G从8加到16，收益往往不明显，但采样成本翻倍。先把奖励和任务难度调好，再考虑加G。第三，KL系数要动态看。固定β在训练不同阶段效果差异很大，前期可以松一点让策略探索，后期收紧防止跑偏。有些实现会用自适应KL，值得一试。第四，保留PPO作为兜底。GRPO不是银弹，遇到需要细粒度信用分配的任务，PPO仍然是更稳的选择。工具箱里两把锤子都留着，比只信一把强。这个方向后续还能往几个地方扩展：比如把组内比较从“均值基线”换成“中位数基线”看鲁棒性，或者把回答级优势做更细的token级分解。这些我都还在试，有结论了再聊。
1. 从一道面试题说起：PPO和GRPO到底差在哪面试里聊强化学习，PPO几乎是绕不开的。但这两年如果你在简历上写了“做过RLHF”“训过大模型对齐”，面试官很可能追问一句：GRPO了解吗？它把Critic砍了，那优势函数从哪来？这个问题我第一次被问到时，脑子里第一反应是“组内相对嘛，减个均值除个标准差”，但真往深了说，会发现它背后牵扯的是整个策略梯度体系里一个很核心的取舍：我们到底需不需要一个独立的价值网络来估计基线。先把结论摆在这：PPO靠一个和策略网络参数量相当的Critic来估计状态价值，用GAE算出每个token的优势；GRPO直接把Critic整个拿掉，用同一组prompt下采样出来的多条回答，拿组内奖励的均值当基线，用组内标准差做归一化，得到每个样本的相对优势。省掉的是一个网络，换来的是一套“组内互相比”的估计方式。这篇文章我打算把这件事从头到尾拆一遍。适合谁看？如果你正在准备算法岗面试，或者手头在做RLHF、推理模型的后训练，想搞清楚PPO和GRPO在实现层面的真实差异，那这篇应该能帮你把脑子里那团浆糊理清楚。我会尽量把公式背后的直觉讲透，也会给出可以直接抄的参数配置和踩坑记录。2. 先搞懂PPO里Critic到底在干什么2.1 策略梯度的方差问题与基线的作用要理解GRPO为什么敢把Critic砍掉，得先明白Critic在PPO里承担了什么角色。最朴素的策略梯度是这么个形式：用一条轨迹的总回报乘以整条轨迹的log概率梯度。问题在于，这个总回报的方差极大。同一条轨迹，运气好奖励高，运气差奖励低，梯度方向就会剧烈抖动。训练起来就是“今天涨明天崩”。解决办法是引入一个基线（baseline）。把回报减去一个和动作无关的量，期望不变，但方差能大幅下降。最常用的基线就是状态价值函数V(s)，也就是“在这个状态下，平均能拿多少回报”。减去它之后，剩下的部分就是优势：这个动作比平均水平好多少。提示：基线必须只依赖状态、不依赖动作，否则会引入偏差。这是推导里的硬约束，面试时如果被问到“为什么不能用Q值当基线”，答案就在这里。所以Critic的本质工作，就是估计这个基线。它是个回归任务：输入状态，输出该状态下的期望回报。PPO用GAE（广义优势估计）把多步的TD误差加权求和，得到偏差和方差折中的优势估计。2.2 GAE的计算链路与Critic的训练成本GAE的公式不复杂，但实现里有个容易被忽略的点：它需要每个时间步的V值。也就是说，Critic要对序列里每一个token位置都输出一个价值估计。在语言模型场景下，这意味着Critic的输入和策略模型一样长，输出是一个标量序列。它的参数量通常和策略模型同量级，前向、反向的开销都实打实。更麻烦的是训练稳定性：Critic自己也在学，如果它估得不准，优势就带偏差，策略更新方向就歪。实践中经常出现Critic loss降不下去、价值估计漂移、策略跟着一起崩的情况。我自己的经验是，PPO训大模型时，Critic往往是那个“拖后腿”的模块。显存占用上，策略模型+参考模型+奖励模型+Critic，四个模型同时驻留，70B级别的模型基本要堆到多卡才能跑。这也是为什么大家一直在想：能不能不要Critic。2.3 Critic省不掉的根本矛盾但Critic不是想省就能省的。它提供的是绝对的价值基准：这个状态值多少分。没有它，优势就无从谈起。除非——你能找到另一种方式，在不训练价值网络的前提下，构造出一个合理的基线。GRPO的思路就藏在这个“除非”里。3. GRPO的核心思路：用组内相对值替代绝对价值3.1 组采样：同一个问题生成多条回答GRPO的全称是Group Relative Policy Optimization，关键词是“Group”。它的做法是：对同一个prompt，让当前策略采样出G条不同的回答（比如G=8或16），然后对这G条回答分别打分，得到一组奖励{r1, r2, ..., rG}。接下来是精髓：用这组奖励的均值作为基线。某条回答的优势，就是它的奖励减去组内均值。再除以组内标准差做归一化，得到标准化的相对优势。用一句话概括：PPO问的是“这条回答比这个状态的平均水平好多少”，GRPO问的是“这条回答比同题的其他回答好多少”。3.2 优势估计的数学形式与直觉把公式写出来更清楚。对第i条回答，它的优势估计是：A_i = (r_i - mean(r)) / std(r)这里mean和std都是在同一个prompt的G条回答内部算的。注意，这个优势是整条回答级别的，然后会广播到该回答的每一个token上（配合token级的概率比做裁剪）。为什么这样能work？直觉上，同一道题下的多条回答，面对的“题目难度”是一样的。它们之间的奖励差异，主要来自回答质量本身，而不是题目难易。所以组内均值天然就是一个合理的基线，把“这道题本身好不好答”这个因素消掉了。这其实和“配对比较”的思想一脉相承：与其给每个回答打绝对分，不如让它们互相比。绝对分难校准，相对分好校准。3.3 标准差归一化的作用与争议除以标准差这一步，作用是让不同prompt之间的优势尺度统一。有的题目组内奖励差异大，有的差异小，归一化之后梯度尺度更一致。但这一步也有争议。如果某个prompt的G条回答奖励几乎一样（std接近0），归一化会把微小的差异放大成很大的优势，引入噪声。实践中通常加一个极小值eps防止除零，但eps取多少、要不要对std做裁剪，都是调参的活儿。我见过的一种处理是：当std小于某个阈值时，直接把这一组的优势置零，相当于认为这组没有区分度，不产生梯度。这个技巧在训练后期奖励饱和时特别有用。4. 从PPO到GRPO：优势来源的完整对比4.1 两种优势估计的链路对照把两者的链路并排看，差异一目了然：维度PPOGRPO基线来源Critic网络估计的V(s)同组回答奖励的均值优势粒度token级（GAE逐token计算）回答级（广播到token）额外网络需要Critic不需要显存占用策略+参考+奖励+Critic策略+参考+奖励训练稳定性受Critic质量影响大受组内方差影响采样成本每条prompt采1条每条prompt采G条采样成本这一行值得单独说。GRPO省了Critic的显存和计算，但代价是每个prompt要采G条回答。如果G=8，采样量就是PPO的8倍。不过采样是推理，可以用vLLM这类推理引擎批量做，比训练Critic的backward便宜得多。这笔账算下来，GRPO在工程上通常更划算。4.2 为什么组内均值能当基线有人会问：组内均值凭什么能替代V(s)？它不是状态价值啊。关键在于，基线只需要满足“与动作无关”这个条件，不要求它是最优的V(s)。组内均值依赖的是同一个prompt，而prompt对所有G条回答是共享的，所以均值里不包含“某条特定回答”的信息，满足基线的基本要求。当然，它估计的精度不如训练良好的Critic。但强化学习里有个反直觉的事实：一个略有偏差但稳定的基线，往往比一个无偏但抖动的基线更好用。Critic训不好时引入的偏差和方差，可能比组内均值这种粗糙但稳定的估计更伤。4.3 省掉Critic带来的工程收益从工程角度看，省掉Critic的收益是实打实的：显存：少一个和策略同量级的模型，70B场景下能省下大量显存，直接决定能不能在现有卡上跑起来。代码复杂度：不用维护Critic的训练循环、不用调Critic的学习率、不用处理价值和策略的耦合。超参：少了一堆和Critic相关的超参（价值损失系数、GAE的lambda、Critic预热步数等）。对齐目标：GRPO直接优化相对偏好，和人类偏好的“比较”本质更契合。这也是为什么在推理模型的后训练里，GRPO系的方法流行得很快。它把RLHF的工程门槛降了一大截。5. 实操落地：GRPO的关键参数与实现细节5.1 组大小G怎么选G是最核心的超参。太小，组内均值估计不准，优势噪声大；太大，采样成本线性上涨。经验值：G=8到16是常见区间。数学推理任务上，G=8往往够用；如果任务奖励稀疏、区分度低，可以加到16甚至32。有个细节：G最好是偶数，方便做配对比较的扩展。另外，如果用了“组内奖励全相同就置零”的策略，G太小会导致置零比例过高，梯度信号不足。5.2 KL惩罚与参考模型的角色GRPO里通常还保留KL惩罚，约束策略不要偏离参考模型太远。这一项和PPO一样，用token级的KL估计，乘一个系数β加到奖励里。β的取值很关键。太大，策略学不动，一直贴着参考模型；太小，容易跑偏、语言退化。常见范围是0.01到0.1。我自己的习惯是从0.04起步，观察KL的实际值再调。注意：KL惩罚加在奖励上之后，组内优势的计算要用加了KL的奖励，而不是原始奖励。这个顺序别搞反，否则约束就失效了。5.3 裁剪范围与学习率GRPO沿用了PPO的clip机制，对概率比做裁剪，防止单步更新过大。裁剪范围ε通常取0.2，和PPO一致。学习率方面，GRPO因为优势是回答级的，梯度信号相对粗，学习率可以比PPO略大一点。实践中1e-6到5e-6是常见区间，配合warmup和cosine衰减。下面是一份可以直接参考的配置：# GRPO 关键超参参考配置 group_size = 8 # 每个prompt采样回答数 kl_coef = 0.04 # KL惩罚系数 clip_range = 0.2 # 概率比裁剪范围 learning_rate = 2e-6 # 策略学习率 warmup_ratio = 0.03 # 预热比例 std_eps = 1e-4 # 标准差归一化的防除零项 zero_adv_threshold = 1e-6 # 组内std低于此值时优势置零5.4 奖励设计：规则奖励还是模型奖励GRPO对奖励的依赖比PPO更直接，因为优势完全来自奖励的相对比较。奖励设计不好，组内区分度就出不来。数学、代码这类有明确对错的任务，用规则奖励（答案匹配、单测通过）最稳，噪声小、可复现。开放域任务用奖励模型，但要注意奖励模型的打分要有足够的分辨率，否则组内全是同一个分，优势全为零。我踩过的一个坑：奖励模型输出被量化得太粗（比如只有0/1两档），导致G=8的组里经常出现6个0、2个1，优势估计非常粗糙。后来把奖励改成连续值，训练曲线立刻平滑了很多。6. 常见问题与排查实录6.1 训练不涨反跌的几种典型原因GRPO训练崩掉，我遇到过的情况大概分几类：KL系数太小：策略跑飞，输出变得重复或乱码。排查方法是看KL的实际值，如果持续飙升，先把β调大。组内奖励无区分度：所有回答得分一样，优势全零，等于没训练。看组内std的分布，如果大量接近0，说明奖励设计或任务难度有问题。学习率过大：策略更新过猛，概率比频繁触发裁剪。看clip fraction，如果长期高于0.3，降学习率。采样温度不当：温度太低，G条回答几乎一样，组内没差异；温度太高，回答质量普遍差。推理任务上温度0.7到1.0比较常见。6.2 组内奖励全相同的处理这是GRPO最典型的问题。一组G条回答，奖励全一样，优势全零，这一组就白采了。处理方式有两种：一是直接置零跳过，不产生梯度；二是如果全相同是因为任务太简单，考虑提高任务难度或换数据。前者是工程手段，后者是数据手段，通常要一起用。监控指标上，建议记录有效组比例（组内std大于阈值的组占比）。这个比例低于50%就要警惕了，说明大部分采样都浪费了。6.3 与PPO的显存和速度实测对比在同等模型规模下，我做过一组粗略对比（7B级别，单机多卡）：指标PPOGRPO峰值显存高（含Critic）低约25%-30%每步采样量1xGx每步训练耗时较长（含Critic反向）较短端到端吞吐受Critic拖累通常更优结论是：GRPO把成本从“训练侧”挪到了“推理侧”。因为推理可以批量化、可以用高效引擎，整体吞吐往往更好。但如果你的推理资源紧张，这个挪移就不一定划算。6.4 面试高频追问与应答思路回到面试场景，几个高频追问和我的应答思路：“GRPO的优势有偏吗？”有。组内均值不是真实V(s)，估计是有偏的。但实践中偏差可接受，且换来了稳定性。“为什么不用G条回答的奖励直接做排序学习？”排序学习（如DPO）是离线偏好，GRPO是在线策略优化，能持续探索、持续改进，不局限于固定偏好数据。“GRPO能完全替代PPO吗？”不能。需要精细token级信用分配的任务，PPO的GAE仍有优势。GRPO更适合回答级奖励、比较型目标。“组大小G和batch size什么关系？”总采样量 = prompt数 × G。显存和吞吐要按总采样量算，别只盯着prompt数。7. 我个人在实际操作中的几点体会最后分享几个从实际训练里攒下来的经验，都是文档里不太会写的。第一，GRPO的调试重心在奖励，不在优化器。PPO时代大家花大量时间调Critic，GRPO时代这些时间应该转移到奖励设计和数据分析上。组内区分度就是生命线。第二，别迷信G越大越好。G从8加到16，收益往往不明显，但采样成本翻倍。先把奖励和任务难度调好，再考虑加G。第三，KL系数要动态看。固定β在训练不同阶段效果差异很大，前期可以松一点让策略探索，后期收紧防止跑偏。有些实现会用自适应KL，值得一试。第四，保留PPO作为兜底。GRPO不是银弹，遇到需要细粒度信用分配的任务，PPO仍然是更稳的选择。工具箱里两把锤子都留着，比只信一把强。这个方向后续还能往几个地方扩展：比如把组内比较从“均值基线”换成“中位数基线”看鲁棒性，或者把回答级优势做更细的token级分解。这些我都还在试，有结论了再聊。