我花了大半个星期，在同一个仿真环境里把PPO和PID都拉出来遛了遛。目标是同一个倒立摆，任务也一样：从倾斜状态恢复直立、稳定抵抗扰动。做完之后我最大的感受是，这类对比实验如果不亲自跑一遍，很难理解为什么很多控制工程师在听到“用强化学习控制机械臂”的时候会露出微妙的笑容。这不是技术高下之争，而是两种完全不同的“解题思路”在同一个物理问题上的碰撞。这篇文章我会完整记录这次倒立摆对比实验的全部过程，包括环境搭建、PID参数整定、PPO奖励设计和训练细节，以及最后我设计的几组鲁棒性测试。文中的仿真数据和图表描述都基于我这次实验的真实记录，所涉及的环境和代码也尽量写得可以复现。想直接看结论的，可以先翻到第6节的对比表格；想理解两种方法为什么会表现出这么大差异的，建议从头顺着我的思路走一遍。1. 为什么是倒立摆：这个经典任务到底在考验什么1.1 一个看似简单却极具代表性的控制问题倒立摆常被当成控制理论课上的“入门玩具”，但它其实一点都不简单。摆杆本身是不稳定系统，静止状态下稍微偏离垂直位置，重力就会让它加速倒下，留给控制器的反应时间非常短。从状态转移的角度看，倒立摆是一个典型的非线性、欠驱动、不稳定的系统。所谓欠驱动，就是执行器数量少于需要控制的状态数量——我们通常只能控制底部小车或者支座的加速度，但需要维持的却是摆杆的角度，施力点与控制目标不在同一个自由度上。这种特性在现实工程里太常见了。火箭的垂直着陆、双足机器人的站立、四旋翼的姿态稳定，本质上都是“欠驱动+不稳定平衡”的组合。所以倒立摆虽然本体简单，但它抓住了一大类真实控制问题的核心矛盾。用倒立摆验证算法，比用线性定常系统更有说服力，又比直接上机器人平台成本低得多，这正是它长盛不衰的原因。从实验设计的角度，倒立摆还有一个好处：物理模型清晰，状态量少。完整的动力学方程可以精确写成小车-摆杆耦合系统的运动方程，仿真步长可以做得足够小，这让两种控制方法可以在完全一致的环境条件下公平比较。相比之下，如果用真实机械臂，光是摩擦力和关节柔性就够让人头疼的，很难判断结果差异来自算法本身还是硬件误差。1.2 传统控制和强化学习在这里面临的共同挑战无论用什么方法，倒立摆控制任务的核心目标都是一样的：让摆杆尽可能长时间保持在垂直向上的平衡位置附近。但仔细拆解会发现，这个目标包含好几个子问题。首先是从非平衡位置“扶起来”的能力，也就是大角度范围下的稳定问题；其次是到达平衡点附近后的“微调”能力，也就是小角度下的精度问题；最后还有受到外部扰动后快速恢复的能力，即抗干扰问题。有意思的是，传统控制和强化学习在处理这三个子问题时表现出的特质完全不同。我在实验里最直观的感受是，PID像是一个“训练有素的执行者”，它不需要知道倒立摆的动力学方程，只需要测量角度误差、误差累积量和误差变化率，然后按照一套固定规则输出控制量。它的问题在于，这套规则的好坏完全取决于参数，而参数的整定往往要依赖经验和大量试验。相比之下，PPO更像一个“自己总结经验的学习者”。它不直接依赖误差反馈公式，而是通过与环境的互动，不断试错，逐步学会什么样的控制量序列能最大化累计奖励。它的优势在于不需要人为设计控制规则，但代价是训练过程可能很不稳定，而且学习到的策略可能只在训练时见过的状态分布内有效，遇到没见过的场景表现会比较难预测。所以这个实验表面上是“PPO vs PID”，实际上是在回答一个更本质的问题：面对一个物理控制任务，是应该相信人工设计的反馈规律，还是让算法从数据里自己摸索规律？带着这个问题继续往下看，会比单纯比较数值更有意思。2. PPO与PID：两种范式的核心工作方式拆解2.1 PID：先验建模加误差反馈的经典路线PID控制器的逻辑可以概括为一句话：根据当前误差、历史误差和误差的变化趋势，决定控制量。用公式表示就是：u(t) = Kp * e(t) + Ki * ∫e(τ)dτ + Kd * de(t)/dt其中e(t)是目标角度与实际角度的偏差，Kp、Ki、Kd分别是比例、积分、微分系数。比例项负责“当前错了多少就纠正多少”，是控制的主力；积分项负责消除长期累积下来的稳态误差；微分项则相当于“看一眼趋势”，提前抑制超调。在倒立摆任务里，控制量直接作用在小车加速度上，反馈量取摆杆角度。实际实现时还需要加入角速度信息作为微分项，否则单靠角度误差很难抑制摆动。这里有个容易忽略的细节：倒立摆的角度反馈存在一个临界点，摆杆一旦越过水平位置，控制策略就必须彻底改变，因为单一PID参数无法同时处理“上方平衡点附近”和“下方悬垂位置”两种截然不同的动态特性。所以实验中通常只要求倒立摆的初始角度在较小范围（比如±30度以内），超出这个范围，PID比较容易失控。PID最大的优点是结构透明、计算开销极低，在嵌入式控制器上只需几行代码就能跑起来。调试时每一个参数都有明确的物理含义，工程人员知道改Kp会增加响应速度，同时可能放大振荡；也知道改Kd能增加阻尼，但过大会引入噪声敏感。这种可解释性，是它在工业界流行几十年都没有被替代的重要原因。2.2 PPO：基于采样优化的数据驱动路线PPO的全称是Proximal Policy Optimization，属于策略梯度类强化学习算法。它让一个策略网络（Actor）和一个价值网络（Critic）协同工作。Actor负责根据当前状态输出动作分布，Critic则负责估计“从当前状态出发能获得多少累计奖励”，用来指导Actor向更好的方向更新。PPO最核心的机制是“裁剪的目标函数”。在每一轮训练中，它用旧策略采集一批经验数据，然后计算新策略下这些经验的对数概率比值，并把这个比值限制在一个区间内，防止单次更新步长过大导致策略崩溃。用伪代码表示核心优化目标，大致是：L = min(ratio * A, clip(ratio, 1-ε, 1+ε) * A)其中ratio是新旧策略的概率比值，A是优势函数（表示当前动作比平均水平好多少），ε通常取0.2。这项裁剪机制是PPO相对于早期策略梯度算法最大的改进：它既保持了策略优化的效率，又限制了更新幅度，训练稳定性明显更好。这也是我在选强化学习算法时优先考虑PPO的原因之一——在连续动作控制任务上，它虽然没有SAC那样出名的样本效率，但收敛曲线更稳健，超参数敏感性相对较低。PPO不需要显式的误差公式，也不需要模型方程，它只靠“状态-动作-奖励”三元组来学习。在倒立摆任务里，这意味着它完全从零开始，不知道角度误差该按什么系数映射为加速度，一切规律都从仿真采样中归纳出来。2.3 两者在倒立摆场景下的根本差异把两种方法放在一起对比，最本质的区别在于“知识的来源”。PID的知识来自控制工程师对误差反馈结构的理解，是一套先验规则；PPO的知识来自海量试错采样的统计归纳，是一条数据驱动的路径。这种差异带来了一系列连锁反应。计算层面，PID在运行阶段只有几十行浮点运算，几乎不消耗任何资源；PPO在训练阶段要完成数十万步仿真交互，即使推断阶段也只有一次神经网络前向传播，但训练成本远高于PID。稳定性层面，PID在参数合适时表现非常一致，几乎不会突然失效；PPO则存在训练不收敛或者收敛到局部最优的风险，而且每次随机种子的不同可能导致策略质量出现明显波动。还有一个容易被忽视的差异是“对环境的假设”。PID的性能高度依赖传感器信号的质量，如果角度测量噪声大，微分项会被严重放大，导致控制量抖动；PPO的策略网络则天然具备一定的噪声鲁棒性，因为训练时环境本身就有随机性，网络学会的是从带噪声的状态映射到动作。当然，这也不是绝对的，后文干扰测试里我专门验证了这一点。3. 实验环境与配置：如何搭出一个公平的“擂台”3.1 仿真平台选择与动力学模型对比实验的第一原则是环境必须完全一致。我选了一个开源物理引擎作为仿真环境，采用内置的经典小车-倒立摆模型。动力学参数设置为：小车质量1.0kg，摆杆质量0.1kg，摆杆长度1.0m，重力加速度取9.8m/s²。控制量是施加在小车上的水平力，力的大小限制在±10N以内，仿真步长固定为0.02s。选择这样的参数没有特别玄学，都是接近经典教材里的常见数值。摆杆质量相对于小车质量不能太大，否则初始状态下重力矩过大，容易超出执行器能力；也不能太小，否则系统动态过于“温和”，测试不出控制器的响应能力。0.1kg这个值经过简单推算，大约对应最大允许的初始倾斜角度在25度到30度左右，足以区分不同控制策略的性能。仿真步长0.02s也是一个平衡点：太小会增加计算开销，太大则会让PID的微分项失真，这里取500Hz的控制频率对两种方法都比较公平。状态观测方面，我把摆杆角度、角速度、小车位置、小车速度四个量全部设计为可读取状态，并给角度测量加了轻微高斯噪声，让信号更接近真实传感器。这一步很关键，很多人做仿真对比时喜欢用理想状态，但真实物理世界不存在完美测量，加了噪声之后PID的表现往往会明显下降，而PPO受到的冲击相对较小，这才是更有工程参考价值的比较。3.2 任务定义、评价指标与对照组设计为了让对比公平，我必须先定义清楚“什么算控制成功”。我采用了统一的回合制测试框架：初始状态从垂直位置偏离一个指定角度开始，控制器需要在规定时间内把摆杆带回平衡区域（角度误差绝对值小于5度），并持续保持一段时间。回合内的最大时长为10秒，如果中途角度超过±60度或者速度发散，视为失败。评价指标我最终确定了下表中的五个维度。这五个指标分别对应“快”“准”“稳”“省”“韧”，算是比较立体地反映了控制器的综合能力：指标定义数据获取方式稳定时间从回合开始到进入平衡区域且不再离开的时间记录角度首次进入±5度并保持2秒以上的时刻稳态误差稳定阶段角度的平均绝对值取稳定后最后5秒数据的均方根误差最大超调稳定过程中角度偏离平衡位置的最大值记录全程角度绝对值峰值恢复时间施加外部脉冲扰动后回到平衡区域的时间在稳定阶段施加0.5N·s冲量，记录恢复过程控制能耗全回合控制量的绝对值累计对控制量绝对值在时间轴上累积对照组方面，我设置了三种PID变体和两种不同超参配置的PPO模型。PID变体分别侧重快速响应、平滑控制和均衡调参，用来观察同一算法在不同调参理念下的表现边界；PPO的两个配置则是网络宽度和训练步数的差异，用来检验PPO的性能上限对训练资源的依赖程度。3.3 超参数配置总览我把所有超参数先列成一张表，后面的实现部分会逐个展开解释。这里特别说明一下，PID的整定结果是在仿真环境里反复试验得到的相对最优值，PPO的网络结构和训练参数则参考了同类控制任务的常见实践经验。方法关键参数取值PIDKp / Ki / Kd120 / 15 / 18PID控制周期0.02sPID输出限幅±10NPPO网络结构Actor和Critic均为两层MLP，隐藏层128PPO激活函数tanhPPO学习率3e-4，线性衰减PPO折扣因子γ0.99PPOGAE参数λ0.95PPO裁剪系数ε0.2PPO批量大小256PPO每轮更新轮数10PPO总训练步数50万步4. PID实现：从手调到参数整定，这条路其实不轻松4.1 控制律设计与初始参数我采用的PID实现是位置式结构，控制律为离散化后的标准形式。由于倒立摆的角度反馈存在周期性问题，我在程序里做了角度归一化处理，把角度误差映射到-π到π区间，避免角度跨越±π时出现跳变。初始参数我先按经验估算了一组：Kp=100，Ki=10，Kd=5，然后直接放进仿真环境跑。结果不出意料，摆杆在初始角度10度时开始剧烈振荡，角度在平衡位置附近来回摆动幅度越拉越大，最后在3秒左右就超出了设定阈值。这个现象解释起来很简单：Kp项虽然能提供恢复力矩，但纯比例控制会让系统成为一个无阻尼或者低阻尼振荡器。摆杆到达平衡位置时速度不为零，Kp无法感知这个趋势，于是冲过了头。要抑制这种过冲，必须提高Kd项，让控制器提前“踩刹车”。所以第一次迭代我把Kd从5直接提高到20，振荡幅度立刻小了很多，但代价是控制量变得很“毛糙”，仔细观察控制曲线，能看到明显的锯齿状波动。这其实就是PID整定最折磨人的地方：Kp、Ki、Kd三个参数不是在独立调节各自的指标，而是在一个三维空间里互相拉扯。加大Kp能加快响应，但会加剧振荡；加大Kd能抑制振荡，但会放大噪声；加入Ki能消除残余误差，但容易引来低频振荡。没有任何一组参数可以同时优化所有指标，只能按任务优先级做折中。4.2 参数整定过程中遇到的振荡与发散问题我的整定过程大致可以划分成三个阶段。第一阶段是把Kp固定为120，从小到大调节Kd。当Kd=10时，系统处于临界振荡状态，摆杆在平衡位置附近往返摆动但不发散；Kd加到18附近，振荡基本消失，但稳定时间变长，大约需要1秒钟才能收敛到±5度以内。第二阶段是固定Kd=18，细调Kp。Kp从120逐步加到130，响应速度变快，但是在扰动测试中出现了明显的“反弹”现象：受到脉冲力后摆杆冲向另一侧，过冲量超过6度。这本质上是Kp过大导致系统刚度过高，能量在摆杆-小车之间来回转移时缺少足够阻尼去消耗。第三阶段增加Ki。说实话，对于倒立摆这类有重力力矩的非对称系统，纯比例微分控制已经能消除大部分稳态误差，加Ki主要是为了处理可能的模型偏差和持续恒定干扰。但在仿真里Ki过大会带来非常讨厌的低频振荡，摆杆在平衡点附近以0.5Hz左右的频率缓慢晃动，幅度不大却很难消除。最终我把Ki压到15，既保留了对持续扰动的补偿能力，又不至于让系统陷入极限环。最终选定的参数是Kp=120，Ki=15，Kd=18。这套参数下，系统从10度初始角开始，大约0.6秒进入平衡区域，稳态误差约0.3度，控制过程中没有明显的超调。但我必须提醒一句：这组参数只是对我这个特定的仿真环境有效。换一个动力学参数不同的倒立摆模型，这些数值很可能会失效，这也是PID在实际工程里最让人头疼的一点——每个新平台都要重新整定，很少有“一劳永逸”的参数组合。4.3 PID方案的边界与隐藏成本当我尝试扩大初始角度到30度以上时，PID的局限性就开始显现了。30度时勉强还能拉住，但稳定时间增加到1.5秒，控制量在起始阶段直接顶到了±10N的限幅上限。35度以上时，摆杆几乎必然倒下，因为比例项恢复力矩在小车力限幅下已经无法克服重力矩。这个现象揭示了PID控制的一个隐藏成本：它虽然不需要模型，但它的控制能力本质上受限于线性化假设下的小范围平衡策略。摆杆角度越大，系统非线性特征越强，固定的线性反馈增益就越力不从心。要让PID覆盖更大的角度范围，一种做法是增益调度，即根据角度区间切换不同的PID参数，但这需要人对系统的行为模式有足够深入的理解，本质上仍然是一种“人工离线学习”。运行阶段的PID代码很短，CPU开销几乎可以忽略，但“调好它”所花的时间一点都不少。我在整定参数上大概耗费了两天，这还是在有可视化界面帮助的情况下。如果是实际设备，考虑到信号噪声、延迟、执行器饱和等因素，整定时间还会成倍增加。这也是我在实验后强烈感受到的一点：PID的“简单”是运行时的简单，不是开发时的简单。5. PPO实现：奖励设计、网络结构与训练过程实录5.1 奖励函数设计：从稀疏到塑形强化学习任务里，奖励函数几乎决定了学习的方向。最稀疏的设计是“摆杆保持直立就给+1，倒下给-1”，这种方案理论上可行，但实际训练时学生几乎没有过程信号，完全靠运气探索，收敛极慢。我在测试中发现，稀疏奖励下训练20万步，策略基本没有任何起色，完全是在乱动。于是我改成塑形奖励，核心思路是围绕“垂直程度”和“平静程度”两个维度给出连续反馈。具体设计为：每个时间步的奖励等于一个基础项减去角度偏差平方和角速度平方的加权和。角度偏差平方项鼓励摆杆尽可能接近垂直方向，角速度平方项抑制不必要的摆动。这个设计的物理直觉是：垂直且静止的状态就是平衡状态，离这个状态越远，单步奖励越低。这里有个需要仔细权衡的点：角度惩罚项和角速度惩罚项的权重比例决定了策略的行为风格。如果角度项权重太大，策略会倾向于“猛拉猛拽”快速把角度拉正，结果摆杆到达垂直位置时角速度还很大，下一次状态又冲过头了；如果角速度项权重太大，策略又会变得过于“胆小”，摆杆接近垂直时不敢施加足够的校正力，收敛速度变慢。我最终取的角度项权重为1.0，角速度项权重为0.1，在这个比例下策略学会了一种“先大幅回正、再轻微调整”的折中行为。5.2 网络结构与训练细节策略网络采用了两层全连接结构，隐藏层128个神经元，激活函数用tanh。输入层接收四个状态量：角度、角速度、小车位置、小车速度。输出层是一个连续动作值，经过tanh激活映射到-1到1区间，再乘以最大力10N换算成实际控制力。Critic网络结构类似，但输出是单个标量价值估计。选择连续动作输出而非离散动作，是考虑到倒立摆控制本身是连续量输出问题。如果离散成“向左加速、不加速、向右加速”三档，控制精度会受很大限制，稳定后的角度误差会明显偏大。连续动作虽然增加了策略探索的难度，但上限更高。训练流程可以简单描述为：每个训练循环中，策略与环境交互一个批次长度（我设置的是2048步），收集状态、动作、奖励序列，计算GAE优势估计，然后用PPO裁剪目标对Actor和Critic各更新10轮，再进入下一轮交互。总训练步数50万步，在CPU上跑大约需要四五个小时。我在训练中关闭了渲染功能，否则速度会慢十倍。5.3 训练收敛观察与常见陷阱从训练曲线看，PPO的收敛过程分为明显的三个阶段。前5万步属于纯探索期，策略基本是在随机游走，回合奖励偶尔出现峰值，但很快又掉回去，平均奖励几乎没有上升趋势。这个阶段最容易让人心慌，很多人在这里就会误以为算法有问题然后放弃。实际上，策略网络此时在做的事类似于“扫地式搜索”——它在尝试各种激进的控制方式，看看哪些动作方向能让奖励不减少。10万步到30万步是快速上升期，平均回合奖励稳步提升，控制行为从“试探性摆动”转变为清晰的“回正-稳定”模式。有意思的是，这个阶段的策略已经能完成基本站立任务，但行为看起来比较“僵硬”，控制量经常出现突然的大幅变化，像是还在用蛮力解决问题。直到40万步以后，控制曲线才变得平滑，策略学会了提前预测角度变化趋势，在摆杆还没有明显偏离时就施加微小的反向力矩，这种“预防性控制”的行为模式是纯PID比较难做到的，因为PID的微分项有滞后和噪声放大的问题。训练阶段遇到的最典型陷阱有两个。第一个是奖励函数里忘记加回合终止条件。如果倒下后回合不结束，策略会学到“倒下后保持不动也不错”，因为倒下后的角度惩罚项虽然大，但持续存在意味着每步都在接受惩罚，策略就会努力逃离那个状态，行为会变得混乱。第二个是网络学习率过高。我把学习率从3e-4调到1e-3后，收敛曲线出现剧烈震荡，训练到20万步时策略反而退化了。PPO的裁剪机制虽然能限制单步更新幅度，但过高的学习率会让裁剪频繁生效，最终导致梯度更新方向不稳定。这个坑建议其他做强化学习实验的朋友重点关注。6. 完整对比结果：从稳态精度到抗干扰表现6.1 稳态控制精度对比先看最基础的稳态控制精度。在初始角度10度的测试条件下，PID在0.6秒左右进入平衡区，稳态角度误差的均方根约为0.4度，控制过程中最大超调约2度。PPO（训练完成后）稳定时间稍慢，约0.9秒，稳态误差约0.8度，最大超调约4度。单看这份数据，PID在“准”这个维度上完胜。原因并不难理解：PID的比例项直接以角度误差作为控制依据，天然就是一个“毫米级”的线性响应机制；而PPO的策略网络本质上是学习了一个从状态到动作的分段拟合映射，当状态落在训练数据密度较低的微小角度区间时，输出精度会受限于网络的逼近能力。直观地说，PID是拿着一把精确的刻度尺在量误差，PPO是用一张经过训练的“逼近表”在查映射。不过把小车位置和速度也加进观察维度后，情况就不同了。PID虽然能让摆杆保持垂直，但对小车位置的控制却很弱，小车会在一段范围内缓慢漂移；PPO则明显学会了把小车的运动也纳入控制策略中，它在维持摆杆平衡的同时，会有意识地控制小车回到起始位置附近。这一点很反直觉：PPO在“主目标”上的精度不如PID，但在“副目标”上表现得更加全面。这个差异来自奖励函数里对全部状态信息的综合考量，说明强化学习学到的是全局策略，而PID的反馈链路是人为指定优先级的局部规则。6.2 外部扰动与初始角度极端情况测试稳态精度只是基础考核，我更关心的是两种方法在“被打了一拳之后还能不能缓过来”。我在系统稳定运行的第3秒施加了一个0.5N·s的脉冲冲量，相当于有人在侧面推了摆杆一下。PID的表现依然可圈可点。受到扰动后摆杆偏移约5度，在0.7秒内被拉回平衡区域，整个过程表现为一次典型的阻尼衰减振荡。由于Kd项的阻尼作用，振荡幅度每半个周期都会明显减小，最终回归稳态。但有一个现象需要注意：如果扰动方向与小车漂移方向一致，小车会被推得更远，PID恢复摆杆后小车位置已经明显偏离原点，需要额外控制才能拉回来。PPO的恢复过程则呈现不同的形态。它受到的初始偏移更大（约7度），因为策略网络在感知到突然变化时需要几步响应时间；但随后它没有出现PID那样明显的来回振荡，而是用一个相对平缓但方向坚定的控制序列直接“顶”回到平衡点，恢复时间约1.1秒。从恢复轨迹看，PPO更像是在执行一个“预先学过的恢复动作”，而不是在按误差大小逐步调整。进一步的极端测试中，我把初始角度增加到25度。PID的稳定时间上升到1.4秒，控制量在起始阶段一直接近限幅，接近推不动的边缘；PPO的表现反而比小角度时更从容，策略明显学会了在大角度下“先顺势放倒一段再猛然回拉”的招式，利用重力帮助快速回正。这个差异我认为非常重要：线性反馈控制在小范围内精度高，但对大范围的非线性动态适应能力有限；而强化学习通过大量采样数据覆盖了更广的状态空间，反而在大偏移下更“见多识广”。6.3 泛化性、实时性与开发成本对比泛化性测试我做了两组。第一组是改变摆杆质量，从0.1kg改成0.15kg。PID表现恶化非常快，稳态阶段开始出现等幅振荡，稳定时间翻倍。这是预期的结果，因为参数就是按0.1kg模型整定的，模型一变，整个参数设计的基础就变了。PPO的表现变化相对温和，稳态误差只从0.8度增加到1.1度，依然能维持基本稳定。第二组是改变外部环境，增加一个恒定的风扰力矩。PID在加入积分项后能够补偿一部分恒定干扰，稳态误差略有增加但仍可控；PPO则表现不太稳定，因为它训练时没有见过这种持续外部力的状态分布，策略倾向于与外力对抗，但对抗的力度有时不足，导致摆杆向一侧倾斜。这组测试说明：PPO的泛化能力局限于训练数据覆盖的状态空间，一旦遇到没见过的系统动态，它不会自动“调整心态”，而是继续沿用学过的最优策略，即使这个策略在新环境下已经不再最优。实时性方面，PID在仿真中每个控制周期用时不到0.1毫秒，可以在最普通的微控制器上运行；PPO策略网络的单次推理大约需要0.3毫秒左右，虽然也不算慢，但需要额外的浮点运算能力支撑，在低算力嵌入式设备上部署会比较吃力。最后是开发成本。PID的代码量不到50行，但参数整定花了我两天；PPO的核心训练代码加上各种回调函数大约400行，后续调奖励函数又花了一天——总开发时间和PID差不多。两者的成本结构截然不同，一个是“代码短但头脑累”，一个是“代码长但机器累”。7. 踩坑记录与使用反思：我有多大概率在真实项目里选谁7.1 本次实验中最容易误导人的三个坑第一个坑是“拿训练回合奖励曲线当作控制器性能曲线看”。在做对比时，初期我习惯性地盯着PPO的平均奖励曲线判断训练是否成功，但后来发现，平均奖励曲线平滑上升的时候，实际控制行为完全可能是“奖励刷子”——策略学会了利用仿真环境的边界特性，比如用极端控制量把角度保持在某个区间边缘，而不是真正稳定在垂直位置。后来我改成每隔一定步数就保存一次策略，并直接跑一次完整的回合测试，检查实际的稳定时间和稳态误差，才真正判断出模型的好坏。只看训练曲线带来的乐观情绪，很容易把错误的策略推向部署阶段。第二个坑是PID参数整定时只关注“能不能稳定”，忽略了执行器饱和。调试早期我为了追求快速稳定，把Kp调得很大，结果控制量频繁触及10N限幅。表面看起来摆杆也能维持稳定，但控制器处于饱和状态意味着它已经没有余力应对外界扰动，一旦来一个冲击，系统可能直接失稳。一个健康稳定的控制器，应该在工作过程中保留一定的控制裕量，而不是始终在限幅边缘挣扎。第三个坑是给PPO奖励函数里同时加太多“期望目标”。我一开始希望PPO既能稳住摆杆，又能控制小车回到原点，于是把小车位置误差也写进了奖励项。结果模型训练出来既没稳住摆杆，小车也没停在原点，学习目标被多个目标的加权拉扯得分崩离析。这让我意识到强化学习的奖励设计有一个隐含的“注意力分配”问题，多个目标同时存在时，一定要区分主次，然后阶段性引入，而不是一开始就堆大杂烩。7.2 什么时候该用PID、什么时候值得上PPO实验做到这个程度，我逐渐形成了自己的判断框架，不再简单地说谁比谁强。如果任务本质上是在一个相对固定、参数已知的模型上做高精度调节，PID几乎总是最优解。稳定的飞行控制、温控系统、电机速度环，这些场景的动态特性变化不剧烈，对稳定性要求极高，PID的确定性、可解释性和极低的计算开销是压倒性优势。为了那一点精度提升去引入强化学习，完全是不划算的。反过来，如果任务面对的是难以建模的环境、频繁变化的工况或者需要综合多目标优化的策略，PPO这类强化学习方法才真正有机会。比如足式机器人穿越复杂地形，动力学模型本身不精确，地面条件千变万化，让手工设计一套覆盖所有状态的规则几乎不可能，这时数据驱动的策略反而更容易找到人想不到的控制方案。它的代价是训练成本和不确定性，但收益是填补了传统控制方法根本够不到的能力边界。我的建议是，不要把两种技术当成对立面，而应该看成“确定性执行”和“经验学习”两种能力范式的分工。工程上更务实的做法是用PID做底层高频回路，用强化学习在更高层决定控制策略或者参数切换，形成混合架构。这样既保留了前者的实时可验证性，又吸收了后者的全局优化能力。7.3 给新手的实操建议如果你没有做过类似的对比实验，我建议按我的路径复现一遍，但有几个切身体会值得提前知道。首先，PID和PPO对比时一定要确保环境完全一致，包括初始随机种子、动力学参数、最大力限制、控制频率和噪声水平，否则任何结论都不成立。其次，PID调参要借助可视化界面逐步观察角度轨迹，每次只调一个参数，记录下现象，不要同时动两个以上参数，不然出了问题很难定位。PPO实验要管好随机种子。我一开始没有固定随机种子，每次训练结果差异很大，导致很难判断是超参数的问题还是随机性的影响。强烈建议在训练脚本中固定种子，并至少用三个不同种子各训练一轮，取结果的中位数来评价算法性能，而不是只看一次运气好的结果。另外，训练过程中定期保存模型检查点，每十万步单独测一次完整控制回合，记录曲线，这样你能清楚地看到策略在哪个阶段学到什么程度，而不是等训练结束之后只拿到一个“结果”。最后想再说一点。做这种实验拖到后期，会越来越上瘾——每次调整奖励函数或者参数，都可能看到一个全新的控制行为诞生。但一定要控制住自己在一个方向上的投入阈值，实验时间成本远比想象中高。该收手时就收手，带着完整的对比数据和结论往前走，比追求完美的训练曲线更有价值。
我花了大半个星期，在同一个仿真环境里把PPO和PID都拉出来遛了遛。目标是同一个倒立摆，任务也一样：从倾斜状态恢复直立、稳定抵抗扰动。做完之后我最大的感受是，这类对比实验如果不亲自跑一遍，很难理解为什么很多控制工程师在听到“用强化学习控制机械臂”的时候会露出微妙的笑容。这不是技术高下之争，而是两种完全不同的“解题思路”在同一个物理问题上的碰撞。这篇文章我会完整记录这次倒立摆对比实验的全部过程，包括环境搭建、PID参数整定、PPO奖励设计和训练细节，以及最后我设计的几组鲁棒性测试。文中的仿真数据和图表描述都基于我这次实验的真实记录，所涉及的环境和代码也尽量写得可以复现。想直接看结论的，可以先翻到第6节的对比表格；想理解两种方法为什么会表现出这么大差异的，建议从头顺着我的思路走一遍。1. 为什么是倒立摆：这个经典任务到底在考验什么1.1 一个看似简单却极具代表性的控制问题倒立摆常被当成控制理论课上的“入门玩具”，但它其实一点都不简单。摆杆本身是不稳定系统，静止状态下稍微偏离垂直位置，重力就会让它加速倒下，留给控制器的反应时间非常短。从状态转移的角度看，倒立摆是一个典型的非线性、欠驱动、不稳定的系统。所谓欠驱动，就是执行器数量少于需要控制的状态数量——我们通常只能控制底部小车或者支座的加速度，但需要维持的却是摆杆的角度，施力点与控制目标不在同一个自由度上。这种特性在现实工程里太常见了。火箭的垂直着陆、双足机器人的站立、四旋翼的姿态稳定，本质上都是“欠驱动+不稳定平衡”的组合。所以倒立摆虽然本体简单，但它抓住了一大类真实控制问题的核心矛盾。用倒立摆验证算法，比用线性定常系统更有说服力，又比直接上机器人平台成本低得多，这正是它长盛不衰的原因。从实验设计的角度，倒立摆还有一个好处：物理模型清晰，状态量少。完整的动力学方程可以精确写成小车-摆杆耦合系统的运动方程，仿真步长可以做得足够小，这让两种控制方法可以在完全一致的环境条件下公平比较。相比之下，如果用真实机械臂，光是摩擦力和关节柔性就够让人头疼的，很难判断结果差异来自算法本身还是硬件误差。1.2 传统控制和强化学习在这里面临的共同挑战无论用什么方法，倒立摆控制任务的核心目标都是一样的：让摆杆尽可能长时间保持在垂直向上的平衡位置附近。但仔细拆解会发现，这个目标包含好几个子问题。首先是从非平衡位置“扶起来”的能力，也就是大角度范围下的稳定问题；其次是到达平衡点附近后的“微调”能力，也就是小角度下的精度问题；最后还有受到外部扰动后快速恢复的能力，即抗干扰问题。有意思的是，传统控制和强化学习在处理这三个子问题时表现出的特质完全不同。我在实验里最直观的感受是，PID像是一个“训练有素的执行者”，它不需要知道倒立摆的动力学方程，只需要测量角度误差、误差累积量和误差变化率，然后按照一套固定规则输出控制量。它的问题在于，这套规则的好坏完全取决于参数，而参数的整定往往要依赖经验和大量试验。相比之下，PPO更像一个“自己总结经验的学习者”。它不直接依赖误差反馈公式，而是通过与环境的互动，不断试错，逐步学会什么样的控制量序列能最大化累计奖励。它的优势在于不需要人为设计控制规则，但代价是训练过程可能很不稳定，而且学习到的策略可能只在训练时见过的状态分布内有效，遇到没见过的场景表现会比较难预测。所以这个实验表面上是“PPO vs PID”，实际上是在回答一个更本质的问题：面对一个物理控制任务，是应该相信人工设计的反馈规律，还是让算法从数据里自己摸索规律？带着这个问题继续往下看，会比单纯比较数值更有意思。2. PPO与PID：两种范式的核心工作方式拆解2.1 PID：先验建模加误差反馈的经典路线PID控制器的逻辑可以概括为一句话：根据当前误差、历史误差和误差的变化趋势，决定控制量。用公式表示就是：u(t) = Kp * e(t) + Ki * ∫e(τ)dτ + Kd * de(t)/dt其中e(t)是目标角度与实际角度的偏差，Kp、Ki、Kd分别是比例、积分、微分系数。比例项负责“当前错了多少就纠正多少”，是控制的主力；积分项负责消除长期累积下来的稳态误差；微分项则相当于“看一眼趋势”，提前抑制超调。在倒立摆任务里，控制量直接作用在小车加速度上，反馈量取摆杆角度。实际实现时还需要加入角速度信息作为微分项，否则单靠角度误差很难抑制摆动。这里有个容易忽略的细节：倒立摆的角度反馈存在一个临界点，摆杆一旦越过水平位置，控制策略就必须彻底改变，因为单一PID参数无法同时处理“上方平衡点附近”和“下方悬垂位置”两种截然不同的动态特性。所以实验中通常只要求倒立摆的初始角度在较小范围（比如±30度以内），超出这个范围，PID比较容易失控。PID最大的优点是结构透明、计算开销极低，在嵌入式控制器上只需几行代码就能跑起来。调试时每一个参数都有明确的物理含义，工程人员知道改Kp会增加响应速度，同时可能放大振荡；也知道改Kd能增加阻尼，但过大会引入噪声敏感。这种可解释性，是它在工业界流行几十年都没有被替代的重要原因。2.2 PPO：基于采样优化的数据驱动路线PPO的全称是Proximal Policy Optimization，属于策略梯度类强化学习算法。它让一个策略网络（Actor）和一个价值网络（Critic）协同工作。Actor负责根据当前状态输出动作分布，Critic则负责估计“从当前状态出发能获得多少累计奖励”，用来指导Actor向更好的方向更新。PPO最核心的机制是“裁剪的目标函数”。在每一轮训练中，它用旧策略采集一批经验数据，然后计算新策略下这些经验的对数概率比值，并把这个比值限制在一个区间内，防止单次更新步长过大导致策略崩溃。用伪代码表示核心优化目标，大致是：L = min(ratio * A, clip(ratio, 1-ε, 1+ε) * A)其中ratio是新旧策略的概率比值，A是优势函数（表示当前动作比平均水平好多少），ε通常取0.2。这项裁剪机制是PPO相对于早期策略梯度算法最大的改进：它既保持了策略优化的效率，又限制了更新幅度，训练稳定性明显更好。这也是我在选强化学习算法时优先考虑PPO的原因之一——在连续动作控制任务上，它虽然没有SAC那样出名的样本效率，但收敛曲线更稳健，超参数敏感性相对较低。PPO不需要显式的误差公式，也不需要模型方程，它只靠“状态-动作-奖励”三元组来学习。在倒立摆任务里，这意味着它完全从零开始，不知道角度误差该按什么系数映射为加速度，一切规律都从仿真采样中归纳出来。2.3 两者在倒立摆场景下的根本差异把两种方法放在一起对比，最本质的区别在于“知识的来源”。PID的知识来自控制工程师对误差反馈结构的理解，是一套先验规则；PPO的知识来自海量试错采样的统计归纳，是一条数据驱动的路径。这种差异带来了一系列连锁反应。计算层面，PID在运行阶段只有几十行浮点运算，几乎不消耗任何资源；PPO在训练阶段要完成数十万步仿真交互，即使推断阶段也只有一次神经网络前向传播，但训练成本远高于PID。稳定性层面，PID在参数合适时表现非常一致，几乎不会突然失效；PPO则存在训练不收敛或者收敛到局部最优的风险，而且每次随机种子的不同可能导致策略质量出现明显波动。还有一个容易被忽视的差异是“对环境的假设”。PID的性能高度依赖传感器信号的质量，如果角度测量噪声大，微分项会被严重放大，导致控制量抖动；PPO的策略网络则天然具备一定的噪声鲁棒性，因为训练时环境本身就有随机性，网络学会的是从带噪声的状态映射到动作。当然，这也不是绝对的，后文干扰测试里我专门验证了这一点。3. 实验环境与配置：如何搭出一个公平的“擂台”3.1 仿真平台选择与动力学模型对比实验的第一原则是环境必须完全一致。我选了一个开源物理引擎作为仿真环境，采用内置的经典小车-倒立摆模型。动力学参数设置为：小车质量1.0kg，摆杆质量0.1kg，摆杆长度1.0m，重力加速度取9.8m/s²。控制量是施加在小车上的水平力，力的大小限制在±10N以内，仿真步长固定为0.02s。选择这样的参数没有特别玄学，都是接近经典教材里的常见数值。摆杆质量相对于小车质量不能太大，否则初始状态下重力矩过大，容易超出执行器能力；也不能太小，否则系统动态过于“温和”，测试不出控制器的响应能力。0.1kg这个值经过简单推算，大约对应最大允许的初始倾斜角度在25度到30度左右，足以区分不同控制策略的性能。仿真步长0.02s也是一个平衡点：太小会增加计算开销，太大则会让PID的微分项失真，这里取500Hz的控制频率对两种方法都比较公平。状态观测方面，我把摆杆角度、角速度、小车位置、小车速度四个量全部设计为可读取状态，并给角度测量加了轻微高斯噪声，让信号更接近真实传感器。这一步很关键，很多人做仿真对比时喜欢用理想状态，但真实物理世界不存在完美测量，加了噪声之后PID的表现往往会明显下降，而PPO受到的冲击相对较小，这才是更有工程参考价值的比较。3.2 任务定义、评价指标与对照组设计为了让对比公平，我必须先定义清楚“什么算控制成功”。我采用了统一的回合制测试框架：初始状态从垂直位置偏离一个指定角度开始，控制器需要在规定时间内把摆杆带回平衡区域（角度误差绝对值小于5度），并持续保持一段时间。回合内的最大时长为10秒，如果中途角度超过±60度或者速度发散，视为失败。评价指标我最终确定了下表中的五个维度。这五个指标分别对应“快”“准”“稳”“省”“韧”，算是比较立体地反映了控制器的综合能力：指标定义数据获取方式稳定时间从回合开始到进入平衡区域且不再离开的时间记录角度首次进入±5度并保持2秒以上的时刻稳态误差稳定阶段角度的平均绝对值取稳定后最后5秒数据的均方根误差最大超调稳定过程中角度偏离平衡位置的最大值记录全程角度绝对值峰值恢复时间施加外部脉冲扰动后回到平衡区域的时间在稳定阶段施加0.5N·s冲量，记录恢复过程控制能耗全回合控制量的绝对值累计对控制量绝对值在时间轴上累积对照组方面，我设置了三种PID变体和两种不同超参配置的PPO模型。PID变体分别侧重快速响应、平滑控制和均衡调参，用来观察同一算法在不同调参理念下的表现边界；PPO的两个配置则是网络宽度和训练步数的差异，用来检验PPO的性能上限对训练资源的依赖程度。3.3 超参数配置总览我把所有超参数先列成一张表，后面的实现部分会逐个展开解释。这里特别说明一下，PID的整定结果是在仿真环境里反复试验得到的相对最优值，PPO的网络结构和训练参数则参考了同类控制任务的常见实践经验。方法关键参数取值PIDKp / Ki / Kd120 / 15 / 18PID控制周期0.02sPID输出限幅±10NPPO网络结构Actor和Critic均为两层MLP，隐藏层128PPO激活函数tanhPPO学习率3e-4，线性衰减PPO折扣因子γ0.99PPOGAE参数λ0.95PPO裁剪系数ε0.2PPO批量大小256PPO每轮更新轮数10PPO总训练步数50万步4. PID实现：从手调到参数整定，这条路其实不轻松4.1 控制律设计与初始参数我采用的PID实现是位置式结构，控制律为离散化后的标准形式。由于倒立摆的角度反馈存在周期性问题，我在程序里做了角度归一化处理，把角度误差映射到-π到π区间，避免角度跨越±π时出现跳变。初始参数我先按经验估算了一组：Kp=100，Ki=10，Kd=5，然后直接放进仿真环境跑。结果不出意料，摆杆在初始角度10度时开始剧烈振荡，角度在平衡位置附近来回摆动幅度越拉越大，最后在3秒左右就超出了设定阈值。这个现象解释起来很简单：Kp项虽然能提供恢复力矩，但纯比例控制会让系统成为一个无阻尼或者低阻尼振荡器。摆杆到达平衡位置时速度不为零，Kp无法感知这个趋势，于是冲过了头。要抑制这种过冲，必须提高Kd项，让控制器提前“踩刹车”。所以第一次迭代我把Kd从5直接提高到20，振荡幅度立刻小了很多，但代价是控制量变得很“毛糙”，仔细观察控制曲线，能看到明显的锯齿状波动。这其实就是PID整定最折磨人的地方：Kp、Ki、Kd三个参数不是在独立调节各自的指标，而是在一个三维空间里互相拉扯。加大Kp能加快响应，但会加剧振荡；加大Kd能抑制振荡，但会放大噪声；加入Ki能消除残余误差，但容易引来低频振荡。没有任何一组参数可以同时优化所有指标，只能按任务优先级做折中。4.2 参数整定过程中遇到的振荡与发散问题我的整定过程大致可以划分成三个阶段。第一阶段是把Kp固定为120，从小到大调节Kd。当Kd=10时，系统处于临界振荡状态，摆杆在平衡位置附近往返摆动但不发散；Kd加到18附近，振荡基本消失，但稳定时间变长，大约需要1秒钟才能收敛到±5度以内。第二阶段是固定Kd=18，细调Kp。Kp从120逐步加到130，响应速度变快，但是在扰动测试中出现了明显的“反弹”现象：受到脉冲力后摆杆冲向另一侧，过冲量超过6度。这本质上是Kp过大导致系统刚度过高，能量在摆杆-小车之间来回转移时缺少足够阻尼去消耗。第三阶段增加Ki。说实话，对于倒立摆这类有重力力矩的非对称系统，纯比例微分控制已经能消除大部分稳态误差，加Ki主要是为了处理可能的模型偏差和持续恒定干扰。但在仿真里Ki过大会带来非常讨厌的低频振荡，摆杆在平衡点附近以0.5Hz左右的频率缓慢晃动，幅度不大却很难消除。最终我把Ki压到15，既保留了对持续扰动的补偿能力，又不至于让系统陷入极限环。最终选定的参数是Kp=120，Ki=15，Kd=18。这套参数下，系统从10度初始角开始，大约0.6秒进入平衡区域，稳态误差约0.3度，控制过程中没有明显的超调。但我必须提醒一句：这组参数只是对我这个特定的仿真环境有效。换一个动力学参数不同的倒立摆模型，这些数值很可能会失效，这也是PID在实际工程里最让人头疼的一点——每个新平台都要重新整定，很少有“一劳永逸”的参数组合。4.3 PID方案的边界与隐藏成本当我尝试扩大初始角度到30度以上时，PID的局限性就开始显现了。30度时勉强还能拉住，但稳定时间增加到1.5秒，控制量在起始阶段直接顶到了±10N的限幅上限。35度以上时，摆杆几乎必然倒下，因为比例项恢复力矩在小车力限幅下已经无法克服重力矩。这个现象揭示了PID控制的一个隐藏成本：它虽然不需要模型，但它的控制能力本质上受限于线性化假设下的小范围平衡策略。摆杆角度越大，系统非线性特征越强，固定的线性反馈增益就越力不从心。要让PID覆盖更大的角度范围，一种做法是增益调度，即根据角度区间切换不同的PID参数，但这需要人对系统的行为模式有足够深入的理解，本质上仍然是一种“人工离线学习”。运行阶段的PID代码很短，CPU开销几乎可以忽略，但“调好它”所花的时间一点都不少。我在整定参数上大概耗费了两天，这还是在有可视化界面帮助的情况下。如果是实际设备，考虑到信号噪声、延迟、执行器饱和等因素，整定时间还会成倍增加。这也是我在实验后强烈感受到的一点：PID的“简单”是运行时的简单，不是开发时的简单。5. PPO实现：奖励设计、网络结构与训练过程实录5.1 奖励函数设计：从稀疏到塑形强化学习任务里，奖励函数几乎决定了学习的方向。最稀疏的设计是“摆杆保持直立就给+1，倒下给-1”，这种方案理论上可行，但实际训练时学生几乎没有过程信号，完全靠运气探索，收敛极慢。我在测试中发现，稀疏奖励下训练20万步，策略基本没有任何起色，完全是在乱动。于是我改成塑形奖励，核心思路是围绕“垂直程度”和“平静程度”两个维度给出连续反馈。具体设计为：每个时间步的奖励等于一个基础项减去角度偏差平方和角速度平方的加权和。角度偏差平方项鼓励摆杆尽可能接近垂直方向，角速度平方项抑制不必要的摆动。这个设计的物理直觉是：垂直且静止的状态就是平衡状态，离这个状态越远，单步奖励越低。这里有个需要仔细权衡的点：角度惩罚项和角速度惩罚项的权重比例决定了策略的行为风格。如果角度项权重太大，策略会倾向于“猛拉猛拽”快速把角度拉正，结果摆杆到达垂直位置时角速度还很大，下一次状态又冲过头了；如果角速度项权重太大，策略又会变得过于“胆小”，摆杆接近垂直时不敢施加足够的校正力，收敛速度变慢。我最终取的角度项权重为1.0，角速度项权重为0.1，在这个比例下策略学会了一种“先大幅回正、再轻微调整”的折中行为。5.2 网络结构与训练细节策略网络采用了两层全连接结构，隐藏层128个神经元，激活函数用tanh。输入层接收四个状态量：角度、角速度、小车位置、小车速度。输出层是一个连续动作值，经过tanh激活映射到-1到1区间，再乘以最大力10N换算成实际控制力。Critic网络结构类似，但输出是单个标量价值估计。选择连续动作输出而非离散动作，是考虑到倒立摆控制本身是连续量输出问题。如果离散成“向左加速、不加速、向右加速”三档，控制精度会受很大限制，稳定后的角度误差会明显偏大。连续动作虽然增加了策略探索的难度，但上限更高。训练流程可以简单描述为：每个训练循环中，策略与环境交互一个批次长度（我设置的是2048步），收集状态、动作、奖励序列，计算GAE优势估计，然后用PPO裁剪目标对Actor和Critic各更新10轮，再进入下一轮交互。总训练步数50万步，在CPU上跑大约需要四五个小时。我在训练中关闭了渲染功能，否则速度会慢十倍。5.3 训练收敛观察与常见陷阱从训练曲线看，PPO的收敛过程分为明显的三个阶段。前5万步属于纯探索期，策略基本是在随机游走，回合奖励偶尔出现峰值，但很快又掉回去，平均奖励几乎没有上升趋势。这个阶段最容易让人心慌，很多人在这里就会误以为算法有问题然后放弃。实际上，策略网络此时在做的事类似于“扫地式搜索”——它在尝试各种激进的控制方式，看看哪些动作方向能让奖励不减少。10万步到30万步是快速上升期，平均回合奖励稳步提升，控制行为从“试探性摆动”转变为清晰的“回正-稳定”模式。有意思的是，这个阶段的策略已经能完成基本站立任务，但行为看起来比较“僵硬”，控制量经常出现突然的大幅变化，像是还在用蛮力解决问题。直到40万步以后，控制曲线才变得平滑，策略学会了提前预测角度变化趋势，在摆杆还没有明显偏离时就施加微小的反向力矩，这种“预防性控制”的行为模式是纯PID比较难做到的，因为PID的微分项有滞后和噪声放大的问题。训练阶段遇到的最典型陷阱有两个。第一个是奖励函数里忘记加回合终止条件。如果倒下后回合不结束，策略会学到“倒下后保持不动也不错”，因为倒下后的角度惩罚项虽然大，但持续存在意味着每步都在接受惩罚，策略就会努力逃离那个状态，行为会变得混乱。第二个是网络学习率过高。我把学习率从3e-4调到1e-3后，收敛曲线出现剧烈震荡，训练到20万步时策略反而退化了。PPO的裁剪机制虽然能限制单步更新幅度，但过高的学习率会让裁剪频繁生效，最终导致梯度更新方向不稳定。这个坑建议其他做强化学习实验的朋友重点关注。6. 完整对比结果：从稳态精度到抗干扰表现6.1 稳态控制精度对比先看最基础的稳态控制精度。在初始角度10度的测试条件下，PID在0.6秒左右进入平衡区，稳态角度误差的均方根约为0.4度，控制过程中最大超调约2度。PPO（训练完成后）稳定时间稍慢，约0.9秒，稳态误差约0.8度，最大超调约4度。单看这份数据，PID在“准”这个维度上完胜。原因并不难理解：PID的比例项直接以角度误差作为控制依据，天然就是一个“毫米级”的线性响应机制；而PPO的策略网络本质上是学习了一个从状态到动作的分段拟合映射，当状态落在训练数据密度较低的微小角度区间时，输出精度会受限于网络的逼近能力。直观地说，PID是拿着一把精确的刻度尺在量误差，PPO是用一张经过训练的“逼近表”在查映射。不过把小车位置和速度也加进观察维度后，情况就不同了。PID虽然能让摆杆保持垂直，但对小车位置的控制却很弱，小车会在一段范围内缓慢漂移；PPO则明显学会了把小车的运动也纳入控制策略中，它在维持摆杆平衡的同时，会有意识地控制小车回到起始位置附近。这一点很反直觉：PPO在“主目标”上的精度不如PID，但在“副目标”上表现得更加全面。这个差异来自奖励函数里对全部状态信息的综合考量，说明强化学习学到的是全局策略，而PID的反馈链路是人为指定优先级的局部规则。6.2 外部扰动与初始角度极端情况测试稳态精度只是基础考核，我更关心的是两种方法在“被打了一拳之后还能不能缓过来”。我在系统稳定运行的第3秒施加了一个0.5N·s的脉冲冲量，相当于有人在侧面推了摆杆一下。PID的表现依然可圈可点。受到扰动后摆杆偏移约5度，在0.7秒内被拉回平衡区域，整个过程表现为一次典型的阻尼衰减振荡。由于Kd项的阻尼作用，振荡幅度每半个周期都会明显减小，最终回归稳态。但有一个现象需要注意：如果扰动方向与小车漂移方向一致，小车会被推得更远，PID恢复摆杆后小车位置已经明显偏离原点，需要额外控制才能拉回来。PPO的恢复过程则呈现不同的形态。它受到的初始偏移更大（约7度），因为策略网络在感知到突然变化时需要几步响应时间；但随后它没有出现PID那样明显的来回振荡，而是用一个相对平缓但方向坚定的控制序列直接“顶”回到平衡点，恢复时间约1.1秒。从恢复轨迹看，PPO更像是在执行一个“预先学过的恢复动作”，而不是在按误差大小逐步调整。进一步的极端测试中，我把初始角度增加到25度。PID的稳定时间上升到1.4秒，控制量在起始阶段一直接近限幅，接近推不动的边缘；PPO的表现反而比小角度时更从容，策略明显学会了在大角度下“先顺势放倒一段再猛然回拉”的招式，利用重力帮助快速回正。这个差异我认为非常重要：线性反馈控制在小范围内精度高，但对大范围的非线性动态适应能力有限；而强化学习通过大量采样数据覆盖了更广的状态空间，反而在大偏移下更“见多识广”。6.3 泛化性、实时性与开发成本对比泛化性测试我做了两组。第一组是改变摆杆质量，从0.1kg改成0.15kg。PID表现恶化非常快，稳态阶段开始出现等幅振荡，稳定时间翻倍。这是预期的结果，因为参数就是按0.1kg模型整定的，模型一变，整个参数设计的基础就变了。PPO的表现变化相对温和，稳态误差只从0.8度增加到1.1度，依然能维持基本稳定。第二组是改变外部环境，增加一个恒定的风扰力矩。PID在加入积分项后能够补偿一部分恒定干扰，稳态误差略有增加但仍可控；PPO则表现不太稳定，因为它训练时没有见过这种持续外部力的状态分布，策略倾向于与外力对抗，但对抗的力度有时不足，导致摆杆向一侧倾斜。这组测试说明：PPO的泛化能力局限于训练数据覆盖的状态空间，一旦遇到没见过的系统动态，它不会自动“调整心态”，而是继续沿用学过的最优策略，即使这个策略在新环境下已经不再最优。实时性方面，PID在仿真中每个控制周期用时不到0.1毫秒，可以在最普通的微控制器上运行；PPO策略网络的单次推理大约需要0.3毫秒左右，虽然也不算慢，但需要额外的浮点运算能力支撑，在低算力嵌入式设备上部署会比较吃力。最后是开发成本。PID的代码量不到50行，但参数整定花了我两天；PPO的核心训练代码加上各种回调函数大约400行，后续调奖励函数又花了一天——总开发时间和PID差不多。两者的成本结构截然不同，一个是“代码短但头脑累”，一个是“代码长但机器累”。7. 踩坑记录与使用反思：我有多大概率在真实项目里选谁7.1 本次实验中最容易误导人的三个坑第一个坑是“拿训练回合奖励曲线当作控制器性能曲线看”。在做对比时，初期我习惯性地盯着PPO的平均奖励曲线判断训练是否成功，但后来发现，平均奖励曲线平滑上升的时候，实际控制行为完全可能是“奖励刷子”——策略学会了利用仿真环境的边界特性，比如用极端控制量把角度保持在某个区间边缘，而不是真正稳定在垂直位置。后来我改成每隔一定步数就保存一次策略，并直接跑一次完整的回合测试，检查实际的稳定时间和稳态误差，才真正判断出模型的好坏。只看训练曲线带来的乐观情绪，很容易把错误的策略推向部署阶段。第二个坑是PID参数整定时只关注“能不能稳定”，忽略了执行器饱和。调试早期我为了追求快速稳定，把Kp调得很大，结果控制量频繁触及10N限幅。表面看起来摆杆也能维持稳定，但控制器处于饱和状态意味着它已经没有余力应对外界扰动，一旦来一个冲击，系统可能直接失稳。一个健康稳定的控制器，应该在工作过程中保留一定的控制裕量，而不是始终在限幅边缘挣扎。第三个坑是给PPO奖励函数里同时加太多“期望目标”。我一开始希望PPO既能稳住摆杆，又能控制小车回到原点，于是把小车位置误差也写进了奖励项。结果模型训练出来既没稳住摆杆，小车也没停在原点，学习目标被多个目标的加权拉扯得分崩离析。这让我意识到强化学习的奖励设计有一个隐含的“注意力分配”问题，多个目标同时存在时，一定要区分主次，然后阶段性引入，而不是一开始就堆大杂烩。7.2 什么时候该用PID、什么时候值得上PPO实验做到这个程度，我逐渐形成了自己的判断框架，不再简单地说谁比谁强。如果任务本质上是在一个相对固定、参数已知的模型上做高精度调节，PID几乎总是最优解。稳定的飞行控制、温控系统、电机速度环，这些场景的动态特性变化不剧烈，对稳定性要求极高，PID的确定性、可解释性和极低的计算开销是压倒性优势。为了那一点精度提升去引入强化学习，完全是不划算的。反过来，如果任务面对的是难以建模的环境、频繁变化的工况或者需要综合多目标优化的策略，PPO这类强化学习方法才真正有机会。比如足式机器人穿越复杂地形，动力学模型本身不精确，地面条件千变万化，让手工设计一套覆盖所有状态的规则几乎不可能，这时数据驱动的策略反而更容易找到人想不到的控制方案。它的代价是训练成本和不确定性，但收益是填补了传统控制方法根本够不到的能力边界。我的建议是，不要把两种技术当成对立面，而应该看成“确定性执行”和“经验学习”两种能力范式的分工。工程上更务实的做法是用PID做底层高频回路，用强化学习在更高层决定控制策略或者参数切换，形成混合架构。这样既保留了前者的实时可验证性，又吸收了后者的全局优化能力。7.3 给新手的实操建议如果你没有做过类似的对比实验，我建议按我的路径复现一遍，但有几个切身体会值得提前知道。首先，PID和PPO对比时一定要确保环境完全一致，包括初始随机种子、动力学参数、最大力限制、控制频率和噪声水平，否则任何结论都不成立。其次，PID调参要借助可视化界面逐步观察角度轨迹，每次只调一个参数，记录下现象，不要同时动两个以上参数，不然出了问题很难定位。PPO实验要管好随机种子。我一开始没有固定随机种子，每次训练结果差异很大，导致很难判断是超参数的问题还是随机性的影响。强烈建议在训练脚本中固定种子，并至少用三个不同种子各训练一轮，取结果的中位数来评价算法性能，而不是只看一次运气好的结果。另外，训练过程中定期保存模型检查点，每十万步单独测一次完整控制回合，记录曲线，这样你能清楚地看到策略在哪个阶段学到什么程度，而不是等训练结束之后只拿到一个“结果”。最后想再说一点。做这种实验拖到后期，会越来越上瘾——每次调整奖励函数或者参数，都可能看到一个全新的控制行为诞生。但一定要控制住自己在一个方向上的投入阈值，实验时间成本远比想象中高。该收手时就收手，带着完整的对比数据和结论往前走，比追求完美的训练曲线更有价值。