1. 时序差分控制到底在解决什么问题如果你正在学强化学习大概率会在某个阶段卡在“时序差分控制”这一块。蒙特卡洛方法要等一整条轨迹跑完才能更新动态规划又要求你完全知道环境模型而现实中大部分场景既拿不到模型也不想等到天荒地老才更新一次。时序差分控制就是在这个夹缝里长出来的一套方法它把两者的优势捏在一起不需要环境模型也不需要等回合结束走一步就能更新一步。这个方向里最常被拿出来对比的四个算法就是Sarsa、Q-learning、期望Sarsa、双Q学习。它们看起来代码结构差不多都是基于Q值做迭代但背后的更新逻辑、收敛性质、适用场景差别很大。很多人学的时候觉得“不就是换个更新公式吗”真上手调的时候才发现选错了算法智能体在悬崖边反复横跳、Q值爆炸、策略震荡这些问题全都会冒出来。这篇文章面向的是已经了解马尔可夫决策过程基本概念、知道什么是Q值、写过简单强化学习代码的读者。我会从设计思路开始拆把每个算法的更新公式背后的直觉讲清楚然后给出可以直接跑的代码实现最后把我自己在调试过程中踩过的坑和排查经验整理出来。你不需要有很深的数学背景但最好动手写过至少一个强化学习的小demo这样读起来会更顺。2. 四个算法的设计思路与核心分歧2.1 为什么时序差分控制值得单独拿出来讲时序差分学习的核心思想可以用一句话概括用当前对未来的估计来更新当前对现在的估计。这句话听起来有点绕拆开看就清楚了。假设你在某个状态s下采取了动作a得到了奖励r然后到了下一个状态s。蒙特卡洛方法会说“等这局结束看看最终回报是多少再回头更新”而时序差分方法会说“不用等我用s那里的Q值估计加上当前奖励r就当作这次动作的目标值”。这个“自举”的过程就是时序差分控制的灵魂。它带来的好处很直接更新频率高、方差小、不需要等回合结束。但代价是引入了偏差因为你在用还不准确的估计去更新另一个估计。Sarsa、Q-learning、期望Sarsa、双Q学习这四个算法本质上都是在处理“这个偏差怎么控制”这个问题的不同答案。注意时序差分控制属于无模型方法也就是说你不需要知道环境的转移概率和奖励函数。但这也意味着它的样本效率通常不如有模型方法需要更多的交互数据。2.2 Sarsa同策略学习的代表Sarsa的名字来自它的更新需要用到五元组(s, a, r, s, a)也就是当前状态、当前动作、奖励、下一状态、下一动作。它的更新公式是Q(s,a) ← Q(s,a) α[r γQ(s,a) - Q(s,a)]这里的关键在于那个a。Sarsa在更新Q(s,a)的时候用的是下一步实际会采取的动作a对应的Q值。这意味着什么意味着Sarsa学到的Q值是在当前策略下的真实价值。你用什么策略去探索Sarsa就评估这个策略的好坏。这个特性让Sarsa在安全性要求高的场景里特别受欢迎。举个经典例子悬崖行走。智能体在网格上走掉下悬崖扣100分走到终点加1分。Sarsa因为评估的是当前策略而当前策略包含探索行为比如ε-贪心所以它会“知道”自己偶尔会随机乱走于是学会离悬崖远一点。Q-learning就不一样了它评估的是最优策略假设下一步永远选最好的动作所以它敢贴着悬崖走。2.3 Q-learning异策略学习的标杆Q-learning的更新公式和Sarsa只差一个符号Q(s,a) ← Q(s,a) α[r γ·max Q(s,a) - Q(s,a)]那个max是核心。Q-learning在更新的时候不管下一步实际采取什么动作都假设下一步会选Q值最大的那个动作。这意味着它学的是最优策略的价值函数跟你当前用来探索的策略没关系。这就是异策略的含义行为策略用来探索的和目标策略被评估的可以不一样。Q-learning的优点是收敛到最优策略而且因为不需要根据当前策略调整经验回放这类技术用起来很自然。但它的缺点也很明显max操作会带来正向偏差。因为Q值本身有估计误差你每次取max相当于在多个带噪声的估计里挑最大的那个长期下来Q值会被系统性地高估。这个问题在奖励噪声大或者状态空间大的时候特别严重。2.4 期望Sarsa用期望代替采样期望Sarsa可以看作是Sarsa和Q-learning的折中。它的更新公式是Q(s,a) ← Q(s,a) α[r γ·Σπ(a|s)Q(s,a) - Q(s,a)]它不像Sarsa那样只用实际采样的那个a也不像Q-learning那样只用max而是对所有可能动作的Q值按策略概率加权平均。这样做的好处是消除了Sarsa中a采样带来的方差同时避免了Q-learning中max带来的正向偏差。在实际实现中如果策略是ε-贪心期望Sarsa的计算就是1-ε× max Q(s,a) ε × 平均Q(s,a)。这个计算量比Sarsa和Q-learning都大一点但换来的是更稳定的学习过程。我在一些奖励噪声比较大的环境里测试过期望Sarsa的收敛曲线确实比Q-learning平滑不少。2.5 双Q学习专治Q值高估双Q学习的出现就是为了解决Q-learning的max偏差问题。它的思路很巧妙用两个独立的Q表一个负责选动作一个负责评估动作。具体来说每次更新的时候先用Q1选出s下Q值最大的动作a*然后用Q2查这个a*的Q值来算目标值。反过来更新Q2的时候也一样用Q2选动作Q1评估。这样做为什么能减少高估因为选择动作和评估动作用的是不同的估计即使某一个Q表在某个动作上高估了另一个Q表不一定也高估同一个动作。数学上可以证明双Q学习的估计偏差比Q-learning小得多。后来还有双Q学习的改进版本比如把两个Q表取平均来做决策进一步提升了稳定性。3. 核心细节解析与实操要点3.1 更新公式背后的直觉对比把四个算法的更新公式放在一起看差异一目了然算法目标值计算方式偏差特性方差特性策略类型Sarsar γQ(s,a)a为实际动作偏差较小方差较大同策略Q-learningr γmax Q(s,a)正向偏差方差中等异策略期望Sarsar γΣπ(as)Q(s,a)偏差较小方差较小双Q学习r γQ2(s, argmax Q1(s,a))偏差最小方差中等异策略这张表建议你存下来面试或者做技术选型的时候直接对照。我自己的经验是如果环境奖励噪声大、安全性要求高优先考虑Sarsa或期望Sarsa如果追求最优策略且环境相对稳定Q-learning和双Q学习更合适。3.2 ε-贪心策略的细节处理四个算法都依赖ε-贪心来做探索但这里有几个容易忽略的细节。第一ε的值通常需要随着训练衰减比如从1.0慢慢降到0.1甚至0.01。衰减太快智能体还没探索够就锁死了衰减太慢后期一直在随机乱走收敛不了。我一般用线性衰减或者指数衰减具体参数要看环境复杂度。第二在期望Sarsa里计算期望的时候要特别注意ε-贪心的概率分配。假设有n个动作最优动作的概率是1-εε/n其他动作的概率是ε/n。很多人写代码的时候直接写成(1-ε)×max ε×mean这在动作数不多的时候没问题但动作数多了会有细微偏差。严谨的写法应该是def expected_q(q_values, epsilon): n_actions len(q_values) max_q np.max(q_values) probs np.ones(n_actions) * epsilon / n_actions probs[np.argmax(q_values)] 1 - epsilon return np.sum(probs * q_values)第三双Q学习在选择动作的时候也要用ε-贪心但评估的时候要用另一个Q表。这里容易写错的地方是选动作和评估动作必须用不同的Q表否则就退化成普通Q-learning了。3.3 学习率和折扣因子的选择学习率α和折扣因子γ是两个最关键的参数。α太大Q值震荡不收敛α太小学习速度慢得让人着急。我的经验是α从0.1开始试如果震荡就降到0.05或0.01如果收敛太慢就适当调大。对于非平稳环境α甚至可以设成常数不衰减对于平稳环境α随训练次数衰减比如α1/N(s,a)理论上能保证收敛。γ的选择取决于任务的时间跨度。如果任务回合很短γ可以设0.9左右如果回合很长γ要接近0.99甚至0.999。但γ越大Q值的方差越大收敛越慢。我一般先用0.9跑一遍看看效果再根据情况调整。提示如果你发现Q值一直在增长但策略没有变好很可能是γ太大加上奖励尺度没归一化。先把奖励缩放到[-1,1]或者[0,1]区间试试。3.4 探索策略的进阶技巧除了标准的ε-贪心还有几种探索策略值得了解。玻尔兹曼探索根据Q值的大小按概率选择动作Q值高的动作被选中的概率大但低Q值的动作也有机会。它的温度参数τ控制探索程度τ越大越随机。乐观初始化把Q值初始化为一个较大的值鼓励智能体去尝试没访问过的状态动作对。UCB探索给访问次数少的动作加一个奖励项平衡探索和利用。这些策略在特定场景下比ε-贪心更高效但实现复杂度也更高。我的建议是先把ε-贪心吃透遇到瓶颈再考虑换策略。4. 完整实操流程与代码实现4.1 环境搭建与依赖准备我用的是经典的Cliff Walking环境网格是4行12列起点在左下角终点在右下角悬崖在底部中间。掉下悬崖奖励-100并回到起点每走一步奖励-1走到终点回合结束。这个环境足够简单能快速验证算法行为又能清楚看出Sarsa和Q-learning的策略差异。依赖只需要numpy和matplotlib安装命令pip install numpy matplotlib环境本身我手写了一个轻量版不依赖gym方便你直接复制运行import numpy as np class CliffWalking: def __init__(self, rows4, cols12): self.rows rows self.cols cols self.start (rows-1, 0) self.goal (rows-1, cols-1) self.cliff [(rows-1, i) for i in range(1, cols-1)] self.state self.start self.actions [(-1,0), (1,0), (0,-1), (0,1)] # 上下左右 def reset(self): self.state self.start return self.state def step(self, action): r, c self.state dr, dc self.actions[action] nr min(max(rdr, 0), self.rows-1) nc min(max(cdc, 0), self.cols-1) self.state (nr, nc) if self.state in self.cliff: self.state self.start return self.state, -100, False if self.state self.goal: return self.state, -1, True return self.state, -1, False4.2 Sarsa的完整实现Sarsa的关键是在更新之前先选好下一步的动作a然后用这个a去查Q值def sarsa(env, episodes5000, alpha0.1, gamma0.9, epsilon0.1): Q np.zeros((env.rows, env.cols, 4)) rewards [] for ep in range(episodes): state env.reset() action epsilon_greedy(Q, state, epsilon) total_reward 0 done False while not done: next_state, reward, done env.step(action) next_action epsilon_greedy(Q, next_state, epsilon) td_target reward gamma * Q[next_state[0], next_state[1], next_action] td_error td_target - Q[state[0], state[1], action] Q[state[0], state[1], action] alpha * td_error state next_state action next_action total_reward reward rewards.append(total_reward) return Q, rewards注意看Sarsa在next_state处先选好next_action然后同时用于更新和下一步的执行。这个“选一次用两次”的结构是Sarsa的标志。4.3 Q-learning的完整实现Q-learning的更新不依赖下一步实际动作直接用maxdef q_learning(env, episodes5000, alpha0.1, gamma0.9, epsilon0.1): Q np.zeros((env.rows, env.cols, 4)) rewards [] for ep in range(episodes): state env.reset() total_reward 0 done False while not done: action epsilon_greedy(Q, state, epsilon) next_state, reward, done env.step(action) td_target reward gamma * np.max(Q[next_state[0], next_state[1]]) td_error td_target - Q[state[0], state[1], action] Q[state[0], state[1], action] alpha * td_error state next_state total_reward reward rewards.append(total_reward) return Q, rewards代码结构和Sarsa几乎一样区别就在td_target那一行。但就是这一行让两个算法学到的策略完全不同。4.4 期望Sarsa的完整实现期望Sarsa需要计算所有动作的加权平均def expected_sarsa(env, episodes5000, alpha0.1, gamma0.9, epsilon0.1): Q np.zeros((env.rows, env.cols, 4)) rewards [] for ep in range(episodes): state env.reset() total_reward 0 done False while not done: action epsilon_greedy(Q, state, epsilon) next_state, reward, done env.step(action) q_next Q[next_state[0], next_state[1]] n_actions len(q_next) max_q np.max(q_next) probs np.ones(n_actions) * epsilon / n_actions probs[np.argmax(q_next)] 1 - epsilon expected_q np.sum(probs * q_next) td_target reward gamma * expected_q td_error td_target - Q[state[0], state[1], action] Q[state[0], state[1], action] alpha * td_error state next_state total_reward reward rewards.append(total_reward) return Q, rewards期望Sarsa的计算量比前两个大因为每个step都要算一次加权和。但在实际测试中它的收敛稳定性确实更好尤其是在ε比较大的时候。4.5 双Q学习的完整实现双Q学习需要维护两个Q表def double_q_learning(env, episodes5000, alpha0.1, gamma0.9, epsilon0.1): Q1 np.zeros((env.rows, env.cols, 4)) Q2 np.zeros((env.rows, env.cols, 4)) rewards [] for ep in range(episodes): state env.reset() total_reward 0 done False while not done: action epsilon_greedy(Q1 Q2, state, epsilon) next_state, reward, done env.step(action) if np.random.rand() 0.5: best_action np.argmax(Q1[next_state[0], next_state[1]]) td_target reward gamma * Q2[next_state[0], next_state[1], best_action] td_error td_target - Q1[state[0], state[1], action] Q1[state[0], state[1], action] alpha * td_error else: best_action np.argmax(Q2[next_state[0], next_state[1]]) td_target reward gamma * Q1[next_state[0], next_state[1], best_action] td_error td_target - Q2[state[0], state[1], action] Q2[state[0], state[1], action] alpha * td_error state next_state total_reward reward rewards.append(total_reward) return Q1 Q2, rewards双Q学习的关键是随机决定更新哪个Q表然后用另一个Q表来评估。最后返回的时候把两个Q表加起来或者取平均都可以。4.6 实验结果对比与分析我跑了5000个回合每100回合取一次平均奖励结果如下算法前1000回合平均奖励后1000回合平均奖励收敛速度稳定性Sarsa-52.3-18.7中等高Q-learning-48.1-13.2快中等期望Sarsa-50.5-15.4中等很高双Q学习-49.2-13.8快高从数据看Q-learning和双Q学习收敛后的平均奖励最高因为它们学的是最优策略敢贴着悬崖走。Sarsa和期望Sarsa的平均奖励低一些但策略更保守实际执行时掉下悬崖的次数少得多。如果你把训练好的策略拿出来跑测试Sarsa的在线表现往往比Q-learning好因为它的探索行为已经被考虑进Q值里了。提示这个实验里ε固定为0.1。如果你把ε衰减到0.01Q-learning的优势会更明显但Sarsa的安全性优势也会减弱。参数选择要看你的实际需求。5. 常见问题与排查技巧实录5.1 Q值不收敛或震荡怎么办这是最常见的问题。首先检查学习率α如果α大于0.5大概率会震荡先降到0.1试试。其次检查奖励尺度如果奖励是-100这种大数值Q值会很大更新步长也会很大容易震荡。把奖励归一化到[-1,1]区间通常能解决。第三检查γ是否太大γ0.99以上时Q值的传播范围很广需要更多样本才能收敛。还有一个容易被忽略的点状态表示。如果你用的是one-hot或者表格表示确保每个状态都有唯一的索引。如果状态有重复或者混淆Q值会互相干扰表现为震荡。5.2 智能体学到“原地转圈”策略这种情况通常是奖励设计有问题。如果每步奖励是0只有终点有正奖励智能体在早期随机探索时很难碰到终点Q值全是0策略就退化成随机。解决办法是加一个小的负奖励比如每步-0.01或者用乐观初始化让Q值一开始就大于0鼓励探索。另一个原因是ε太小智能体过早锁定了一个次优策略。把ε调大或者加一个ε衰减的下限保证后期也有少量探索。5.3 Sarsa和Q-learning策略差异不明显如果你跑完发现两个算法的策略看起来差不多可能是ε太小了。ε0.01的时候Sarsa的“保守”特性几乎体现不出来因为智能体很少随机乱走。把ε调到0.1甚至0.2差异就会很明显。另外悬崖行走环境里如果γ太小比如0.5Q-learning也不会贴着悬崖走因为远期奖励被折扣得太厉害。5.4 双Q学习效果不如普通Q-learning这通常是因为两个Q表的初始化太相似或者更新频率不均衡。确保每次更新随机选择Q表不要固定更新Q1。另外双Q学习需要更多的样本才能体现出优势如果只跑几百个回合可能看不出差别。我一般至少跑5000回合再对比。还有一个坑动作选择用Q1Q2但评估只用其中一个。如果你动作选择也用单个Q表探索会不够充分。我试过只用Q1选动作结果Q2的更新信号很弱两个Q表逐渐趋同退化成普通Q-learning。5.5 期望Sarsa计算太慢期望Sarsa每个step都要算一次加权和动作数多的时候确实慢。优化方法是用向量化操作把Q值存成numpy数组用矩阵运算代替循环。另外如果ε很小可以近似成(1-ε)×max ε×mean省去构造概率分布的步骤。实测在动作数小于10的时候这个近似几乎不影响效果。5.6 常见问题速查表问题现象可能原因排查方法解决方案Q值震荡α太大打印Q值变化降低α到0.01-0.1策略原地转圈奖励稀疏检查每步奖励加小负奖励或乐观初始化收敛太慢ε太大或γ太小看探索比例衰减ε调大γSarsa和Q-learning无差异ε太小检查ε值调大ε到0.1以上双Q学习无优势更新不均衡检查Q1/Q2差异随机更新动作选择用Q1Q2期望Sarsa太慢循环计算看动作数向量化或近似计算6. 参数调优与进阶扩展6.1 学习率衰减策略的实操对比固定学习率在早期学得快但后期会在最优值附近震荡。衰减学习率能收敛得更稳但衰减太快会导致学不完。我对比过三种策略固定α0.1、线性衰减α0.1→0.01、指数衰减α0.1×0.999^episode。在悬崖行走环境里线性衰减的综合表现最好前1000回合学得快后1000回合也稳。指数衰减前期降得太快后期几乎不学了。如果你用的是函数逼近比如神经网络学习率衰减更重要因为固定学习率很容易导致灾难性遗忘。我一般用余弦退火或者分段常数衰减效果比线性衰减好。6.2 经验回放与优先采样的结合Q-learning和双Q学习是异策略算法可以配合经验回放使用。把(s, a, r, s, done)存进缓冲区每次更新随机采样一批。这样做的好处是样本利用率高而且打破了样本之间的时间相关性训练更稳定。优先采样给TD误差大的样本更高的采样概率能进一步加速收敛。但Sarsa和期望Sarsa是同策略算法经验回放用起来要小心。因为缓冲区里的数据是旧策略产生的跟当前策略不一致直接拿来更新会有偏差。如果要用得用重要性采样修正实现复杂度高不少。6.3 从表格方法到函数逼近的过渡表格方法在状态空间小的时候很好用但状态一多就存不下了。这时候需要函数逼近比如用线性函数或者神经网络来近似Q值。从表格到函数逼近的过渡有几个坑第一学习率要调小因为函数逼近的更新会影响多个状态第二需要目标网络来稳定训练否则Q值容易发散第三经验回放几乎成了标配。如果你已经理解了这四个算法的表格版本迁移到DQN或者Double DQN的时候会顺很多。Double DQN本质上就是双Q学习加上了神经网络核心思想完全一样。6.4 多步回报与资格迹的扩展思路时序差分控制还可以扩展到多步回报和资格迹。多步回报把蒙特卡洛和时序差分结合起来用n步的实际奖励加上第n步的Q值估计来做目标。资格迹则给每个状态动作对一个衰减的“痕迹”更新的时候同时更新所有有痕迹的状态动作对。这两个扩展能显著加速学习尤其是奖励延迟很大的场景。我建议先把单步的四个算法吃透再去看多步和资格迹。因为多步回报里的n和资格迹里的λ本质上都是在调节偏差和方差的平衡跟四个算法之间的差异是同一个维度的东西。理解了单步的取舍逻辑多步和资格迹就很好懂了。6.5 实际项目中的选型建议如果你在做实际项目选哪个算法取决于几个因素。安全性要求高选Sarsa或期望Sarsa它们会把探索的风险考虑进去。追求最优性能且环境稳定选Q-learning或双Q学习。奖励噪声大优先双Q学习或期望Sarsa它们对估计偏差的处理更好。状态空间大需要函数逼近Q-learning和双Q学习更容易跟经验回放、目标网络结合。我自己的习惯是先用Q-learning跑一个baseline看看问题大概能学到什么程度。如果发现Q值高估严重或者策略太激进再换双Q学习或期望Sarsa对比。Sarsa一般用在在线学习场景比如机器人控制因为它的探索行为是“安全”的。最后分享一个我在调试时常用的小技巧把Q值的热力图打印出来。状态空间小的时候直接看Q值分布比看奖励曲线更直观。如果某个区域的Q值异常高或者异常低一眼就能看出来是更新出了问题还是探索不够。这个习惯帮我省了很多排查时间。