简介这份强化学习实例面向零基础或初学强化学习的开发者提供可直接运行的乒乓球对战模拟环境帮助理解智能体如何通过与环境交互不断优化击球策略。压缩包共10个文件以6个pth模型权重、3个py脚本和1个pyc缓存文件为主整体约35.78MB其中py脚本承担环境封装、DQN算法与训练测试逻辑pth文件保存不同训练阶段的网络参数替换后即可对比智能体各阶段表现。资源已有4371人学习下载热度较高。读者可借此观察状态、动作、奖励与策略在具体游戏中的落地方式理解Q-learning与DQN的差异并基于现成代码尝试替换算法或调整参数快速上手强化学习实验流程。1. 强化学习实例从“跑不起来”到“改一行就能换算法”很多人第一次接触强化学习卡住的地方不是数学而是环境。装完框架复制一段示例结果要么版本对不上要么训练半天奖励不涨最后连问题出在哪都不知道。这个标题想解决的就是这件事给一个能直接运行、结果直观、方法可替换、对初学者代码友好的强化学习实例。它适合两类人——刚学完 Q-learning 公式、想看到智能体真的学会走路的同学以及已经会调库、但想要一个干净骨架去替换算法做对比实验的工程师。核心诉求只有三个跑得起来、看得见变化、换得动方法。我一般会把这类实例拆成“环境 算法 训练循环 可视化”四块任何一块都能单独替换这样才叫可替换而不是把算法焊死在训练脚本里。2. 先选对环境和算法为什么用 GridWorld 配 Q-learning 起步2.1 环境选型为什么不用 Atari 或 MuJoCo 开局初学者最容易踩的坑是一上来就上图像输入或连续控制。Atari 需要卷积网络、经验回放、目标网络训练几百万步才见效果MuJoCo 涉及物理引擎和连续动作空间调参成本极高。这些环境不是不好而是不适合“直接运行、直观”这个目标。常见做法是选一个状态空间离散、动作空间小、奖励结构清晰的环境。GridWorld网格世界就是典型智能体在一个 N×N 的格子里从起点走到终点撞墙或走错扣分到达终点给正奖励。它的好处是状态可以用整数编号Q 表可以直接打印出来看训练几十秒就能看到策略从乱走变成最短路径。这种“肉眼可见的收敛”对建立信心非常关键。我一般会把环境写成独立类只暴露reset()和step(action)两个接口内部维护状态转移和奖励计算。这样后面换成 FrozenLake、CliffWalking 甚至自己定义的格子任务只要接口一致算法代码一行不用改。2.2 算法选型Q-learning 作为可替换骨架的基准Q-learning 是离策略off-policy时序差分算法更新公式是Q(s,a) ← Q(s,a) α [ r γ max Q(s,a) − Q(s,a) ]它只需要一张 Q 表不需要神经网络不需要经验回放代码量小调试直观。选它作为基准不是因为它是“最好”的而是因为它最容易验证正确性你可以手动算几步看 Q 值更新对不对。更重要的是它天然适合做“方法可替换”的骨架。把 Q 表换成神经网络就是 DQN 的雏形把 max 换成期望就是 Expected SARSA把离策略改成在策略就是 SARSA。只要训练循环和接口设计得当替换算法只需要改一个类。下面是一个最小可运行的 Q-learning 实例环境是 5×5 网格起点左上角终点右下角撞墙或越界留在原地并给 -1 奖励到达终点给 10 并结束。import numpy as np import random class GridWorld: def __init__(self, size5): self.size size self.start (0, 0) self.goal (size - 1, size - 1) self.state self.start self.actions [0, 1, 2, 3] # 上右下左 self.action_delta [(-1, 0), (0, 1), (1, 0), (0, -1)] def reset(self): self.state self.start return self._state_id(self.state) def step(self, action): dr, dc self.action_delta[action] r, c self.state nr, nc r dr, c dc # 越界或撞墙留在原地给负奖励 if nr 0 or nr self.size or nc 0 or nc self.size: return self._state_id(self.state), -1.0, False self.state (nr, nc) if self.state self.goal: return self._state_id(self.state), 10.0, True return self._state_id(self.state), -0.1, False def _state_id(self, pos): return pos[0] * self.size pos[1] def num_states(self): return self.size * self.size def num_actions(self): return len(self.actions)这段环境代码的关键点step返回三元组(next_state, reward, done)这是最通用的接口形式。奖励设计上每走一步给 -0.1 是为了鼓励最短路径撞墙给 -1 是为了让智能体学会避开边界。如果把每步奖励设成 0智能体可能学会绕圈如果撞墙惩罚太轻它可能反复撞墙。这些数值不是玄学是可以通过打印 Q 表验证的。2.3 训练循环把探索、更新、衰减拆清楚训练循环是初学者最容易写乱的地方。常见错误是把探索率衰减写在回合内或者更新 Q 值时用错下一状态。下面是一个标准写法class QLearning: def __init__(self, num_states, num_actions, alpha0.1, gamma0.95, epsilon1.0): self.Q np.zeros((num_states, num_actions)) self.alpha alpha self.gamma gamma self.epsilon epsilon def choose_action(self, state): if random.random() self.epsilon: return random.randint(0, self.Q.shape[1] - 1) return int(np.argmax(self.Q[state])) def update(self, s, a, r, s_next, done): best_next 0.0 if done else np.max(self.Q[s_next]) td_target r self.gamma * best_next td_error td_target - self.Q[s, a] self.Q[s, a] self.alpha * td_error def train(env, agent, episodes500, epsilon_decay0.995, min_epsilon0.01): rewards [] for ep in range(episodes): s env.reset() total_reward 0.0 done False while not done: a agent.choose_action(s) s_next, r, done env.step(a) agent.update(s, a, r, s_next, done) s s_next total_reward r agent.epsilon max(min_epsilon, agent.epsilon * epsilon_decay) rewards.append(total_reward) return rewards逻辑说明choose_action用 ε-贪婪策略训练初期大量随机探索后期逐渐利用。update里done为真时下一状态价值为 0这是终止状态的处理漏掉会导致 Q 值虚高。epsilon_decay每回合乘一次而不是每步乘否则探索衰减太快智能体来不及学到东西。参数上alpha0.1是学习率太大震荡太小收敛慢gamma0.95是折扣因子越接近 1 越看重长期回报epsilon从 1.0 降到 0.01保证最终策略稳定。跑完 500 回合把rewards每 50 回合取平均应该能看到从负几十涨到接近 10。如果没涨先检查奖励设计和done处理这两处出问题最多。3. 让结果直观可视化、Q 表打印和策略回放3.1 训练曲线用移动平均看趋势别被单回合噪声骗了单回合奖励波动很大直接画原始曲线往往像心电图。常见做法是每 20 或 50 回合取移动平均再画一条平滑线。下面这段代码不依赖 matplotlib 也能跑先把数据算出来def moving_average(data, window50): if len(data) window: return [] return [np.mean(data[i:iwindow]) for i in range(len(data) - window 1)] rewards train(env, agent, episodes500) ma moving_average(rewards, window50) print(前50回合平均:, np.mean(rewards[:50])) print(后50回合平均:, np.mean(rewards[-50:]))如果后 50 回合平均明显高于前 50说明学习有效。如果两者差不多可能是探索率没降下来或者学习率太小。我一般会先看这两个数再决定要不要调参而不是一上来就画图。3.2 Q 表打印把“智能体学到了什么”变成可读的表格Q 表是离散状态下的最大优势——你可以直接看。把每个状态的最优动作打印成箭头就能看到策略长什么样def print_policy(agent, env): arrows [↑, →, ↓, ←] for r in range(env.size): row [] for c in range(env.size): s r * env.size c if (r, c) env.goal: row.append( G ) else: a int(np.argmax(agent.Q[s])) row.append(f {arrows[a]} ) print(.join(row)) print_policy(agent, env)理想输出是从起点到终点的一条箭头路径中间没有反复绕圈。如果看到箭头指向墙或原地打转说明训练不够或奖励设计有问题。这个打印比任何曲线都直观初学者能立刻判断“学没学会”。3.3 策略回放用确定性策略跑一遍看步数和路径训练时用 ε-贪婪评估时要关掉探索。写一个evaluate函数固定epsilon0跑 10 次取平均步数def evaluate(env, agent, episodes10): steps_list [] for _ in range(episodes): s env.reset() done False steps 0 while not done: a int(np.argmax(agent.Q[s])) s, r, done env.step(a) steps 1 steps_list.append(steps) return np.mean(steps_list) print(平均步数:, evaluate(env, agent))5×5 网格最短路径是 8 步从 (0,0) 到 (4,4) 需要 4 下 4 右。如果平均步数在 8 到 12 之间说明策略接近最优如果超过 20说明还有绕路。这个指标比奖励更直接因为奖励受每步 -0.1 影响步数才是真实效率。4. 方法可替换从 Q 表到 SARSA、Double Q 和 DQN 的改法4.1 替换成 SARSA只改一行更新目标SARSA 是 on-policy 算法更新时用实际选择的下一动作而不是最大 Q 值。把update改成def update_sarsa(self, s, a, r, s_next, a_next, done): next_q 0.0 if done else self.Q[s_next, a_next] td_target r self.gamma * next_q self.Q[s, a] self.alpha * (td_target - self.Q[s, a])训练循环里需要先选a_next再更新。这个改动很小但行为差异明显SARSA 在悬崖行走任务里更保守因为它把探索风险算进去了。想对比两种算法只需要在训练脚本里换一个agent类环境代码不动。4.2 替换成 Double Q-learning解决最大化偏差Q-learning 的max操作会系统性高估 Q 值尤其在噪声环境下。Double Q-learning 用两张 Q 表一张选动作一张评估class DoubleQLearning: def __init__(self, num_states, num_actions, alpha0.1, gamma0.95, epsilon1.0): self.Q1 np.zeros((num_states, num_actions)) self.Q2 np.zeros((num_states, num_actions)) self.alpha alpha self.gamma gamma self.epsilon epsilon def choose_action(self, state): if random.random() self.epsilon: return random.randint(0, self.Q1.shape[1] - 1) return int(np.argmax(self.Q1[state] self.Q2[state])) def update(self, s, a, r, s_next, done): if random.random() 0.5: best_a int(np.argmax(self.Q1[s_next])) target r (0 if done else self.gamma * self.Q2[s_next, best_a]) self.Q1[s, a] self.alpha * (target - self.Q1[s, a]) else: best_a int(np.argmax(self.Q2[s_next])) target r (0 if done else self.gamma * self.Q1[s_next, best_a]) self.Q2[s, a] self.alpha * (target - self.Q2[s, a])这个类接口和QLearning完全一致训练循环不用改。这就是“方法可替换”的价值算法之间可以横向对比环境和其他代码保持稳定。4.3 替换成 DQN 的思路把 Q 表换成网络接口不变如果状态空间变大Q 表存不下就需要函数逼近。DQN 用神经网络输出每个动作的 Q 值核心改动是choose_action里用网络前向传播update里用均方误差反向传播再加经验回放和目标网络。但对外接口仍然是choose_action(state)和update(s,a,r,s_next,done)。这意味着你可以在同一个训练循环里把QLearning换成DQN环境代码一行不改。我一般会先在小 GridWorld 上验证 DQN 实现是否正确再迁移到更大环境。如果 DQN 在 5×5 网格上都学不会大概率是网络结构或超参问题而不是环境太难。5. 避坑与排查训练不收敛时先看这五处5.1 奖励一直不涨Q 值全是零现象跑了几百回合rewards始终在初始值附近打印 Q 表发现大部分是 0。原因通常是done处理错误导致终止状态的价值被反复传播但目标值不对或者学习率太小更新量被淹没。解决先检查update里done为真时best_next是否置 0再打印几步的td_error如果一直是 0说明s和s_next传错了。5.2 策略在终点附近来回走不进入终止状态现象打印策略看到箭头在终点旁边绕圈。原因通常是到达终点的奖励不够大或者每步负奖励累积起来让智能体觉得“多走几步也无所谓”。解决把终点奖励提高到 10 以上每步惩罚降到 -0.01 到 -0.1 之间确保最短路径的累计回报明显更高。5.3 探索率衰减太快后期完全不探索现象前 100 回合奖励涨得不错后面突然卡住。原因epsilon_decay设得太小比如 0.9几十回合就降到 0.01智能体还没覆盖所有状态-动作对。解决把衰减设为 0.995 或 0.999或者用线性衰减保证前 30% 回合有足够探索。我一般会打印每 50 回合的epsilon确认它降得是否合理。5.4 换算法后结果差异巨大怀疑环境有问题现象Q-learning 能学会换成 SARSA 后完全学不会。原因SARSA 是在策略算法如果choose_action的探索率很高它会把探索带来的负奖励学进去导致策略保守甚至不敢走。解决对比算法时确保评估阶段都用epsilon0训练阶段的探索率设置一致。如果 SARSA 在悬崖任务里表现更保守那是正常特性不是 bug。5.5 随机种子不同结果忽好忽坏现象同样的代码有时收敛有时不收敛。原因网格世界虽然简单但随机初始化和探索路径会导致不同局部最优。解决固定随机种子跑 5 个种子取平均再看趋势。如果 5 个种子里有 3 个以上收敛说明算法没问题只是方差大。我一般会在训练脚本开头加random.seed(42)和np.random.seed(42)方便复现。6. 进阶技巧用参数扫描和策略热力图把实例变成实验平台当你已经能跑通基础版本下一步不是换更炫的算法而是把这个实例变成可做对比实验的平台。我常用的做法是参数扫描固定环境遍历alpha、gamma、epsilon_decay的组合每个组合跑 5 个种子记录后 50 回合平均奖励。下面是一个简化版扫描脚本def run_experiment(alpha, gamma, decay, seeds5): scores [] for seed in range(seeds): random.seed(seed) np.random.seed(seed) env GridWorld(size5) agent QLearning(env.num_states(), env.num_actions(), alphaalpha, gammagamma, epsilon1.0) rewards train(env, agent, episodes300, epsilon_decaydecay) scores.append(np.mean(rewards[-50:])) return np.mean(scores), np.std(scores) for alpha in [0.05, 0.1, 0.3]: for gamma in [0.9, 0.95, 0.99]: mean, std run_experiment(alpha, gamma, 0.995) print(falpha{alpha}, gamma{gamma}, mean{mean:.2f}, std{std:.2f})这个脚本能帮你快速看出哪些参数组合稳定。比如alpha0.3往往方差大gamma0.99在 5×5 网格上可能过慢因为折扣因子太高会让智能体过度看重远期奖励。扫描结果用表格整理比单次跑更有说服力。另一个技巧是画策略热力图把每个状态的 Q 最大值当颜色深浅箭头当动作方向。这样能一眼看出哪些区域价值高、哪些区域智能体还没学好。实现上只需要把print_policy里的箭头换成颜色块或者用matplotlib.imshow画 Q 值矩阵。热力图配合移动平均曲线基本能覆盖“学没学会、哪里没学会、为什么没学会”三个问题。我自己的习惯是每换一个算法或一组参数先跑 3 个种子看趋势再用参数扫描确认稳定性最后用策略热力图检查边界情况。这套流程跑下来一个强化学习实例就不只是“能运行”而是能支撑小规模对比实验。希望帮到你。本文还有配套的精品资源点击获取