简介这是一份面向强化学习与游戏AI入门者的实战项目资源用深度Q学习DQN训练机器人自动玩俄罗斯方块适合想理解重播内存、探索策略与神经网络训练流程的Python开发者。压缩包共8个文件约3.8MB以4个Python脚本为核心分别承担DQN智能体、游戏主逻辑与训练入口等职责另附依赖清单、说明文档、结果曲线图与演示动图便于快速跑通并观察训练效果。项目通过随机探索积累状态与奖励样本每局结束后从重播内存中抽样训练网络并引入随时间衰减的探索变量使智能体在利用已知最优路径的同时发现更高分策略训练采用Q学习思路评估未来回报而非只看即时收益因此能做出短期无回报但长期更优的决策。目前已有1186人学习下载读者可借此掌握从环境搭建、模型训练到效果验证的完整流程并基于现有代码调整超参数、复现得分提升过程。1. 从零训练一个玩俄罗斯方块的深度强化学习机器人为什么它比打砖块难得多俄罗斯方块看起来简单但要让一个深度强化学习机器人真正玩起来难度远超大多数人的预期。打砖块里球和挡板的关系是连续的状态空间相对平滑而俄罗斯方块每一步都要在离散的方块形状、旋转姿态和落点之间做组合决策状态空间随棋盘尺寸指数级膨胀。更麻烦的是奖励信号极度稀疏——你消了一行才有分中间几十步的铺垫全靠模型自己悟。这也是为什么很多开发者拿 DQN 直接套俄罗斯方块训练几万局后机器人依然在“堆高高然后等死”。这篇笔记面向想动手复现一个 tetris-ai 的工程师从环境搭建、状态表示、网络结构、训练循环到调参避坑把一条能跑通、能收敛的路径讲清楚。如果你已经会 PyTorch 基础、懂一点强化学习概念跟着做就能在自己的机器上训出一个能稳定消行的机器人。2. 环境与状态表示把俄罗斯方块变成网络能吃的张量2.1 为什么不用像素输入而用棋盘特征用原始像素做输入是很多人的第一反应毕竟 Atari 系列就是这么干的。但俄罗斯方块的像素分辨率低、颜色单一卷积网络从像素里学“这一行是否填满”的效率极低。常见做法是把棋盘直接编码成二值矩阵再拼接当前方块和下一个方块的信息。我一般会把状态设计成固定尺寸的多通道张量比如 20 行 × 10 列的棋盘加上当前方块类型、旋转状态、下一个方块类型总共 4 到 6 个通道。这样输入维度可控网络收敛快也方便做特征工程。具体来说棋盘通道用 0/1 表示是否被占用当前方块用一个单独通道只在该方块占据的格子上置 1下一个方块可以用一个全局向量表示或者也铺成一个通道。这样网络既能看见“哪里满了”也能看见“现在手里是什么、下一个是什么”。2.2 用 Gym 接口封装一个可复现的俄罗斯方块环境自己写游戏逻辑容易在旋转和消行上翻车建议基于现成的俄罗斯方块逻辑封装成 Gym 风格接口。下面是一个最小可用的环境骨架重点看状态编码和动作空间的定义。import numpy as np import gym from gym import spaces class TetrisEnv(gym.Env): def __init__(self, board_height20, board_width10): self.h board_height self.w board_width self.board np.zeros((self.h, self.w), dtypenp.int8) self.current_piece None self.next_piece None # 动作空间每个方块有若干旋转和列位置组合 # 这里简化为 4 种旋转 × 10 列 40 个离散动作 self.action_space spaces.Discrete(40) # 状态棋盘 当前方块通道 下一个方块通道 self.observation_space spaces.Box( low0, high1, shape(3, self.h, self.w), dtypenp.float32 ) def _get_state(self): board_ch self.board.astype(np.float32) cur_ch np.zeros_like(board_ch) if self.current_piece is not None: for (r, c) in self.current_piece.cells: if 0 r self.h and 0 c self.w: cur_ch[r, c] 1.0 next_ch np.zeros_like(board_ch) # next_piece 可以用一个固定位置示意或铺满对应形状 return np.stack([board_ch, cur_ch, next_ch], axis0) def reset(self): self.board.fill(0) self.current_piece self._spawn_piece() self.next_piece self._spawn_piece() return self._get_state() def step(self, action): # 解析 action 为旋转和列偏移执行落子 # 返回 next_state, reward, done, info pass这段代码的关键在于_get_state把棋盘、当前方块、下一个方块拼成三通道张量。动作空间用 40 个离散动作覆盖常见旋转和列位置组合比让模型逐步控制左右移动和旋转要高效得多。参数board_height和board_width按标准俄罗斯方块设为 20 和 10如果要做小棋盘实验可以调小但注意消行逻辑要同步改。2.3 奖励函数设计稀疏奖励怎么破俄罗斯方块最坑的地方是奖励太稀疏。只给消行奖励模型很难学到“为消行做铺垫”。我一般会加几个塑形奖励每落一个方块给一个很小的负奖励比如 -0.01鼓励尽快消行消一行给 1消两行 3消三行 6消四行 10如果落子后棋盘高度超过某个阈值给一个较大的负奖励。这样模型既有短期信号也不会偏离“消行”这个最终目标。注意塑形奖励的尺度要反复调太大容易让模型学会“刷小奖励”而不去消行太小则起不到引导作用。建议先用消行奖励为主塑形奖励系数从 0.01 开始试。3. 网络结构与训练循环DQN 在俄罗斯方块上的最小实现3.1 用卷积网络提取棋盘特征再接双分支输出俄罗斯方块的状态是空间结构明显的张量卷积网络比全连接更合适。我一般用三层卷积每层后面接 ReLU然后展平接两个分支一个输出状态价值一个输出每个动作的优势值。这就是 Dueling DQN 的常见结构在俄罗斯方块上比普通 DQN 收敛更稳。import torch import torch.nn as nn import torch.nn.functional as F class TetrisDQN(nn.Module): def __init__(self, in_channels3, n_actions40): super().__init__() self.conv1 nn.Conv2d(in_channels, 32, kernel_size3, padding1) self.conv2 nn.Conv2d(32, 64, kernel_size3, padding1) self.conv3 nn.Conv2d(64, 64, kernel_size3, padding1) self.fc nn.Linear(64 * 20 * 10, 256) # Dueling 分支 self.value_head nn.Linear(256, 1) self.advantage_head nn.Linear(256, n_actions) def forward(self, x): x F.relu(self.conv1(x)) x F.relu(self.conv2(x)) x F.relu(self.conv3(x)) x x.view(x.size(0), -1) x F.relu(self.fc(x)) value self.value_head(x) advantage self.advantage_head(x) # 合并成 Q 值 q value advantage - advantage.mean(dim1, keepdimTrue) return q卷积层负责提取“哪一行快满了”“哪里有空洞”这类空间特征全连接层把特征映射到动作价值。n_actions40对应前面定义的 40 个离散动作。如果棋盘尺寸改了fc的输入维度要同步改。Dueling 结构的好处是让网络分别学习“这个状态好不好”和“每个动作相对好多少”在奖励稀疏时更稳。3.2 经验回放与目标网络两个必须有的稳定器DQN 直接训练容易发散经验回放和目标网络是标配。经验回放把(state, action, reward, next_state, done)存进缓冲区训练时随机采样打破时间相关性。目标网络定期从主网络复制参数计算 TD 目标时用目标网络减少目标值抖动。import random from collections import deque class ReplayBuffer: def __init__(self, capacity100000): self.buffer deque(maxlencapacity) def push(self, state, action, reward, next_state, done): self.buffer.append((state, action, reward, next_state, done)) def sample(self, batch_size): batch random.sample(self.buffer, batch_size) states, actions, rewards, next_states, dones zip(*batch) return (np.stack(states), np.array(actions), np.array(rewards, dtypenp.float32), np.stack(next_states), np.array(dones, dtypenp.float32)) def __len__(self): return len(self.buffer)缓冲区容量我一般设 10 万到 20 万太小容易过拟合最近的经验太大则训练慢。batch_size从 32 开始显存够可以上 64 或 128。目标网络更新频率通常设为主网络每训练 1000 步同步一次这个值在俄罗斯方块上比较敏感太小不稳定太大收敛慢。3.3 训练循环从随机探索到稳定消行训练循环的核心是 epsilon-greedy 探索、计算 TD 误差、反向传播。下面是一个简化但可运行的训练骨架。def train(env, model, target_model, buffer, optimizer, episodes5000): epsilon 1.0 epsilon_min 0.05 epsilon_decay 0.9995 gamma 0.99 batch_size 64 update_target_every 1000 step_count 0 for ep in range(episodes): state env.reset() done False total_reward 0 while not done: if random.random() epsilon: action env.action_space.sample() else: with torch.no_grad(): q model(torch.FloatTensor(state).unsqueeze(0)) action q.argmax().item() next_state, reward, done, _ env.step(action) buffer.push(state, action, reward, next_state, done) state next_state total_reward reward if len(buffer) batch_size: states, actions, rewards, next_states, dones buffer.sample(batch_size) states torch.FloatTensor(states) next_states torch.FloatTensor(next_states) actions torch.LongTensor(actions) rewards torch.FloatTensor(rewards) dones torch.FloatTensor(dones) q_values model(states).gather(1, actions.unsqueeze(1)).squeeze(1) with torch.no_grad(): next_q target_model(next_states).max(1)[0] target rewards gamma * next_q * (1 - dones) loss F.mse_loss(q_values, target) optimizer.zero_grad() loss.backward() optimizer.step() step_count 1 if step_count % update_target_every 0: target_model.load_state_dict(model.state_dict()) epsilon max(epsilon_min, epsilon * epsilon_decay) print(fEpisode {ep}, reward {total_reward}, epsilon {epsilon:.3f})epsilon从 1.0 开始衰减到 0.05保证前期充分探索。gamma0.99让模型看重长期消行收益。update_target_every1000是经验值可以按训练稳定性调整。每局结束打印总奖励观察是否稳步上升。如果奖励长期在 0 附近震荡多半是奖励设计或状态表示有问题。4. 避坑与排查训练俄罗斯方块机器人时最容易翻车的五件事4.1 机器人学会“堆高高”却不消行现象训练几千局后机器人每局得分极低棋盘很快堆满但它似乎“故意”把方块堆在中间。原因通常是奖励函数里消行奖励不够突出或者负奖励太小模型发现“快速结束一局”比“慢慢消行”更省事。解决方法是加大消行奖励同时给每步一个小的负奖励让拖延有代价。另外检查done条件是否太宽松比如棋盘满了才结束可以改成高度超过阈值就结束。4.2 损失突然变成 NaN现象训练中途 loss 变成 NaN模型输出全为 nan。原因多半是学习率太大或者奖励尺度没归一化。俄罗斯方块的奖励如果用到 10 这种量级而 Q 值初始输出很小梯度容易爆炸。解决方法是把奖励缩放到 [-1, 1] 附近学习率从 1e-4 开始试加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)。4.3 训练速度慢到无法接受现象每局训练要几秒跑一万局要几个小时。原因通常是环境用 Python 纯循环实现或者每步都做完整的状态编码。解决方法是把游戏逻辑用 numpy 向量化状态编码只做必要的通道拼接避免深拷贝。如果还慢可以把环境放到多进程里并行采样但要注意经验回放的同步。4.4 模型在训练集上表现好换随机种子就崩现象某个随机种子下训练效果不错换个种子就完全不行。原因是俄罗斯方块的随机方块序列方差大模型对特定序列过拟合。解决方法是固定评估用的方块序列训练时用多个随机种子跑取平均表现。另外可以增大经验回放容量让模型见到更多样的序列。4.5 动作空间设计不合理导致无效动作多现象模型经常选择明显不可能执行的旋转或列位置浪费训练步数。原因是动作空间里包含了超出棋盘边界的组合。解决方法是在环境step里对无效动作做掩码或者在网络输出时把无效动作的 Q 值设为负无穷。更彻底的做法是只保留合法动作但这样动作空间会动态变化实现复杂建议先用掩码。5. 进阶技巧用 n-step 回报和优先经验回放把消行数再提一档基础 DQN 能跑通后想进一步提升消行数可以试两个改动。第一个是 n-step 回报把一步 TD 换成多步让奖励信号传播更快。具体做法是在经验回放里存连续 n 步的奖励和计算目标时用 n 步后的状态。n 一般取 3 到 5太大容易引入偏差。第二个是优先经验回放按 TD 误差大小给样本加权让模型多学“意外”的样本。实现上可以用一个简单的优先级队列采样概率正比于误差的 alpha 次方alpha 取 0.6 左右。# n-step 回报的简化实现 def compute_nstep_target(rewards, next_q, gamma, n): target 0 for i in range(n): target (gamma ** i) * rewards[i] target (gamma ** n) * next_q return target这两个技巧在俄罗斯方块上通常能把平均消行数从个位数提到十几行。但要注意优先经验回放会改变数据分布需要配合重要性采样权重否则容易发散。我一般先在基础 DQN 上调稳再加这两个每次只加一个观察评估曲线。验证机器人是否真的学会了不能只看训练奖励要固定一组随机种子跑 100 局统计平均消行数和最高分。如果平均消行数稳定在 10 以上说明模型确实学到了策略而不是靠运气。我自己的习惯是每训练 500 局就做一次评估把评估结果画成曲线比只看训练日志靠谱得多。希望帮到你。本文还有配套的精品资源点击获取