简介基于强化学习的无人驾驶车辆行为决策研究进展是一份面向自动驾驶、强化学习与智能决策方向的综述型文档适合科研人员、算法工程师及研究生快速建立领域认知。资源为单个docx文档约37KB内容紧凑、结构清晰便于通读或按需检索。该文档已有200人学习下载。正文围绕决策精度提升、决策广度拓展以及不确定因素应对三条主线展开系统介绍了从Q-Learning到DQN、DDPG等深度强化学习算法的演进并结合车道保持、自主制动、跟车行驶等典型驾驶场景分析了各决策模型的状态空间设计、动作输出方式及实验效果同时指出了当前方法在收敛性、鲁棒性等方面仍存在的挑战。这份综述对于理解行为决策在自动驾驶架构中的核心作用、对比不同强化学习算法的适用条件以及寻找研究切入点都很有参考价值。1. 行为决策为何成为自动驾驶的“大脑”瓶颈一辆车在匝道汇入主路时环境感知已经把周围车辆的位置、速度、车道线全部送了过来真正决定“现在并线还是等下一个间隙”的是行为决策模块。这里没有标准答案规则写死容易在动态场景中顾此失彼。强化学习给出的做法是把决策建模成马尔科夫决策过程通过奖励信号让模型自己找策略而不是由工程师逐条编写驾驶规则。这份研究综述梳理了三个方向的进展用深度强化学习提升决策精度、用分层强化学习扩展任务广度、用 POMDP 处理传感器噪声和他人意图等不确定因素。对刚进入自动驾驶决策方向的研究生和工程师来说它是一张很实用的技术地图。读的时候建议带着一个问题看如果我自己要复现一个决策模型应该从哪个方向切入、基线怎么选、评价指标怎么定。2. 决策精度提升从 Q-Learning 到 DQN 与 DDPG 的连续化改造2.1 精度瓶颈出在哪里强化学习适合序贯决策但在驾驶场景里有一个前提状态空间和动作空间要足够表达真实路况。早期工作用 Q-Learning 做跟车决策时状态往往只有本车速度、相对距离、相对速度这几个低维量动作是“加速、保持、减速”几个离散值。Q 表能放下泛化却很差。我复现这类工作时常遇到两个现象状态离散化太粗模型在关键距离边界上反复震荡离散化太细Q 表组合数爆炸训练时间呈指数上涨。行为决策模块相当于自动驾驶的“大脑”如果大脑拿到的信息是降采样到极粗的版本再好的强化学习算法也补不回来精度。这就是文献中提到的“决策模型精度较低”问题的本质。2.2 DQN 把车道保持做成端到端决策DQN 的贡献不是给 Q-Learning 换了个名字而是用深度网络替代 Q 表同时加了两个机制经验回放用历史样本打破时间相关性目标网络稳定 TD 目标。文献[15]在 Atari 游戏上的表现证明这种方法能处理高维视觉输入文献[18]把它搬到了车道保持场景输入高维相机图像输出离散化后的方向盘转角在匀速行驶前提下学习最优转向。这个模型的决策频率不需要太高很多实现里是 5-10Hz。因为行为决策不需要像车身稳定系统那样高频干预但决策周期太长又会造成感知信息滞后我一般会从 10Hz 起步再根据实车效果往下调。离散方向盘转角是 DQN 落地时的关键设计转角档位太少转向不够细腻档位太多Q 网络输出层维度过大收敛变慢。2.2.1 离散动作的工程边界DQN 在行为决策里的常见做法是把方向盘转角按 5 到 9 档量化每个档位对应一个固定角度值。档位与档位之间是突变切换车辆会明显感到转向不平滑。这个缺陷不是算法问题而是离散动作空间本身的表达上限。要获得连续、平滑的转向输出就需要换一个动作空间定义。2.3 用 gymnasium 复现一个离散决策骨架在进入连续控制之前先用 gymnasium 的 CartPole 环境验证 DQN 闭环比较高效。CartPole 状态是 4 维连续量、动作是 2 个离散值和车道保持“图像状态、离散转向”的问题结构一致只是状态维度更低。下列代码展示最小可用骨架。import random from collections import deque import gymnasium as gym import torch import torch.nn as nn import torch.optim as optim class QNet(nn.Module): 两层 MLP 输出各动作的 Q 值行为决策中替换输入为图像特征即可 def __init__(self, state_dim, action_dim): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, 64), nn.ReLU(), nn.Linear(64, 64), nn.ReLU(), nn.Linear(64, action_dim), ) def forward(self, x): return self.net(x) def train_cartpole_dqn(): env gym.make(CartPole-v1) state_dim env.observation_space.shape[0] action_dim env.action_space.n online QNet(state_dim, action_dim) target QNet(state_dim, action_dim) target.load_state_dict(online.state_dict()) opt optim.Adam(online.parameters(), lr1e-3) buffer deque(maxlen10000) for step in range(20000): # 探索序列略关键是用 epsilon-greedy 采样动作 if len(buffer) 1000: action env.action_space.sample() else: with torch.no_grad(): q online(torch.tensor(state, dtypetorch.float32)) action q.argmax().item() next_state, reward, done, truncated, _ env.step(action) buffer.append((state, action, reward, next_state, done or truncated)) # 训练时从 buffer 随机采样 batch计算 TD 误差并反向传播 # 每 C 步把 online 参数复制给 target state next_state if not done else env.reset()[0]这个骨架有两个参数直接影响行为决策效果maxlen10000是经验回放容量车道保持场景建议放大到 50000 以上因为驾驶轨迹长、状态高度相关需要更多样本去相关lr1e-3是学习率如果出现 Q 值震荡我通常会降到 3e-4。epsilon-greedy的衰减速度也要单独调仿真里 0.995 起步实车场景通常更快衰减避免上线后仍大量随机试探。2.4 从离散到连续DDPG 的工程收益DQN 精度受限的根本原因是动作空间离散。DDPG 用 actor-critic 结构解决了这个问题actor 输出连续动作值critic 评估该动作的 Q 值再配合 OU 噪声做探索。文献[20]在 TORCS 仿真中验证了基于 DDPG 的车道跟随决策模型与 DQN 对比连续动作输出更平滑、控制更精准。文献[22]把 DDPG 用到跟车决策在 VISSIM 高可靠性仿真环境中比自适应巡航控制和智能驾驶员模型的跟车效率分别提高了 7.9% 和 3.8%。在实际工程里DDPG 的两个问题比算法本身更值得关注一是 OU 噪声方差设置过大车辆在车道内画龙二是 critic 收敛慢于 actor 时策略会提前固化到次优解。以下是我常用的对比维度。对比维度DQNDDPG动作类型离散档位连续值典型输出方向盘转角档位方向盘转角、加速度连续值转向平滑性档位切换不平滑平滑但需幅值限制落地场景车道保持、自主制动开关车道跟随、跟车控制常见踩坑离散化粒度难选超参数敏感、训练波动大提示复现这类工作先跑通离散 DQN 作为基线再对比 DDPG。否则 DDPG 收敛出问题时很难判断是环境建模错误还是算法超参数问题。3. 决策广度扩展分层强化学习的多任务分解3.1 为什么不能“一套模型吃遍所有场景”全自动驾驶包含多种驾驶场景车道保持、跟车行驶、换道、超车、交叉口通行。单一强化学习决策模型如果想把所有场景的状态全部塞进一个网络联合状态空间的维度会急剧膨胀训练需要的样本量也远超可接受范围。文献中称之为维数灾难。用传统强化学习方法综合学习多个驾驶任务还会出现任务相互干扰换道场景中学到的策略在跟车场景中表现变差因为两个任务的最优动作分布差异太大。分场景训练三个模型不是解法因为真实驾驶中场景不是独立切换的匝道汇入过程中可能同时包含跟车、换道和距离控制任务之间天然嵌套。3.2 分层抽象把驾驶任务拆成高层策略与底层控制自然界中大部分复杂系统都有分层结构这也是分层强化学习的核心思想来源。一个复杂的强化学习问题被分解成若干子问题分别解决每个子问题复杂度低整体效果反而优于端到端一次性求解。工程上常用三种抽象状态空间分解、时态抽象、状态抽象其中时态抽象最常用它把策略执行的时间尺度拉开高层策略在较长时间尺度上选任务底层策略在短时间尺度上选控制量。3.2.1 高层任务级如何定义文献[26]把驾驶任务分成两层。高层任务级以“道路行驶、进入交叉口、进入停车区域”等离散状态描述场景动作是“左转、右转、换道、停车”这些高层选项。这些选项本质上是时态抽象里的 option每个 option 对应一段子策略而不是一个瞬时动作。奖励函数需要结合时序逻辑约束来设计比如“只有在满足安全间距时才能选择换道 option”。3.2.2 底层控制级如何衔接底层控制级以速度、车身角度等动力学参数作为状态输出方向盘转角、加速度等连续控制量。高层选项确定后底层策略只在该选项限定范围内工作。实现时高层策略用 DQN 学习离散选项选择底层策略用 DDPG 学习连续控制二者通过 option 入口状态衔接。3.3 多车道巡航的两层决策骨架文献[27]在多车道巡航场景中验证了这种分层思路场景包含车道保持、跟车行驶、换道三个任务仿真环境是 SimpleTraffic。实现时的一个简化骨架如下。# 高层策略输出驾驶模式底层控制策略在模式内输出连续量 def high_level_policy(state_high): # state_high 包含车道信息、前车距离、左侧/右侧车道占用情况 if not need_takeover(state_high): return lane_follow if is_left_lane_free(state_high): return lane_change_left return car_follow def low_level_control(state_low, option): # state_low 包含自车速度、航向角、与车道线的横向偏差 if option lane_follow: throttle, steer pid_path_tracking(state_low) elif option lane_change: throttle, steer trajectory_follow(state_low) elif option car_follow: throttle, steer spacing_control(state_low) return throttle, steer这段代码说明分层不是用 if-else 替代学习而是把决策空间拆成两个学习器高层学习器负责在 option 之间做策略选择底层学习器负责在每个 option 内做连续控制。实际训练时先单独训练底层控制策略固定之后再去训练高层策略交替进行会比联合训练稳定得多。文献[26]里的分层方案中奖励还需要包含“选项切换代价”否则模型会频繁切换驾驶模式表现就是车辆在换道与跟车之间反复横跳。3.4 当前分层实现的边界分层强化学习的收益很明确多任务学习能力、缓解维数灾难、决策过程可解释。但当前实现有两个短板任务分解靠人工定义费时费力且容易造成子任务重叠或空白底层控制策略存在震荡现象文献中分析认为这和子任务边界处的价值函数突变有关。后续研究中已经有工作尝试用监督学习帮助算法自动学习任务分解也有工作把分层结构与联邦深度强化学习结合用多车数据并行训练高层任务策略并保护原始轨迹数据但目前这些方向仍处于探索期。4. 不确定环境下的行为决策POMDP 与意图估计4.1 确定性推理模型的盲区前面两章讨论的 DQN、DDPG、分层强化学习都假设环境状态完全可观测。真实道路交通不是这样毫米波雷达测距带噪声、摄像头被遮挡会丢失目标、前车驾驶员下一秒是减速还是变道无法直接测量。文献中明确指出了一个容易被忽略的事实确定性推理模型把不准确信息当作准确信息用碰撞风险不可控。这个问题的核心不是感知精度不够而是决策模块没有建模“不确定性”本身。感知模块输出一个置信度决策模块应该利用这个置信度而不是把它丢掉。文献[31]的实验很直观在传感器噪声条件下基于 POMDP 的跟车模型会在感知置信度低时表现得更保守主动拉大跟车距离而传统强化学习模型不会。4.2 POMDP 的信念状态与求解约束POMDP 在 MDP 基础上引入信念状态空间。MDP 里的状态 s 被替换为信念 b(s)表示系统处于各状态的概率分布。决策时不是基于单一状态值而是基于整个信念分布。信念更新公式如下。# 离散 POMDP 的信念更新b 是上一时刻信念a 是动作o 是观测 def belief_update(b, a, o, T, O, S): b_next {sp: 0.0 for sp in S} for sp in S: total 0.0 for s in S: total T[sp][s][a] * b[s] # T: 状态转移概率 b_next[sp] O[o][sp][a] * total # O: 观测概率 eta sum(b_next.values()) # 归一化因子 return {s: v / eta for s, v in b_next.items()}参数含义T[sp][s][a]是执行动作 a 后从状态 s 转移到 sp 的概率O[o][sp][a]是状态 sp 下执行动作 a 得到观测 o 的概率eta是所有可能状态的概率和用来归一化。这个公式把传感器噪声直接融入了决策链观测 o 不准确信念分布就会分散模型自动变得谨慎。文献[31]和文献[32]分别把这一思路用到了跟车和换道决策中。POMDP 精确求解被证明计算复杂度随问题规模指数增长。1971 年就有研究者给出精确算法并证明其最优性但现实场景几乎无法落地。后来发展出的 QMDP、盲策略、分支界限树搜索等都是近似求解。文献[32]的方法值得关注先用两个信号处理网络压缩信念状态空间再用 QMDP 与盲策略计算价值函数上下界最后结合分支界限树搜索做在线求解在换道场景中比规则方法和传统强化学习都更安全谨慎。4.3 意图建模的四种思路其他交通参与者的意图未知是区别于传感器噪声的另一类主要不确定因素。文献中有四条技术路径意图建模方式代表工作求解方法局限有限意图集合拆分运动模型文献[34]混合可观测 MDP 强化学习意图集合需人工预设子目标位置 隐变量文献[35]高层 Hybrid A* 底层 POMDP受特定环境限制道路态势模型文献[36]DESPOT 在线求解模型通用性仍需验证隐马尔可夫模型推断意图文献[37]POMDP 最优策略求解状态空间划分依赖专家经验4.4 近似求解方法的工程取舍选择哪种求解方法核心权衡是计算复杂度与决策安全性。QMDP 计算量小适合跟车这样状态空间受限的场景但它的近似假设是“下一步观测后不确定性消失”在遮挡严重时偏乐观。分支界限树搜索更精确但在线计算开销大需要配合硬件算力评估。DESPOT 是文献[36]里采用的方案它通过采样有限数量的信念树分支来近似最优策略工程实用性较强我在复现交叉口通行场景时会优先尝试它。提示POMDP 模型中的状态空间、动作空间、奖励函数目前仍高度依赖场景设计。文献[33]尝试把驾驶场景建模为连续空间 POMDP 并用分层贝叶斯模型结合值迭代求解目的是避免每个新场景都重新设计状态量与参数但这个方向尚未成为通用方案。5. 收敛性验证与仿真调参三个可以直接用的技巧5.1 搭一个可对比的验证闭环复现时最容易犯的错误是只跑自己训练的模型不看效果边界。我一般会固定三套基线基于规则的方法如智能驾驶员模型、传统 Q-Learning、以及待验证的深度强化学习或 POMDP 方案。评价指标用四类碰撞率、任务完成率、行驶效率、舒适度舒适度用加速度变化率 jerk 量化并给 jerk 设置上限。随机种子方面仿真环境、探索噪声、网络初始化必须全部固定否则不同次训练之间的差异会淹没算法改进的收益。5.2 奖励尺度与探索噪声的配合行为决策模型的训练不稳定很多时候不是算法问题而是奖励尺度和探索参数不匹配。下表是我在仿真里常用的起始参数组合以及出现对应现象时的调整方向。参数起始值现象与调整reward scale1.0Q 值发散时降到 0.1缩小奖励量级ε-greedy 衰减率0.995收敛过慢时提高到 0.999目标网络同步周期 C500 步训练波动大时降到 200 步OU 噪声方差0.1车辆画龙时降到 0.03观察策略固化则回调奖励设计还有一个容易忽视的点稀疏奖励会让前期探索没有梯度密集奖励如果包含距离惩罚项模型会倾向于“停在原地”这种局部最优解。我习惯做法是先给稀疏奖励加一个很小的 shaping 系数验证策略语义正确后再逐步把 shaping 系数降到零。5.3 从仿真到实车的迁移文献[21]把 DDPG 车道跟随从仿真扩展到了实车输入高维单眼图像、输出方向盘转角与速度连续值实车测试验证了有效性。仿真与实车之间最关键的差异是传感器噪声分布不一致仿真里的高斯噪声是理想化的真实摄像头有曝光波动、毫米波雷达有多径反射、定位有漂移。对应到仿真调参就是把摄像头曝光参数、雷达噪声系数加入 domain randomization 范围让策略在传感器分布偏移时依然保持可用。本文还有配套的精品资源点击获取