很多人会把“无人驾驶”理解成一套端到端的魔法系统——摄像头往里灌图像方向盘自己会转。真实情况远没那么浪漫至少今天量产落地的方案拆开看还是一套非常经典的分层架构环境感知、行为预测、决策规划、控制执行。深度学习在其中扮演的角色也不是均匀分布的感知层吃掉了大部分神经网络预测层开始有图网络和Transformer的身影而决策规划层至今仍以规则和优化方法为主深度学习更像一个“辅助大脑”而不是“唯一大脑”。这篇文章是系列的第二篇默认你已经了解智能网联汽车的基本架构和传感器配置什么激光雷达、毫米波雷达、摄像头各自管什么我不再铺垫常识直接讲深度学习在无人驾驶各环节里到底怎么落地、模型怎么选、数据怎么喂、部署时有哪些坑。如果你还停留在“深度学习 神经网络 自动驾驶”的笼统印象上这篇文章应该能帮你把颗粒度细化到“某一个具体任务用什么网络、为什么用、训练时最头疼什么”。1. 深度学习在自动驾驶架构中的真实分工1.1 先把“端到端”和“分模块”这件事说清楚近几年常听到两种技术路线一种叫端到端输入传感器原始数据输出转向、油门、刹车中间全部让神经网络自己学另一种叫分模块或者说模块化感知、预测、规划、控制各自独立成模块模块之间用结构化数据通信。从工程和产品化角度现在的量产方案几乎都是分模块为主端到端更多停留在预研和特定场景Demo里。原因并不难理解分模块的每一层都可以单独验证、单独测试、单独降级。感知挂了规划还能靠保守策略刹车预测不准控制还能靠安全兜底。端到端模型一旦在某个corner case上犯傻你很难定位是感知错了、推理错了还是决策错了。系统越复杂可解释性和可诊断性就越重要这是量产和演示之间一道很难跨越的坎。当然分模块也有代价——每个模块都有自己的误差误差会沿着链路逐级放大。感知把一个行人框歪了10厘米预测模块拿到的轨迹自然偏了规划模块又基于偏了的轨迹算避障最终控制指令可能就差了很多。所以深度学习在自动驾驶里的核心价值一方面是把单模块的精度推到极致另一方面是让误差在模块间尽量可量化、可补偿。1.2 神经网络到底在替哪些模块打工我习惯把自动驾驶系统的深度学习任务拆成四个方向对应四类根本不同的技术挑战模块输入输出典型深度学习任务难点感知图像、点云、毫米波障碍物3D框、车道线、可行驶区域2D/3D目标检测、语义分割、实例分割小目标、遮挡、恶劣天气预测障碍物历史轨迹、地图、交互上下文未来轨迹、意图、概率分布轨迹预测、意图识别、交互建模多模态、长尾行为、不确定性表达规划决策预测结果、自车状态、路由信息轨迹、行为决策模仿学习、价值网络、风险评估安全兜底、可解释性控制目标轨迹、车辆状态转向、油门、刹车强化学习、模型预测控制、余差补偿稳定性、实时性这份表可以帮你建立一张心理地图深度学习不是自动驾驶的一个独立“零件”而是广泛地渗透到几个不同性质的模块里。每个模块的任务定义、评价指标、训练数据、部署约束都完全不同指望一个通用大模型把所有事情统统搞定目前看来还不是一条稳妥的工程路径。2. 感知层的核心任务拆解与工程选型2.1 2D目标检测依然是整个感知体系的地基不管方案里有没有激光雷达摄像头2D目标检测都是最先需要跑通的环节。业界很长一段时间的主流框架是YOLO系列和Faster R-CNN这一路后来随着Transformer大火DETR系列含可变形DETR也开始进入实车验证。从量产工程角度看我个人的经验是YOLO类单阶段检测器在性价比上几乎不可替代因为自动驾驶对延迟极其敏感多阶段检测器在复杂路况下很难同时满足精度和帧率的要求。在具体选型时几个值得留意的点Backbone选择轻量级网络如MobileNet系列在嵌入式平台上更友好但精度会打折在算力相对宽裕的域控制器几十TOPS以上上选择ResNet或同类中等规模Backbone通常更划算。输入分辨率很多团队喜欢把分辨率拉满以求检出小目标但代价是推理时间翻倍。L2级方案里长焦和广角摄像头通常分开处理广角走低分辨率快速检测长焦走高分辨率精细检测而不是靠单一模型硬扛。NMS策略自动驾驶场景里会有大量密集目标比如十字路口的一排行人、多辆紧挨的自行车传统NMS容易把相邻目标误删可以考虑用Soft-NMS或带方向的NMS策略实测对密集场景改善显著。另外要说一个特别常见的坑2D检测模型在开源数据集上跑得再漂亮上车后也会有一堆你没见过的bad case——强光直射、雨滴附着在镜头上、夜间低照度噪点、前车尾灯和刹车灯同时亮起时的红色过曝。这类问题靠调参解决不了必须靠针对性数据采集和标注迭代。2.2 3D目标检测单目、双目还是点云融合3D检测决定了自车能不能准确知道“障碍物离我多远、有多大、朝哪里运动”。当前工程上常见三条路线单目3D检测成本最低但深度估计本质上是个病态问题远距离误差大一般只做辅助或近距离补盲。很多团队把单目3D当成2D检测的升级版来做利用地面几何约束地平面假设、消失点估计来恢复尺度效果有一定提升但仍有天花板。双目3D检测通过视差恢复深度精度比单目好得多但对基线标定、同步和光照一致性要求很高。实车振动会导致双目外参漂移是量产中的维护痛点。点云方案激光雷达的3D空间信息天然精准配合Camera做深度融合是最稳的路线。BEV鸟瞰视角下做点云特征与图像特征的融合目前是头部方案的主流。我参与过的某量产项目里3D检测的最终架构是“激光雷达为主、摄像头为辅”。激光雷达负责中远距离的精确位置摄像头负责语义分类比如区分行人姿势、判断是交警还是普通行人融合放在BEV特征层面。这样做的好处是即便某一路传感器失效另一路还能维持基础感知能力符合功能安全的设计需求。2.3 BEV感知为什么全行业都在往鸟瞰视角上靠大概从某一年开始BEVBirds Eye View鸟瞰视角成了感知领域的最热词。它本质上就是把原本在图像平面坐标系下的感知结果统一转换到自车为中心的三维鸟瞰坐标系下来表示。BEV最大的价值在于“统一”摄像头、激光雷达、毫米波雷达甚至高精地图信息都可以在BEV这个坐标系下对齐和融合。对下游的预测和规划模块来说BEV表示天然友好——轨迹、速度、障碍物都在同一个自车坐标系里不用再做大量坐标转换。实现BEV感知大致有两条主流路线基于几何投影的IPM逆透视映射把图像像素映射到地面平面方案简单但只适用于平面路面坡道、颠簸会导致错位。基于Transformer的端到端BEV转换通过注意力机制让网络学习图像特征与BEV网格之间的对应关系能应对复杂地形但训练难度大、计算开销高。如果你是从工程角度切入BEV我建议不要一上来就追求最花哨的Transformer结构。先把小规模BEV语义分割跑通验证坐标对齐关系再逐步引入跨传感器融合会更稳妥。前阵子和某供应商工程师交流时对方提到他们BEV模型在实际雨夜场景下出现过失真问题后来是通过加入时序信息才缓解的——这提醒我们BEV不只是一个空间变换问题时间维度同样会影响感知质量。2.4 数据标注与长尾场景感知工程里真正的无底洞感知模型的性能上限很大程度由标注数据的质量和覆盖度决定。量产团队一般会建一套“数据闭环系统”路采数据 → 自动挖掘困难样本 → 人工标注 → 增量训练 → 针对性验证。几个来自一线的经验自动筛选比人工挑数据高效得多。可以利用已有模型在路采数据上推理把置信度低、与已有分布差异大的样本自动挑出来优先标注。3D框标注的标准要严格统一。不同标注员对“车尾到底在哪根线”的理解都可能不同如果不做质检训练集里的噪声会直接变成模型在边界上的抖动。“难例”不能只看传感器还要考虑上下文。比如同一场景在晴天检得很好、雨天检得很差这种场景差异比单帧难例更重要。说句掏心窝的话感知模型调优这件事真正花时间的不是模型结构而是数据循环。同一个模型数据清理前后精度可以差5到10个百分点这在自动驾驶里是致命的差距。所以无论你的模型结构有多新颖请一定把数据管线当成一等公民来维护。3. 行为预测深度学习最密集赋能的新战场3.1 轨迹预测任务的定义与常见建模思路感知模块输出的是一堆“当前帧”的障碍物框但规划模块需要的却是“未来几秒障碍物会出现在哪里”。这个任务从感知结果接棒就是行为预测模块的核心使命。轨迹预测的输入通常包括目标障碍物的历史轨迹一般取过去1~3秒周围其他障碍物的历史轨迹用于交互建模高精地图信息车道结构、路口形状、通行规则目标障碍物的类型与状态车辆、行人、骑行者的运动模式完全不同输出通常是未来3~8秒的若干条候选轨迹以及每条轨迹的概率值。从建模方式看目前最有代表性的框架有两类回归式直接输出未来轨迹点的坐标值网络结构常见为LSTM/GRU MLP。优点是实现简单、推理快缺点是难以表达多模态同一场景下障碍物有多种合理走法。生成式利用VAE或扩散模型生成多条轨迹候选再通过一个打分器排序。优点是天然支持多模态缺点是训练更复杂、采样与筛选会额外增加计算量。我个人的项目经验是混合方案最实际——用生成式模型产出若干候选再用一个轻量级判别器筛选出TopK最后把TopK轨迹及其置信度交给规划模块。这样既保留了多模态的表达力又把下游要做的工作限制在可控范围内。3.2 交互建模与多智能体预测真实交通场景里没有一辆车是“独行侠”。匝道汇入、十字路口左转、行人犹豫过马路——每个交通参与者的决策都取决于其他人怎么做。如果把每个障碍物独立预测结果往往会出现轨迹交叉、互不谦让的荒谬场景。多智能体预测的目标是让所有目标在同一个模型里互相“看到对方”。图神经网络GNN是这类任务的主流工具把每个障碍物当作节点空间距离近的障碍物之间连边边的权重可以编码“相互影响程度”然后通过消息传递机制让节点特征迭代更新。Transformer的注意力机制同样可以胜任但计算量会更大。一个值得注意的工程细节是交互预测模型非常依赖感知模块的稳定输出。如果前方车辆的ID频繁跳变reID不稳定历史轨迹就会断开交互关系也随之错乱。所以做预测的同学经常跟做感知的同学“吵架”互相推诿。解决思路是在感知和预测之间加一个轻量级的数据清洗层对目标ID做时间一致性修正这对整个链路的稳定性提升非常明显。3.3 不确定性建模预测结果必须会“认怂”预测模块输出不该是“唯一的确定性轨迹”因为真实世界里行人和非机动车的行为天然具有随机性。业界普遍用两种手段表达不确定性概率分布给每条候选轨迹一个概率值表示“模型认为这个走法的合理程度”。不确定性度量对每条轨迹计算方差或置信区间表示“模型对这条轨迹的确定程度”。这两者有本质区别。前者描述的是“哪个更合理”后者描述的是“我到底准不准”。规划模块可以利用不确定性来做风险评估——当所有轨迹的不确定性都很高时就应该执行保守策略减速、停车、扩大安全距离而不是硬着头皮赌其中一条。4. 决策与规划深度学习的边界与安全兜底4.1 为什么规划模块至今仍以规则和优化为核心如果说感知和预测是“看清世界”那规划决策就是“决定怎么开”。很多人会以为深度学习既然能下围棋那开车应该也行但真实情况是——自动驾驶的决策规划模块在量产方案里依旧高度依赖规则、优化和搜索算法。原因主要有两个安全可验证性。规则和优化算法可以明确推导出“为什么输出这个轨迹”可以形式化地设置安全边界深度学习模型的可解释性目前还远远做不到这一点。失败可处理性。规则系统遇到未知场景时至少能退回保守策略神经网络可能会给出一个看似合理但实际危险的结果而且还不知道该怎么修。但这不等于深度学习在规划层完全没用。它主要出现在两个辅助位置一个是模仿学习——利用海量人类驾驶数据训练一个“风格策略网络”在规则系统判定为多解时提供一种更类人的选择另一个是风险评估——用价值网络或批评器网络学习场景的危险程度帮助规划器在决策前做更准确的代价评估。4.2 端到端方案的实践进展与量产距离真正的端到端方案图像进、控制指令出这几年在学术圈和部分新势力预研团队里热度很高。理论上的美好前景是模型自己学习感知、预测、规划的隐式表达省掉模块间信息传递的损耗系统还能更简洁。但实际落地面临一连串硬约束数据量与数据分布人类驾驶数据中安全驾驶行为占压倒性多数模型很容易学到“随大流”而危险边界情况极少出现训练数据天然不均衡。可解释性事故发生后端到端系统很难说清是哪个环节出了问题对责任认定和监管审查都是巨大的挑战。算力与能耗强制所有场景走一个大模型算力需求指数级增长而逐个模块的小模型往往可以按需启动、按场景关闭。现阶段比较靠谱的中间路线是“模块化端到端”——保持模块间的接口但让每个模块都尽可能采用深度网络同时在关键节点保留规则安全层。简单说就是在保证安全边界可控的前提下让神经网络干更多重活。5. 部署、算力与实车验证中绕不开的工程细节5.1 模型部署的量化、剪枝与蒸馏实战经验训练好的深度学习模型和“能上车跑的模型”之间隔着很长的工程距离。实车算力资源有限模型必须做压缩优化。三个常用的手段是量化把FP32权重转成FP16或INT8。FP16几乎无损INT8通常会有1%~3%的精度损失但可以大幅降低带宽和计算时间。实际部署时建议逐层量化找出精度掉得最快的层单独保留FP16这样可以做到整体INT8、敏感层FP16的混合精度部署。剪枝把不重要的通道或层删掉。对卷积层做结构化剪枝效果比较好因为可以直接在硬件上获得加速非结构化剪枝则会造成稀疏矩阵的存储和计算开销反而更慢。蒸馏用一个大的教师模型指导学生模型学习让学生模型达到接近教师的精度。自动驾驶场景里可以把离线大模型教师和在线轻量模型学生同时部署在线模型跑实时推理离线模型定期修正蒸馏目标。量化是部署环节里性价比最高的一项但也是最容易出隐性问题的——比如量化后某个输入分辨率下突然出现检测抖动、车道线断裂排查起来相当痛苦。稳妥的做法是在量化后做一次全回归测试覆盖所有传感器模式和外部环境条件。5.2 推理引擎与多传感器时序对齐深度学习模型的推理上层通常跑在专用推理引擎上比如TensorRT或者自研引擎这里有个常被忽略的点多传感器时间对齐。摄像头是30FPS激光雷达是10~20FPS毫米波雷达可能只有10~20Hz三个传感器的数据到达推理引擎的时间还不一样。如果直接把落后的点云和领先的图像送进融合模型会造成障碍物位置和图像语义的错位。工程上的标准做法是建立统一时间基准通常以GPS/系统时钟为基准同步。每个传感器数据打上精确的时间戳。在融合模块里对时间戳做插值或最近邻匹配输出同一时刻下的对齐数据。对模型预测结果做延迟补偿以补偿从传感器采集到控制指令执行之间约100~200ms的系统延迟。我在很多项目里发现感知模型精度不差但车子开起来“愣愣的”十有八九不是模型问题而是时序对齐没做好。规划模块拿到的目标位置是100毫秒前的它的运动补偿如果没做高速场景下偏差会被放大非常明显。5.3 算力平台选型与冗余设计思路当前主流域控制器的算力从十几TOPS到上千TOPS不等选型逻辑不是“越大越好”而是“算力规模要和功能等级匹配”。功能等级典型场景感知需求算力需求参考L2级辅助驾驶高速巡航、车道居中全规则为主深度学习做辅助10~30 TOPSL2级高速NOA、自动变道传感器融合感知预测50~200 TOPSL3/L4预研城区复杂场景全深度感知预测部分决策200 TOPS冗余设计是另一个关键维度L3以上的系统通常要求感知、计算、执行都有降级备份。比如主传感器失效后毫米波雷达超声波还能不能提供基本的障碍物检测主计算单元挂了备份计算单元是否能无缝接管这里的工程复杂度不亚于模型本身。6. 从Demo到量产一条充满ROI取舍的演进路径6.1 仿真测试与真实路测的互补逻辑纯靠真实路测覆盖所有场景时间和成本都不可接受。仿真测试的价值在于可以精准构造“危险场景”和“极端工况”——比如前车急刹、行人鬼探头、儿童突然冲入车道、路面大面积积水——这些在真实道路上是碰运气才能遇到的。但仿真也有明显的缺陷传感器仿真在光学、雷达物理特性上仍不完美可能导致模型在仿真里表现优秀、实车却“水土不服”。所以行业共识是“仿真为主、路测兜底”每个新模型版本先在仿真集上跑全回归再在受控测试场和公共道路上做有限验证。做仿真的坑也很多。我见过团队把天气和光照参数调得过于理想化导致模型在仿真里一直不犯错实路一上就露馅。正确做法是被测模型和传感器模型都要引入噪声扰动比如在图像上加随机光照变化、模拟镜头脏污、点云上掉落帧这样仿真结果才有参考价值。6.2 安全兜底机制神经网络不能成为唯一防线规划决策模块无论用不用深度学习都必须设计多级安全兜底。常用的分层策略是实时安全边界检查把候选轨迹放入车辆运动学模型检查是否超出物理可行域最大转角、最大加速度。碰撞检测基于预测模块输出的障碍物轨迹做时间窗口内的碰撞检查只要存在碰撞可能性就自动降级到保守策略。驾驶员接管系统检测到自身状态异常或环境超出设计运行域ODD时提前发出接管请求。这套机制保证了一件事即使神经网络在某个极端场景里输出完全错误的决策车辆也不会立刻执行危险动作而是先被规则层拦截。6.3 团队协作与知识沉淀比模型更宝贵的资产最后想聊一个常被技术文章忽略的topic。自动驾驶是一个超级复杂的系统工程感知、预测、规划、控制、仿真、测试、数据、硬件、系统集成……任何一个环节的工程师都必须理解上下游模块的工作方式和局限。我在实际项目里体会最深的一件事是模型可以重训、框架可以重写但那些记录在wiki和答辩PPT里的bad case分析、失败原因复盘、跨模块协作经验才是团队沉淀下来最核心的资产。如果你也在做智能网联汽车或自动驾驶相关的工作我建议你养成三个习惯每次上线新模型都要记录“本周期的关键bad case和解决思路”而不是只记精度指标。跨模块联调出现问题时先不急着改模型先画清楚信息传递链路定位数据流在哪一级出问题。对每次路测事故哪怕是剐蹭或急刹都做根因分析它带来的信息量往往比1000小时正常路测还大。7. 一些个人体会与后续可继续深入研究的方向写到这里按我的惯例收个尾但不是总结——就是唠几句实操感受外加几个可以继续深入的方向。如果把这篇文章压缩成三句话带走我会说第一深度学习在自动驾驶里不是统一的“万能解”它最大的价值体现在感知和预测两个环节而规划和控制仍然依赖传统工程方法第二工程落地的难点从来不在模型结构而在数据闭环、时序对齐、量化部署和安全兜底这些“苦活累活”上第三量产和Demo的根本区别在于系统能否可控地失败——规则和冗余设计比炫酷的网络结构更值得投入精力。从深入学习角度我建议你按这些方向往下挖想深入感知研究BEVTransformer的注意力机制如何做跨传感器特征对齐以及如何引入时序信息提升动态障碍物的感知稳定性。想深入预测研究会话式多智能体预测框架看看如何把行为决策建模成连续的概率交互过程而不是单纯预测一条轨迹。想深入决策规划关注端到端方案与规则安全层的嵌套方式以及在模型中加入安全约束的可行性。想深入工程部署钻研混合精度量化、模型蒸馏和异构算力调度这些往往决定了一个模型从“论文SOTA”到“实车好用”的最终命运。最后再分享一个小经验看论文、刷榜单都只是入口真正能让你在自动驾驶这行值钱的能力是把你训练的模型放到实车上、跑出问题、再一步步定位到根因、最终修好的完整循环。这套功夫没有捷径但每走完一次你会明显感觉到对系统整体理解又深了一层。希望这篇文章能帮你少走一些我已经走过的弯路。