我最早接触机器人感知技术是在2014年前后，当时跟着实验室做一个移动机器人项目，目标是让机器人在室内走廊里自主行走。现在回想起来，那个项目花了将近半年才勉强做到“看到桌子腿不撞上去”，而且不是每次都能成功。十多年过去，机器人感知已经从一个“能不能识别出障碍物”的基础问题，变成了“能不能理解场景、预测动态、在未知环境里自主决策”的系统性问题。这篇文章想按一个工程从业者的视角，把这十年的演进拆开聊一聊：哪些技术真正改变了机器人的能力边界，哪些硬件和算法是相互成就的，哪些坑到今天还在一代代地重复踩。这十年最明显的变化不是某一个算法的胜利，而是传感器、算力、算法三条线互相解锁。激光雷达从昂贵到相对普及，GPU和嵌入式平台的能力翻了几个数量级，深度学习把原先依赖人工设计特征的老路子整体替换掉，SLAM也从实验室演示走向了产品级应用。但工程落地并不只是“套个新模型”那么简单，标定、时序、融合、鲁棒性这些老问题，依然决定着一个感知系统能不能真正在现实世界里稳定工作。1. 起点与痛感：2015年前后的机器人感知到底难在哪1.1 传感器、算力与算法的三角关系如果只用一个词概括当年的痛点，就是“断层”。那时候不是没有算法，而是传感器和算力根本喂不饱算法。当时室内移动机器人用得最多的是单线激光雷达和普通RGB相机。单线激光雷达能提供二维平面上的距离信息，对建图和避障来说已经算可靠，但只有一个扫描平面，遇到桌子下面的横撑、悬空的障碍物或者高低不平的地面就很尴尬。普通相机信息丰富，可那时的视觉算法对光照变化、纹理缺失、运动模糊都极度敏感，一个反光地面就能让特征点跟踪全线崩溃。算力方面更难受。实验室里能用的嵌入式平台性能非常有限，稍复杂一点的特征提取和匹配就要占用上百毫秒。感知系统每一帧都在和时间赛跑：传感器以10赫兹甚至20赫兹产生数据，算法处理不过来，就只能丢帧。丢帧带来的问题不只是延迟，还会让后续的状态估计产生跳变，进而影响控制决策。所以当时做感知系统，本质上是在三维约束里找平衡：传感器贵且不完善，算力有限，算法鲁棒性差。任何一项提升都能带来整体效果的改善，但任何一项也都不足以单独解决所有问题。这种“三角关系”一直到今天依然存在，只是约束条件宽松了很多。1.2 当年机器人是怎么“看见”世界的：激光与视觉的各自局限为了更好地说明十年前的技术底子，我梳理了一张对比表，这里的描述不是针对某一款具体产品，而是那个时代的典型特征。维度激光雷达方案视觉方案核心测量直接测量距离，精度高、受光照影响小通过图像间接恢复结构，受光照、纹理影响大硬件成本很高，多线雷达属于贵重设备相对便宜，普通工业相机即可感知维度通常是2D，多线雷达可提供3D点云但价格昂贵2D图像，可结合双目或运动恢复出3D信息建图效果几何结构清晰，适合结构化环境纹理信息丰富，但深度估计不稳定主要瓶颈成本、体积、垂直视场角有限光照变化、无纹理区域、运动模糊激光雷达的优势在于“直接和可靠”。做SLAM时，点云配准的几何关系非常直观，回环检测也比较容易。但单线雷达看不到立体空间里的东西，比如桌面上伸出来的物品、墙上凸出的开关面板，这些对导航可能是致命的。多线雷达虽然能提供三维点云，但价格长期居高不下，很多研究团队只能望而却步。视觉方案恰好相反。图像信息量大，能分辨颜色、纹理、形状，理论上更有潜力理解场景，但把图像变成可用的几何信息非常困难。单目视觉靠运动恢复结构，需要足够的视差，纯旋转时基本失效；双目视觉需要精确标定，基线和视差范围也限制了测量距离；RGB-D相机后来解决了部分问题，但在强光下深度质量会明显下降。另外，视觉SLAM在走廊、白墙这类低纹理场景里很容易丢定位，这是当年我们最头疼的问题之一。1.3 一个让我印象深刻的失败案例：静态障碍物都没躲开有一个测试场景我到现在还记得。那台机器人配置了单线雷达，在实验室里跑得好好的，一旦推到走廊，就会在某一扇玻璃门前面突然急停或者原地转圈。一开始我们以为是雷达探测距离不够，后来排查时发现，单线雷达的扫描平面正好在玻璃门中间偏下的位置，玻璃对激光几乎是透明的，反射回来的点云非常稀疏，导致障碍物根本没有被检测到。那个门是静态的，我们都没想到它会成为如此大的难题。这个案例给我留下的教训有两个。第一，感知系统的“失效模式”往往不在标称工况里，而在传感器物理特性的边界处。玻璃、深色物体、强反光表面、雨雾天气，这些才是真实世界对感知系统最严苛的考验。第二，单传感器方案无论如何优化，覆盖范围都是有限的。当时我们只能在算法里加入“疑似玻璃区域减速”的规则，但这种方法没有通用性。那个时期很多团队的做法是给机器人叠加多种传感器，希望通过冗余来提高可靠性。但多传感器不是接上就能用的，时间同步、空间标定、置信度融合，每一个都是新坑。这也是后面几年里行业投入大量精力去解决的问题。2. 深度学习入场：感知范式第一次从“手工特征”转向“数据驱动”2.1 目标检测的拐点：滑动窗口、手工特征与端到端检测的差距在深度学习大规模应用之前，机器人视觉感知的主流思路是手工特征加分类器。比如做行人检测，通常要先把图像缩放到不同尺寸，用滑动窗口遍历所有位置，在每个窗口里提取HOG之类的梯度特征，再交给SVM分类。这个流程能工作，但有两个致命缺陷：一是检测速度太慢，滑动窗口的搜索空间非常大；二是特征表达能力有限，遇到遮挡、姿态变化、复杂背景，分类器很容易出错。卷积神经网络的出现几乎是把这条路重写了。检测网络直接学习从图像到目标框和类别的映射，不再需要手动设计特征，也不需要滑动窗口全图穷举。早期两阶段方案把“提出候选区域”和“分类回归”分开，精度很高但速度一般；后来一阶段方案把两个任务合到一起，在保持可用精度的同时大幅提升实时性。从机器人感知的角度看，这个变化意味着什么？意味着目标检测第一次有可能在实时系统里跑起来，而不只是离线分析。对机器人来说，检测不是终点，而是后面一系列任务的入口。检测到人，才能做人机距离估计；检测到门，才能规划穿过门的路径；检测到可抓取物体，才能生成抓取姿态。深度学习之前，这些“入口”都太脆弱；深度学习之后，入口才算真正打开。2.2 语义分割让机器人从“回避障碍”走向“理解场景”目标检测提供的是“在哪里有什么”的框级信息，但很多任务需要更精细的理解。机器人要从桌子上拿起一个杯子，需要知道杯子的精确轮廓，而不是一个粗略的矩形框；要在越野环境里找可通行路面，需要区分地面、草丛和水坑，这也不是检测框能解决的。语义分割和实例分割填补了这个缺口。语义分割给每个像素打上类别标签，让机器人知道图像里哪些区域是道路、哪些是墙壁、哪些是行人；实例分割进一步区分同一类别里的不同个体，方便机器人锁定某一个具体目标。从避障角度看，激光雷达已经能解决大部分“别撞上”的问题，但语义分割带来的是一种更高层的能力：因为机器人开始知道自己在面对什么场景，决策逻辑就能从单纯的几何避障升级为任务驱动。不过这里要泼一点冷水。分割模型在公开数据集上跑得很好，但真实场景的长尾问题非常严重——机器人可能遇到数据集里从未出现过的物体类别。十年前我们担心的是“检测不准”，现在很多场景担心的反而是“检测得太自信”：模型给出一个很高的置信度，但它认识的东西可能只是一个形状相似的干扰物。这也是为什么现在的感知系统越来越强调不确定性估计，而不是单纯看分类分数。2.3 数据、标注与迁移：落地机器人感知时最被低估的隐性成本深度学习把“设计特征”的工作转移成了“准备数据”的工作。很多团队刚开始接触深度模型时，以为只要把网络结构复现出来就能复现效果，结果在数据上栽了跟头。我见过不止一个项目出现这样的情况：模型在公开数据集上的精度很高，部署到机器人上后却频繁漏检。原因很直接——训练数据和部署现场的数据分布不一致。机器人视角低、运动模糊大、光照变化剧烈，这些在通用数据集里并不一定被充分覆盖。更麻烦的是，机器人任务里经常需要检测一些非常具体的对象，比如某种型号的托盘、某种形状的充电接口，这些数据在公开数据集里几乎没有。于是标注就成了隐性的大头。一个中等规模的目标检测项目，标注几千张图只是起步，加上遮挡、模糊、远距离等难例，数据准备的工时往往远超模型训练本身。为了缓解这个问题，后来的行业实践里普遍引入仿真数据合成和域随机化：在仿真环境里批量生成带标注的图像，再通过对颜色、光照、纹理做随机扰动，让模型学会忽略无关变化。我的经验是，仿真数据能大大加速冷启动，但最后通常还是需要少量真实数据做微调，两者配合才能达到可用的鲁棒性。这一阶段最大的思维转变是：感知系统的研发重心，从“写更好的算法”逐渐变成了“搭更好的数据闭环”。模型结构当然重要，但决定一个系统能不能持续改进的，往往是数据采集、标注、训练、评估、部署的完整链路是否跑得通。3. SLAM这十年：从稀疏几何地图到可理解的场景表示3.1 激光SLAM：点云配准、回环检测与图优化是怎么一步步变稳的SLAM是机器人感知里另一条关键线，它解决的是“我在哪”和“周围长什么样”的问题。十年前，激光SLAM已经有一套比较清晰的技术框架：前端做帧间配准，后端做图优化，回环检测负责修正累积漂移。早期的难点在于实时性和鲁棒性的平衡。点云配准要用迭代最近点或者基于特征的匹配，计算量不小，而且激光数据受运动畸变影响，机器人一转得快，点云就会变形。后来出现的方案在里程计部分做了更精细的处理：对每一帧点云做运动补偿，用子图的方式积累局部特征，回环检测通过分支定界加速搜索。这些技术放在今天是标准操作，但在当时每一步都是工程上很难啃的骨头。激光SLAM最大的优势是几何测量干净，在结构化环境里建图精度很高。它最大的问题则是“不懂语义”。一张纯几何地图只知道哪里有墙、哪里有障碍物，不知道哪里是门、哪里是楼梯、哪里是充电桩。后来的演进方向自然就是给地图加语义信息，这正好和视觉感知的进步汇合了。3.2 视觉SLAM：单目、双目与RGB-D各自的十年路线视觉SLAM的技术路线比激光更多样，也可以说更曲折。单目方案通过多帧图像估计运动，成本最低，但尺度不确定，启动时需要初始化，纯旋转会退化。双目方案通过视差获得尺度，但标定和计算开销更大。RGB-D方案能直接获得深度，在室内小范围场景非常合适，但受环境光影响明显。十年前，视觉SLAM的主流思路是提取稀疏特征点，通过特征匹配建立帧间约束，再用滑动窗口或图优化来估计位姿。这个方法在纹理丰富的环境里很稳定，但在白墙、走廊等低纹理场景容易跟丢。后来又出现直接基于像素灰度对齐的方法，不依赖特征点，在建图密度上有优势，但对光照变化和相机参数更敏感。两条路线互相竞争，也互相启发，最终很多实际系统都采用了“特征与直接法混合”的思路。真正让视觉SLAM从论文走进机器人产品的，是硬件和算力的提升。相机分辨率提高、全局快门普及、嵌入式平台能够实时跑非线性优化，这些都让复杂算法有了落地的可能。另一个重要进展是视觉与惯性测量的紧耦合：IMU提供短时间内的角速度和加速度，视觉提供长期的几何约束，两者融合后，系统对快速运动和光照变化的容忍度明显提升。今天的很多机器人产品能在室内外切换、经过不平整路面时依然保持稳定定位，靠的正是视觉与惯性融合的成熟。3.3 语义信息进入地图：机器人不再只知道“墙在哪”，还知道“这是什么”如果只有几何地图，机器人知道墙在哪，却不知道墙上的门可以通行；知道前方有一个物体，却不知道它是一个可抓取的杯子还是一个需要绕开的障碍物。过去十年里，语义信息逐步进入SLAM地图，这是一个非常重要的演进方向。一开始的做法比较简单：先跑几何SLAM建图，再用目标检测或语义分割的结果给地图里的点云或占据栅格打标签。这种离线式的语义建图能提供“房间里有哪些物体”的信息，但物体位置和地图的几何结构没有严格对齐。后来的方法尝试在建模时直接把语义约束加进去，让物体检测结果反过来帮助优化相机位姿——比如一个标志牌看起来应该是平面的、尺寸应该是固定的，这些先验知识可以约束位姿漂移。语义地图对机器人的实际价值在于任务规划。当你希望机器人“去厨房拿一瓶水”，它需要的不只是知道厨房的位置，还需要知道瓶子在物体的哪个层级里、厨房的门怎么通过、冰箱与桌面之间怎么导航。这些信息必须以一种统一的表示组织起来，而语义地图就是承载它们的基础结构。虽然到今天这一步还有大量未解决的问题，但方向已经很清晰：地图的表示正在从“几何结构”走向“场景理解”。4. 传感器与硬件红利：谁推动了感知能力真正落地4.1 激光雷达的价格与形态变化：从“实验室专属”到“规模化部署”算法能跑起来，硬件必须给机会。激光雷达是过去十年里变化最剧烈的传感器之一。十年前，多线激光雷达价格极高，体积也大，基本上只在自动驾驶和高端研究项目里才会出现，普通移动机器人团队往往只能使用单线雷达。那时候想做三维感知，最现实的方式是用单线雷达加电机扫描，或者靠视觉做弥补。后来情况出现了两个关键变化：一是机械式多线雷达的制造工艺成熟，线数从16线逐步提升到更高，同时价格下降；二是固态和半固态雷达逐步走向市场，没有复杂的旋转机构，体积更小、可靠性更高。这两种形态让激光雷达在移动机器人、服务机器人、工业AGV等领域逐渐成为可选配置，而不再只是实验室里的特权。这个变化对感知算法的影响是深远的。有了三维激光点云，机器人可以直接获取周围环境的稠密几何信息，避障和建图的可靠性大幅提升。算法不再需要费尽心思从单线数据里猜三维结构，可以把更多算力留给语义理解和路径规划。有人在讨论传感器是“眼睛”还是“尺子”，我的看法是，激光雷达更像一把始终在线的尺子——它不会告诉你物体是什么，但能非常可靠地告诉你物体在哪里。几何尺子和语义眼睛配合，才是一个稳健的感知系统。4.2 相机、计算平台与IMU：十年里默默升级的“隐形功臣”激光雷达很吸引眼球，但机器人的感知能力提升还有一批“隐形功臣”：相机、IMU和计算平台。相机方面，高分辨率、全局快门、高动态范围逐渐成为标配。全局快门解决了运动场景里的果冻效应，高动态范围保证了逆光环境下的成像质量，这些从底层改善了视觉算法的输入质量。你可能不知道，很多视觉SLAM翻车案例的根源，其实是相机成像参数设置不对，而不是算法本身有问题。曝光太短导致图像过暗、增益太高导致噪声过大，都会让特征提取质量下降。IMU也在演进。更高精度的MEMS IMU被更广泛地集成到机器人里，和视觉、激光数据做紧耦合以后，机器人在快速旋转、遮挡、剧烈光照变化等“受限条件”下依然能维持短时间的状态估计，这是感知系统鲁棒性提升的重要一环。计算平台的进步同样关键。十年前在嵌入式平台上跑一个模型很吃力，今天很多带有专用加速模块的计算板卡已经可以实时运行分割网络和SLAM。没有这个算力底座，再好的算法也只能停留在论文里。我们团队做项目时有一个体会：每当新一代计算平台出来，第一件事就是重新评估哪些算法可以从“离线后处理”升级为“在线实时”。4.3 事件相机等新型传感器：在噪声中找机会，也对算法提出了新要求如果说激光雷达和普通相机代表了过去十年的主旋律，那事件相机就是这几年逐渐走进机器人感知视野的新变量。事件相机不像普通相机那样按固定帧率输出图像，而是在像素亮度变化时输出异步事件流，时间分辨率极高、动态范围很大，在高速运动和高反差场景里表现出色。理论上，事件相机非常适合机器人高速运动、强光变化的环境，比如无人机快飞或者机器人在户外从阴影进入阳光。但工程上它还远没有到成熟阶段。事件流的数据格式与传统图像完全不同，现有算法和深度学习框架并不能直接复用，需要重新设计。事件相机本身也没有颜色信息，单独使用时很难做语义理解。我接触过一些项目尝试把它和普通相机联合使用，让事件流负责高速运动估计，让普通图像负责语义识别，效果有潜力，但系统复杂度明显上升。这样的新型传感器提醒我们一件事：机器人感知的演进并不仅是把老的传感器做得更好，还包括不断尝试新的物理测量维度。每多出一种传感器，算法工具箱里就多了一把钥匙，但同时也意味着要处理更多的数据形式和同步问题。能不能利用好新传感器，取决于需求是否迫切，也取决于软件工程是否有足够的弹性去容纳新硬件。5. 多模态融合与场景理解：从“叠加信息”走到“联合推理”5.1 我在项目里调过的那些“融合地狱”：早期融合、晚期融合与特征融合感知系统一旦同时使用激光、相机、IMU和里程计，融合就成了核心工程问题。第一次做多传感器融合时，我的想法很简单：把各种传感器的结果都转换到同一个坐标系，然后加权平均。听上去很合理，做起来却是一场噩梦。第一个问题是时间同步。每个传感器的帧率、延迟都不同，激光一帧可能几十毫秒才出一版数据，相机延迟更不稳定，直接把最新数据拿来用，误差可能已经很大。解决办法只能是硬件时钟同步加软件缓冲，把每个传感器数据都打上时间戳，在融合时查找最近邻时间段的数据。第二个问题是空间标定。相机和激光雷达之间有个外参，这个外参如果有几毫米、零点几度的误差，投影出来的结果就会差好几个像素，导致融合后的语义框和点云对不上。第三个问题是置信度。不同传感器在不同条件下可靠性不同，光照差时相机不可靠，玻璃和强反射表面激光靠不住，怎么动态调整权重，直接决定融合结果是不是更优而不是更差。我后来总结出一个经验：融合算法不是难点，难点在“什么时候信任谁”。这也催生了更系统的融合思路，比如在状态估计层面用滤波器或因子图约束，把传感器模型和不确定性直接建模进去；比如在特征层面让网络同时输入图像和点云，自动学习如何选择可靠特征。多模态融合的成熟，让机器人不再因为某一个传感器的失灵而当场崩溃，而是能够在退化条件下仍然给出还过得去的感知结果。5.2 时序信息与运动预测：让感知从“当前状态”看向“未来几秒”机器人如果只感知当下，决策会有天然的滞后。人在走路时会估计旁边行人下一秒的位置，机器人也需要这种能力。过去十年里，多目标跟踪和轨迹预测从一个相对独立的模块，逐渐成为感知系统里被认真对待的部分。目标检测和分割处理的是单帧信息，多目标跟踪则把不同帧里的检测结果关联成完整的轨迹，输出每个目标的稳定ID和运动状态。有了轨迹，机器人才能判断一个行人是在远离自己还是可能相撞，才能预估某辆车是否会驶入自己的路径。再进一步，轨迹预测模块会基于过去几秒的运动模式，预测未来零点几秒到几秒内的位置分布。这个过程通常结合多种线索：历史轨迹、目标类别、场景语义，有时还包括目标之间的相互影响。从工程角度看，时序信息最大的价值是“容忍短期感知缺失”。一个目标被遮挡了几帧，如果跟踪器维持了它的轨迹和预测位置，系统依然可以平滑地继续决策；如果只有单帧感知，遮挡就等于目标凭空消失，机器人的反应就会非常激进或者迟钝。我们曾经在机器人上测试过两种方案，一个只做单帧检测，一个加了跟踪和预测，直观体验差异非常大：后者看起来“真的像一个会考虑后果的系统”。5.3 视觉语言模型带来的新变量：开放词汇检测与常识推理进入机器人感知最近这两年的新变化，是视觉语言模型开始进入机器人感知的研究和产品验证。传统的检测器只能识别训练时见过的固定类别，遇到新类别就要重新标注、重新训练。而视觉语言模型可以通过自然语言描述来完成开放词汇检测：告诉机器人“找一个充电插座”，它能在图像里找到需要的内容，即使这个类别不在训练集里。这意味着机器人的感知范围从封闭集合走向了开放世界，指令和感知之间的交互方式也变得更加自然。不过，视觉语言模型在机器人上直接使用还面临很多现实问题。模型的推理延迟通常较高，算力需求大，无法像传统检测器那样做到毫秒级响应。模型输出的置信度也不总是可靠，在一些复杂场景里会产生与常识不符的误判。另外，机器人感知需要的是和物理世界绑定的信息——不只是“这是一个杯子”，还要知道它在相机坐标系里的位置、尺寸、可抓取性。所以业界现在的做法通常是“分层结合”：用视觉语言模型提供高层语义和常识推理，用传统几何感知模块提供精确的位姿和深度信息，两者协同，而不是简单替代。这个方向未来会往哪里走，我还不敢下结论，但可以确定的是，机器人感知的下一阶段一定不是“更强的单模块感知”，而是“更高层的场景理解与推理能力”。6. 十年演进沉淀出的工程方法论：哪些弯路可以不用再走6.1 传感器标定：感知系统里最容易被低估的一环很多人做感知系统，一开始把精力全放在算法选型和数据采集上，传感器标定则能拖就拖。结果到了系统联调阶段，问题全冒出来了——图像里的目标框和点云投影位置对不上，视觉里程计和激光建图的轨迹发生系统性偏移。标定的本质是解决“坐标系变换”问题。相机内参影响成像模型的准确度，相机与激光雷达、相机与IMU之间的外参决定了多传感器数据能否对齐。外参一旦不准，多模态融合就成了一个建立在错误几何关系上的系统，再怎么调算法也没用。我见过某团队在一个项目里反复更换融合模型，却一直没发现是外参偏了，最后重新标定后，原本“很烂”的融合算法突然好用了。所以我的建议很简单：项目一开始就把标定列入计划，给标定工具预留足够的时间和自动化流程。在每次更换传感器或拆装设备之后，重新标定一次。标定结果最好有可量化的验证手段，比如投影误差小于多少像素、点云配准残差在什么范围内，而不是“肉眼看差不多”。6.2 仿真与真机的差距：为什么在环境里能跑，上了真机就乱跳仿真在机器人感知开发里越来越重要，它可以低成本生成带标注的数据，可以反复测试极端场景，可以做危险的碰撞测试。但仿真不能替代真机实验，这是几乎每个团队都会经历的教训。仿真环境的物理引擎再精确，也无法完全复现真实传感器的噪声、延迟、畸变和材料反射特性。雷达在不同材质表面的反射率、相机在复杂光照下的动态范围、轮子在地板上的轻微打滑，这些都是仿真容易过度理想化的地方。曾经有个项目在仿真环境里跑得很好，真机部署后机器人频繁原地转圈，排查到最后发现是真实雷达数据里有大量运动畸变，仿真环境压根没有完整模拟这一项。正确的做法是把仿真当成“帮你筛掉明显错误方案”的工具，而不是“证明系统可行”的依据。仿真里跑通了，只是给出了乐观估计；真机测试里跑通了，才说明系统真的能在现实世界生存。很多成熟团队会专门维护一个“仿真-半实物-真机”的分层测试流程，逐级提高环境的真实度，同时逐步暴露系统的工程问题。6.3 可靠性设计：感知不是“准确率”比拼，而是“失败模式”管理深度学习评测报告喜欢讲平均精度、平均召回率，但工程上真正重要的永远是“它会在什么时候失败，失败对系统影响有多大”。一个感知模型在平均指标上表现优秀，可能在某一类特定材质、某一种极端光照下频繁出错。如果机器人要去医院病房送药，夜里走廊只开一盏小灯，玻璃门、反光地面、轮椅上的金属色，这些都可能成为感知系统的失效点。可靠的设计思路不是追求把平均准确率从98%提升到99%，而是把每一种已知的失效模式找出来，再设计处理策略。处理策略可以是多传感器冗余、可以是基于规则的兜底、也可以是在不适定条件下主动放慢速度或者请求人工介入。我们团队在长期实践里形成了一套做法：每次感知系统上线前，团队都会列一张“最怕它出错”的清单，把场景、触发条件、失效后果、兜底措施逐项写清楚。这样做看起来没有直接提升模型指标，但整个系统的鲁棒性会明显上一个台阶。6.4 给团队的一份感知能力建设清单（按阶段）如果让我给一个正在搭建机器人感知能力的团队提建议，我会按发展阶段的顺序给出以下清单。第一阶段，是“打基础”：先把传感器标定、时间同步、数据记录与回放这些基本功做扎实。没有可靠的数据底座，任何算法评估都是空中楼阁。第二阶段，是“建闭环”：搭起数据采集、标注、训练、评估、部署的完整链路，让模型迭代不再是手工操作，而是有数据支撑的工程流程。第三阶段，是“做系统”：把感知模块和SLAM、规划、控制真正联动起来，关注时序、延迟、置信度这些系统级问题，而不是每个模块各自达到最优。第四阶段，是“提场景理解”：在几何感知已经稳定之后，再引入语义分析、开放词汇检测和更高级的场景推理，让机器人从“看得见”走向“看得懂”。每个阶段的顺序最好不要跳。我在实际项目里见过很多团队一开始就追求高级语义理解，结果基础标定和同步都没做好，最后还得回炉重做。十年演进的技术路线虽然越走越宽，但工程的基本功和节奏感，其实比任何单点技术都重要。如果非要从这十年里挑一个最值得记住的教训，我会说：机器人感知从来不是一个孤立的“识别问题”，而是一个关于数据、硬件、算法、系统和现场环境相互作用的综合工程。当年那台在玻璃门前不知所措的机器人，和今天能够理解场景、预测行人轨迹、完成语义导航的机器人之间，隔着的不仅是十年时间和几代模型，更是整套工程方法论的成熟。算力还会更强，传感器还会更便宜，模型的通用能力也许还会再度跃迁，但底层的那些问题——如何标定、如何融合、如何管理失败模式、如何在真实世界里保持可靠——依然会一直陪我们走下去。
我最早接触机器人感知技术是在2014年前后，当时跟着实验室做一个移动机器人项目，目标是让机器人在室内走廊里自主行走。现在回想起来，那个项目花了将近半年才勉强做到“看到桌子腿不撞上去”，而且不是每次都能成功。十多年过去，机器人感知已经从一个“能不能识别出障碍物”的基础问题，变成了“能不能理解场景、预测动态、在未知环境里自主决策”的系统性问题。这篇文章想按一个工程从业者的视角，把这十年的演进拆开聊一聊：哪些技术真正改变了机器人的能力边界，哪些硬件和算法是相互成就的，哪些坑到今天还在一代代地重复踩。这十年最明显的变化不是某一个算法的胜利，而是传感器、算力、算法三条线互相解锁。激光雷达从昂贵到相对普及，GPU和嵌入式平台的能力翻了几个数量级，深度学习把原先依赖人工设计特征的老路子整体替换掉，SLAM也从实验室演示走向了产品级应用。但工程落地并不只是“套个新模型”那么简单，标定、时序、融合、鲁棒性这些老问题，依然决定着一个感知系统能不能真正在现实世界里稳定工作。1. 起点与痛感：2015年前后的机器人感知到底难在哪1.1 传感器、算力与算法的三角关系如果只用一个词概括当年的痛点，就是“断层”。那时候不是没有算法，而是传感器和算力根本喂不饱算法。当时室内移动机器人用得最多的是单线激光雷达和普通RGB相机。单线激光雷达能提供二维平面上的距离信息，对建图和避障来说已经算可靠，但只有一个扫描平面，遇到桌子下面的横撑、悬空的障碍物或者高低不平的地面就很尴尬。普通相机信息丰富，可那时的视觉算法对光照变化、纹理缺失、运动模糊都极度敏感，一个反光地面就能让特征点跟踪全线崩溃。算力方面更难受。实验室里能用的嵌入式平台性能非常有限，稍复杂一点的特征提取和匹配就要占用上百毫秒。感知系统每一帧都在和时间赛跑：传感器以10赫兹甚至20赫兹产生数据，算法处理不过来，就只能丢帧。丢帧带来的问题不只是延迟，还会让后续的状态估计产生跳变，进而影响控制决策。所以当时做感知系统，本质上是在三维约束里找平衡：传感器贵且不完善，算力有限，算法鲁棒性差。任何一项提升都能带来整体效果的改善，但任何一项也都不足以单独解决所有问题。这种“三角关系”一直到今天依然存在，只是约束条件宽松了很多。1.2 当年机器人是怎么“看见”世界的：激光与视觉的各自局限为了更好地说明十年前的技术底子，我梳理了一张对比表，这里的描述不是针对某一款具体产品，而是那个时代的典型特征。维度激光雷达方案视觉方案核心测量直接测量距离，精度高、受光照影响小通过图像间接恢复结构，受光照、纹理影响大硬件成本很高，多线雷达属于贵重设备相对便宜，普通工业相机即可感知维度通常是2D，多线雷达可提供3D点云但价格昂贵2D图像，可结合双目或运动恢复出3D信息建图效果几何结构清晰，适合结构化环境纹理信息丰富，但深度估计不稳定主要瓶颈成本、体积、垂直视场角有限光照变化、无纹理区域、运动模糊激光雷达的优势在于“直接和可靠”。做SLAM时，点云配准的几何关系非常直观，回环检测也比较容易。但单线雷达看不到立体空间里的东西，比如桌面上伸出来的物品、墙上凸出的开关面板，这些对导航可能是致命的。多线雷达虽然能提供三维点云，但价格长期居高不下，很多研究团队只能望而却步。视觉方案恰好相反。图像信息量大，能分辨颜色、纹理、形状，理论上更有潜力理解场景，但把图像变成可用的几何信息非常困难。单目视觉靠运动恢复结构，需要足够的视差，纯旋转时基本失效；双目视觉需要精确标定，基线和视差范围也限制了测量距离；RGB-D相机后来解决了部分问题，但在强光下深度质量会明显下降。另外，视觉SLAM在走廊、白墙这类低纹理场景里很容易丢定位，这是当年我们最头疼的问题之一。1.3 一个让我印象深刻的失败案例：静态障碍物都没躲开有一个测试场景我到现在还记得。那台机器人配置了单线雷达，在实验室里跑得好好的，一旦推到走廊，就会在某一扇玻璃门前面突然急停或者原地转圈。一开始我们以为是雷达探测距离不够，后来排查时发现，单线雷达的扫描平面正好在玻璃门中间偏下的位置，玻璃对激光几乎是透明的，反射回来的点云非常稀疏，导致障碍物根本没有被检测到。那个门是静态的，我们都没想到它会成为如此大的难题。这个案例给我留下的教训有两个。第一，感知系统的“失效模式”往往不在标称工况里，而在传感器物理特性的边界处。玻璃、深色物体、强反光表面、雨雾天气，这些才是真实世界对感知系统最严苛的考验。第二，单传感器方案无论如何优化，覆盖范围都是有限的。当时我们只能在算法里加入“疑似玻璃区域减速”的规则，但这种方法没有通用性。那个时期很多团队的做法是给机器人叠加多种传感器，希望通过冗余来提高可靠性。但多传感器不是接上就能用的，时间同步、空间标定、置信度融合，每一个都是新坑。这也是后面几年里行业投入大量精力去解决的问题。2. 深度学习入场：感知范式第一次从“手工特征”转向“数据驱动”2.1 目标检测的拐点：滑动窗口、手工特征与端到端检测的差距在深度学习大规模应用之前，机器人视觉感知的主流思路是手工特征加分类器。比如做行人检测，通常要先把图像缩放到不同尺寸，用滑动窗口遍历所有位置，在每个窗口里提取HOG之类的梯度特征，再交给SVM分类。这个流程能工作，但有两个致命缺陷：一是检测速度太慢，滑动窗口的搜索空间非常大；二是特征表达能力有限，遇到遮挡、姿态变化、复杂背景，分类器很容易出错。卷积神经网络的出现几乎是把这条路重写了。检测网络直接学习从图像到目标框和类别的映射，不再需要手动设计特征，也不需要滑动窗口全图穷举。早期两阶段方案把“提出候选区域”和“分类回归”分开，精度很高但速度一般；后来一阶段方案把两个任务合到一起，在保持可用精度的同时大幅提升实时性。从机器人感知的角度看，这个变化意味着什么？意味着目标检测第一次有可能在实时系统里跑起来，而不只是离线分析。对机器人来说，检测不是终点，而是后面一系列任务的入口。检测到人，才能做人机距离估计；检测到门，才能规划穿过门的路径；检测到可抓取物体，才能生成抓取姿态。深度学习之前，这些“入口”都太脆弱；深度学习之后，入口才算真正打开。2.2 语义分割让机器人从“回避障碍”走向“理解场景”目标检测提供的是“在哪里有什么”的框级信息，但很多任务需要更精细的理解。机器人要从桌子上拿起一个杯子，需要知道杯子的精确轮廓，而不是一个粗略的矩形框；要在越野环境里找可通行路面，需要区分地面、草丛和水坑，这也不是检测框能解决的。语义分割和实例分割填补了这个缺口。语义分割给每个像素打上类别标签，让机器人知道图像里哪些区域是道路、哪些是墙壁、哪些是行人；实例分割进一步区分同一类别里的不同个体，方便机器人锁定某一个具体目标。从避障角度看，激光雷达已经能解决大部分“别撞上”的问题，但语义分割带来的是一种更高层的能力：因为机器人开始知道自己在面对什么场景，决策逻辑就能从单纯的几何避障升级为任务驱动。不过这里要泼一点冷水。分割模型在公开数据集上跑得很好，但真实场景的长尾问题非常严重——机器人可能遇到数据集里从未出现过的物体类别。十年前我们担心的是“检测不准”，现在很多场景担心的反而是“检测得太自信”：模型给出一个很高的置信度，但它认识的东西可能只是一个形状相似的干扰物。这也是为什么现在的感知系统越来越强调不确定性估计，而不是单纯看分类分数。2.3 数据、标注与迁移：落地机器人感知时最被低估的隐性成本深度学习把“设计特征”的工作转移成了“准备数据”的工作。很多团队刚开始接触深度模型时，以为只要把网络结构复现出来就能复现效果，结果在数据上栽了跟头。我见过不止一个项目出现这样的情况：模型在公开数据集上的精度很高，部署到机器人上后却频繁漏检。原因很直接——训练数据和部署现场的数据分布不一致。机器人视角低、运动模糊大、光照变化剧烈，这些在通用数据集里并不一定被充分覆盖。更麻烦的是，机器人任务里经常需要检测一些非常具体的对象，比如某种型号的托盘、某种形状的充电接口，这些数据在公开数据集里几乎没有。于是标注就成了隐性的大头。一个中等规模的目标检测项目，标注几千张图只是起步，加上遮挡、模糊、远距离等难例，数据准备的工时往往远超模型训练本身。为了缓解这个问题，后来的行业实践里普遍引入仿真数据合成和域随机化：在仿真环境里批量生成带标注的图像，再通过对颜色、光照、纹理做随机扰动，让模型学会忽略无关变化。我的经验是，仿真数据能大大加速冷启动，但最后通常还是需要少量真实数据做微调，两者配合才能达到可用的鲁棒性。这一阶段最大的思维转变是：感知系统的研发重心，从“写更好的算法”逐渐变成了“搭更好的数据闭环”。模型结构当然重要，但决定一个系统能不能持续改进的，往往是数据采集、标注、训练、评估、部署的完整链路是否跑得通。3. SLAM这十年：从稀疏几何地图到可理解的场景表示3.1 激光SLAM：点云配准、回环检测与图优化是怎么一步步变稳的SLAM是机器人感知里另一条关键线，它解决的是“我在哪”和“周围长什么样”的问题。十年前，激光SLAM已经有一套比较清晰的技术框架：前端做帧间配准，后端做图优化，回环检测负责修正累积漂移。早期的难点在于实时性和鲁棒性的平衡。点云配准要用迭代最近点或者基于特征的匹配，计算量不小，而且激光数据受运动畸变影响，机器人一转得快，点云就会变形。后来出现的方案在里程计部分做了更精细的处理：对每一帧点云做运动补偿，用子图的方式积累局部特征，回环检测通过分支定界加速搜索。这些技术放在今天是标准操作，但在当时每一步都是工程上很难啃的骨头。激光SLAM最大的优势是几何测量干净，在结构化环境里建图精度很高。它最大的问题则是“不懂语义”。一张纯几何地图只知道哪里有墙、哪里有障碍物，不知道哪里是门、哪里是楼梯、哪里是充电桩。后来的演进方向自然就是给地图加语义信息，这正好和视觉感知的进步汇合了。3.2 视觉SLAM：单目、双目与RGB-D各自的十年路线视觉SLAM的技术路线比激光更多样，也可以说更曲折。单目方案通过多帧图像估计运动，成本最低，但尺度不确定，启动时需要初始化，纯旋转会退化。双目方案通过视差获得尺度，但标定和计算开销更大。RGB-D方案能直接获得深度，在室内小范围场景非常合适，但受环境光影响明显。十年前，视觉SLAM的主流思路是提取稀疏特征点，通过特征匹配建立帧间约束，再用滑动窗口或图优化来估计位姿。这个方法在纹理丰富的环境里很稳定，但在白墙、走廊等低纹理场景容易跟丢。后来又出现直接基于像素灰度对齐的方法，不依赖特征点，在建图密度上有优势，但对光照变化和相机参数更敏感。两条路线互相竞争，也互相启发，最终很多实际系统都采用了“特征与直接法混合”的思路。真正让视觉SLAM从论文走进机器人产品的，是硬件和算力的提升。相机分辨率提高、全局快门普及、嵌入式平台能够实时跑非线性优化，这些都让复杂算法有了落地的可能。另一个重要进展是视觉与惯性测量的紧耦合：IMU提供短时间内的角速度和加速度，视觉提供长期的几何约束，两者融合后，系统对快速运动和光照变化的容忍度明显提升。今天的很多机器人产品能在室内外切换、经过不平整路面时依然保持稳定定位，靠的正是视觉与惯性融合的成熟。3.3 语义信息进入地图：机器人不再只知道“墙在哪”，还知道“这是什么”如果只有几何地图，机器人知道墙在哪，却不知道墙上的门可以通行；知道前方有一个物体，却不知道它是一个可抓取的杯子还是一个需要绕开的障碍物。过去十年里，语义信息逐步进入SLAM地图，这是一个非常重要的演进方向。一开始的做法比较简单：先跑几何SLAM建图，再用目标检测或语义分割的结果给地图里的点云或占据栅格打标签。这种离线式的语义建图能提供“房间里有哪些物体”的信息，但物体位置和地图的几何结构没有严格对齐。后来的方法尝试在建模时直接把语义约束加进去，让物体检测结果反过来帮助优化相机位姿——比如一个标志牌看起来应该是平面的、尺寸应该是固定的，这些先验知识可以约束位姿漂移。语义地图对机器人的实际价值在于任务规划。当你希望机器人“去厨房拿一瓶水”，它需要的不只是知道厨房的位置，还需要知道瓶子在物体的哪个层级里、厨房的门怎么通过、冰箱与桌面之间怎么导航。这些信息必须以一种统一的表示组织起来，而语义地图就是承载它们的基础结构。虽然到今天这一步还有大量未解决的问题，但方向已经很清晰：地图的表示正在从“几何结构”走向“场景理解”。4. 传感器与硬件红利：谁推动了感知能力真正落地4.1 激光雷达的价格与形态变化：从“实验室专属”到“规模化部署”算法能跑起来，硬件必须给机会。激光雷达是过去十年里变化最剧烈的传感器之一。十年前，多线激光雷达价格极高，体积也大，基本上只在自动驾驶和高端研究项目里才会出现，普通移动机器人团队往往只能使用单线雷达。那时候想做三维感知，最现实的方式是用单线雷达加电机扫描，或者靠视觉做弥补。后来情况出现了两个关键变化：一是机械式多线雷达的制造工艺成熟，线数从16线逐步提升到更高，同时价格下降；二是固态和半固态雷达逐步走向市场，没有复杂的旋转机构，体积更小、可靠性更高。这两种形态让激光雷达在移动机器人、服务机器人、工业AGV等领域逐渐成为可选配置，而不再只是实验室里的特权。这个变化对感知算法的影响是深远的。有了三维激光点云，机器人可以直接获取周围环境的稠密几何信息，避障和建图的可靠性大幅提升。算法不再需要费尽心思从单线数据里猜三维结构，可以把更多算力留给语义理解和路径规划。有人在讨论传感器是“眼睛”还是“尺子”，我的看法是，激光雷达更像一把始终在线的尺子——它不会告诉你物体是什么，但能非常可靠地告诉你物体在哪里。几何尺子和语义眼睛配合，才是一个稳健的感知系统。4.2 相机、计算平台与IMU：十年里默默升级的“隐形功臣”激光雷达很吸引眼球，但机器人的感知能力提升还有一批“隐形功臣”：相机、IMU和计算平台。相机方面，高分辨率、全局快门、高动态范围逐渐成为标配。全局快门解决了运动场景里的果冻效应，高动态范围保证了逆光环境下的成像质量，这些从底层改善了视觉算法的输入质量。你可能不知道，很多视觉SLAM翻车案例的根源，其实是相机成像参数设置不对，而不是算法本身有问题。曝光太短导致图像过暗、增益太高导致噪声过大，都会让特征提取质量下降。IMU也在演进。更高精度的MEMS IMU被更广泛地集成到机器人里，和视觉、激光数据做紧耦合以后，机器人在快速旋转、遮挡、剧烈光照变化等“受限条件”下依然能维持短时间的状态估计，这是感知系统鲁棒性提升的重要一环。计算平台的进步同样关键。十年前在嵌入式平台上跑一个模型很吃力，今天很多带有专用加速模块的计算板卡已经可以实时运行分割网络和SLAM。没有这个算力底座，再好的算法也只能停留在论文里。我们团队做项目时有一个体会：每当新一代计算平台出来，第一件事就是重新评估哪些算法可以从“离线后处理”升级为“在线实时”。4.3 事件相机等新型传感器：在噪声中找机会，也对算法提出了新要求如果说激光雷达和普通相机代表了过去十年的主旋律，那事件相机就是这几年逐渐走进机器人感知视野的新变量。事件相机不像普通相机那样按固定帧率输出图像，而是在像素亮度变化时输出异步事件流，时间分辨率极高、动态范围很大，在高速运动和高反差场景里表现出色。理论上，事件相机非常适合机器人高速运动、强光变化的环境，比如无人机快飞或者机器人在户外从阴影进入阳光。但工程上它还远没有到成熟阶段。事件流的数据格式与传统图像完全不同，现有算法和深度学习框架并不能直接复用，需要重新设计。事件相机本身也没有颜色信息，单独使用时很难做语义理解。我接触过一些项目尝试把它和普通相机联合使用，让事件流负责高速运动估计，让普通图像负责语义识别，效果有潜力，但系统复杂度明显上升。这样的新型传感器提醒我们一件事：机器人感知的演进并不仅是把老的传感器做得更好，还包括不断尝试新的物理测量维度。每多出一种传感器，算法工具箱里就多了一把钥匙，但同时也意味着要处理更多的数据形式和同步问题。能不能利用好新传感器，取决于需求是否迫切，也取决于软件工程是否有足够的弹性去容纳新硬件。5. 多模态融合与场景理解：从“叠加信息”走到“联合推理”5.1 我在项目里调过的那些“融合地狱”：早期融合、晚期融合与特征融合感知系统一旦同时使用激光、相机、IMU和里程计，融合就成了核心工程问题。第一次做多传感器融合时，我的想法很简单：把各种传感器的结果都转换到同一个坐标系，然后加权平均。听上去很合理，做起来却是一场噩梦。第一个问题是时间同步。每个传感器的帧率、延迟都不同，激光一帧可能几十毫秒才出一版数据，相机延迟更不稳定，直接把最新数据拿来用，误差可能已经很大。解决办法只能是硬件时钟同步加软件缓冲，把每个传感器数据都打上时间戳，在融合时查找最近邻时间段的数据。第二个问题是空间标定。相机和激光雷达之间有个外参，这个外参如果有几毫米、零点几度的误差，投影出来的结果就会差好几个像素，导致融合后的语义框和点云对不上。第三个问题是置信度。不同传感器在不同条件下可靠性不同，光照差时相机不可靠，玻璃和强反射表面激光靠不住，怎么动态调整权重，直接决定融合结果是不是更优而不是更差。我后来总结出一个经验：融合算法不是难点，难点在“什么时候信任谁”。这也催生了更系统的融合思路，比如在状态估计层面用滤波器或因子图约束，把传感器模型和不确定性直接建模进去；比如在特征层面让网络同时输入图像和点云，自动学习如何选择可靠特征。多模态融合的成熟，让机器人不再因为某一个传感器的失灵而当场崩溃，而是能够在退化条件下仍然给出还过得去的感知结果。5.2 时序信息与运动预测：让感知从“当前状态”看向“未来几秒”机器人如果只感知当下，决策会有天然的滞后。人在走路时会估计旁边行人下一秒的位置，机器人也需要这种能力。过去十年里，多目标跟踪和轨迹预测从一个相对独立的模块，逐渐成为感知系统里被认真对待的部分。目标检测和分割处理的是单帧信息，多目标跟踪则把不同帧里的检测结果关联成完整的轨迹，输出每个目标的稳定ID和运动状态。有了轨迹，机器人才能判断一个行人是在远离自己还是可能相撞，才能预估某辆车是否会驶入自己的路径。再进一步，轨迹预测模块会基于过去几秒的运动模式，预测未来零点几秒到几秒内的位置分布。这个过程通常结合多种线索：历史轨迹、目标类别、场景语义，有时还包括目标之间的相互影响。从工程角度看，时序信息最大的价值是“容忍短期感知缺失”。一个目标被遮挡了几帧，如果跟踪器维持了它的轨迹和预测位置，系统依然可以平滑地继续决策；如果只有单帧感知，遮挡就等于目标凭空消失，机器人的反应就会非常激进或者迟钝。我们曾经在机器人上测试过两种方案，一个只做单帧检测，一个加了跟踪和预测，直观体验差异非常大：后者看起来“真的像一个会考虑后果的系统”。5.3 视觉语言模型带来的新变量：开放词汇检测与常识推理进入机器人感知最近这两年的新变化，是视觉语言模型开始进入机器人感知的研究和产品验证。传统的检测器只能识别训练时见过的固定类别，遇到新类别就要重新标注、重新训练。而视觉语言模型可以通过自然语言描述来完成开放词汇检测：告诉机器人“找一个充电插座”，它能在图像里找到需要的内容，即使这个类别不在训练集里。这意味着机器人的感知范围从封闭集合走向了开放世界，指令和感知之间的交互方式也变得更加自然。不过，视觉语言模型在机器人上直接使用还面临很多现实问题。模型的推理延迟通常较高，算力需求大，无法像传统检测器那样做到毫秒级响应。模型输出的置信度也不总是可靠，在一些复杂场景里会产生与常识不符的误判。另外，机器人感知需要的是和物理世界绑定的信息——不只是“这是一个杯子”，还要知道它在相机坐标系里的位置、尺寸、可抓取性。所以业界现在的做法通常是“分层结合”：用视觉语言模型提供高层语义和常识推理，用传统几何感知模块提供精确的位姿和深度信息，两者协同，而不是简单替代。这个方向未来会往哪里走，我还不敢下结论，但可以确定的是，机器人感知的下一阶段一定不是“更强的单模块感知”，而是“更高层的场景理解与推理能力”。6. 十年演进沉淀出的工程方法论：哪些弯路可以不用再走6.1 传感器标定：感知系统里最容易被低估的一环很多人做感知系统，一开始把精力全放在算法选型和数据采集上，传感器标定则能拖就拖。结果到了系统联调阶段，问题全冒出来了——图像里的目标框和点云投影位置对不上，视觉里程计和激光建图的轨迹发生系统性偏移。标定的本质是解决“坐标系变换”问题。相机内参影响成像模型的准确度，相机与激光雷达、相机与IMU之间的外参决定了多传感器数据能否对齐。外参一旦不准，多模态融合就成了一个建立在错误几何关系上的系统，再怎么调算法也没用。我见过某团队在一个项目里反复更换融合模型，却一直没发现是外参偏了，最后重新标定后，原本“很烂”的融合算法突然好用了。所以我的建议很简单：项目一开始就把标定列入计划，给标定工具预留足够的时间和自动化流程。在每次更换传感器或拆装设备之后，重新标定一次。标定结果最好有可量化的验证手段，比如投影误差小于多少像素、点云配准残差在什么范围内，而不是“肉眼看差不多”。6.2 仿真与真机的差距：为什么在环境里能跑，上了真机就乱跳仿真在机器人感知开发里越来越重要，它可以低成本生成带标注的数据，可以反复测试极端场景，可以做危险的碰撞测试。但仿真不能替代真机实验，这是几乎每个团队都会经历的教训。仿真环境的物理引擎再精确，也无法完全复现真实传感器的噪声、延迟、畸变和材料反射特性。雷达在不同材质表面的反射率、相机在复杂光照下的动态范围、轮子在地板上的轻微打滑，这些都是仿真容易过度理想化的地方。曾经有个项目在仿真环境里跑得很好，真机部署后机器人频繁原地转圈，排查到最后发现是真实雷达数据里有大量运动畸变，仿真环境压根没有完整模拟这一项。正确的做法是把仿真当成“帮你筛掉明显错误方案”的工具，而不是“证明系统可行”的依据。仿真里跑通了，只是给出了乐观估计；真机测试里跑通了，才说明系统真的能在现实世界生存。很多成熟团队会专门维护一个“仿真-半实物-真机”的分层测试流程，逐级提高环境的真实度，同时逐步暴露系统的工程问题。6.3 可靠性设计：感知不是“准确率”比拼，而是“失败模式”管理深度学习评测报告喜欢讲平均精度、平均召回率，但工程上真正重要的永远是“它会在什么时候失败，失败对系统影响有多大”。一个感知模型在平均指标上表现优秀，可能在某一类特定材质、某一种极端光照下频繁出错。如果机器人要去医院病房送药，夜里走廊只开一盏小灯，玻璃门、反光地面、轮椅上的金属色，这些都可能成为感知系统的失效点。可靠的设计思路不是追求把平均准确率从98%提升到99%，而是把每一种已知的失效模式找出来，再设计处理策略。处理策略可以是多传感器冗余、可以是基于规则的兜底、也可以是在不适定条件下主动放慢速度或者请求人工介入。我们团队在长期实践里形成了一套做法：每次感知系统上线前，团队都会列一张“最怕它出错”的清单，把场景、触发条件、失效后果、兜底措施逐项写清楚。这样做看起来没有直接提升模型指标，但整个系统的鲁棒性会明显上一个台阶。6.4 给团队的一份感知能力建设清单（按阶段）如果让我给一个正在搭建机器人感知能力的团队提建议，我会按发展阶段的顺序给出以下清单。第一阶段，是“打基础”：先把传感器标定、时间同步、数据记录与回放这些基本功做扎实。没有可靠的数据底座，任何算法评估都是空中楼阁。第二阶段，是“建闭环”：搭起数据采集、标注、训练、评估、部署的完整链路，让模型迭代不再是手工操作，而是有数据支撑的工程流程。第三阶段，是“做系统”：把感知模块和SLAM、规划、控制真正联动起来，关注时序、延迟、置信度这些系统级问题，而不是每个模块各自达到最优。第四阶段，是“提场景理解”：在几何感知已经稳定之后，再引入语义分析、开放词汇检测和更高级的场景推理，让机器人从“看得见”走向“看得懂”。每个阶段的顺序最好不要跳。我在实际项目里见过很多团队一开始就追求高级语义理解，结果基础标定和同步都没做好，最后还得回炉重做。十年演进的技术路线虽然越走越宽，但工程的基本功和节奏感，其实比任何单点技术都重要。如果非要从这十年里挑一个最值得记住的教训，我会说：机器人感知从来不是一个孤立的“识别问题”，而是一个关于数据、硬件、算法、系统和现场环境相互作用的综合工程。当年那台在玻璃门前不知所措的机器人，和今天能够理解场景、预测行人轨迹、完成语义导航的机器人之间，隔着的不仅是十年时间和几代模型，更是整套工程方法论的成熟。算力还会更强，传感器还会更便宜，模型的通用能力也许还会再度跃迁，但底层的那些问题——如何标定、如何融合、如何管理失败模式、如何在真实世界里保持可靠——依然会一直陪我们走下去。