1. 先看全景:这一章解决的是感知链路里的哪一段我当年第一次把激光雷达点云接到自研感知模块时,第一反应是:这东西和视频里看的完全不一样。几万到几十万个三维点,密度高高低低,近处密集得像一堵墙,远处稀疏到几乎看不见。点云不是一张"图",它是一堆三维坐标的集合,算法要做的事情,是从这堆坐标里回答四个问题:哪里有东西、是什么、在哪里、在干什么。这套"智能驾驶激光雷达算法详解"系列写到这里已经是第4章。前面几章把激光雷达的工作原理、点云的数据格式、坐标系与标定讲清楚了,那些是地基。从这一章开始,进入真正的感知算法主体——我把第4章定义为"从原始点云到目标框"的完整链路,包括点云预处理、地面分割、目标聚类、3D检测网络,以及这些算法在量产项目里的工程化问题。这一章适合两类人。一类是正在做智能驾驶感知开发、想把激光雷达链路从零搭起来的工程师,可以直接把文中的处理顺序、参数初始值和调试方法当成第一版参考;另一类是准备转行做三维视觉的算法同学,这一章帮你建立从"点云数据"到"可决策的高层语义信息"之间的完整映射。后面的第五章会讲目标跟踪和轨迹预测,如果你想把多帧时序也串起来,这一章的地基不打牢,后面会很痛苦。整个处理链路我习惯画成四段:原始点云 → 预处理 → 地面分割与障碍物提取 → 目标检测与输出。每一段都有独立的问题域。预处理管的是"数据是否干净",地面分割管的是"哪些点属于路,哪些点属于物",聚类和检测管的是"这些物是谁、在哪、多大",最终输出的是给规划控制用的目标列表。这篇文章把每一段掰开揉碎讲。2. 预处理三板斧:降采样、去噪、裁剪原始点云不能直接喂给下游,原因有三个:数据量太大、噪声太野、无效区域太多。不处理,聚类和检测算法的计算延迟会直接爆掉。预处理环节我固定用三个算子组合:体素降采样、统计离群点去除、直通滤波裁剪。2.1 体素降采样:控制点云规模的第一道闸门体素降采样的思路非常朴素:把三维空间划分成固定大小的立方体格,每个格子里只保留一个点,这个点的坐标可以取格内所有点的均值,也可以直接取第一个进来的点。格子边长就是你要调的参数。为什么这种"粗暴"方法能成为行业默认?因为激光雷达点云的冗余度太高了。近处物体上密集的点可能间距只有几厘米,但对检测一个几米宽的车辆来说,厘米级的密度信息几乎没有增益。把点间距拉大到10厘米甚至20厘米,信息量损失很小,点云数量却能下降一个数量级。体素尺寸的选择直接影响下游效果。我做过一组对比:在同样的场景下,体素边长分别取0.05米、0.1米、0.2米。0.05米时点云量约12万点,0.1米时约3万点,0.2米时只剩8000点。对一辆2米宽的车来说,0.2米体素依然能保留约10行扫描线,聚类效果肉眼可见地变差是从0.3米开始的。所以一般建议起始值设在0.1米到0.15米之间,算力紧张再往0.2米走。这里有个容易踩的坑:如果你的下采样实现是"每个格子只保留第一个点",并且体素尺寸偏大,那么点的空间分布会被随机性污染,同一个物体在不同帧里的采样结果可能差很多。更稳的做法是取格内所有点的均值,这样相当于做了一个局部平滑,帧与帧之间的稳定性会好不少。代价仅仅是多一次遍历求和的算力,非常划算。2.2 统计离群点去除:滤掉"飞点"的经典手段激光雷达点云里总有一些点落在完全不可能的位置——比如悬在空中的孤立点、车身旁边突然蹦出来的一个亮点。这些点大部分来自多路径反射和极低反射率物体的噪声,量级不大,但对聚类算法来说非常致命。聚类是按距离连通域找物体的,一个孤立飞点可能自己形成一个"物体",而产生一个虚假目标。统计离群点去除(Statistical Outlier Removal)的做法是:对每个点,计算它到最近的K个邻居的平均距离,然后看整个点云的均值μ和标准差σ。如果一个点的平均距离大于μ + m×σ(m通常取1.0到4.0),就认为它是离群点,直接删掉。这里有个细节我提醒过不少人:统计滤波的假设是"点密度符合正态分布",但在雷达的近处区域密度极高、远处密度极低,整体分布并不正态。如果你对整个点云做一次全局统计,远处那些正常点反而会被当成离群点误删。解决办法是把滤波操作分区域做,或者把统计范围限定在同一个光束/同一个距离区间内。我实际用的方案是:先按距离把点云分成近、中、远三个区间,每个区间单独算μ和σ,效果比全局统计稳定得多。2.3 直通滤波裁剪ROI:算力是省出来的直通滤波就是沿着某个坐标轴画一个范围,范围外的点全部丢弃。对车载激光雷达来说,通常裁剪三个方向:前方保留150米(取决于测距能力),侧向保留左右各30米,高度范围从地面以上0.2米保留到车上方2.5米左右。很多人觉得这一步可有可无,实际上它带来的收益非常大。一台线数越高的雷达,单帧点云数量越大,而真正对驾驶决策有用的区域通常只在车前100米、横向40米以内。把远处冗余点和超出感知需求的高空点直接扔掉,聚类和检测阶段的耗时能下降30%到50%。裁剪时需要注意高度下限。我见过一次事故排查:某天傍晚系统把路面上的小纸箱识别成了行人,后来定位到原因,是高度下限设成了0米,地面分割又不彻底,路沿石的点混进障碍物里。建议下限设置成略高于传感器安装高度对应的地面误差,比如0.15米左右,这能滤掉一部分地面残留点。3. 地面分割:不把它干掉,聚类就会把道路连成一片地面分割在整个链路里地位特殊。如果不对点云做地面分割,直接聚类,那么道路上的点会与所有障碍物的底部点连成一片,一辆车、两个人、一个路沿石会被聚成一个巨大的连通域,下游完全没法用。可以说地面分割是"障碍物提取"的充分前置条件。3.1 RANSAC平面拟合的基本原理和退化场景RANSAC拟合平面的思路很简单:随机选三个点确定一个平面,计算有多少点落在该平面附近(距离阈值内),重复迭代,选出内点最多的平面。这个算法在点云处理里几乎是圣器,任何一本三维视觉书都会讲。实际用下来,RANSAC对平整道路非常有效,但有三个先天问题。第一是计算量。如果每帧都用RANSAC在全图范围内拟合平面,迭代次数不够找不到最优平面,迭代次数够了实时性又完蛋。所以工程上通常先做一次降采样,再在降采样后的点云上做RANSAC,把迭代次数控制在50到100次。第二是斜坡问题。城市道路不是纯平面,桥面、匝道、拱形路面都存在一定的曲率。一个全局平面模型在坡顶会把坡面拟合得不错,但在坡底和坡顶的过渡区域,拟合残差会很大,导致切成两段:一段被当地面,另一段被判为障碍物。第三是"地面"的定义边界。RANSAC拟合出的平面是没有尺度的,它不会管你拟合的是道路还是旁边建筑的墙根。如果一条路紧贴高墙,墙根的立面点会严重干扰平面拟合,把估计出的平面"拽"向墙面斜上方。3.2 工程上更常用的改进:按射线分段拟合针对上面这些问题,量产项目里更常用的是基于"射线+近距离线性插值"的地面估计方法,思路很直观:把雷达坐标系按角度划分成若干个扇形区域,每个区域内,沿径向把点云按距离分成多个小段,在每一段内,取高度最低的几个点,认为它们是地面候选点,再对相邻段的候选点做线性拟合和插值,形成一个连续的地面高度估计。这样做的好处有三个。第一,它天然适应坡度变化——每个扇形区域、每个距离段独立估计,不要求全局是一个平面。第二,计算量小,不需要随机采样迭代,每帧耗时极低。第三,它天然处理了路沿——路沿的高度突变会被捕捉为分段点,不会像RANSAC那样被平滑掉。我实际测试过两种方案的对比:在同一段带坡度的城市快速路上,RANSAC方案在坡顶有一个10米左右的"虚假物体"区域,误检率约2%;换成按段估计后,该区域的误检降到接近0。当然,按段估计也有麻烦的地方,它需要针对不同雷达的扫描线分布做标定,比如128线雷达和32线雷达的扇形划分数量就完全不同。3.3 地面分割质量如何影响后续算法地面分割做得好不好,直接影响三件事:聚类连通性、检测框高度估计、以及地面反射点造成的虚警。聚类侧的问题最直观。地面不干净时,车底、轮拱、路沿石下方残留的地面点会像"胶水"一样,把相邻的两个行人粘成一个目标。检测网络侧,如果地面点残留较多,网络会用大量的"假目标"特征来更新注意力,导致小目标召回率下降。判断地面分割质量,我有一个土办法:把被识别为地面的点渲染成灰色叠加在原始点云上,肉眼观察三类现象——近距离路面是否有明显残留、坡路过渡区是否出现"块状断带"、隧道入口是否有大面积误杀。如果隧道入口有大量真实障碍物被误判成地面,多半是高度阈值设置得过松。4. 目标聚类:点云里的"物以类聚"地面分割完成后,剩下的是非地面点,也就是潜在障碍物。聚类要解决的问题是:哪些点属于同一个物体。这是从"点"到"目标"的第一次抽象。4.1 欧式聚类实现细节欧式聚类是经典的距离连通域算法:随机取一个未访问点作为种子,找它半径r内的所有邻居,把邻居标记为同一簇;再以这些邻居为起点向外生长,直到某一簇周围再也找不到距离小于r的新点为止。实现上有个效率问题:如果每个点都去遍历全部点找邻居,复杂度是O(n²),一帧几万点根本跑不动。工程上必须用KD-Tree做最近邻搜索,复杂度能降到O(n log n)。我第一版实现偷懒没用KD-Tree,一帧10万点的点云聚类耗时200毫秒,换成KD-Tree后直接降到8毫秒。聚类半径r的选择与场景强相关。行人、摩托车这类小目标,点与点之间距离小,r取0.3到0.5米;大型车辆和连续护栏,r可以放宽到0.8米。但城市场景里目标密集,r太大容易把相邻的行人与自行车粘连,太小又会让一辆车分裂成好几个碎片。比较好的做法是让r随距离变化——近处0.3米,远处0.6米。理由是远距离点云密度大幅下降,同一物体上的点间距本来就大,半径必须相应放大。4.2 DBSCAN的优势与代价DBSCAN是欧式聚类的推广,核心区别在于它引入了"密度可达"的概念:一个点只要在半径ε范围内有超过minPts个邻居,就被认为是核心点,核心点可以不断扩张簇;处于核心点边界内的非核心点被吸纳,孤立噪声被直接标记为噪声。在激光雷达场景里,DBSCAN的一个明显优势是能自动处理散乱点。欧式聚类里,噪声点只要靠得近就会被拉进簇里,DBSCAN则会把低密度区域自然剔除。代价也很明显:DBSCAN调参比欧式聚类难,ε和minPts的取值高度依赖点云密度,而密度又随距离变化。若用固定参数,要么近处物体被过度分割,要么远处物体压根成不了簇。我个人的建议是:如果下游是传统聚类+手工特征,DBSCAN值得投资;如果下游是深度检测网络,欧式聚类就够用了,因为网络本身对点云碎片有较强的容忍度,把低质量簇直接丢给网络做分类,效果并不差。4.3 那些让聚类崩掉的真实场景聚类算法看起来原理简单,但在真实道路上会连续踩坑。第一是桥梁接缝与伸缩缝。这些位置两侧的金属结构在点云里往往粘连,聚类会把桥的主体和旁边行驶的车连在一起。解决思路是在聚类前引入"高度连续性"约束:两个相邻点若要归为同一簇,不仅距离要近,高度差也要小于阈值。第二是隧道入口。隧道壁会形成大面积连续点云,如果聚类半径设置偏大,隧道壁会被聚成几个巨大的簇,直接占满整个前方空间。有些项目索性在隧道场景降低雷达权重,靠视觉补盲。这其实暴露出一个本质问题:纯距离聚类对"连续曲面"和"多个物体"的区别能力很弱。第三是护栏与绿化带。连续护栏的点云非常规整,长度可达上百米,聚类出来是一个超长的窄条簇。如果直接把簇的包围盒交给下游,会生成一个巨大的、不可穿越的目标,导致减速或急刹。工程上通常会对长条簇做形状判断:长宽比大于阈值(比如5:1)时,单独走护栏/墙的逻辑分支,而不是走普通车辆的行车逻辑。5. 从聚类到3D检测:深度学习方法怎么上位传统聚类方案在简单场景够用,但遇到复杂城市路况,召回率不够、分类能力缺失、对遮挡目标无能为力。近几年的主流方向是把深度神经网络直接用在3D检测上,与聚类方案形成互补。5.1 两类主流范式:基于点和基于体素基于点的思路是直接对原始点进行操作。核心思想是:每个点独立提取特征,再用对称函数(比如最大池化)把全局特征聚合起来,从而天然免疫点的顺序和数量变化。这个路线对"点云稀疏"与"局部几何细节"的建模更细腻,小目标召回率往往更好,但缺点是原始点数量太大,直接处理的计算量很可观。基于体素的思路是先把空间划分成稀疏体素格,再用稀疏卷积网络提取特征。它在工程上有天然优势:稀疏卷积只计算非空体素,计算效率高,能覆盖更大的感知范围,也更容易做3D区域提议和框回归。缺点是量化会导致局部细节丢失,小目标的定位精度会受影响。实际选型时,不能只看论文数字。某个在公开数据集上mAP很高的模型,换到自己车上的雷达后大概率会掉点,原因很简单:雷达的线束分布、扫描方式、点云密度和公开数据集完全不同。我有一个习惯:拿到新模型,先在自采数据上做三件事——画PR曲线、按距离段统计召回率、按物体高度统计召回率。距离段的掉点通常发生在40米以上,高度段的掉点通常发生在行人这类低矮目标上。5.2 检测输出的后处理:NMS、置信度阈值、类别平衡检测网络输出的是一堆带有置信度分数和3D框的候选目标,后处理环节做三件事:冗余消除、阈值筛选、类别校验。NMS(非极大值抑制)在3D空间里的实现比2D复杂得多:2D框用IoU判断重叠就够了,3D框还需要考虑朝向角。如果两个朝向不同的3D框空间上重叠,IoU很大但实际是两个不同目标,直接按2D IoU做NMS会把其中一个误杀。工程上常用"旋转IoU"或者"中心距离加权"来替代纯IoU,我实测中心距离加权重优于朴素IoU,尤其在车头对车头、车侧对车侧的场景。置信度阈值的选择要用"误报容忍度"来倒推。量产车和量产Robotaxi的阈值策略完全不同:前者宁可漏检也不愿意虚警导致幽灵刹车,后者对召回率的要求更高,因为后台有安全员兜底。我习惯的做法是把置信度阈值做成可标定参数,用"假阳性率/召回率"做一组离线评估曲线,再根据实车接管率来最终确定。还有类别平衡问题。公开数据集里行人和车辆样本充足,但锥桶、倒地栏杆、工地围挡这类长尾类别样本极少。如果直接训练,模型会把锥桶的置信度普遍压低,出现"该刹不刹"。缓解办法是过采样长尾类别、做类别加权损失,或者单独训练一个轻量分类网络跑在检测结果上做二次校验。5.3 聚类方法与深度检测在实际项目中的分工很多团队在落地时不是做二选一,而是做双轨并行。一条轨道用传统聚类,输出"几何学意义的目标";另一条轨道用深度检测网络,输出"语义学意义的目标"。最后做融合和仲裁。这样设计的原因很现实。聚类方案对训练数据集的依赖为零,任何形状怪异、遮挡极端的目标,只要在几何上形成一个连通域,就能被发现,这是它的"兜底"价值。而深度检测方案能提供聚类给不了的东西:类别、朝向、语义属性。两者互为盲区覆盖。融合策略上我推荐"聚类为主、检测为证"的保守策略:聚类目标必须存在,检测结果用来打标签和修正尺寸。反过来"检测为主"的方案在泛化上风险更大——长尾类别没训练过就是没训练过,几何信息不会骗人。当然,如果你做的是高阶自动驾驶(比如无人出租车),对感知能力要求更高,可以适当把检测结果权重抬高,但一定要在安全员干预率上做充分验证。6. 落地踩坑记录:参数、算力、场景三板斧前面讲的是算法原理和实现思路,最后这部分是我在多个项目里积累的实际工程经验,主要集中在这三个方面:初始参数怎么定、算力怎么估、极端场景怎么应付。6.1 一套能用的初始参数表下面这组参数适合一台128线、测距150米左右的雷达,在城市道路场景起步。我没有用特殊调优,纯"能用"水平:模块参数项初始值说明体素降采样体素边长0.1米算力紧张可放宽到0.15米统计离群点去除近邻数K20按距离分区分别计算统计离群点去除标准差倍数m2.01.5~3.0之间微调直通滤波前向范围150米与雷达测距能力一致直通滤波高度范围-0.2米~2.5米下限要留地面余量地面分割分段长度3米扇形沿径向每3米取一段欧式聚类近处半径0.3米30米内欧式聚类远处半径0.6米30米外逐步放宽3D检测NMS旋转IoU阈值0.13D框更拥挤,阈值比2D低从这组参数起步,白天城市道路基本能跑通。晚上、雨天、隧道、黄昏逆光单独调。调参的顺序也有讲究。我建议先调地面分割,再调聚类半径,最后调检测阈值。地面分割的误差会被聚类和检测逐级放大,你在地面分割上省的时间,后面会加倍还回去。这个顺序我踩过反过来的坑:先调了聚类半径,结果发现无论怎么改都有一堆碎片,查了半天才意识到是地面残留点把目标黏连了。6.2 算力和时延预算怎么估算感知模块的算力预算不能只看算法复杂度,要看整条链路的实测时延。我给出一个典型配置(车规级域控制器,单颗中端AI芯片):预处理约5毫秒,地面分割约3毫秒,聚类约8毫秒,3D检测网络约25毫秒,后处理约4毫秒,总时延约45毫秒。如果再加上目标跟踪和传感器融合,链路总时延会到70到100毫秒之间。在这个预算里,最大的变数永远是检测网络。网络算力需求和输入体素数强相关,我把体素尺寸从0.1米改成0.05米后,网络推理时间直接翻了三倍。所以如果你的平台算力吃紧,优先动体素尺寸,而不是去优化聚类那几毫秒。还有一个容易忽略的点:点云处理是典型的内存带宽敏感任务。同样的算法,在内存带宽不同的芯片上表现差距很大。我遇到过一种情况:算法耗时统计数据漂亮,但整机部署后帧率下降明显,排查后发现是多块内存之间反复拷贝点云导致的。解决办法是尽量在原始内存块上做原地处理,或者用零拷贝机制把点云数据直接传给GPU/NPU侧。6.3 雨雾、隧道、高架下的真实表现先说雨雾。雨滴会反射激光产生大量悬浮噪点,点云的信噪比明显下降。聚类阶段如果不加处理,雨滴噪点会形成大量小簇,直接拉爆下游逻辑。应对手段分三层:物理层用波长抗干扰更强的雷达;算法层在统计滤波阶段提高离群点判定强度;逻辑层对面积过小、高度过低、置信度极低的小簇直接丢弃。三层叠加能把雨天的虚警率控制在可接受范围。隧道场景最大的问题是环境反射。隧道壁是浅色金属/瓷砖表面,镜面反射会让激光产生"重影点",即真实位置之外出现的虚假反射点。这些重影点最常见的位置是在隧道壁和水沟盖板之间,聚类时容易形成假目标。我在隧道场景专门加了一道"重影点检测":如果某点在近距离出现,同时在其反射对称方向上存在高反射率点,就把它标记为可疑点,降低权重。高架场景则暴露地面分割的另一个弱点:高架下方的地面往往与匝道坡道呈一定夹角,平面模型拟合出的"地面"会骑在两个平面之间。处理方式是引入多平面拟合,允许同时存在两到三个主要平面,再根据车辆的行驶轨迹选择与车轮接触的那个平面作为真实地面。这套多平面逻辑上线后,高架桥下误检率下降了六成以上,是我印象最深刻的一次优化。回到开头那个问题:点云到底是什么?现在你应该清楚了,它是一堆积木,预处理负责清洗积木,地面分割负责把"路"和"物"分开,聚类和检测负责把积木拼成一个个有名字的物体。第4章把这些环节串起来,你就拥有了一套能跑起来、能调的感知链路。最后说一句个人体会:这套链路的任何一个环节出了问题,最终表现都是"乱报"或"漏报",排查时永远从最上游开始翻,不要一上来就怀疑检测网络——我用这个习惯,省掉的排查时间比调试时间还多。
1. 先看全景:这一章解决的是感知链路里的哪一段我当年第一次把激光雷达点云接到自研感知模块时,第一反应是:这东西和视频里看的完全不一样。几万到几十万个三维点,密度高高低低,近处密集得像一堵墙,远处稀疏到几乎看不见。点云不是一张"图",它是一堆三维坐标的集合,算法要做的事情,是从这堆坐标里回答四个问题:哪里有东西、是什么、在哪里、在干什么。这套"智能驾驶激光雷达算法详解"系列写到这里已经是第4章。前面几章把激光雷达的工作原理、点云的数据格式、坐标系与标定讲清楚了,那些是地基。从这一章开始,进入真正的感知算法主体——我把第4章定义为"从原始点云到目标框"的完整链路,包括点云预处理、地面分割、目标聚类、3D检测网络,以及这些算法在量产项目里的工程化问题。这一章适合两类人。一类是正在做智能驾驶感知开发、想把激光雷达链路从零搭起来的工程师,可以直接把文中的处理顺序、参数初始值和调试方法当成第一版参考;另一类是准备转行做三维视觉的算法同学,这一章帮你建立从"点云数据"到"可决策的高层语义信息"之间的完整映射。后面的第五章会讲目标跟踪和轨迹预测,如果你想把多帧时序也串起来,这一章的地基不打牢,后面会很痛苦。整个处理链路我习惯画成四段:原始点云 → 预处理 → 地面分割与障碍物提取 → 目标检测与输出。每一段都有独立的问题域。预处理管的是"数据是否干净",地面分割管的是"哪些点属于路,哪些点属于物",聚类和检测管的是"这些物是谁、在哪、多大",最终输出的是给规划控制用的目标列表。这篇文章把每一段掰开揉碎讲。2. 预处理三板斧:降采样、去噪、裁剪原始点云不能直接喂给下游,原因有三个:数据量太大、噪声太野、无效区域太多。不处理,聚类和检测算法的计算延迟会直接爆掉。预处理环节我固定用三个算子组合:体素降采样、统计离群点去除、直通滤波裁剪。2.1 体素降采样:控制点云规模的第一道闸门体素降采样的思路非常朴素:把三维空间划分成固定大小的立方体格,每个格子里只保留一个点,这个点的坐标可以取格内所有点的均值,也可以直接取第一个进来的点。格子边长就是你要调的参数。为什么这种"粗暴"方法能成为行业默认?因为激光雷达点云的冗余度太高了。近处物体上密集的点可能间距只有几厘米,但对检测一个几米宽的车辆来说,厘米级的密度信息几乎没有增益。把点间距拉大到10厘米甚至20厘米,信息量损失很小,点云数量却能下降一个数量级。体素尺寸的选择直接影响下游效果。我做过一组对比:在同样的场景下,体素边长分别取0.05米、0.1米、0.2米。0.05米时点云量约12万点,0.1米时约3万点,0.2米时只剩8000点。对一辆2米宽的车来说,0.2米体素依然能保留约10行扫描线,聚类效果肉眼可见地变差是从0.3米开始的。所以一般建议起始值设在0.1米到0.15米之间,算力紧张再往0.2米走。这里有个容易踩的坑:如果你的下采样实现是"每个格子只保留第一个点",并且体素尺寸偏大,那么点的空间分布会被随机性污染,同一个物体在不同帧里的采样结果可能差很多。更稳的做法是取格内所有点的均值,这样相当于做了一个局部平滑,帧与帧之间的稳定性会好不少。代价仅仅是多一次遍历求和的算力,非常划算。2.2 统计离群点去除:滤掉"飞点"的经典手段激光雷达点云里总有一些点落在完全不可能的位置——比如悬在空中的孤立点、车身旁边突然蹦出来的一个亮点。这些点大部分来自多路径反射和极低反射率物体的噪声,量级不大,但对聚类算法来说非常致命。聚类是按距离连通域找物体的,一个孤立飞点可能自己形成一个"物体",而产生一个虚假目标。统计离群点去除(Statistical Outlier Removal)的做法是:对每个点,计算它到最近的K个邻居的平均距离,然后看整个点云的均值μ和标准差σ。如果一个点的平均距离大于μ + m×σ(m通常取1.0到4.0),就认为它是离群点,直接删掉。这里有个细节我提醒过不少人:统计滤波的假设是"点密度符合正态分布",但在雷达的近处区域密度极高、远处密度极低,整体分布并不正态。如果你对整个点云做一次全局统计,远处那些正常点反而会被当成离群点误删。解决办法是把滤波操作分区域做,或者把统计范围限定在同一个光束/同一个距离区间内。我实际用的方案是:先按距离把点云分成近、中、远三个区间,每个区间单独算μ和σ,效果比全局统计稳定得多。2.3 直通滤波裁剪ROI:算力是省出来的直通滤波就是沿着某个坐标轴画一个范围,范围外的点全部丢弃。对车载激光雷达来说,通常裁剪三个方向:前方保留150米(取决于测距能力),侧向保留左右各30米,高度范围从地面以上0.2米保留到车上方2.5米左右。很多人觉得这一步可有可无,实际上它带来的收益非常大。一台线数越高的雷达,单帧点云数量越大,而真正对驾驶决策有用的区域通常只在车前100米、横向40米以内。把远处冗余点和超出感知需求的高空点直接扔掉,聚类和检测阶段的耗时能下降30%到50%。裁剪时需要注意高度下限。我见过一次事故排查:某天傍晚系统把路面上的小纸箱识别成了行人,后来定位到原因,是高度下限设成了0米,地面分割又不彻底,路沿石的点混进障碍物里。建议下限设置成略高于传感器安装高度对应的地面误差,比如0.15米左右,这能滤掉一部分地面残留点。3. 地面分割:不把它干掉,聚类就会把道路连成一片地面分割在整个链路里地位特殊。如果不对点云做地面分割,直接聚类,那么道路上的点会与所有障碍物的底部点连成一片,一辆车、两个人、一个路沿石会被聚成一个巨大的连通域,下游完全没法用。可以说地面分割是"障碍物提取"的充分前置条件。3.1 RANSAC平面拟合的基本原理和退化场景RANSAC拟合平面的思路很简单:随机选三个点确定一个平面,计算有多少点落在该平面附近(距离阈值内),重复迭代,选出内点最多的平面。这个算法在点云处理里几乎是圣器,任何一本三维视觉书都会讲。实际用下来,RANSAC对平整道路非常有效,但有三个先天问题。第一是计算量。如果每帧都用RANSAC在全图范围内拟合平面,迭代次数不够找不到最优平面,迭代次数够了实时性又完蛋。所以工程上通常先做一次降采样,再在降采样后的点云上做RANSAC,把迭代次数控制在50到100次。第二是斜坡问题。城市道路不是纯平面,桥面、匝道、拱形路面都存在一定的曲率。一个全局平面模型在坡顶会把坡面拟合得不错,但在坡底和坡顶的过渡区域,拟合残差会很大,导致切成两段:一段被当地面,另一段被判为障碍物。第三是"地面"的定义边界。RANSAC拟合出的平面是没有尺度的,它不会管你拟合的是道路还是旁边建筑的墙根。如果一条路紧贴高墙,墙根的立面点会严重干扰平面拟合,把估计出的平面"拽"向墙面斜上方。3.2 工程上更常用的改进:按射线分段拟合针对上面这些问题,量产项目里更常用的是基于"射线+近距离线性插值"的地面估计方法,思路很直观:把雷达坐标系按角度划分成若干个扇形区域,每个区域内,沿径向把点云按距离分成多个小段,在每一段内,取高度最低的几个点,认为它们是地面候选点,再对相邻段的候选点做线性拟合和插值,形成一个连续的地面高度估计。这样做的好处有三个。第一,它天然适应坡度变化——每个扇形区域、每个距离段独立估计,不要求全局是一个平面。第二,计算量小,不需要随机采样迭代,每帧耗时极低。第三,它天然处理了路沿——路沿的高度突变会被捕捉为分段点,不会像RANSAC那样被平滑掉。我实际测试过两种方案的对比:在同一段带坡度的城市快速路上,RANSAC方案在坡顶有一个10米左右的"虚假物体"区域,误检率约2%;换成按段估计后,该区域的误检降到接近0。当然,按段估计也有麻烦的地方,它需要针对不同雷达的扫描线分布做标定,比如128线雷达和32线雷达的扇形划分数量就完全不同。3.3 地面分割质量如何影响后续算法地面分割做得好不好,直接影响三件事:聚类连通性、检测框高度估计、以及地面反射点造成的虚警。聚类侧的问题最直观。地面不干净时,车底、轮拱、路沿石下方残留的地面点会像"胶水"一样,把相邻的两个行人粘成一个目标。检测网络侧,如果地面点残留较多,网络会用大量的"假目标"特征来更新注意力,导致小目标召回率下降。判断地面分割质量,我有一个土办法:把被识别为地面的点渲染成灰色叠加在原始点云上,肉眼观察三类现象——近距离路面是否有明显残留、坡路过渡区是否出现"块状断带"、隧道入口是否有大面积误杀。如果隧道入口有大量真实障碍物被误判成地面,多半是高度阈值设置得过松。4. 目标聚类:点云里的"物以类聚"地面分割完成后,剩下的是非地面点,也就是潜在障碍物。聚类要解决的问题是:哪些点属于同一个物体。这是从"点"到"目标"的第一次抽象。4.1 欧式聚类实现细节欧式聚类是经典的距离连通域算法:随机取一个未访问点作为种子,找它半径r内的所有邻居,把邻居标记为同一簇;再以这些邻居为起点向外生长,直到某一簇周围再也找不到距离小于r的新点为止。实现上有个效率问题:如果每个点都去遍历全部点找邻居,复杂度是O(n²),一帧几万点根本跑不动。工程上必须用KD-Tree做最近邻搜索,复杂度能降到O(n log n)。我第一版实现偷懒没用KD-Tree,一帧10万点的点云聚类耗时200毫秒,换成KD-Tree后直接降到8毫秒。聚类半径r的选择与场景强相关。行人、摩托车这类小目标,点与点之间距离小,r取0.3到0.5米;大型车辆和连续护栏,r可以放宽到0.8米。但城市场景里目标密集,r太大容易把相邻的行人与自行车粘连,太小又会让一辆车分裂成好几个碎片。比较好的做法是让r随距离变化——近处0.3米,远处0.6米。理由是远距离点云密度大幅下降,同一物体上的点间距本来就大,半径必须相应放大。4.2 DBSCAN的优势与代价DBSCAN是欧式聚类的推广,核心区别在于它引入了"密度可达"的概念:一个点只要在半径ε范围内有超过minPts个邻居,就被认为是核心点,核心点可以不断扩张簇;处于核心点边界内的非核心点被吸纳,孤立噪声被直接标记为噪声。在激光雷达场景里,DBSCAN的一个明显优势是能自动处理散乱点。欧式聚类里,噪声点只要靠得近就会被拉进簇里,DBSCAN则会把低密度区域自然剔除。代价也很明显:DBSCAN调参比欧式聚类难,ε和minPts的取值高度依赖点云密度,而密度又随距离变化。若用固定参数,要么近处物体被过度分割,要么远处物体压根成不了簇。我个人的建议是:如果下游是传统聚类+手工特征,DBSCAN值得投资;如果下游是深度检测网络,欧式聚类就够用了,因为网络本身对点云碎片有较强的容忍度,把低质量簇直接丢给网络做分类,效果并不差。4.3 那些让聚类崩掉的真实场景聚类算法看起来原理简单,但在真实道路上会连续踩坑。第一是桥梁接缝与伸缩缝。这些位置两侧的金属结构在点云里往往粘连,聚类会把桥的主体和旁边行驶的车连在一起。解决思路是在聚类前引入"高度连续性"约束:两个相邻点若要归为同一簇,不仅距离要近,高度差也要小于阈值。第二是隧道入口。隧道壁会形成大面积连续点云,如果聚类半径设置偏大,隧道壁会被聚成几个巨大的簇,直接占满整个前方空间。有些项目索性在隧道场景降低雷达权重,靠视觉补盲。这其实暴露出一个本质问题:纯距离聚类对"连续曲面"和"多个物体"的区别能力很弱。第三是护栏与绿化带。连续护栏的点云非常规整,长度可达上百米,聚类出来是一个超长的窄条簇。如果直接把簇的包围盒交给下游,会生成一个巨大的、不可穿越的目标,导致减速或急刹。工程上通常会对长条簇做形状判断:长宽比大于阈值(比如5:1)时,单独走护栏/墙的逻辑分支,而不是走普通车辆的行车逻辑。5. 从聚类到3D检测:深度学习方法怎么上位传统聚类方案在简单场景够用,但遇到复杂城市路况,召回率不够、分类能力缺失、对遮挡目标无能为力。近几年的主流方向是把深度神经网络直接用在3D检测上,与聚类方案形成互补。5.1 两类主流范式:基于点和基于体素基于点的思路是直接对原始点进行操作。核心思想是:每个点独立提取特征,再用对称函数(比如最大池化)把全局特征聚合起来,从而天然免疫点的顺序和数量变化。这个路线对"点云稀疏"与"局部几何细节"的建模更细腻,小目标召回率往往更好,但缺点是原始点数量太大,直接处理的计算量很可观。基于体素的思路是先把空间划分成稀疏体素格,再用稀疏卷积网络提取特征。它在工程上有天然优势:稀疏卷积只计算非空体素,计算效率高,能覆盖更大的感知范围,也更容易做3D区域提议和框回归。缺点是量化会导致局部细节丢失,小目标的定位精度会受影响。实际选型时,不能只看论文数字。某个在公开数据集上mAP很高的模型,换到自己车上的雷达后大概率会掉点,原因很简单:雷达的线束分布、扫描方式、点云密度和公开数据集完全不同。我有一个习惯:拿到新模型,先在自采数据上做三件事——画PR曲线、按距离段统计召回率、按物体高度统计召回率。距离段的掉点通常发生在40米以上,高度段的掉点通常发生在行人这类低矮目标上。5.2 检测输出的后处理:NMS、置信度阈值、类别平衡检测网络输出的是一堆带有置信度分数和3D框的候选目标,后处理环节做三件事:冗余消除、阈值筛选、类别校验。NMS(非极大值抑制)在3D空间里的实现比2D复杂得多:2D框用IoU判断重叠就够了,3D框还需要考虑朝向角。如果两个朝向不同的3D框空间上重叠,IoU很大但实际是两个不同目标,直接按2D IoU做NMS会把其中一个误杀。工程上常用"旋转IoU"或者"中心距离加权"来替代纯IoU,我实测中心距离加权重优于朴素IoU,尤其在车头对车头、车侧对车侧的场景。置信度阈值的选择要用"误报容忍度"来倒推。量产车和量产Robotaxi的阈值策略完全不同:前者宁可漏检也不愿意虚警导致幽灵刹车,后者对召回率的要求更高,因为后台有安全员兜底。我习惯的做法是把置信度阈值做成可标定参数,用"假阳性率/召回率"做一组离线评估曲线,再根据实车接管率来最终确定。还有类别平衡问题。公开数据集里行人和车辆样本充足,但锥桶、倒地栏杆、工地围挡这类长尾类别样本极少。如果直接训练,模型会把锥桶的置信度普遍压低,出现"该刹不刹"。缓解办法是过采样长尾类别、做类别加权损失,或者单独训练一个轻量分类网络跑在检测结果上做二次校验。5.3 聚类方法与深度检测在实际项目中的分工很多团队在落地时不是做二选一,而是做双轨并行。一条轨道用传统聚类,输出"几何学意义的目标";另一条轨道用深度检测网络,输出"语义学意义的目标"。最后做融合和仲裁。这样设计的原因很现实。聚类方案对训练数据集的依赖为零,任何形状怪异、遮挡极端的目标,只要在几何上形成一个连通域,就能被发现,这是它的"兜底"价值。而深度检测方案能提供聚类给不了的东西:类别、朝向、语义属性。两者互为盲区覆盖。融合策略上我推荐"聚类为主、检测为证"的保守策略:聚类目标必须存在,检测结果用来打标签和修正尺寸。反过来"检测为主"的方案在泛化上风险更大——长尾类别没训练过就是没训练过,几何信息不会骗人。当然,如果你做的是高阶自动驾驶(比如无人出租车),对感知能力要求更高,可以适当把检测结果权重抬高,但一定要在安全员干预率上做充分验证。6. 落地踩坑记录:参数、算力、场景三板斧前面讲的是算法原理和实现思路,最后这部分是我在多个项目里积累的实际工程经验,主要集中在这三个方面:初始参数怎么定、算力怎么估、极端场景怎么应付。6.1 一套能用的初始参数表下面这组参数适合一台128线、测距150米左右的雷达,在城市道路场景起步。我没有用特殊调优,纯"能用"水平:模块参数项初始值说明体素降采样体素边长0.1米算力紧张可放宽到0.15米统计离群点去除近邻数K20按距离分区分别计算统计离群点去除标准差倍数m2.01.5~3.0之间微调直通滤波前向范围150米与雷达测距能力一致直通滤波高度范围-0.2米~2.5米下限要留地面余量地面分割分段长度3米扇形沿径向每3米取一段欧式聚类近处半径0.3米30米内欧式聚类远处半径0.6米30米外逐步放宽3D检测NMS旋转IoU阈值0.13D框更拥挤,阈值比2D低从这组参数起步,白天城市道路基本能跑通。晚上、雨天、隧道、黄昏逆光单独调。调参的顺序也有讲究。我建议先调地面分割,再调聚类半径,最后调检测阈值。地面分割的误差会被聚类和检测逐级放大,你在地面分割上省的时间,后面会加倍还回去。这个顺序我踩过反过来的坑:先调了聚类半径,结果发现无论怎么改都有一堆碎片,查了半天才意识到是地面残留点把目标黏连了。6.2 算力和时延预算怎么估算感知模块的算力预算不能只看算法复杂度,要看整条链路的实测时延。我给出一个典型配置(车规级域控制器,单颗中端AI芯片):预处理约5毫秒,地面分割约3毫秒,聚类约8毫秒,3D检测网络约25毫秒,后处理约4毫秒,总时延约45毫秒。如果再加上目标跟踪和传感器融合,链路总时延会到70到100毫秒之间。在这个预算里,最大的变数永远是检测网络。网络算力需求和输入体素数强相关,我把体素尺寸从0.1米改成0.05米后,网络推理时间直接翻了三倍。所以如果你的平台算力吃紧,优先动体素尺寸,而不是去优化聚类那几毫秒。还有一个容易忽略的点:点云处理是典型的内存带宽敏感任务。同样的算法,在内存带宽不同的芯片上表现差距很大。我遇到过一种情况:算法耗时统计数据漂亮,但整机部署后帧率下降明显,排查后发现是多块内存之间反复拷贝点云导致的。解决办法是尽量在原始内存块上做原地处理,或者用零拷贝机制把点云数据直接传给GPU/NPU侧。6.3 雨雾、隧道、高架下的真实表现先说雨雾。雨滴会反射激光产生大量悬浮噪点,点云的信噪比明显下降。聚类阶段如果不加处理,雨滴噪点会形成大量小簇,直接拉爆下游逻辑。应对手段分三层:物理层用波长抗干扰更强的雷达;算法层在统计滤波阶段提高离群点判定强度;逻辑层对面积过小、高度过低、置信度极低的小簇直接丢弃。三层叠加能把雨天的虚警率控制在可接受范围。隧道场景最大的问题是环境反射。隧道壁是浅色金属/瓷砖表面,镜面反射会让激光产生"重影点",即真实位置之外出现的虚假反射点。这些重影点最常见的位置是在隧道壁和水沟盖板之间,聚类时容易形成假目标。我在隧道场景专门加了一道"重影点检测":如果某点在近距离出现,同时在其反射对称方向上存在高反射率点,就把它标记为可疑点,降低权重。高架场景则暴露地面分割的另一个弱点:高架下方的地面往往与匝道坡道呈一定夹角,平面模型拟合出的"地面"会骑在两个平面之间。处理方式是引入多平面拟合,允许同时存在两到三个主要平面,再根据车辆的行驶轨迹选择与车轮接触的那个平面作为真实地面。这套多平面逻辑上线后,高架桥下误检率下降了六成以上,是我印象最深刻的一次优化。回到开头那个问题:点云到底是什么?现在你应该清楚了,它是一堆积木,预处理负责清洗积木,地面分割负责把"路"和"物"分开,聚类和检测负责把积木拼成一个个有名字的物体。第4章把这些环节串起来,你就拥有了一套能跑起来、能调的感知链路。最后说一句个人体会:这套链路的任何一个环节出了问题,最终表现都是"乱报"或"漏报",排查时永远从最上游开始翻,不要一上来就怀疑检测网络——我用这个习惯,省掉的排查时间比调试时间还多。