1. 为什么值得回头翻ECCV 2020的点云论文如果你正在做3D感知、自动驾驶、机器人抓取或者三维重建相关的方向ECCV 2020这一批点云文章放到今天依然值得系统性地翻一遍。原因很直接那一年是点云研究从“能跑通”往“跑得准、跑得快、跑得省标注”转向的关键节点很多后面被反复引用的骨干思路都是在那批工作里第一次被讲清楚的。我自己在做点云分割项目时回头把这一年的文章按任务重新梳理了一遍发现比零散地刷单篇效率高太多所以这里把当时的整理思路和踩过的坑完整写出来。这篇内容适合三类人刚进点云方向、需要快速建立全局认知的新手做工程项目、需要选一个能落地的骨干网络的中级开发者以及准备写综述或开题、需要按任务线梳理文献的研究者。核心关键词就是3D点云、ECCV 2020、文章汇总但我不想只给你一个干巴巴的列表而是按任务维度拆开讲清楚每类工作解决什么问题、技术路线怎么选、复现时要注意什么。先说清楚一个前提ECCV是两年一届的会议2020这一届在点云方向的投稿量相比前几届有明显增长覆盖的任务也从单一的分类分割扩展到了检测、配准、补全、生成、自监督等多个分支。所以“汇总”这件事本身是有难度的——如果只是按字母顺序罗列读者根本记不住。我的做法是先按任务类型分大类再在每个大类里按技术路线排座次最后标注哪些是工程上真正能用的、哪些是偏理论探索的。2. 点云文章汇总的整体分类思路2.1 按任务维度切分而不是按网络结构很多人整理文献喜欢按“基于体素的”“基于点的”“基于图的”来分这个分法在2018年前后还成立到2020年已经不太够用了。因为那一年大量工作开始做混合表示一个网络里同时用体素做骨干、用点做精细回归你硬按结构归类会自相矛盾。我试过两种分法最后发现按任务分最稳分类分割、目标检测、配准、补全与生成、自监督与预训练、以及少量跨模态工作。每个任务下再谈结构选择逻辑就顺了。这样分还有一个好处工程落地时你关心的首先是“我要解决什么任务”而不是“我要用什么结构”。比如你要做的是室外场景的3D检测那直接跳到检测那一类看哪些方法在KITTI或nuScenes上验证过比在结构分类里大海捞针高效得多。2.2 每篇文章要抓的四个信息点汇总不是抄标题。我给自己定了一个模板每篇至少抓四个点解决的核心问题、关键技术手段、实验验证的数据集与指标、可复现性。前两个点决定这篇工作值不值得读后两个点决定它能不能被你用起来。尤其是可复现性很多2020年的工作代码放出来了但依赖版本很老直接跑会报一堆错这个后面会专门讲。提示整理时一定要标注数据集。同一个方法在ShapeNet上刷到SOTA不代表它在ScanNet这种真实扫描数据上也能用域差异在点云里比图像里更明显。2.3 一张表看清任务分布下面这张表是我当时整理出来的任务分布概览方便你快速定位自己关心的方向。数据集一栏列的是该任务最常被用来做验证的基准。任务类型核心目标常用数据集典型技术路线分类与分割给点或整体打标签ModelNet、ShapeNet、S3DIS点卷积、注意力、稀疏卷积目标检测定位并分类3D框KITTI、nuScenes、Waymo单阶段、两阶段、anchor-free配准求两片点云的变换ModelNet40、KITTI odometry对应点学习、特征匹配补全与生成从残缺恢复完整形状ShapeNet、Completion3D编码解码、扩散、对抗自监督预训练无标注学表征ShapeNet、ScanNet对比学习、掩码重建这张表不是让你背而是让你在读到一篇具体文章时能立刻把它放进坐标系里知道它在跟谁比、比的是什么。3. 分类与分割方向的核心工作拆解3.1 点卷积与局部特征聚合的演进分类分割是点云最基础的任务2020年这一块的主线是局部特征聚合方式的改进。早期PointNet直接对每个点做MLP再全局池化丢掉了局部结构PointNet引入球查询加多层聚合但采样和分组是固定的。ECCV 2020上有几篇工作就在动这个“固定”二字比如用可学习的采样策略替代最远点采样或者用注意力加权替代最大池化。为什么这件事重要因为点云是无序且密度不均的固定半径的球查询在稀疏区域会漏掉邻居在密集区域又会引入冗余。我实测过一个用可学习采样替换FPS的版本在S3DIS上mIoU能涨一到两个点但训练时间增加了大概三成因为采样网络本身要学。所以这里有个取舍精度换时间看你的场景能不能接受。3.2 稀疏卷积在分割里的落地那一年另一个明显趋势是稀疏卷积在分割任务上的成熟。体素化会带来大量空体素普通3D卷积在这些空处白算稀疏卷积只对非空体素计算效率提升非常明显。ECCV 2020上有工作把稀疏卷积和点分支结合体素分支负责大范围上下文点分支负责边界精细分割。实操上要注意的是体素分辨率的选择。分辨率设成5厘米一个室内房间大概几十万体素显存还能扛设成2厘米体素数直接翻几倍单卡很容易爆。我一般先用5厘米跑通流程确认精度瓶颈在边界后再往细调而不是一上来就追求最细分辨率。3.3 分割任务的注意事项做分割复现时有几个坑我踩过。第一数据增强里的旋转要小心室内场景的“上方向”是有物理意义的绕垂直轴旋转没问题随便绕任意轴旋转会让地板和天花板颠倒标签就错了。第二类别不平衡在点云里比图像更严重地板墙面占大头小物体类别样本极少损失函数里加类别权重或者用focal loss是常规操作。第三评估时mIoU对少数类敏感如果项目关心的是小物体别只看mIoU要单独看那些类的IoU。注意很多开源分割代码默认在验证集上做测试时用了滑窗或全场景输入两种设置的指标不可直接比较引用别人数字前先确认评估协议。4. 目标检测方向的路线对比4.1 单阶段与两阶段的取舍3D检测在ECCV 2020上主要分两派单阶段和两阶段。单阶段直接从点云或体素回归框速度快适合实时场景两阶段先出候选区域再精细回归精度高但慢。那一年有个明显趋势是单阶段方法在精度上追得很紧差距在缩小。选哪个取决于你的延迟预算。自动驾驶感知通常要求10赫兹以上单阶段更合适如果是离线标注或者对精度极致追求的场景两阶段可以接受。我做过一个对比实验同样的骨干两阶段比单阶段在KITTI汽车类上AP高大概两到三个点但推理时间翻倍这个账要算清楚。4.2 关键参数anchor设计与回归损失检测里最影响结果的两个东西是anchor设计和回归损失。anchor的尺寸要匹配数据集的物体分布KITTI里汽车的长宽高有统计规律直接套用默认anchor往往不是最优。回归损失方面那一年不少工作从单纯的L1/L2转向了带方向感知的损失因为3D框的方向回归存在周期性直接回归角度会在边界处跳变。我自己的经验是先把anchor按数据集的真实框做聚类得到几个典型尺寸再调损失权重。方向回归用sin/cos编码或者分bin分类比直接回归角度稳得多。这个细节很多论文一笔带过但复现时不做指标会差一截。4.3 检测任务的实操心得检测复现最大的坑是坐标系和标注格式。不同数据集的框定义不一样有的用中心点加尺寸加朝向有的用两个角点转换时稍不注意就错位。我建议第一步先写个可视化脚本把标注框画到点云上肉眼确认对了再往下做。这一步花十分钟能省掉后面几天的debug。另一个坑是评估时的IoU阈值。KITTI汽车类用0.7行人类用0.5阈值不同结果差异很大跨论文比较时务必对齐。还有别忽略难度分级简单、中等、困难三档的指标要分开看只报一个总数说明不了问题。5. 配准、补全与生成方向5.1 配准从对应点学习到端到端配准的任务是求两片点云之间的刚体变换。传统方法靠特征描述子加RANSAC2020年的趋势是端到端学习对应点。ECCV 2020上有工作直接用网络预测对应关系再用可微的SVD层解出变换整个流程可以反向传播。这条路线的优势是对噪声和部分重叠更鲁棒但难点在于对应点的监督信号怎么来。完全无监督的话常用的是对比学习思路让真实对应点的特征靠近、非对应点远离。我试过在部分重叠的数据上跑重叠率低于30%时效果下降明显所以如果你的场景重叠度很低要有心理准备。5.2 补全与生成编码解码仍是主流点云补全是从残缺形状恢复完整形状生成是从噪声或隐码造出点云。那一年主流还是编码器解码器结构编码器提取全局特征解码器逐点生成。改进点主要在解码器的输出方式有的用折叠操作把2D网格映射到3D有的用Transformer式的逐点查询。生成任务里对抗训练和扩散思路都有出现。扩散在点云上的应用当时还比较初步但已经能看到潜力。补全的评估指标常用Chamfer距离和EMD注意这两个指标对点的数量和分布敏感比较时要保证采样点数一致。5.3 这类任务的常见问题补全和生成最容易出的问题是模式坍塌生成的点云千篇一律缺乏多样性。对抗训练里判别器太强或太弱都会导致训练不稳。我的经验是判别器和生成器的更新频率可以不一样比如判别器每步更新、生成器隔步更新能缓解不稳定。另外补全任务里对称性是个双刃剑。很多物体椅子、桌子、车有对称结构网络很容易学会“镜像填充”来偷懒在对称物体上指标好看遇到非对称物体就露馅。评估时最好单独看非对称类别的结果。6. 自监督与预训练方向6.1 对比学习在点云上的适配自监督是2020年的大热点点云也不例外。核心思路是构造正负样本对让网络学出判别性表征。点云上的正样本构造比图像难因为增强方式有限旋转、缩放、裁剪、加噪声是常用的但旋转对某些任务比如需要绝对朝向的检测会破坏语义。对比学习的关键是负样本的数量和质量。负样本太少任务太简单学不到东西负样本太多显存扛不住。那一年有工作用动量编码器加队列的方式扩大负样本这个思路在点云上也被借鉴了。我实测下来预训练后再微调在小样本场景下提升最明显数据充足时提升有限。6.2 掩码重建思路另一条线是掩码重建把部分点遮住让网络预测。这个思路后来在点云上被发扬光大但ECCV 2020时还处于早期。掩码比例是个关键超参太低学不到东西太高信息不够。经验值在30%到60%之间具体看点云密度。重建的目标可以是坐标、法向量或者占用概率。预测占用概率比直接回归坐标更稳因为坐标回归对异常值敏感。这个细节在复现时值得注意。6.3 预训练值不值得做很多人问预训练到底值不值得。我的判断是如果你的下游任务标注数据少比如几百个样本预训练能带来明显提升如果标注充足几万以上预训练收益递减还要额外花时间。另外预训练的数据域要和下游接近在合成数据上预训练、在真实扫描上微调域差距会吃掉一部分收益。7. 复现与工程落地的实操要点7.1 环境与依赖的坑2020年的代码放到现在跑最大的障碍是依赖版本。PyTorch版本、CUDA版本、以及一些自定义的CUDA算子经常对不上。我的做法是先建一个隔离环境按论文仓库的requirements装装不上再逐个降级。自定义算子编译失败是常事检查CUDA版本和编译器版本是否匹配。提示如果仓库很久没更新先看issue区有没有人遇到同样问题往往已经有人给出了可用的版本组合比你自己试快得多。7.2 数据预处理的细节点云数据预处理里采样和归一化最影响结果。采样方式随机、最远点、体素不同输入分布就不同网络表现会有差异。归一化要把点云平移到原点、缩放到单位球这一步不做网络很难收敛。还有很多数据集提供的点云带有颜色或法向量用不用这些额外通道要实验决定。颜色在室内分割里有用在室外稀疏点云里作用有限。7.3 训练技巧与调参训练点云网络学习率调度和batch size很关键。点云网络对batch size比图像网络更敏感因为每个样本的点数可能不同padding会引入无效计算。梯度累积是个好办法用小batch模拟大batch。数据增强要适度。旋转、缩放、抖动是标配但抖动幅度太大会破坏局部结构。我一般从很小的抖动开始逐步加大观察验证集指标找到拐点。8. 常见问题速查与避坑清单8.1 问题速查表问题现象可能原因排查方向训练loss不下降学习率过大、归一化缺失检查数据归一化、降学习率验证指标远低于训练过拟合、数据泄漏检查增强、确认划分无重叠显存爆掉体素分辨率过高、batch过大降分辨率、梯度累积推理速度慢采样算子耗时、后处理重profile各模块、简化后处理复现指标对不上评估协议不同、预处理差异对齐IoU阈值、采样点数8.2 独家避坑技巧第一个技巧先跑通再优化。别一上来就改网络结构先用默认配置跑通全流程确认数据管道没问题再动模型。我见过太多人卡在数据加载上却以为是模型问题。第二个技巧可视化中间结果。点云任务的可视化比图像更重要因为3D空间关系肉眼难判断。把预测框、分割结果、对应点都画出来看很多bug一眼就能发现。第三个技巧固定随机种子。点云里采样有随机性不固定种子两次跑的结果可能差一两个点你会误以为是改动带来的提升。做对比实验前先固定种子跑三次取平均。8.3 关于文章汇总这件事本身最后说回“汇总”这个动作。我整理完这一批文章后最大的体会是汇总的价值不在于列全而在于建立联系。单看一篇论文你只知道一个点把同一任务的多篇放一起你才能看出技术路线的演进和取舍。所以如果你也在做类似的整理建议不要追求数量而是每篇都问自己三个问题它解决了前人的什么问题、它用了什么新手段、它的局限在哪。这三个问题答清楚了这篇工作才算真正进了你的知识体系。后续如果要把这个汇总继续扩展可以往两个方向走一是按时间线把2020年之后的工作接上看哪些思路被延续、哪些被淘汰二是按应用场景重新组织比如自动驾驶、机器人、AR各挑一批这样对做工程的人更友好。我自己是两条线都在维护用起来各有各的方便。