精读笔记10_PointCLIP

【3D点云暑期学习】精读笔记(10)PointCLIP —— 把 CLIP 借到 3D研0暑期进组学习 · 3D点云多模态方向 · 论文精读系列第 10 篇论文信息标题PointCLIP: Point Cloud Understanding by CLIP作者Renrui Zhang, Ziyu Guo, et al.发表 venueCVPR 2022阅读日期2026 年 7 月写在前面前面两篇PointNet / PointNet踩实了 3D 点云的基础但它们都有一个共同的、绕不开的前提模型必须在大规模带标注的 3D 数据上从零训练。这恰恰是点云领域最大的痛点数据稀缺ModelNet40 只有 9,843 个样本、40 类而 CLIP 用的 ImageNet 有 100 万样本、1000 类。3D 标注极其昂贵根本喂不出高质量预训练unseen 类别真实场景不断冒出新物体。PointNet 训得再好遇到训练集里没见的类别也只能干瞪眼而每次重训成本高得离谱。反观 2D 视觉CLIP用 4 亿图文对做对比学习学出了图像 ↔ 自然语言的对齐能力能**零样本zero-shot**认没见过的类。于是论文抛出一个灵魂问题CLIP 在 2D 上学到的知识能不能直接迁移到 3D 点云上实现跨模态的零样本识别PointCLIP 的回答是可以而且几乎不需要任何 3D 训练。它用多视角深度图投影把点云伪装成 CLIP 能看的图片把 2D 预训练知识高效地借到了 3D。这是我们从在 3D 里造轮子转向向 2D 大模型借知识的第一个关键拐点。一、3D 数据为什么这么饿经典 3D 网络PointNet / PointNet需要 3D 全量标注训练本质是在 3D 里从零学。而 PointCLIP 只在 2D 图文对上预训练无需任何 3D 训练即可直接做零样本分类——这中间的鸿沟就是它要解决的模态桥梁问题。数据饥渴的根源在于3D 点云标注要靠人工逐点/逐物体标成本是指数级的而 2D 图文对可以从互联网海量爬取。所以思路很清楚——既然 3D 数据少、标注贵那干脆绕开 3D 结构建模用投影把点云变成 CLIP 能看的图片直接借用 2D 的开放语义。二、怎么把点云伪装成 CLIP 能看的图整条流水线可以拆成三块理解模态桥梁左把 3D 点云投影成 M 个视角的 2D 深度图让 CLIP 视觉编码器能直接使用双塔编码中用 CLIP 预训练视觉编码器提每个视角特征用文本编码器把类别名变成零样本分类器视角聚合 可选 Adapter右各视角预测分数加权求和少样本场景再叠一个轻量 Inter-view Adapter 优化。关键姿态CLIP 的两个编码器全程冻结零样本时一个参数都不训少样本时也只训一个小小的 Adapter彻底避免 3D 数据不够导致的过拟合。步骤 1 的投影细节借鉴 SimpleView在线把原点云投影到图像平面不做离线渲染、不上色。以底视图为例点( x , y , z ) (x,y,z)(x,y,z)投影到图像平面位置( ⌈ x / z ⌉ , ⌈ y / z ⌉ ) (\lceil x/z\rceil, \lceil y/z\rceil)(⌈x/z⌉,⌈y/z⌉)像素值直接取深度z zz并复制到 RGB 三通道——连 SimpleView 那种 1 层卷积都不用。默认从6 个正交视角投影前/右/后/左/上/下最后上采样到( 224 , 224 ) (224,224)(224,224)对齐 CLIP 输入。这一步开销几乎可忽略却把 3D 点云伪装成了 CLIP 能理解的多张 2D 图。三、CLIP 双塔怎么用视觉分支用 CLIP 预训练视觉编码器默认 ResNet-50提取 M 个视角特征f i ∈ R 1 × C f_i \in \mathbb{R}^{1\times C}fi​∈R1×C文本分支把 K 个类别名塞进模板point cloud depth map of a [CLASS].用 CLIP 文本编码器得到零样本分类器权重W t ∈ R K × C W_t \in \mathbb{R}^{K\times C}Wt​∈RK×C每行编码一个类别的预训练语义。每个视角独立算分类 logits再加权求和logits i f i W t T , logits ∑ i 1 M α i logits i \text{logits}_i f_i W_t^T,\quad \text{logits} \sum_{i1}^M \alpha_i\,\text{logits}_ilogitsi​fi​WtT​,logitsi1∑M​αi​logitsi​其中α i \alpha_iαi​是视角重要性超参ModelNet40 上设成 3,9,5,4,5,4。每个视角自带一份片面理解加权求和后互补成整体理解。整个过程对 3D 数据集完全无参数、无训练。四、零样本精度不够怎么办零样本虽然惊艳但 ModelNet40 仅 20.18%打不过全监督 3D 网络。论文挂了个三层的残差式 MLPInter-view Adapter专门针对少样本拼接多视角特征把 M 个视角特征沿通道拼成Concat ( f 1 ∼ M ) ∈ R 1 × M C \text{Concat}(f_{1\sim M}) \in \mathbb{R}^{1\times MC}Concat(f1∼M​)∈R1×MC提取全局表征f g l o b a l ReLU ( Concat W 1 T ) W 2 T f_{global} \text{ReLU}(\text{Concat}\,W_1^T)W_2^Tfglobal​ReLU(ConcatW1T​)W2T​残差式注入每视角f i a f i ReLU ( f g l o b a l W 3 i T ) f_i^a f_i \text{ReLU}(f_{global}W_{3i}^T)fia​fi​ReLU(fglobal​W3iT​)把新学的 3D 少样本知识融进预训练 CLIP。训练时只微调这个 Adapter冻结 CLIP 双塔避免参数太多、样本太少导致过拟合。效果极显著ModelNet40 上仅用每类 16 个样本不到全量 1/10精度从 20.18% 飙到87.20%。五、和全监督 3D 网络是替代还是互补惊喜结论互补而且一融合反而变强。PointCLIP 学的是 CLIP 的 2D 对比开放语义经典 3D 网络PointNet 等学的是 3D 封闭集监督二者知识来源正交。推理时直接把两者 logits 相加logits f i n a l logits 3 D - n e t λ ⋅ logits P o i n t C L I P \text{logits}_{final} \text{logits}_{3D\text{-}net} \lambda \cdot \text{logits}_{PointCLIP}logitsfinal​logits3D-net​λ⋅logitsPointCLIP​而两个同训练范式的全监督模型简单融合只会掉点——证明互补性才是关键。这就是前人铺路后人借力的范式PointCLIP 在推理期还能白嫖 PointNet 等的预测做知识互补式集成。六、实验亮点① 零样本分类完全无 3D 训练数据集零样本精度类别越难越真实ModelNet1030.23%—ModelNet4020.18%—ScanObjectNN15.38%含真实噪声最难② 少样本分类接 Inter-view Adapter16-shot ModelNet40 从零样本 20.18% 跃升到87.20%在 1/2/4/8/16-shot 下全面超越 PointNet / PointNet / SimpleView / CurveNet1-shot 时比 PointNet 高 25.49%、比 CurveNet 高 12.29%。③ 多知识集成增益16-shot PointCLIP 增强全监督网络模型集成前集成后增益PointNet88.7890.761.98PointNet89.7192.102.39CurveNet (SOTA)93.8494.080.24RSCNN / DGCNN / SimpleView——0.20~0.64④ Prompt 设计的影响ModelNet40 零样本Prompt精度“a photo of a [CLASS].”朴素17.02%主语换成 “point cloud”1.66%加形容词 “big”19.21%“point cloud depth map of a [CLASS].”最贴合投影图20.18%说明提示词prompt的选择对零样本精度影响很大——投影图本质是深度图prompt 必须贴合模态。七、个人思考局限性PointCLIP 牺牲了显式的 3D 几何建模能力换来极致的数据效率。零样本精度有限20.18%且3D 几何推理弱于全监督方法——它靠多视角 2D CNN 隐式抓局部没有真正的点云几何结构。另外它主要针对分类分割等稠密任务未涉及。与 3D 点云主线的联系这是**2D → 3D 知识迁移的第一个成功尝试**对后续整个 3D 多模态主线是思想雏形ULIP 的直接前身ULIP 用 CLIP 预训练的图像/文本编码器当老师引导 3D 编码器对齐到统一空间——PointCLIP 已经证明了CLIP 图文对齐空间能借给 3DUni3D 的 2D 初始化思路Uni3D 用 2D 预训练 ViT 做 3D 编码器既然 3D 数据少就向 2D 大模型借的范式PointCLIP 是第一个吃螃蟹的工程套路可复用多视角投影 即插即用集成是后续 3D 多模态方法常用的低成本蹭 2D 大模型手段。可改进点零样本精度低能否用更强的 2D 基础模型如 ViT-L/14 的 CLIP提升能否把投影换成更保几何信息的表示这些正是 ULIP-2、Uni3D 后续要去填的坑。下周我们就进 ULIP / ULIP-2。本周系列博文精读笔记(9)PointNet — 层次化局部建模精读笔记(10)PointCLIP — 把 CLIP 借到 3D ← 当前对比学习(3)点云方法对比PointNet/PointNet/PointCLIP周报(3)第三周学习总结