论文解读与源码复现Generative Multiview Relighting极端光照变化下的 3D 重建CVPR 2025 Highlight论文首页题目与摘要截图一、前言从一组照片重建 3D 物体经典假设是光照恒定。现实往往残酷网上爬的图集里同一个物体在不同房间、不同天气、不同时间被拍下即便是自己拍云飘过、灯开关、影子入镜都会改变外观。对镜面/高光物体镀铬摆件、车漆、金属外观强烈依赖视角与光照的耦合这个问题变得几乎无解逐图外观嵌入NeRF-W 一系把光照差异解释掉的代价是把真实的高光视角依赖效应也一并解释掉——重建结果变成一坨塑料感的漫反射物理逆向渲染NeROIC 一系分解材质与光照本身病态低频参数化球谐/球面高斯先天画不出高频高光单图重光照扩散模型IllumiNeRF、Neural Gaffer单图重光照本质病态对每张图独立重光照会得到互相矛盾的材质解释重建出的 NeRF 要么糊要么闪烁。Google 与马里兰大学的这篇 CVPR 2025 Highlight 论文的解法分两步先用多视图重光照扩散模型把所有输入图协调到参考图的照明下再用一个对残余不一致鲁棒的 NeRFNeRF-Casting 底座 新设计的 shading embedding重建。核心洞察是联合重光照正如光度立体的经典结论——同一材质在不同光照下的多次观测能解耦材质与光照——把这个先验注入扩散模型重光照输出就天然一致。二、方法解析2.1 多视图重光照扩散模型输入同一物体的 N 张已知位姿图像 $I_1,...,I_N$各自光照不同。目标输出同位姿、统一到参考图 $I_1$ 光照下的 $N$ 张重光照图像。模型架构沿用 CAT3D 式的多视图潜扩散对每个 $z_i$ 去噪时网络同时观察到该图自己的干净潜码 $I_i$几何信息与位姿编码 $\pi_i$raymap 编码通过3D 自注意力跨视图共享参考光照信息配合与位姿的交叉注意力参考图标记参考图 $I_1$ 拼接全 1 通道图、其余图拼接全 0 通道图显式告知模型以谁为准。关键点模型参数量与视图数无关交叉注意力可扩展到任意视图数推理时一次性重光照 N64 张。图片源自论文 Figure 3与单图重光照的对比。IllumiNeRF 对单图独立重光照几何/光照/材质歧义导致结果失准本文联合重光照整组图像输出与 GT 高度吻合。2.2 Shading Embedding吸收扩散模型的法线误差重光照后的图像仍有细微不一致——高光位置被轻微warp。作者的归因很精准扩散模型对物体表面法线的隐式估计有微小误差高光就会朝错误方向偏移。解法不是常规的外观嵌入appearance embedding把颜色按图调制而是把逐图向量 $v_i$ 注入法线预测论文式 1$$\mathbf{n}_i(\mathbf{x}) \mathrm{normalize}\left(\mathrm{MLP}(\mathbf{f}(\mathbf{x}),\ \mathbf{v}_i)\right)$$其中 $\mathbf{f}(\mathbf{x})$ 与 NeRF-Casting 相同的空间特征MLP 三层 128 单元。逐图像素法线可以微调二次反射光线的方向让优化过程吸收重光照的残余误差同时法线仍被约束绑定于 NeRF 密度场继承 NeRF-Casting 机制不会乱跑。这一设计的巧妙之处外观嵌入作用于颜色低频shading embedding 作用于法线决定高光位置的中频几何——前者会把高光错误地编码成逐图漫反射色后者只在法线空间做小幅修正。2.3 训练纯合成数据 镜面增强训练集约 30 万高质量资产材质比 Objaverse 更多样用 Poly Haven 的约 700 张环境贴图渲染并随机旋转方位角扩充镜面数据增强把每个资产再渲染一份完美镜面材质版本——实验证明这不仅提升镜面物体性能对普通漫反射物体也有益底座SD 1.5 架构的图像潜扩散模型CFG3随机遮蔽参考图注意力实现无条件重光照分阶段训练8 帧 200K 步 → 16 帧 100K → 32 帧 50K → 64 帧 50K64 块 TPU v5batch 64约两周。三、数据集与实验设置合成评测Objaverse8 个标准材质资产 12 个完美镜面资产每场景 64 张训练图各不相同的光照 36 张测试图用参考图光照渲染环境贴图来自 HDRIMaps。真实评测NAVI18 个至少 64 帧的真实拍摄场景NAVI 对每种光照提供多视图数据可定量评测保留视角。基线NeROIC逆向渲染、NeRF-Casting AE加逐图外观嵌入、IllumiNeRF单图重光照扩散额外喂给它 GT 环境贴图——对基线有利的不对称设置。指标PSNR / SSIM / LPIPS。重建开销单个辐射场优化约 30 分钟16×A100渲染 512×512 单帧约 0.5 秒。四、关键实验结果1. 合成数据全面领先Table 1方法标准 PSNR↑标准 LPIPS↓镜面 PSNR↑镜面 LPIPS↓NeROIC26.130.08822.140.113NeRF-Casting AE27.530.06721.800.108IllumiNeRF喂 GT 环境贴图29.220.05723.460.095本文31.340.05326.540.090镜面资产上 PSNR 领先最强基线 3.08 dB——正是联合重光照 法线空间修正在视角依赖效应上的威力。2. 真实照片同样最优Table 2NAVIPSNR 25.55 / SSIM 0.929 / LPIPS 0.060优于 NeROIC24.01/0.918/0.079与 NeRF-CastingAE23.59/0.916/0.066。3. 联合帧数消融Table 3同时重光照的帧数从 1→8→32→64镜面 PSNR 从 23.85 单调升到 26.54——联合重光照的视图数就是一致性的直接来源8 帧已接近饱和16 帧略有波动。N标准 PSNR镜面 PSNR镜面 LPIPS128.3923.850.105830.4325.620.0953230.7226.140.0906431.3426.540.0904. 镜面数据增强双收益Table 4加入完美镜面资产训练后镜面资产 PSNR 22.34→22.91标准资产 29.16→29.26——都涨。镜面样本迫使模型学会精确的视角-光照耦合迁移回了普通材质。5. Shading embedding 优于外观嵌入Table 5同一 NeRF 上无嵌入 26.02、外观嵌入 24.38反而降质高光被错误编码为逐图漫反射色、shading embedding 26.54最优。五、机制解释与讨论为什么先重光照、再重建优于边重建边处理光照逆向渲染把光照/材质歧义留在优化循环里靠解析先验硬掰本文把歧义外包给扩散模型的生成先验——它见过海量自然图像对这个物体在那种光下长什么样有隐性认知。而多视图联合去噪相当于在扩散模型内部做了一次光度立体N 张不同光照图互相约束输出必然共享同一套材质解释。为什么法线修正胜过颜色修正残余不一致的物理来源是法线误差 → 高光位置偏移。颜色空间的逐图自由度会把高光抹平成漫反射外观嵌入掉了 1.64 dB 就是证据法线空间的逐图自由度只移动高光位置不改材质本身且受密度场约束不会发散。具体发现 → 凝练结论具体发现一1 帧→64 帧镜面 PSNR 2.69 —— 结论一致性不是靠后处理而是联合建模的内生属性具体发现二外观嵌入使 PSNR 从 26.02 降到 24.38 —— 结论在生成式重光照的输出上传统in the wild工具会适得其反具体发现三镜面数据增强对漫反射物体也有益 —— 结论生成模型的数据分布覆盖极端材质时中间材质的内插质量会同步提升。六、局限与工程启示论文自述的局限需要物体掩码与精确相机位姿对高反射物体基于特征匹配的位姿估计本身就很不可靠镜面上没有可匹配的纹理点——这是整个 pipeline 最脆弱的一环。作者指出学习式位姿估计不依赖显式特征匹配是未来的联合方向。工程启示**流程设计上先归一化、再重建**的思路通用凡是输入分布不一致的重建任务光照、天气、风格先考虑用生成模型统一输入分布再走传统管线若要复刻该管线镜面数据增强是免费午餐渲染管线里把材质替换成镜面再渲一遍成本翻倍收益翻倍NeRF-Casting shading embedding 的组合对任何输入图像带微小系统性误差的 NeRF 场景不只重光照都有参考价值实际部署成本不低重建 30 分钟/16 张 A100适合离线资产生成而非实时应用。七、源码复现官方仓库论文未提供官方源码。项目页 https://relight-to-reconstruct.github.io/ 仅提供结果展示、视频与 BibTeX未附代码链接。本地目录复现代码/下无该论文专属目录。⚠️ 复现路径/未运行论文未公开源码以下为基于论文方法描述整理的参考实现与预期复现路径非官方代码、非实际运行结果。参考实现依据论文式 (1) 与第 3.2 节描述整理# 参考实现带 shading embedding 的辐射场外观计算依据论文描述整理非官方代码 import torch, torch.nn as nn, torch.nn.functional as F class ShadingHead(nn.Module): 论文式(1)逐图 shading embedding 通过 MLP 微调法线 供 NeRF-Casting 式二次反射光线使用。 def __init__(self, feat_dim64, n_imgs64, hidden128): super().__init__() self.embeddings nn.Embedding(n_imgs, 16) # 每图一个 v_i self.mlp nn.Sequential( nn.Linear(feat_dim 16, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, 3)) # 原始法线输出 self.base_density_normal None # 密度场绑定的法线正则锚点 def normals_for_image(self, f_x, img_idx): v self.embeddings(torch.tensor([img_idx], devicef_x.device)) n_raw self.mlp(torch.cat([f_x, v.expand(f_x.shape[0], -1)], dim-1)) return F.normalize(n_raw, dim-1) # 式(1)normalize(MLP(f(x), v_i)) def regularizer(self, n_i, x): 把逐图法线绑定到密度场法线继承 NeRF-Casting 约束 防止跨图法线漂移过大。 n_density normal_from_density_field(x) return ((n_i - n_density).norm(dim-1) ** 2).mean()预期复现路径重光照模型以开源多视图扩散模型如 CAT3D 复现实现或 Zero123 改造为底座加入 raymap 位姿条件、参考图标记通道与 3D 自注意力数据用 Objaverse 资产 Poly Haven 环境贴图渲染含镜面增强副本按 8→16→32→64 帧课程训练。重建以 NeRF-Casting 的开源实现为基础加入ShadingHead替换外观嵌入在重光照图集上优化注意保留密度场法线约束。评测Objaverse 合成集64 训练/36 测试视角与 NAVI 真实集对照 Table 1/2 报 PSNR/SSIM/LPIPS。消融重光照帧数 N∈{1,8,16,32,64}有无镜面数据增强三种嵌入无/外观/shading。替代底座建议若无法训练 64 TPU 级别的重光照模型可用现有单图重光照模型如 IC-Light 跨图一致性正则做降级验证预期性能低于联合方案。八、总结这篇论文用联合重光照 → 鲁棒重建的两段式管线把极端光照变化下的 3D 重建从产出塑料感漫反射推进到保得住高光与阴影多视图重光照扩散模型借用光度立体的老智慧解决了生成一致性的新问题shading embedding 则针对扩散模型的法线误差给出了对症的参数化修正外加证明外观嵌入在这里是有害的。对资产数字化、电商 3D、文物重建这类输入光照不可控的场景这是一条当前效果最好的路线——尽管 16 卡 A100 的重建成本提醒我们它仍是离线工具。延伸阅读建议NeRF-Win-the-wild 重建与外观嵌入的来源、NeRF-Casting镜面辐射场底座、CAT3D多视图扩散架构、IllumiNeRF/Neural Gaffer单图重光照对照、NeROIC逆向渲染基线、光度立体经典文献多光照解耦先验。九、引用信息论文引用Hadi Alzayer, Philipp Henzler, Jonathan T. Barron, Jia-Bin Huang, Pratul P. Srinivasan, Dor Verbin. Generative Multiview Relighting for 3D Reconstruction under Extreme Illumination Variation. CVPR, 2025.论文 PDFhttps://openaccess.thecvf.com/content/CVPR2025/papers/Alzayer_Generative_Multiview_Relighting_for_3D_Reconstruction_under_Extreme_Illumination_CVPR_2025_paper.pdf官方仓库论文未提供官方源码。项目主页https://relight-to-reconstruct.github.io/