简介一份关于基于深度学习的计算全息图生成算法研究的论文复现与总结资料内容聚焦如何用卷积神经网络替代传统迭代优化算法在保证全息图质量的同时将生成速度提升一个数量级。资料面向全息显示、增强现实及计算成像领域的研究人员与工程师尤其适合希望将深度学习引入全息图生成的初学者和进阶者。文档以docx格式呈现共1个文件压缩包大小约52KB内容包含论文核心思想概括、带残差块的CNN模型完整代码、复数域损失函数设计、动态加权调整因子以及针对二维/三维/彩色图像的数据集生成与预处理方法并配有详细注释和解释便于对照复现。目前已有97人学习浏览。通过这份资料读者可以快速理解模型架构与训练技巧掌握使用TensorFlow构建全息图生成器的完整流程同时了解迭代角谱法生成标签数据的具体实现为进一步开展全息显示应用研究提供扎实基础。1. 项目背景与整体思路拆解1.1 全息图生成的痛点在哪里计算全息图Computer-Generated HolographyCGH这个方向我从入门到现在折腾了快一年。最早是被用算法直接生成可以重建出三维场景的相位图这个概念吸引的——你输入一张普通图片经过计算得到一张看起来毫无规律的相位图再用空间光调制器SLM照射就能在空间中看到立体的光场重建。这种无镜头成像的感觉确实有一种工程上的浪漫。但传统CGH算法有个致命痛点计算慢。经典的Gerchberg-SaxtonGS算法和它的各种变体需要在物平面和频谱平面之间反复迭代几十次甚至上百次每次迭代都涉及两次傅里叶变换。一张512x512分辨率的相位图在CPU上跑可能要几十秒到几分钟即便上了GPU实时生成也捉襟见肘。更麻烦的是迭代算法对初始相位非常敏感初始值选得不好最后重建出的图像边缘会有明显的噪声和振铃。这个问题的本质是什么传统迭代算法是在猜一个相位分布让这个相位经过光传播后能逼近目标振幅。而深度学习做的是用大量样本去学习目标图像到最优相位之间的映射关系。一旦网络训练完成前向推理只需要一次几十毫秒就能输出相位图这就把CGH从离线计算变成了实时生成。1.2 为什么选择深度学习这条路我在这篇文章里要复盘的就是我这一整套基于深度学习的计算全息图生成方案。整体思路并不复杂训练一个卷积神经网络输入是目标图像也就是你想重建出来的画面输出是对应的纯相位全息图然后用角谱法Angular Spectrum MethodASM在物理层面模拟光的传播把相位图重建为目标图像计算重建图和原图之间的误差反向传播更新网络。这个方案的核心优势在于网络直接学习的是图像到相位的非线性映射训练完成后完全不需要迭代一次前向传播直接出结果。如果你愿意把一些参数比如重建距离、波长一起编码进网络甚至可以做到动态调节重建距离。这让它在实时全息显示、微型投影、增强现实等方面非常有应用价值。适合来读这篇文章的人我默认是有一定深度学习基础、想快速上手计算全息方向的同学。你不需要懂复杂的光学理论但至少要会PyTorch的基本操作懂卷积网络的基本原理。我会把光学部分尽量讲得直白——只要会傅里叶变换你就能理解计算全息的核心逻辑。2. 核心原理与关键细节解析2.1 计算全息的数学基础其实就一个公式要理解深度学习如何生成全息图首先得理解光是如何传播的。计算全息的核心可以用一句话概括光在自由空间里传播本质上是一个线性系统可以用傅里叶变换来描述。光传播的角谱理论说一个平面的复振幅分布 $U_0(x, y)$在经过距离 $z$ 的传播后其频谱 $U_z(f_x, f_y)$ 等于初始频谱乘以一个传播因子$$U_z(f_x, f_y) U_0(f_x, f_y) \cdot H(f_x, f_y)$$其中传播函数$$H(f_x, f_y) \exp\left(j \frac{2\pi z}{\lambda} \sqrt{1 - (\lambda f_x)^2 - (\lambda f_y)^2}\right)$$这里的 $\lambda$ 是波长$f_x$、$f_y$ 是空间频率。整个过程相当于是把入射光场先傅里叶变换到频域乘上一个相位因子再逆傅里叶变换回到空间域。这也解释了为什么计算全息图看起来是花花的——相位图本质上是在频域和空间域之间做变换的结果它把目标的振幅信息编码进了相位里。而深度学习要做的就是学会这种编码方式而不是像GS算法那样迭代地去逼近。需要特别强调的是这里的距离 $z$ 直接影响传播函数的相位曲率。$z$ 越大相位变化越快高频分量的采样就越容易出问题。很多初学者在实现ASM时重建效果一团糟八成就是空间频率的坐标没有对应好或者距离过大导致混叠。我后面会给出具体代码和注意事项。2.2 网络架构选型UNet家族依然是主力计算全息图生成的任务本质上是图像到图像的翻译任务输入是目标亮度图输出是相位图。这类任务天然适合编码器-解码器架构而UNet是这一家族里最经典、最稳的选择。UNet之所以好用关键在它的跳跃连接skip connection。编码器逐渐下采样提取高层次特征解码器逐步上采样恢复空间分辨率跳跃连接把浅层的细节特征直接拼接到深层保留了大量边缘和纹理信息。这对全息图生成非常关键——重建图像的边缘锐度直接取决于相位图中的高频细节如果这些信息在编码过程中被丢失重建结果就会发糊。我在实际项目中网络结构选择的是在UNet基础上略微调整后的变体。主干是4层编码器、4层解码器每层两个3x3卷积加ReLU激活通道数依次是64、128、256、512。解码器的最后一层用1x1卷积把通道数压到1输出就是纯相位图的单通道。输入是灰度图的话就单通道输入彩色图可以把RGB三个通道分别处理或堆叠输入。关于相位输出我在实践中试过两种方式。一种是直接回归相位值0到2π但这样会在相位跳变处引入难训练的不连续性另一种是我最终采用的方案输出两个通道分别表示相位的正弦和余弦分量。这样做的好处是相位值是连续循环域用 $\text{atan2}$ 从正弦余弦恢复出相位避免模型被 0/2π 边界搞晕。这个细节很多人容易忽略但对训练稳定性影响极大。2.3 损失函数怎么设计才能重建得清晰损失函数决定了网络优化的方向。计算全息的最终目标是让重建图像在人类视觉上接近原图因此损失函数必须围绕重建质量来设计而不是直接约束相位图的像素误差。我采用的损失函数由两部分组成。第一部分是重建图的振幅与目标图之间的L1损失。为什么要用L1而不是L2因为L2损失本质上是平方误差对异常值比如重建图上的孤立噪点惩罚过重容易导致重建图偏平滑L1损失对边缘更友好重建出的图像细节更锐利。第二项是感知损失Perceptual Loss用VGG16的某个中间层输出做特征匹配。这里的思想是像素级别的误差小不代表人眼看着舒服而深层特征的距离能更好地反映图像的语义和结构相似性。加入感知损失后重建图像的噪点和斑块效应明显减少。整个损失函数长这样$$\mathcal{L} \lambda_1 \cdot \mathcal{L}{L1}\left(I{rec}, I_{target}\right) \lambda_2 \cdot \mathcal{L}{perceptual}\left(I{rec}, I_{target}\right)$$其中 $\lambda_1$ 取0.6$\lambda_2$ 取0.4。需要注意计算L1损失时建议在复振幅域计算振幅 $|U|$或者直接计算强度 $|U|^2$。我个人经验是振幅域的损失训练更稳定强度域虽然在视觉上更贴近人眼感知但在训练初期容易梯度爆炸。3. 完整实现从数据准备到训练推理3.1 光传播模块代码实现先上最核心的光传播模块也就是角谱法ASM的PyTorch实现。这是整个项目的地基所有损失计算和重建验证都建立在它上面import torch import torch.fft def asm_propagate(field: torch.Tensor, wavelength: float, pixel_size: float, distance: float): 角谱法光传播 Args: field: 复振幅场 (..., H, W) wavelength: 波长米比如 532e-9 pixel_size: SLM像素间距米比如 8e-6 distance: 传播距离米比如 0.1 Returns: 传播后的复振幅场 (..., H, W) H, W field.shape[-2], field.shape[-1] # 生成频率坐标注意是物理频率不是像素索引 # 采样频率范围是 [-1/(2*dx), 1/(2*dx)]间隔是 1/(dx*N) fy torch.fft.fftfreq(H, dpixel_size, devicefield.device) fx torch.fft.fftfreq(W, dpixel_size, devicefield.device) fx, fy torch.meshgrid(fx, fy, indexingxy) # 传播函数 H exp(j * k * z * sqrt(1 - (lambda*fx)^2 - (lambda*fy)^2)) k 2 * torch.pi / wavelength temp 1 - (wavelength * fx) ** 2 - (wavelength * fy) ** 2 # 为了避免负值开根号产生 NaN把负区域置零倏逝波部分直接忽略 temp torch.clamp(temp, min0.0) h torch.exp(1j * k * distance * torch.sqrt(temp)) # 频域乘法 逆傅里叶 field_fft torch.fft.fft2(field) out torch.fft.ifft2(field_fft * h) return out这段代码是整个项目的枢纽。我再解释几个关键点。第一空间频率的坐标生成。很多人直接用np.fft.fftfreq产生的像素频率然后去乘波长和距离单位混乱导致重建完全跑偏。这里的dpixel_size是物理坐标系$f_x$ 的单位是1/米波长乘频率后得到无量纲的量这样才能正确计算传播函数的相位。这一步是我调试时排查最久的坑之一。第二torch.clamp的作用。当 $\lambda f_x 1$ 时开根号内变成负数出现倏逝波evanescent wave。在数值模拟中这部分频率分量实际上不传播直接置零处理即可避免产生NaN。第三传播距离。在我的实验中发现如果用8微米像素间距和532纳米波长的SLM重建距离设置在0.05米到0.2米之间效果比较理想。距离太近相位图变化过大距离太远高频信息丢失严重。3.2 网络模型与相位生成接下来是生成相位的网络结构。我用的是一个精简版UNet输入为目标图像的灰度图输出为相位编码正弦余弦双通道import torch import torch.nn as nn import torch.nn.functional as F class DoubleConv(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), ) def forward(self, x): return self.conv(x) class UNetCGH(nn.Module): def __init__(self, in_ch1, out_ch2): super().__init__() # 编码器 self.e1 DoubleConv(in_ch, 64) self.e2 DoubleConv(64, 128) self.e3 DoubleConv(128, 256) self.e4 DoubleConv(256, 512) self.pool nn.MaxPool2d(2) # 解码器 self.up3 nn.ConvTranspose2d(512, 256, 2, stride2) self.d3 DoubleConv(512, 256) self.up2 nn.ConvTranspose2d(256, 128, 2, stride2) self.d2 DoubleConv(256, 128) self.up1 nn.ConvTranspose2d(128, 64, 2, stride2) self.d1 DoubleConv(128, 64) # 输出层 self.out nn.Conv2d(64, out_ch, 1) def forward(self, x): # 下采样阶段 x1 self.e1(x) x2 self.e2(self.pool(x1)) x3 self.e3(self.pool(x2)) x4 self.e4(self.pool(x3)) # 上采样阶段跳跃连接拼接 x self.up3(x4) x self.d3(torch.cat([x, x3], dim1)) x self.up2(x) x self.d2(torch.cat([x, x2], dim1)) x self.up1(x) x self.d1(torch.cat([x, x1], dim1)) x self.out(x) # 输出相位编码最后一层用 tanh 把值压到 [-1, 1] return torch.tanh(x) def phase_from_encoding(encoding): sin_comp encoding[:, 0, :, :] cos_comp encoding[:, 1, :, :] phase torch.atan2(sin_comp, cos_comp) # 将相位映射到 [0, 2*pi] phase (phase 2 * torch.pi) % (2 * torch.pi) return phase这里有几个细节值得展开说。编码器每层通道数从64翻倍到512是考虑到全息图的高频信息丰富需要足够的表示能力。但通道数也不是越大越好我试过768甚至1024通道训练速度几乎慢了一倍重建精度提升却非常有限。512在这个任务里是一个性能和质量的平衡点。输出层的激活函数用tanh而非直接线性输出是因为tanh的输出范围天然匹配正弦余弦编码的范围 $[-1, 1]$这相当于对网络的输出做了一次隐式的归一化训练更稳定。后面通过atan2恢复相位的时候无论sin_comp和cos_comp的比例被预测成什么样都能得到一个循环一致的相位值。3.3 数据集构建与训练循环数据集方面我用的是Flickr Faces数据集加上部分ImageNet的灰度图像统一缩放到256x256的分辨率。每张图做随机裁剪、翻转、轻微旋转的数据增强。批量大小设为16优化器用Adam学习率初始为1e-4每15个epoch衰减为原来的十分之一总共训练60轮。数据的标签不需要额外制作——输入图像本身就是标签。训练流程是这样的# 伪代码完整逻辑已抽象为可复现步骤 phase_encoding cgh_net(amplitude_target) # 网络前向生成相位编码 phase phase_from_encoding(phase_encoding) # 从编码恢复相位 # 构建复振幅场振幅均匀为1相位为预测值 field torch.exp(1j * phase) # 纯相位调制 # 光传播到像平面 reconstructed asm_propagate(field, wavelength532e-9, pixel_size8e-6, distance0.1) # 计算重建振幅和损失 rec_amp torch.abs(reconstructed) loss l1_loss(rec_amp, amplitude_target) 0.4 * perceptual_loss(rec_amp, amplitude_target) loss.backward() optimizer.step()注意这里纯相位全息图意味着振幅恒为1相位图中包含了全部信息。这是SLM的物理特性决定的——大多数空间光调制器只能调制相位不能同时调制振幅。所以网络学习的本质是如何在振幅受限的条件下用纯相位分布逼近目标图像的光场。训练过程中需要监控的指标有两个。一是重建图和目标图之间的PSNR这是我判断收敛状态的主要指标二是相位图的规范化梯度如果梯度接近0说明相位图已经饱和可能出现了相位缠绕聚类的问题。def compute_psnr(img1, img2, max_val1.0): mse torch.mean((img1 - img2) ** 2) psnr 20 * torch.log10(torch.tensor(max_val) / torch.sqrt(mse)) return psnr.item()3.4 推理阶段从相位图到实际重建训练完成后推理阶段非常轻量。只需要把一张新图像输入网络得到相位编码然后用phase_from_encoding恢复相位图把相位图送入asm_propagate即可重建出目标图像。需要注意的是实际部署到SLM上时需要考虑SLM的相位调制范围。一般商用SLM的相位调制范围只有0到2π刚好覆盖我们的相位输出范围不需要额外处理。但有些SLM的调制范围不是完整的2π这时候需要做相位校正把预测相位映射到设备的可用范围内否则重建画面会产生不可预测的畸变。如果在CPU上推理256x256的图大概需要60毫秒在消费级GPU比如RTX 3060上只需要5到8毫秒足够支撑实时全息显示的帧率需求。这个速度相较于传统GS算法动辄数秒的迭代提升是质的飞跃。4. 常见问题与排查技巧实录4.1 重建图像模糊细节丢失怎么办这是训练初期最容易碰到的问题。网络输出看起来差不多但重建图的边缘始终是模糊的高频细节出不来。我排查这个问题的经验是先确认光传播模块是否正确——用一个已知的相位图跑一遍前向传播和重建看能不能还原。比如用球面波的相位图重建后应该是聚焦的一个亮点如果不是说明ASM实现有bug。排除物理模块后问题大概率出在网络容量上。把解码器的通道数增加一倍比如从64起步改成128起步通常能明显改善。另外检查有没有用感知损失L1损失往往倾向于低频正确而高频缺失加入感知损失后高频细节会有显著提升。最后提醒一个容易忽略的细节训练数据和测试数据的振幅分布要统一。如果训练集里所有图像的灰度都集中在0到0.5而测试图亮部接近1网络会输出失真的相位。建议训练前把所有图像的像素值归一化到[0, 1]均匀分布或者分位数归一化。4.2 相位图出现棋盘格伪影这个非常经典。表现为重建图像表面有一层细密的网格状纹理像棋盘格一样。原因通常是网络在上采样过程中使用了转置卷积转置卷积在高频处会引入周期性痕迹。我的解决办法是把上采样操作从ConvTranspose2d换成Upsample(scale_factor2, modebilinear)加普通3x3卷积的组合。双线性插值不带来额外的可学习参数也几乎不产生棋盘格伪影。这样改动之后重建图清晰度反而有小幅提升因为棋盘格伪影本身就是干扰信息。另一种可能性是输入图像本身有摩尔纹或周期纹理。这种情况可以适当增大重建距离让高频噪声在传播过程中自然衰减。4.3 训练不收敛或loss震荡严重训练初期的loss曲线如果剧烈震荡先检查学习率。全息图生成任务的损失面比常规图像任务更崎岖因为相位到振幅的映射涉及三角函数梯度方向可能高度非线性。把初始学习率从1e-4降到3e-5很多震荡问题就消失了。另一个思路是使用梯度裁剪gradient clipping设置max_norm0.5。这在相位回归任务里非常有用因为相位在0到2π边界处的损失函数不平滑容易产生过大的梯度。网络对批大小的敏感度也值得注意。我试过batch size为4时训练几乎无法收敛提升到16后loss下降曲线变得平滑。如果显存不够可以尝试降低分辨率而不是降低batch size256x256的batch 8、128x128的batch 32效果都不错。4.4 迁移到其他数据集效果变差如果训练好的网络在测试集上效果不错但换成完全不同的数据集后重建效果退化明显要考虑数据分布差异的问题。CGH网络学习的是光学映射规律按理说不应该过拟合数据集但实践中确实存在数据偏置。我处理这种情况一般用的是微调策略用原来的预训练权重做初始化在新数据集上用小学习率1e-5微调几个epoch。因为网络已经学到了基本的相位生成规律新数据只需要小幅调整特征分布即可。如果新数据集和原数据集差异极大比如从人脸换成文字建议把初始学习率适当加大让网络更快适应新特征。5. 个人经验与效果总结我跑完整个项目后最深的体会是计算全息和常规CV任务最大的区别在于任何网络结果的评估都要经过光传播这一物理过程的中转。你在训练时觉得loss降得不错可能重建出来就是不行反之某一步loss看起来不好重建效果却意外地好。这个过程中物理模型的正确性比网络结构更关键。ASM模块一旦有细微的bug后面所有努力都是白费。另外有一个实操层面的心得训练过程中的可视化很重要。建议每个epoch输出几张验证集的重建图把重建图和目标图并排保存下来。loss曲线可能骗人但图片不会。我靠这个方法发现了好几次问题——比如网络学到了相位图平均值为固定值导致重建图虽然整体亮度对了但结构完全混乱这种假收敛不通过可视化根本发现不了。最后我想分享一个后续可以扩展的方向。这套网络生成的是静态相位图只对应固定的重建距离和固定的观察视角。如果想让全息图随着观察角度变化、或者实现动态变焦显示可以在网络输入中额外加入观察角度或重建距离的编码把条件信息喂给网络。我简单实验过把重建距离作为一维条件拼接到特征图上效果很有限估计需要更充分的条件注入方式比如FiLM层。这个方向我觉得很有意思后续会继续深挖。对刚接触这个方向的朋友我的建议是先别急着调网络结构严格按照文章里的顺序把物理模块和训练流程跑通用标准的UNet拿到一波结果再考虑改进。基础流程顺了后面每一步优化你都心里有底。本文还有配套的精品资源点击获取