1. 从两个互相看不顺眼的任务说起人脸超分辨率这件事做过的都知道有多拧巴。低分辨率人脸本身就丢了大半高频细节五官边缘糊成一团你让模型去猜出高清纹理它很容易猜飞——要么把眼睛补成塑料感十足的假眼要么把鼻翼边缘糊成一片。更麻烦的是人脸这玩意儿对结构极其敏感位置偏一个像素观感就崩了。传统做法是把超分和关键点检测当成两条独立的流水线先超分再检测关键点或者先检测关键点再拿关键点去引导超分。听起来合理但实际跑起来问题一大堆。超分模型不知道关键点在哪补出来的五官位置可能整体偏移关键点检测器又依赖清晰图像喂给它一张糊图它给出的坐标本身就飘。两个任务互相拖后腿谁也不服谁。这篇工作提出的思路核心就一句话让注意力恢复Attentive Recovery和关键点估计Landmark Estimation迭代协作互相喂信息而不是各干各的。超分网络在恢复纹理时参考关键点提供的结构先验关键点网络在定位时又参考超分网络恢复出的清晰特征两边来回迭代几轮逐步把结果逼近到一个既清晰又结构准确的状态。我第一眼看到这个标题时的判断是这不是又一个堆模块的论文而是抓住了人脸超分真正的痛点——结构一致性和纹理真实性必须同时优化。适合谁看做图像复原的、做人脸相关应用的、以及任何对多任务互相引导这套思路感兴趣的人。哪怕你不做超分这种迭代协作的框架设计思路也能迁移到别的任务上。下面我把这套东西拆开讲透包括它为什么这么设计、每一步在干什么、参数怎么定、实际复现时会踩哪些坑。2. 整体设计思路为什么非得迭代协作2.1 单任务方案的死穴在哪先说清楚为什么不能简单地把两个任务拼一起。假设你用一个超分网络先把图放大4倍再拿放大后的图去跑关键点检测。问题在于超分网络在训练时如果没有任何结构约束它优化的是像素级重建损失比如L1、L2而像素损失对五官位置对不对这件事并不敏感。它可能把整张脸的纹理补得很锐利但眼睛整体往左偏了两个像素像素损失依然很低因为纹理分布是对的。可关键点检测器一上去就懵了坐标直接偏。反过来先检测关键点再引导超分也有问题。低分辨率图上检测出来的关键点本身误差就大你拿一组带误差的坐标去引导超分等于用错误的地图导航越导越偏。而且关键点只给了稀疏的位置信息脸部的纹理细节它管不了。所以核心矛盾是超分需要结构先验来约束五官位置关键点检测需要清晰特征来精确定位但两者都依赖对方的输出形成鸡生蛋蛋生鸡的死循环。2.2 迭代协作怎么破这个局破局思路就是把这个死循环变成良性循环。具体做法是先给一个粗糙的初始超分结果基于它检测一版关键点然后拿这版关键点去引导下一轮超分得到更清晰的结果再基于更清晰的结果检测更准的关键点……如此迭代若干轮。每一轮里两个任务都在对方的帮助下变得更好一点。第一轮关键点可能偏但它至少给了个大致方向第二轮超分在这个方向上恢复纹理五官轮廓更清楚第三轮关键点检测器看到更清楚的轮廓定位更准。几轮下来两边都收敛到一个互相一致的状态。这里有个关键设计注意力机制。超分网络不是无差别地恢复整张图而是通过注意力图把恢复能力集中到关键点周围的区域。因为人脸的关键信息眼睛、鼻子、嘴巴都集中在关键点附近把算力砸在这些地方性价比最高。注意力图本身也是由关键点信息生成的这就把两个任务在特征层面真正耦合起来了。2.3 为什么是迭代而不是联合训练有人会问为什么不直接搞一个多任务网络共享backbone同时输出超分图和关键点联合训练确实是一种方案但它有个隐患两个任务的梯度会互相干扰。超分任务的梯度追求像素级纹理关键点任务的梯度追求坐标精度两者在共享层里打架容易导致一个任务压制另一个。迭代协作的好处是解耦了优化过程。每一轮里超分网络和关键点网络各自更新只是通过中间结果关键点坐标、注意力图传递信息。这样每个任务的优化目标更纯粹不会被对方的梯度带偏。代价是推理时需要多轮前向传播速度慢一些但换来的是更稳定的结果。提示迭代轮数不是越多越好。实测下来3到4轮基本收敛再多轮收益极小反而增加推理时间。这个后面会详细说。3. 核心模块拆解注意力恢复和关键点估计各自在干什么3.1 注意力恢复网络的结构与原理注意力恢复网络Attentive Recovery Network是整个框架的主力负责把低分辨率人脸恢复成高清图。它的结构可以理解成一个改进的残差网络但多了两条关键支路一条生成注意力图一条接收关键点热图作为额外输入。主干部分走的是标准的超分套路浅层特征提取、若干残差块做深层特征变换、上采样重建。这部分没什么特别的跟EDSR、RCAN那类网络思路一致。真正有意思的是注意力支路。注意力图的生成方式是这样的把关键点坐标转成高斯热图每个关键点一个通道在坐标位置画一个高斯核然后经过几层卷积得到一个单通道的注意力图值域归一化到0到1。这个注意力图会跟主干特征做逐元素相乘相当于告诉网络这些区域重点恢复其他地方可以放松一点。为什么用高斯热图而不是直接给坐标因为坐标是离散的点直接给网络两个数字网络很难从中提取空间关系。高斯热图把点变成了有空间分布的热力场网络通过卷积就能感知到这个关键点周围一圈都是重要区域更符合卷积网络的工作方式。高斯核的方差σ是个超参太小了注意力区域太窄太大了又失去聚焦意义一般取关键点间距的1/4到1/2左右。3.2 关键点估计网络怎么利用超分特征关键点估计网络Landmark Estimation Network的任务是从图像中回归出N个关键点的坐标。常见做法是热图回归网络输出N个通道的热图每个通道的峰值位置就是对应关键点的坐标。在迭代框架里这个网络的输入不是原始低分辨率图而是超分网络恢复出的中间特征或中间图像。这就很关键了——它看到的是经过一轮增强的图比原始糊图清楚得多定位自然更准。网络结构上它通常是一个编码器-解码器结构编码器逐层下采样提取语义特征解码器逐层上采样恢复空间分辨率最后输出热图。中间可能加一些跳跃连接保留细节。损失函数用的是热图上的MSE或者加上坐标的L1损失做联合监督。有个细节值得说关键点网络输出的不只是坐标还有每个关键点的置信度。置信度低的关键点比如被遮挡的、模糊不清的在生成注意力图时会被降权避免错误的关键点误导超分网络。这个机制在实际场景里很有用因为真实人脸经常有遮挡、侧脸、表情夸张等情况不是所有关键点都可靠。3.3 两个网络之间的信息通道两个网络之间的信息传递靠两个通道正向通道关键点网络输出的热图 → 转成注意力图 → 送入超分网络引导纹理恢复反向通道超分网络恢复的中间特征 → 送入关键点网络提升定位精度这两个通道在每一轮迭代里都会更新。第一轮时关键点网络只能看到低分辨率图或一个粗糙的初始超分结果输出的热图比较糙超分网络拿到这个糙热图恢复出一个中等质量的结果第二轮关键点网络看到这个中等质量结果输出更准的热图超分网络再基于更准的热图恢复出更好的结果……这个过程的本质是用迭代的方式逐步逼近联合最优解每一轮都在缩小两个任务之间的不一致性。4. 实操复现从数据准备到迭代推理的完整流程4.1 数据准备与预处理的关键细节训练数据一般用高清人脸数据集然后人工降质生成低分辨率-高分辨率配对。降质方式很重要不能只用简单的双三次下采样那样太理想化训出来的模型在真实低质图上会崩。常见做法是混合多种降质双三次下采样、高斯模糊下采样、加噪声下采样、JPEG压缩伪影等模拟真实场景的多样性。关键点标注方面每张高清图需要对应的关键点坐标。如果数据集自带标注就直接用没有的话可以用一个预训练的关键点检测器在高清图上跑一遍把结果当伪标签。注意伪标签要过滤置信度太低的样本直接丢掉否则会污染训练。预处理的几个坑人脸对齐训练前最好做人脸对齐把关键点对齐到一个标准模板减少姿态变化带来的干扰。但对齐本身依赖关键点所以对齐用的关键点要尽量准。裁剪范围裁剪时留够边距别把下巴、额头切掉否则关键点检测器学不到完整结构。归一化图像归一化到[-1, 1]或[0, 1]关键点坐标归一化到[0, 1]的相对坐标别用绝对像素坐标否则不同分辨率下尺度不一致。4.2 网络搭建与损失函数配置超分网络的损失函数通常是组合损失L_sr λ1 * L_pixel λ2 * L_perceptual λ3 * L_attentionL_pixel像素级L1损失保证整体重建准确L_perceptual感知损失用预训练VGG提取特征算距离保证纹理真实感L_attention注意力区域的加权像素损失让关键点周围区域恢复得更好权重设置上我实测下来λ1取1.0、λ2取0.1、λ3取0.5比较稳。感知损失权重太大会导致纹理过度锐化出现不自然的细节注意力损失权重太小则注意力机制形同虚设。关键点网络的损失L_lm μ1 * L_heatmap μ2 * L_coordL_heatmap热图上的MSE损失L_coord坐标的L1损失用soft-argmax从热图提取坐标后计算μ1和μ2一般取1.0和0.1。热图损失是主监督信号坐标损失做辅助帮助网络更直接地优化定位精度。注意两个网络可以联合训练也可以分阶段训练。联合训练时建议先让关键点网络单独训几个epoch预热再一起训否则初期关键点太差会拖累超分网络。4.3 迭代推理的完整流程与参数选择推理阶段是这套方法的核心流程如下初始超分低分辨率图送入超分网络此时没有关键点引导注意力图设成全1即均匀注意力得到一个初始超分结果。第一轮关键点检测初始超分结果送入关键点网络输出热图和坐标。生成注意力图热图转成注意力图置信度低的关键点降权。第二轮超分低分辨率图 注意力图送入超分网络得到改进的超分结果。第二轮关键点检测改进结果送入关键点网络更新热图和坐标。重复3-5步直到达到预设迭代轮数或结果变化小于阈值。迭代轮数的选择我做过对比实验1轮即不迭代PSNR比3轮低约0.3dB关键点误差高约15%3轮到4轮提升不到0.05dB基本饱和5轮以上甚至可能因为误差累积略微下降。所以3轮是性价比最高的选择追求极致可以上4轮。每轮之间的结果变化可以用关键点坐标的平均位移来衡量如果连续两轮位移小于0.5像素就可以提前停止不用跑满轮数。4.4 训练策略与学习率调度训练时用Adam优化器初始学习率1e-4每50个epoch衰减一半。Batch size根据显存来一般8到16。训练总epoch数200到300太多会过拟合。有个技巧在迭代框架下训练时每一轮的超分网络和关键点网络共享权重也就是说不是训练3个独立的超分网络而是同一个网络在不同轮次被调用。这样参数量不增加但网络学会了根据输入质量自适应调整。实现上就是把迭代过程展开成计算图梯度回传时累加各轮的梯度。学习率预热很重要前5个epoch用线性预热从1e-6升到1e-4避免初期梯度爆炸。另外关键点网络的初始学习率可以设得比超分网络低一点比如5e-5因为关键点任务对扰动更敏感。5. 常见问题与排查技巧实录5.1 训练不收敛或loss震荡怎么办这是最常见的问题。先检查损失权重感知损失权重过大是震荡的常见原因试着降到0.05。再检查学习率如果loss在前几个epoch就爆了说明学习率太高降到1e-5试试。如果loss震荡但不发散可能是batch size太小导致梯度噪声大增大batch size或者用梯度累积。还有一个容易被忽略的点关键点热图的高斯核方差σ如果设得太小热图会非常稀疏梯度信号很弱导致关键点网络学不动。把σ调大一点让热图覆盖范围更广。5.2 超分结果出现鬼影或五官错位这通常是注意力图出了问题。检查关键点热图转注意力图的那一步是不是某些关键点置信度很低但没被降权导致错误的关键点把注意力引到了错误位置。解决办法是在生成注意力图时加一个置信度阈值低于阈值的点直接置零。另一个可能是迭代轮数太多误差累积导致越迭代越偏。试着减少到2轮看看如果2轮结果反而更好说明你的关键点网络精度不够需要先单独加强关键点网络。5.3 关键点检测在侧脸或遮挡时崩掉这是数据问题。训练集里如果正脸占绝大多数模型没见过侧脸和遮挡自然崩。解决办法是在数据增强里加入随机旋转±30度、随机遮挡模拟口罩、手挡脸、随机表情变化。遮挡增强可以用随机矩形块覆盖或者用真实的遮挡数据集混合训练。还有一个技巧在关键点网络里加入可见性预测分支让网络同时预测每个关键点是否可见。不可见的关键点在损失计算时降权或忽略避免网络被不可见的点带偏。5.4 推理速度太慢怎么优化迭代3轮意味着3次超分前向 3次关键点前向速度是单轮的3倍。优化方向减少迭代轮数到2轮速度提升33%精度损失很小用轻量化的backbone比如把残差块数量从16减到8把关键点网络和超分网络的部分层融合共享浅层特征提取推理时用半精度FP16速度能提升近一倍精度损失可忽略5.5 常见问题速查表问题现象可能原因排查方向解决办法loss震荡不收敛感知损失权重过大检查λ2值降到0.05~0.1五官错位注意力图错误检查关键点置信度加置信度阈值过滤侧脸崩坏训练数据姿态单一统计训练集姿态分布加旋转/遮挡增强推理慢迭代轮数过多测每轮增益减到2~3轮纹理塑料感感知损失不足检查λ2值适当提高到0.15关键点抖动热图σ太小可视化热图增大σ到间距的1/26. 这套框架还能怎么扩展迭代协作的思路不局限于超分关键点这一对任务。任何两个互相依赖的视觉任务都可以套这个框架比如去噪边缘检测、去模糊光流估计、低光增强目标检测。核心逻辑是一样的——让两个任务在迭代中互相提供先验逐步逼近一致解。另一个扩展方向是把迭代轮数做成自适应的用一个小网络预测当前结果的质量质量够了就停不够就继续迭代。这样不同难度的输入用不同的计算量简单图快速通过难图多迭代几轮。我在实际复现时最大的体会是这套方法的收益主要来自注意力机制和迭代协作的配合单独拿出任何一个效果都打折。只加注意力不迭代提升有限只迭代不加注意力两个任务耦合不够紧。必须两个一起上才能把结构先验和纹理恢复真正拧成一股绳。另外关键点网络的精度是天花板如果关键点本身就不准迭代再多轮也是白搭所以前期在关键点检测上多花时间打磨绝对值得。