预训练CNN特征幅度：无参考图像质量评估的轻量信号

1. 先从无参考质量评估里一个"没人问的小现象"说起

做图像质量评估尤其是无参考质量评估的朋友，一定都体会过这种尴尬——手里只有一张图，既没有原图可以做对比，又不想兴师动众地去训练一个打分模型，这时候如果能有一个"一看就觉得不对劲"的轻量信号就好了。我之前在做数据清洗时偶然发现，把图像送进预训练CNN后提取出的特征向量，它的幅度（Magnitude）跟图像质量之间有一种稳定而清晰的关系：质量越差的图，特征向量幅度往往越低。这个发现让我后来少走了很多弯路，也让我花了不少时间去想清楚背后的原理，今天就来把这条思路完整拆一遍。

先交代一下背景。图像质量评估大致分三类：全参考指标手里有原始图，直接算PSNR、SSIM这类距离就行；半参考指标有原图的一部分统计信息；最麻烦的是无参考场景，只有一张待测图，要判断它清晰不清晰、有没有被压缩出伪影、是原生高质量还是后期硬拉上去的。以前的主流做法是自然场景统计那一套，假设自然图像在空域、频域、小波域里都服从某些统计分布，失真图像会偏离这些分布，然后拿偏离程度当质量分，代表做法就是BRISQUE、NIQE这些。后来又流行直接训练回归模型去拟合人的主观打分（MOS），像NIMA的思路，把质量评估当成分类或回归问题硬学。这两条路都有效，但它们的问题也很实在：前者需要人工设计统计模型，后者需要大规模带有主观标注的数据集，落地的时候多少有点门槛。

我发现的这个"幅度信号"完全不需要标注，也不需要训练，它只是把图像送进预训练网络提取一个特征向量，然后算一下向量的长度而已。最开始我以为这只是刷数据时的一个巧合，后来换了几种不同网络、不同类型的退化方式、不同的数据集反复对比，发现规律相当稳。这篇文章就把这个现象的机制讲透，再给出一套可以直接抄的实操方法。

1.1 为什么"清晰度"不是你以为的那个清晰度

先打个预防针：图像质量这件事，人眼感知到的"清晰度"和像素层面的"对比度""方差"并不是一回事。你给一张图加一点锐化，像素方差会变大，计算机看到的"数值差异"变大了，但人眼可能会觉得出现了白边和噪点，质量反而下降了。所以任何质量指标都要回答一个问题：我到底在测什么？传统指标的答案是测"退化程度"，而基于深度特征的方法本质上是在测"和自然图像的流形距离"。预训练网络在大量自然图像上训练过，它的特征空间已经形成了一个"自然图像应该长什么样"的隐式先验。清晰自然的图片，特征分布落在流形的密集区域；经过压缩、模糊、噪声污染的图片，特征会逐渐漂移到流形的边缘甚至外面。特征向量的幅度，恰好是一个对流形偏离程度很敏感的标量。

这里有反直觉的地方：我们在做图像检索、人脸识别、语义分类的时候，几乎不会看特征向量的长度。因为分类任务里通常用余弦距离，玩对比学习的时候很多人甚至直接把特征L2归一化，把"长度"这个信息主动扔掉，只保留方向。为什么在质量评估里幅度反而变得重要？因为方向编码的是"内容是什么"，长度编码的是"这个内容有多自然"。

拿一个具体例子说。一张猫的照片，加一点高斯模糊，用预训练网络提取特征，它的类别大概率还是猫，方向没有偏太多，但特征幅度可能下降了20%到30%。语义信息还在，能量感没了。噪声也一样，轻微噪声不会改变语义，但会显著改变激活值的协同模式。也就是说，特征方向对语义内容鲁棒，对退化也相对鲁棒；特征幅度则相反，它对内容变化不敏感，对退化很敏感。这正好互补，也正好是质量评估需要的那种信号。

1.2 预训练特征到底是什么"能量"

要理解幅度为什么有效，得先搞清楚这个特征向量是怎么来的。图像输入网络后，每一层卷积都在做同样的几件事：局部加权求和、加偏置、过非线性激活。早期卷积层学到的是边缘、颜色块、纹理基元，越往后越抽象，最后几层卷积会组合出"眼睛""轮子""窗户"这类有语义的部件。当我们说"提取conv5_3的特征"时，实际上拿到的是一个多通道的特征图，比如512个通道，每个通道对应一张响应图。常见做法是全局平均池化（GAP），把所有空间位置的平均值取出来，得到一个512维的向量。

这个向量的每一个维度，可以理解为"图像中有没有某种视觉模式、激活强度有多高"。清晰图像里边缘锐利、纹理丰富、物体结构完整，大量视觉模式被同时激活，向量各个维度上都有不小的数值，L2范数自然就大。模糊图像把高频细节抹掉之后，很多原本应该被激活的"纹理探测器""边缘探测器"没有输入了，响应值掉下去，GAP之后的数值也就小了。噪声图像则是另一种情况：随机像素抖动会让某些高频滤波器异常兴奋，但其他滤波器之间的协同关系被破坏，整体范数往往先升高再下降，取决于噪声强度。

这里有个更本质的角度。预训练网络不是为了质量评估设计的，但它被迫在训练过程中学会区分成千上万个类别，唯一的办法就是抓住那些"稳定、可复现"的图像统计特征。自然图像中稳定的局部结构——边缘的连续性、表面的梯度分布、纹理的尺度谱——都会被编码进激活模式里。退化的本质是打乱这些统计规律，所以退化的图像在深层次特征里会显得"不自然"，这种不自然最直观的外在表现就是特征向量的整体能量变弱。

1.3 用一个声音的类比把机制说明白

如果嫌上面说得太抽象，可以用一个声音的类比来记。特征向量的方向就像一段音乐的旋律线，幅度就像音量包络。你听一段录音，旋律没变，但如果某段被低通滤波了，高频泛音全没了，声音会发闷、发远，你仍然能认出旋律，可你会觉得这段录音的"品质"变差了。图像模糊就是图像域的"低通滤波"，特征空间里高频相关的激活通道集体降幅，整体能量掉下来。噪声更像是在录音里掺了嘶嘶的背景底噪，旋律还在，但清晰度下降，极度噪声下甚至能盖住旋律本身。压缩伪影则像有损音频编码，泛音和瞬态细节被简化，感知质量掉一截。特征向量的幅度，就是这个"品质感"的低维投影。

当然，声音类比也会有例外：你把音量调大了，录音本身还是好的。对应到图像里，某些后处理——比如过度锐化、无中生有的GAN纹理——会让特征幅度异常增大，但视觉上并不自然。这不代表幅度指标失效，而是提醒我们质量是多维度的，幅度只是其中一根轴，后面我会专门聊它的边界。

2. 图像退化是如何一步一步压低特征幅度的

现在把常见的退化类型逐个拆一遍，看它们在特征空间里到底做了什么。这一节不打算绕开数学，但也不会搬公式堆砌，核心就关注"激活值怎么变、为什么变"。

2.1 模糊：高频信息丢失的直接后果

高斯模糊的本质是低通滤波，图像的边缘被平滑，相邻像素的梯度变小。CNN的前几层卷积核里本来就有大量边缘检测、纹理检测的基元，它们对局部梯度非常敏感。图像被模糊之后，这些卷积核的输出值显著下降，后续层想吃到的"结构信息"也就变少了。

有意思的是，模糊对特征幅度的影响是分层的。浅层特征（比如conv1_2、conv2_2）的幅度下降幅度最大，因为高频信息直接在这里丢失；深层特征（比如conv5_3）的下降幅度相对温和，因为深层还在响应物体级的结构，模糊到一定程度前，大的物体轮廓还在。但深层特征更怕的是"全局结构的模糊"，当物体边界的跨尺度信息也被破坏时，深层幅度就会跟着跌。这个分层特性在实操中很有用：如果你想判断一张图是不是轻微跑焦，浅层特征可以帮忙；如果你想判断一张图是不是彻底糊了，深层特征更稳。

我做过的经验值是：高斯模糊核从σ=0到σ=2.0，conv5_3特征幅度相对原始图像能掉到七成左右；σ到4.0，直接跌到五成以下。而人眼对轻度模糊其实没有那么敏感，σ=0.5的模糊肉眼几乎看不出来，但特征幅度已经掉了十来个点。说明这个信号比人眼更早发现劣势。

2.2 噪声：先升后降的非线性扰动

噪声的情况比模糊复杂，因为它的作用不是"抹掉信息"，而是"注入随机信息"。低强度高斯噪声（比如σ=10左右）会把图像局部方差拉大，某些对高频敏感的滤波器反而会被激活得更猛，特征幅度可能出现小幅上升。这很反直觉，我第一次跑出来的时候以为是bug，检查了好几遍代码。

噪声继续加大的时候情况就不一样了。当噪声强度超过纹理自身的强度，滤波器响应开始被随机扰动主导，原本稳定的协同激活模式被打乱：某些通道的激活值被噪声推高，另一些被压低，整体向量的"方向"开始偏离自然图像的流形，L2范数反而降下来。也就是说，幅度对噪声的响应是一条先升后降的倒U形曲线，峰值大概出现在噪声强度接近图像纹理能量的位置。

这对质量评估意味着一个重要的坑：如果你直接用幅度绝对值当质量分，低强度噪声图像可能会拿到比干净图像更高的分数，这时候结论就是错的。实际操作中我一般会加一个高频泄漏量做前置判断——先看图像的高频分量到底多不多，太多可能是噪声不是细节，这样能和幅度指标打配合。

2.3 压缩伪影：中高频被"假细节"搅浑

压缩伪影（JPEG块效应、WebP模糊、视频编码的振铃效应）是另一种形态。它不像模糊那样单方面衰减高频，也不像噪声那样纯随机，它会制造出有规律的假边缘——8x8块的边界、振铃的波纹。这些假边缘进入CNN浅层时，会把边缘检测通道激活值推得很高，某些中间层特征幅度甚至比原图还大。但深层特征会发现问题：假边缘在尺度上不自然，它们出现在不该出现的位置，破坏物体轮廓的连续性。所以压缩伪影的典型特征是浅中层特征幅度虚高、深层特征幅度正常或偏低。

这种"分层不一致"是值得利用的信号。我在给一批服务端缩略图做筛选时遇到过一批JPEG质量很差的图，单看conv5_3幅度已经能筛掉大部分，但偶尔有几张纹理复杂的图会漏网。后来把conv3_3和conv5_3的幅度做比值，压缩伪影图的比值显著偏高，漏检率立刻下来了。经验之谈：压缩伪影判断上，跨层幅度比值比单层幅度好用得多。

2.4 什么情况下幅度会"异常变大"

必须诚实地说，幅度不是越大越好。在自然图像范围内，幅度越大代表信息越丰富、越自然；但一旦超出自然范围，就会走到反面。典型场景有三类：过度锐化，图像边缘出现明显的振铃和白边，浅层特征幅度暴涨；风格化/卡通化处理，纹理被替换成高频图案，特征幅度整体上升，但真实感下降；以及生成模型产生的"伪纹理"，如果生成网络只会堆细节不懂取舍，生成图的特征幅度可能比真图还高，但稍微细看就发腻。

所以，更稳妥的表述是：特征幅度衡量的是"图像在特征空间中偏离自然流形的程度"，在大多数退化方向上，这个偏离伴随着幅度降低；但在一些特定的后处理方向上，偏离会伴随增幅。使用这个指标时最好有一个前置认识——你是在天然自然图像范围内找劣化图，还是要在已经过后期处理的图上找异常，这两者的阈值方向是完全不同的。

3. 用一个最小实验把规律验证给你看

理论说得再多，不如自己跑一遍。这一节给出一套可以完整复现的最小实验设计，每一步都解释为什么这么做，避免你复现的时候踩到我当初踩过的坑。

3.1 实验设计：数据、网络与层级选择

先准备一组相对干净的图像。我通常从一个公开的自然图像集里随机取200张，覆盖风景、人物、建筑、动物几种类型。注意：这部分"干净图"不需要主观打分，只要你自己肉眼确认没有明显压缩和噪声就好，因为实验里比较的是相对变化，而不是绝对质量分。

网络选择，我用的是预训练VGG网络，提取倒数第二层卷积特征，也就是conv5_3那一层。为什么不选全连接层？全连接层的输出受图像空间位置影响很大，稍微平移物体特征向量都会变，对内容变化过于敏感；卷积层保留空间信息，配合GAP之后对平移和轻微旋转更鲁棒。为什么不选更深的ResNet最后一层？也能用，但最后一层分类器附近的特征更偏语义，对模糊和压缩的响应不如VGG的conv5_3锐利。VGG结构简单、分层清晰，用来做这个实验是最容易讲清楚的。

退化方式我做了两组：高斯模糊，σ分别取0.5、1.0、2.0、4.0；高斯噪声，σ分别取10、20、40、80。这两组退化一个衰减高频，一个注入高频，正好覆盖上面说的两种行为。

3.2 关键实现细节：从加载权重到范数计算

下面是核心代码思路：

import torch import torch.nn as nn from torchvision import models, transforms from PIL import Image def build_feature_extractor(): model = models.vgg16(pretrained=True) # 截断到 conv5_3，对应 VGG features 里的第30层 feature_layers = model.features[:30] feature_layers.eval() return feature_layers def preprocess(img_path, resized=224): transform = transforms.Compose([ transforms.Resize((resized, resized)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) img = Image.open(img_path).convert("RGB") return transform(img).unsqueeze(0) def get_magnitude(model, input_tensor): with torch.no_grad(): feat_map = model(input_tensor) # [1, 512, 14, 14] feat_vec = feat_map.mean(dim=(2, 3)) # 全局平均池化 -> [1, 512] mag = torch.norm(feat_vec, p=2, dim=-1) # L2范数 return mag.item() model = build_feature_extractor() # 对清晰图和退化图分别调用 get_magnitude，然后求相对值

这里有几个容易被忽略的点。第一，归一化必须做，而且必须用预训练时相同的均值和方差。如果你加载的是PyTorch预训练权重，就要用它默认的ImageNet归一化参数，不然特征范数的基线会偏移，不同退化类型的相对关系可能失真，我第一次就是漏了这一步，导致噪声组的曲线完全看不出规律。第二，输入要统一缩放分辨率，我用的是224，你可以统一到256或者384，但同一批数据必须一致。第三，计算范数之前做GAP，不是直接摊平空间维度再算范数，GAP能减少空域偏移的影响。

3.3 结果怎么看：相对幅度和绝对幅度的区别

把所有图像的清晰版幅度记为100%，退化之后算相对幅度，我拿到的大致趋势如下表（数值是200张图的平均值，不同数据集会有波动，仅供参考）：

看这张表，两个结论很直观：模糊造成的幅度衰减非常单调、稳定，噪声低强度时确实出现虚高。这正好印证了第2节里的分析。另外一个重要现象是，不同图像内容之间的绝对幅度差距非常大：一张森林纹理密集的图，绝对范数可能是天空照片的三到五倍。如果你直接拿绝对幅度跨图排序，结果基本等于再排了一遍"纹理复杂度"，跟质量关系不大。这也是整个方法里最需要注意的一点——必须做同图相对比较，或者把图像内容先归一化掉，否则结论会完全跑偏。

3.4 为什么要做"内容归一化"

内容归一化是把这个指标落到真实场景前必须想清楚的问题。方法很简单：一张待测图单独看幅度没意义，但你可以找一张同场景的参考图，或者从同一段视频里抽前后帧，或者对图本身做一次已知强度的退化得到"自基线"。

举个例子：一段视频要做质量波动检测，关键帧和它的后续帧内容几乎相同，这时候直接比较特征幅度就很有效——某几帧如果因为采集抖动或编码降码率导致幅度突然下跌，几乎可以断定画质出问题了。又比如做超分模型评估，原始低分辨图、超分结果、高分辨真图三者的内容一致，直接比较幅度排名通常和人眼判断高度一致。反过来，如果是两张完全不同的图，一个拍的是白墙，一个拍的是森林，幅度差异再大也不能说明任何质量问题。理解了这个边界，"幅度代表质量"这句话才不至于被误用。

4. 把特征幅度当质量指标的三类落地姿势

说清楚了原理，接下来是实操。幅度特征不是万能的，但它作为零成本、零训练的信号，在很多场景下比想象中好用。我挑三个我实际跑过的场景详细展开。

4.1 数据清洗：从海量图片里捞劣质图

这是我最常用的场景。数据集爬下来或者从历史库里捞旧数据时，总有一批图是模糊的、压缩过度的、带水印的。以前洗数要么靠人眼抽检，要么用BRISQUE跑一遍，BRISQUE的问题是它需要提取多尺度的NSS特征，维度上百，跑起来不慢但也谈不上快，而且天然对"美感"无感。用特征幅度当第一步粗筛有一个很大的优势：不需要标签、不需要标定、已有预训练网络就能直接跑。

具体做法上，我建议不要设一个固定的绝对阈值，而是对一批图先做特征聚类。比如用较浅的conv3_3特征先做KMeans聚成十来个簇，每个簇里面的图像内容大致相似，然后在簇内按幅度排序，把排名末尾百分之十的图抽出来人眼复核。这样省掉了内容归一化的麻烦，同时把"内容不同导致幅度无法比较"的问题降到了最低。我拿这个思路处理过一批几万张的网络图片，抽出来的低质量图确实大部分都能看出问题。

4.2 生成模型对比：给超分和修补算法当"裁判"

做图像生成、超分、修复类项目时，经常需要快速比较不同方法哪个效果好。现在流行用FID、LPIPS这类指标，但它们要么需要一整个分布来做统计，要么需要额外的感知网络，部分指标跑起来开销不小。如果只是版本迭代中快速看效果，特征幅度是一个方便的五分钟参考。

关键点还是"控制内容"。我会取同一张低分辨率图，用不同模型超分，再分别计算它们的特征幅度。实践下来，幅度更高的输出通常对应更锐利、更接近真实高分辨率结构的版本。这个结论在大多数情况下成立，但也有例外：有些模型学会了狂堆纹理，幅度很高，但人眼看着并不自然，所以幅度只能作为"快速排序信号"，不能替代最终的用户调研。另外，如果是生成模型的迭代对比，还可以额外看一个比值：生成图幅度/原低清图幅度，比值提升得越大，说明模型引入的高频信息越多，但高频信息的"自然性"要靠别的指标判断。

4.3 和传统指标做加权互补

特征幅度与BRISQUE、NIQE这类传统无参考指标并不是竞争关系，更像是互补关系。传统NSS指标在压缩伪影检测上相当灵敏，但遇到内容复杂度过高或过低的图时容易误报；特征幅度的强项是快速感知"自然度"的宏观偏移，弱项是不知道偏移是来自模糊还是噪声。两者一起用时，可以先算BRISQUE分数，再看特征幅度，如果BRISQUE觉得差、幅度也低，那基本可以断定是模糊/低照度类问题；如果BRISQUE觉得差、幅度却不低，那更可能是压缩伪影或者过度锐化。

我实际用过的一个组合是：用幅度做粗分类，用BRISQUE做细打分，最后用一个很轻的MLP把两者和人工标注拟合一下。效果比单用任何一边都要稳，而且MLP真的非常小，几十个参数而已，完全没有训练大模型的负担。这种"轻量信号组合"思路，适合所有不想一上来就上大模型的项目。

4.4 两个典型的误用场景

我踩过坑，也见过别人踩坑，这里必须把两个误用场景单独提出来。第一个误用是拿绝对幅度跨图排序当质量排名。前面反复强调过，内容差异会完全淹没质量差异，森林的模糊图幅度依然比天空的清晰图高，这么用几乎必然出问题。第二个误用是想拿它检测低照度噪声。低照度图像经过ISP提亮之后，噪声和色彩失真交织在一起，特征幅度可能不降反升，因为提亮过程本身也会放大高频噪声，这时候幅度信号和人眼感知可能完全相反。

所以，使用前请先问自己：我手里的图像，内容是否可控？退化类型是否落在"自然范围之内"？如果两个答案都是否，就老老实实去用更重的方案。

5. 踩坑记录和后续扩展思路

最后分享几个我在反复使用这个指标过程中积累的实操经验和后续打算继续探索的方向。不保证对所有项目都适用，但如果你准备在两三天内把幅度指标用起来，下面这些应该能帮你少折腾几轮。

5.1 我踩过的几个具体坑

第一个坑前面提过：忘了做ImageNet归一化，导致特征范数整体偏移。具体表现是，不同退化类型的曲线趋势全乱了，我一度怀疑这个思路不成立，后来发现是输入预处理的问题。这个坑非常隐蔽，因为对分类任务来说，忘了归一化只是精度掉几个点，但对范数这种绝对数值来说，影响是系统性的。

第二个坑：把输入分辨率弄得不一致，有的组用224，有的组用256，最后发现幅度差异主要来自分辨率而不是质量。特征幅度对输入大小非常敏感，同样是清晰图，224输入和384输入的幅度能差一倍。实验设计时一定要把分辨率固定住，最好预处理代码里写成强制的。

第三个坑：用了Inception系列网络做特征提取，发现效果差很多。Inception的多个分支和辅助分类头导致特征分布比较特殊，直接用特征范数不如VGG和ResNet规律清晰。这提醒我，特征提取器本身的架构设计会影响范数的语义，VGG层间结构规整、层次分明，范数行为更容易解释，所以现阶段我依然建议先用VGG，不要一上来就追新架构。

第四个坑：批量处理时没有做中心裁剪，不同图像里如果存在大面积logo、黑边、白边，GAP统计会被这些非内容区域严重干扰。加一步中心裁剪或者边缘检测去边，幅度指标的稳定性会提高不少。

5.2 多层级联和分布统计：让信号更稳定

单层特征幅度说到底是一个标量，信息量有限。如果你想让它更可靠，建议看多层甚至整条特征曲线：把conv1_2、conv2_2、conv3_3、conv4_3、conv5_3的幅度放在一起，得到一个"幅度谱"。退化类型不同，这个谱的形状也不同——模糊是全局衰减，从浅层到深层均匀下降；噪声是浅层上升、深层下降；压缩伪影是浅中层上升但深层下降。这个谱比单值更有辨识度，甚至能用来做退化类型的粗分类。

另外一个思路是别只看单个样本，改看一批样本的分布。比如一段视频的所有帧，把每帧特征幅度做成时间序列，质量掉帧的地方会出现明显的低谷，质量抖动的地方会出现高频波动。用时间平滑和阈值检测，比逐帧判断稳定得多。这种"分布视角"可以减少单帧噪声带来的随机误差。

5.3 和自监督学习的联系

我后来想，为什么幅度能代表质量这个问题，本质上和自监督表征学习里的一个设计选择有关：很多对比学习框架会对特征做L2归一化，把幅度信息丢掉，因为它们要的是"语义不变性"，希望同一个对象的不同视角都映射到相近的方向上。这个设计对检索和分类是合理的，但也意味着幅度信息被主动牺牲了。

反过来想，如果某个任务关心的是"图像有没有被破坏"，幅度也许是被低估的信号。也许可以把特征幅度的变化量做成一种自监督信号，让网络学会预测退化强度。我在一个内部项目里试过把相对幅度（退化图/原图）当作自监督代理任务，效果居然相当不错，网络学会了对多种退化敏感的表示。这个方向还没有被充分开发，我觉得值得一做。

5.4 如果只让我留一句忠告

使用特征幅度指标时，最核心的心法是：永远关注相对变化，而不是绝对数值。不要让"最后得出一个分数"的执念绑架你，在不同内容、不同场景、不同退化类型之间，绝对数值根本不具备可比性。真正稳定可靠的是"同一内容在某种处理前后的幅度变化量"或者"同一批相似内容的幅度排序"。把那句话盯住了，这个小技巧会给你省掉大量标注成本和训练时间；盯不住，它就会变成下一个让你怀疑人生的玄学指标。

我现在的做法是，把所有需要快速判断质量的任务都先过一遍幅度粗筛，再决定要不要上更重的评估流程。如果你下次也遇到一批不知道好坏图像堆在一起的情况，不妨先跑十行代码看一眼幅度分布，说不定会比预期还顺。