183、多帧融合的艺术：VSRT的时空Transformer与长序列依赖建模去年秋天我在处理一段监控视频的超分任务时，遇到了一个让我抓狂的问题——模型在连续帧上出现了明显的闪烁，前一秒还是清晰的纹理细节，下一秒就糊成了一团。我盯着loss曲线看了半天，发现单帧的PSNR已经刷到了38.5，但视频播放起来就是不对劲。后来我才意识到，问题出在模型压根没有建立起帧与帧之间的长程依赖关系，它只是在独立地处理每一帧，然后强行拼凑在一起。这种“伪视频超分”的痛，相信做过视频超分的人都懂。今天要聊的VSRT（Video Super-Resolution Transformer），正是为了解决这个顽疾而生的。它把Transformer那套自注意力机制搬到了时空维度上，让模型真正学会“看”连续帧之间的运动轨迹和纹理演变。从单帧到多帧：为什么CNN不够用了传统的视频超分方法，比如EDVR、BasicVSR，核心思路是用光流做对齐，然后用CNN融合。光流估计本身就是一个病态问题，遇到大运动、遮挡、模糊区域，光流图就崩了。我调试EDVR的时候，经常看到光流图里出现诡异的“鬼影”，模型把背景的纹理错误地映射到了前景物体上。VSRT的思路很直接：既然光流对齐这么难搞，那我干脆不做显式的运动估计，让Transformer自己去学帧间的对应关系。它的核心模块叫TSA（Temporal Spatial Attention），把时间维度和空间维度的注意力分开计算，而不是一股脑塞进一个巨大的注意力矩阵里——后者计算量太大，显存根本扛不住。