2014年秋天,如果你问一个计算机视觉领域的研究者“深度学习能识别视频里的动作吗”,大部分人会摇头。不是深度学习不行,而是它在这件事上一直打不过一群“老古董”方法。这些老方法有个专业名字。 手工特征*指研究者根据经验设计的特征提取规则,不是通过学习得到的,比如统计图像里边缘的方向分布,或者追踪像素点在视频中的运动轨迹。在2014年之前,最强的视频动作识别方法叫做密集轨迹Dense Trajectories,它通过追踪视频里成千上万个点的运动路径,再统计这些路径周围的图像特征,拼出一套动作的“指纹”。这套指纹式的方法在标准数据集UCF-101上能拿到87.9%的准确率。深度学习这边呢?最好的尝试是把视频的每一帧当成一张图片,直接扔进卷积神经网络。结果准确率只有65.4%,比手工特征低了整整22.5个百分点。22.5个百分点意味着什么?意味着每识别10个动作,深度学习就要比手工方法多认错两个还多。这个差距在当年被很多人认为是“深度学习的天花板”,理由也很直接视频比图片多了一个时间维度,而卷积神经网络天生擅长处理空间结构,不擅长处理运动。牛津大学Karen Simonyan和Andrew Zisserman这两位研究者,决定回答一个问题深度学习到底能不能理解“动”这件事,而不是只理解“长什么样”。他们给出的答案,后来被写进了一篇叫《Two-Stream Convolutional Networks for Action Recognition in Videos》的论文里。这个方法的核心思路简单到有点反直觉不要让一个网络同时学“形状”和“动作”,而是拆成两个网络,一个专门看形状,一个专门看动作,最后把两边的判断结果加起来。问题出在哪:视频不是图片的堆叠要理解这个设计的必要性,得先弄清楚为什么直接把视频塞进图片分类网络会失败。一个动作,比如“挥手”,由两部分信息组成。第一部分是场景和物体的样子,手是什么形状,背景是什么环境。第二部分是运动,手往哪个方向挥,速度多快,轨迹是什么样。普通的卷积神经网络在静态图片分类上表现极好,因为它擅长捕捉纹理、边缘、颜色这类空间信息。但当你把视频的一帧一帧塞给它,让它自己去“悟”出运动模式,它其实很难悟出来。原因在于卷积操作本身是为静态图案设计的。它去检测“这里有个圆形”“那里有条竖线”,却没有天然的机制去捕捉“这个点在下一帧移动到了那里”。你让它隔着单张图片猜运动方向,相当于给它一张照片让它猜快门按下前后物体往哪边动,信息压根不在这张图里。这就是为什么早期尝试直接堆叠视频帧的方法,准确率只有65.4%,比手工特征还差一大截。Simonyan和Zisserman的洞察是,如果网络自己学不会捕捉运动,那就不要让它自己学,直接把运动信息用现成的算法算出来,喂给另一个专门的网络。这个现成的算法叫光流。 光流*描述视频里每一个像素点从上一帧到下一帧移动方向和速度的向量场,是计算机视觉里的经典技术,不需要深度学习,用传统算法就能计算。两条流:空间流和时间流论文的核心结构因此变成了两条并行的卷积网络,论文管它们叫“空间流”和“时间流”。空间流干的事很朴素,输入单独一帧图像,判断画面里有什么,谁在做什么姿势。这条流基本就是一个常规的图片分类网络,输入是RGB图片,判断“这个人手里拿着球拍”“背景是网球场”这类静态信息。时间流则完全不看图片的颜色和纹理,它的输入是连续多帧计算出来的光流场,也就是每个像素“往哪儿动、动多快”的信息。它不关心画面上是不是网球场,只关心手臂挥动的方向和速度是不是符合“挥拍”这个动作的运动特征。![两条流的结构图]论文里的结构图画得很清楚一段视频先被拆成两路输入,一路是某一帧的原始画面,另一路是这一帧附近若干帧算出的光流叠加图。两路各自送进一个卷积网络,各自吐出一个分类结果,最后把两个结果的分数加权合并,得出最终判断。这个设计能不能工作,关键要看合并之后效果怎样。论文给出的答案是,单独用空间流,准确率是72.6%,单独用时间流,准确率是81.0%,两者融合之后,达到88.0%。这里有个细节值得说清楚单独的时间流,也就是只看运动不看画面的网络,准确率比只看画面的空间流高了整整8.4个百分点。这说明在“动作”这个任务上,运动信息本身比画面信息更重要。这也印证了他们最初的判断,普通卷积网络学不好视频,不是因为网络不够大,而是因为它压根没被喂到运动信息。如果不拆成两条流会怎样?论文里也做了对比,前面提到的直接堆叠视频帧的方法只有65.4%,比两流方法融合后的88.0%低了22.6个百分点。这个差距基本说明了一件事,深度学习不是学不会视频里的动作,而是之前的做法没有把正确的信息喂给它。这里可以打一个类比。假设你要教一个从没见过体育比赛的人辨认“投篮”和“传球”这两个动作,你给他看一张静止的照片,他大概能看出这是篮球场,画面里有个人举着球,但他猜不出球接下来往哪儿飞。如果你换成给他看一段慢动作的手臂摆动轨迹,哪怕看不清是谁在打球,他也能准确判断这是投篮还是传球的姿势。两种信息各有各的用处,同时给他看,他判断得最准。如果你非要让他只凭一张静止照片就猜出运动方向,他大概率猜错,这正是早期深度学习方法在视频动作识别上栽跟头的原因。为什么光流要单独算,而不是让网络自己学有人可能会问,深度学习不是最擅长自动学习特征吗,为什么这里还要用一个传统算法先把光流算出来,再喂给网络?这不是绕了个弯路吗?答案在于当时的算力和数据条件。2014年的卷积神经网络想要从原始像素直接学出精确的运动估计,需要海量标注数据和更深的网络结构,而当时能用的视频动作识别数据集规模很小,UCF-101总共只有13320段视频。这么小的数据规模,不足以让网络从零学会计算光流这么精细的任务。于是最实际的做法是,借用计算机视觉里已经成熟几十年的光流估计算法,把这一步的计算精度直接“外包”出去,网络只需要学习“看到这样的运动模式,应该判断为什么动作”,而不需要自己从像素里推导运动是什么。这是一种务实的工程选择不追求端到端全部由神经网络完成,而是让传统算法和深度学习各自发挥所长。这就好比装修房子,你完全可以雇一个全能工人从水电到瓦工全部自己上手,但如果这个工人对水电不熟,勉强上手可能漏水漏电,不如直接请一个专业电工把线路布好,工人负责后续的瓷砖和粉刷。传统光流算法就是这里的“专业电工”,它把最难、最精细的运动计算做好,深度学习网络专心做它擅长的模式识别和分类。如果非要让新手工人从零学电路,大概率是又慢又容易出错。数据不够怎么办:多任务训练拆成两条流之后,Simonyan和Zisserman还面临一个具体的工程难题,时间流网络需要海量的视频数据来训练,但当时能用的标注视频数据集非常有限。他们用的解决办法叫多任务学习。 多任务学习*让同一个网络同时在两个不同的数据集上训练,共享大部分网络参数,只在最后输出层区分任务,这样可以用一个数据集的数据帮助另一个数据集的学习。具体做法是,他们把UCF-101和另一个数据集HMDB-51放在一起训练同一个时间流网络,网络的大部分层参数是共享的,只有最后的分类层是各自独立的。这样一来,即使单个数据集的数据量不够,合在一起训练也能让网络学到更泛化的运动特征。实验结果证明这个做法确实有效,加入多任务学习后,时间流网络在UCF-101上的准确率从80.4%提升到81.0%,提升幅度不算夸张,但在当时数据稀缺的条件下,这是一个实打实的增益,而且几乎没有额外成本。站在历史节点上回头看这篇论文发表的意义,放在2014年的时间点上看格外清楚。在此之前,深度学习在图像分类上早已证明了自己,2012年的AlexNet横扫ImageNet图像分类比赛,让整个领域相信卷积神经网络是未来。但视频领域是个例外,深度学习方法迟迟打不过手工设计的密集轨迹特征,这让不少人怀疑,卷积网络的成功是不是只局限于静态图像,视频这种带时间维度的数据可能天然不适合它。两流网络第一次让深度学习在视频动作识别的标准测试集上超过了手工特征方法,88.0%对87.9%,虽然只领先了0.1个百分点,但这是质的突破。它证明了深度学习不是不能理解动作,只是之前没有找到正确的信息表达方式。这个时间点上还有个值得说的细节,Karen Simonyan和Andrew Zisserman同属牛津大学的VGG研究组,而就在两流网络论文发表几个月后,他们两人又发表了另一篇论文,提出了后来家喻户晓的VGGNet,一个通过堆叠简单卷积层大幅提升图像分类性能的网络结构。这两篇论文几乎是同期完成的工作,某种程度上反映了这个团队当时在深度学习结构设计上密集探索的状态,一边琢磨怎么把网络做深做对,一边琢磨怎么把时间信息喂给网络。两流网络之后,这个思路很快被后续研究继续放大。2015年,Feichtenhofer等人在两流网络基础上提出了改进的融合策略,研究如何在网络的不同层级把空间流和时间流的信息更早地结合起来,而不是像原始论文那样只在最后输出层简单相加,这让融合后的准确率进一步提升。2016年,Wang等人提出的Temporal Segment Networks时序分段网络把两流结构扩展到整段视频而不只是短片段,通过对视频均匀采样多个片段分别提取两流特征再聚合,解决了原始两流网络只能看视频里很短一段画面、难以捕捉长时间动作的问题,在UCF-101上把准确率推到了94%以上。再往后,3D卷积网络逐渐兴起,直接用三维卷积核同时处理空间和时间维度,试图让网络自己学会捕捉运动,不再需要手工计算光流这一步。这类方法某种程度上是对两流网络路线的反思,如果网络足够大、数据足够多,是不是可以省掉光流这个中间步骤?但即便如此,两流网络提出的“空间信息和时间信息应该分开处理再融合”这个核心思想,直到今天仍然在很多视频理解模型的设计里留有影子。关键数据一览| 方法 | 准确率(UCF-101) ||---|---|| 密集轨迹手工特征,此前最强方法 | 87.9% || 直接堆叠视频帧的深度学习方法 | 65.4% || 仅空间流 | 72.6% || 仅时间流 | 81.0% || 时间流加多任务学习 | 81.0%较无多任务学习的80.4%提升0.6个百分点 || **两流网络融合空间流时间流** | **88.0%** |写在后面读这篇论文时最让我意外的一点是,时间流单独的准确率(81.0%)比空间流单独的准确率(72.6%)高出这么多。这说明在“认出一个动作”这件事上,动作本身怎么动,比画面里有什么东西,信息量更大。这其实推翻了一个直觉,我们平时看视频认动作,好像更依赖“看清楚发生了什么”,但对机器来说,运动轨迹反而是更可靠的线索。另一个值得琢磨的地方是,这篇论文没有强行用深度学习取代一切,而是老老实实借用了传统光流算法。这提醒我一个容易被忽略的事实,新技术的第一次突破,往往不是靠彻底抛弃旧方法,而是靠找到旧方法和新方法的正确接口。后来3D卷积网络试图让网络自己学会算“光流”,某种程度上是在赌算力和数据会持续变得便宜,这个赌注后来确实赢了,但在2014年那个时间点,老老实实借用光流算法才是对的选择。如果两条流的信息可以互相帮助,那能不能有第三条流,专门捕捉更长时间尺度的动作模式?这个问题后来的研究确实在回答,但两流网络这篇论文当时并没有给出答案。QAQ1两流网络Two-Stream Convolutional Networks是什么?A两流网络是Simonyan和Zisserman在2014年提出的视频动作识别方法,用两个独立的卷积网络分别处理单帧画面(空间流)和运动光流信息(时间流),再将两者的判断结果融合,首次让深度学习在UCF-101数据集上超过了手工特征方法。Q2两流网络为什么要用光流而不是让网络自己学习运动信息?A因为2014年的视频数据集规模很小,网络难以从零学会精确估计运动,所以研究者借用了成熟的传统光流算法直接计算运动信息,再交给网络学习如何根据这些运动模式判断动作类型,这样效率更高、效果更好。Q3两流网络的准确率相比之前最强的手工特征方法提升了多少?A两流网络融合后的准确率是88.0%,此前最强的手工特征方法密集轨迹是87.9%,两者非常接近,但这是深度学习第一次在视频动作识别标准测试上追平并略微超过手工特征方法,具有里程碑意义。