FairMOT 这篇论文在目标跟踪圈子里火了好一阵了但网上大多数解读都停在“它是 anchor-free 的”这个层面然后就开始讲结构图。真正动手做过 MOT 的人都知道FairMOT 的价值远不止换了个检测头这么简单它其实是把“检测”和“重识别”这两个原本互相打架的任务用一种相对干净的方式焊在了同一个网络里。本文我想从实际应用和复现的角度把这篇论文真正讲透它解决什么问题、各个模块为什么这么设计、训练和推理的完整链路长什么样、以及我在落地过程中踩过的那些坑。1. 一个被“框”住的领域Anchor-Based 方法在 MOT 上的尴尬1.1 从“两段式”到“一段式”演进中的核心矛盾多目标跟踪MOT的任务说起来很简单给定一帧图像你要把里面所有感兴趣的目标框出来并且在连续的视频帧里保持同一个目标的 ID 不变。早年主流的 DeepSORT 路线是“先检测、后跟踪”也就是检测器全速跑一遍把框给到跟踪模块再单独用一个 ReID 网络提取每个框的衣着特征靠特征相似度做帧间匹配。这种两段式方案很稳但缺陷摆在那里检测和 ReID 是两套网络无法共享特征速度上不去。于是业界开始尝试把检测和 ReID 塞进同一个网络最具代表性的就是 JDE——它把 ReID 分支直接挂在检测器的特征图上。这个思路方向是对的但 JDE 的效果一直不算理想尤其是 ID Switch 这个指标很难看原因就藏在 anchor-based 检测器的结构里。1.2 Anchor 框带来的“特征错位”问题到底错在哪JDE 这类方法通常会沿用带 anchor 的检测器比如 YOLO 变体。检测器在训练时会把每个真实目标框和它匹配的 anchor 框绑定然后对 anchor 框内的特征做分类和回归。问题来了一个目标在图像里是离散的、有边界的一个像素区域而 anchor 框是网格化生成的一堆预设矩形两者并不是天然对齐的。具体到特征层面anchor 框内部的 RoI 特征或多或少会挤入背景像素或者把目标的一部分边缘给切掉。对于分类任务来说这事影响不大——类别判断本来就允许一定鲁棒性但对于 ReID 任务来说特征里混入背景、或者目标被裁掉一截意味着这个目标的“身份指纹”被污染了。你用一个被污染的指纹去做帧间匹配匹配结果当然时好时坏。更麻烦的是anchor 本身的超参数长宽比、尺度、数量需要针对具体场景反复调。而且 anchor 匹配规则是“和 ground truth 交并比大者得”一个真实目标可能匹配到多个 anchor或者一个 anchor 同时负责多个目标这都把同一个目标的 ReID 特征给打散了。FairMOT 的核心动机正是冲着这个问题去的与其在 anchor 的不对齐框架里修修补补不如直接从 anchor-free 的思路出发让目标的位置和 ReID 特征严格落在同一个点上。1.3 为什么 CenterNet 式的方法天然适合跟踪场景CenterNet 是典型的 anchor-free 检测器它不预测框和 anchor 的偏移而是直接预测目标中心点的 heatmap再回归出中心点到四条边的距离。FairMOT 直接继承了这套思路你在 heatmap 上找到一个显著的峰值点这个点就是目标的中心。目标中心点天然表达了“单个目标自身”的位置不需要绑任何先验框。在这个点上提取的特征几乎就是目标正中心的特征干净、紧凑、背景污染极小。这时候 ReID 分支也是基于同一个中心点去提取特征检测框和身份特征就构成了严格的锚定关系。FairMOT 的名字里“Fair”这个单词最重要的含义就在这里检测任务和 ReID 任务从起点开始就被公平地放置在了同一个特征位置上谁也不会为谁做妥协。2. FairMOT 整体设计拆解两条分支如何在一个网络里共生2.1 总体架构一个骨干网络、两个头部FairMOT 的总体结构其实很简洁输入一帧图经过一个改良过的 ResNet-34 骨干网络接一个 DLA 特征融合结构输出一个 1/4 分辨率的特征图。在这个特征图上分出三个头heatmap 头、box 回归头、ReID 头。三个头各司其职heatmap 头负责找到目标中心点的位置输出分辨率是 H/4 x W/4每个位置预测一个分数表示这里是目标中心的置信度box 头对每个中心点输出目标框的宽高和中心点的偏移量因为下采样之后中心点坐标会有小数误差ReID 头输出每个中心点的身份嵌入向量默认维度是 128 维。这个设计和 FPN 式的多尺度检测思路不同FairMOT 自始至终只用一张 1/4 分辨率的融合特征图没有多尺度分支。这一选择也是刻意为之——多尺度特征在 anchor-based 检测里很有用但多尺度会意味着同一个目标在不同尺度特征图上被重复预测对于跟踪来说你还得头疼这些重复预测之间怎么合并反而破坏了“一个目标一个特征”的干净性。2.2 Backbone 选型为什么是 ResNet-34 而不是 ResNet-50很多人在复现的时候会不假思索地换成 ResNet-50 或者更深的主干认为模型越大效果越好。但 FairMOT 用 ResNet-34 是有明确理由的。MOT 任务中目标往往很小比如行人远距离时甚至只有几十个像素你需要的不是非常“深”的语义特征而是足够“细”的空间分辨率。ResNet-34 在维持不错语义信息的同时计算开销比 ResNet-50 小得多能够让你在第 4 层也就是 1/4 分辨率的特征图上继续保持细节。用更深的网络理论上语义更强但下采样层数多、有效步幅大小目标的中心点往往糊在 heatmap 里找不到这就是典型的“检测精度被网络深度反噬”。另一个容易被忽视的点MOT 数据本身的规模很小。MOT17 训练集里只有几千张标注帧你要是拿个大 backbone 去 train from scratch几乎必然过拟合。FairMOT 采用 ResNet-34 配合在 COCO 上的预训练权重再通过 DLA 结构进行跨层融合算是在“数据有限”和“精度需求”之间拿捏了一个很务实的平衡点。2.3 DLA 融合结构到底在融合什么DLA 全称 Deep Layer Aggregation简单说就是把不同层级的特征进行迭代式的融合让高层语义信息和低层细节信息互相渗透。FairMOT 用的是 DLA 的一个变体具体结构是在 ResNet-34 的基础上把第 2、3、4、5 层的特征做类似 FPN 的自上而下融合但融合方式比 FPN 多加了几层树状聚合融合之后每一个位置的特征同时包含丰富的语义和空间细节。说直白一点单靠最后一层特征图做检测和 ReID小目标的细节早就丢光了单靠浅层特征又缺少全局语义行人抠出来都不知道是人还是柱子。DLA 的迭代融合在不大幅增加计算量的前提下把这两部分信息拧在了一起。实际消融也证明去掉 DLA 融合之后 MOTA 和 IDF1 双双下跌说明在 anchor-free 结构里特征融合的质量比网络深度更值钱。2.4 “Fair”的第三重含义任务之间也要公平FairMOT 对“公平”还有一个维度的理解两个任务在训练时的地位应该是平等的你不能让检测任务把 ReID 任务压得没有梯度空间也不能反过来。这个细节主要体现在两个地方。一是 ReID 分支从特征图上的每个像素位置都提取特征而不是只从 GT 中心点提取。训练时你会看见它在全图上对所有位置产生梯度这就保证了 ReID 分支不仅仅是“中心点那几个像素”的学习而是整个语义特征图都有身份判别能力。二是损失函数里ReID 分支使用了难样本三元组损失和 ID 分类损失的加权组合并且在全图上随机采样一部分位置参与 ReID 训练。这样 ReID 头不会因为训练对某个目标过拟合而是学会了一个通用的“身份判别表征”。3. 损失函数与训练策略三分支损失如何协同3.1 Heatmap 损失一个中心点由谁说了算FairMOT 的 heatmap 分支输出每个位置是目标中心的置信度训练时用的损失函数是 Focal Loss 的一个变体这个变体在 CenterNet 里就已经验证过对于正样本点鼓励它输出接近 1对于中心点周围的高斯半径内的点不简单当成负样本硬压而是按照与中心点的距离衰减惩罚力度远离中心的点则正常按负样本处理。为什么不能用简单的二分类交叉熵因为目标中心点下采样到 1/4 分辨率之后标注的整数坐标可能偏向某一个像素旁边那一个像素同样是有效的目标中心。如果我们硬把所有非中心点的像素都当成负样本网络会在这些邻近像素上产生大量冲突信号训练很不稳定。高斯掩码本质上是在告诉网络“你这几个像素都可以响应这个目标但越靠近真实中心响应应该越强。”这保证了预测时 heatmap 上能形成尖锐的、可区分的峰而不是一片糊。训练中一个值得注意的细节是分辨率造成的中心点偏移还会通过 box 头单独回归一个 offset类别是中心点附近的连续偏移量。这个小回归头看似不起眼但对于后续的中心点追踪是必须的——你不可能靠四分之一分辨率的粗略坐标去跟踪一个移动的小目标。3.2 Box 损失和 ReID 损失的平衡艺术Box 回归头和 CenterNet 一样直接回归中心点到上、下、左、右四个边界的距离使用 L1 loss。这部分损失权重比较小通常在实验中占 0.1 左右。ReID 损失是 FairMOT 比较讲究的地方。它对每个标注目标提取对应的 128 维特征然后同时使用三元组损失和 ID 分类损失。ID 分类损失就是把每个训练目标当作一个类别去分类简单粗暴地逼迫网络按 ID 区分目标三元组损失则是把同一个 ID 的目标特征拉近、不同 ID 的目标特征推开。两个损失加在一起让特征空间既具备类别可分性又具备度量空间里的判别性。消融实验里去掉三元组损失后 IDF1 明显下滑因为单独的 ID 分类损失往往让网络学到的是“粗分类”能力而不是细粒度的“距离远近”。真正到了推理阶段我们对比的是特征向量的余弦距离这个距离在训练时必须有显式约束——这正是三元组损失不可替代的原因。3.3 总损失权重为什么要设为 10.11FairMOT 的总损失基本是heatmap loss 0.1 x box loss 1 x ReID loss。很多人复现时会觉得 box loss 这么小是不是不够上来就调成 0.5结果把框训得稳稳的但 ReID 特征反而不好了。这里背后有个很实际的逻辑Box 回归结果是给跟踪提供空间位置的但它不是身份判别的唯一依据。框架里后续匹配时主要靠空间距离和 ReID 特征同时作用。让 box 损失占大头会迫使网络把大部分容量用去精修边框而这些精修对跟踪的 ID 保持几乎没有帮助。反过来ReID 损失占大头能确保同一目标的特征在不同姿态、不同遮挡下依然非常接近这才是 MOT 里最珍惜的能力。我见过不少团队自己调参把 box 权重提到 0.5发现框确实更紧致但 ID Switch 暴涨。原因就是特征空间失衡了。所以 FairMOT 给出的这组权重不是一个随手填的参数而是经过反复实验得到的平衡状态。3.4 训练细节EMA 和数据增强怎么配合FairMOT 训练时的数据增强组合是随机水平翻转、缩放、裁剪、颜色抖动。这里面比较关键的是颜色抖动。MOT 视频序列里同一个目标在相邻帧之间光照变化通常不大但跨相机、跨时段之后颜色差异会非常大。你如果不在训练时把颜色抖动做强模型很容易依赖“颜色一致性”来做匹配一碰到光照突变ReID 特征就崩了。EMA指数移动平均在 FairMOT 的训练里也很重要。作者在推理时使用的不是训练末尾那一版参数而是所有历史参数的指数滑动平均这个技巧老实说对 BN 层比较敏感的任务帮助很大因为它能平滑掉训练后期的震荡让模型输出的特征更稳定。我实测下来打开 EMA 和不开 EMA在 IDF1 上能差 1 到 2 个点这个收益在 MOT 这种对稳定性要求极高的任务上非常可观。4. 推理流程与数据关联在线 MOT 的匹配策略4.1 从 heatmap 峰值到目标框一整套后处理流程推理阶段把一张图喂给网络得到三个头的输出。第一步不是直接用阈值过滤而是在 heatmap 上做 3x3 的最大值池化然后把那些同时是 3x3 邻域最大值的点挑出来。这个“局部峰值抑制”是一个关键细节目的是保证同一个目标只对应一个中心点。拿到候选中心点之后先把置信度低于某个阈值的点丢掉。然后根据 box 头输出的宽高和偏移量还原出每个中心点对应的完整目标框。这一步完成之后你可以得到这一帧所有的目标框和每个框对应的 128 维 ReID 向量。4.2 轨迹状态机从检测框到连续 ID 的关联跟踪器内部维护着一个轨迹集合每条轨迹包含历史 ReID 特征通常保留最近若干帧的均值、轨迹中心点位置、连续丢失帧数、轨迹状态暂定、确认、结束。算法流程大概是每一帧检测完先把新检测框和所有存活轨迹做匹配。匹配的依据是一个综合距离包括检测框中心点和轨迹预测中心点的欧氏距离以及检测 ReID 特征和历史轨迹 ReID 特征的余弦距离。两个距离按一定权重相加得到一个代价矩阵再用匈牙利算法做全局最优匹配。匹配时要设两个阈值一个是空间距离阈值一个是 ReID 距离阈值。超过阈值的配对直接不允许。为什么要两个阈值同时起作用空间距离阈值保证了匹配不会乱来——就算特征很像也不可能瞬间从画面左边跳到右边ReID 阈值则保证了即使目标短暂消失后重新出现只要特征还够近依然能接得上。这套组合比 DeepSORT 那种纯 IoU 级联匹配要灵活很多尤其是在遮挡后重现的场景下FairMOT 的优势非常明显。4.3 轨迹的出生、确认与消亡机制FairMOT 的轨迹管理借鉴了经典跟踪器的设计新检测框如果暂时没有和任何轨迹匹配上不会立刻生成一个“正式轨迹”而是先作为“暂定轨迹”存在。只有当这个暂定轨迹在连续几帧内都稳定地匹配上了新的检测框才被提升为确认轨迹并分配 ID。反过来一条确认轨迹如果连续丢失超过阈值比如 30 帧就直接销毁如果只是偶尔丢一帧还可以保留等待下一帧的特征匹配。这套机制就是为了挡掉误检带来的噪声轨迹——毕竟 anchor-free 检测器偶尔还是会输出一些置信度不低的背景误检如果一出现误检马上就给 ID你的整个跟踪结果里会到处是闪烁的“幽灵目标”。5. 实验结果与消融分析每个模块到底贡献了什么5.1 公开数据集上的硬指标变化在 2D MOT 2016 / 2017 的公开测试集上FairMOT 相比当时主流的单阶段方法MOTA 和 IDF1 都有明显提升尤其是 IDF1 和 ID Switch 提升幅度非常可观。这说明 FairMOT 的真正优势并不在于“把框得更准”这件事而在于“把 ID 保持得更久”。MOTA 这个指标衡量的是检测精度和跟踪一致性的结合IDF1 则更看重 ID 分配的准确性后者提升说明 ReID 特征在匹配中的价值被真正发挥出来了。论文里还特意和 JDE 做了对比重点强调的一个结论是JDE 之类方法里 ReID 特征其实没有充分发挥作用因为 anchor-based 结构中的特征错位问题让 ReID 分支学到的东西本身就有缺陷。FairMOT 在差不多的计算量下IDF1 比 JDE 高出十几个百分点。5.2 消融实验里最值得记住的几个数字论文的消融实验有几个结论很典型把 anchor-free 换成 anchor-basedMOTA 和 IDF1 同时显著下跌说明 anchor-free 结构是公平训练的基石不做特征对齐即不在中心点直接提取 ReIDIDF1 掉得特别明显说明中心点锚定是 ReID 发挥作用的必要条件去掉 DLA 特征融合IDF1 也会下滑说明跨层特征融合对中小目标的特征表达至关重要ReID 特征维度从 128 降到 64IDF1 微降但速度小幅提升这是一个可以按算力取舍的选项。这些消融实验用一句话概括就是FairMOT 的三个关键设计——anchor-free 检测、中心点特征对齐、DLA 融合——每一层都在为“ID 保持”服务缺一个都会导致跟踪质量的明显退化。5.3 速度与精度的实际权衡FairMOT 在单卡上大概能跑到 25 FPS 左右以 DLA-34 配置为准配合轻量后端在嵌入式设备上也能跑出现实可用的帧率。这个速度在当年已经是非常领先的单阶段 MOT 方案了它证明了“检测 ReID 单网络”这条路是行得通的。那种认为“MOT 必须上两段式否则 ReID 质量一定拉胯”的旧观念基本上被这组实验结果给否掉了。不过也要说句公道话FairMOT 的高效建立在“目标尺度变化不大”的前提上它默认同一类目标的中心点尺度分布相对集中。一旦遇到大尺度和极小尺度目标混在一起单尺度的 heatmap 表达就会吃力这点在 MOT20 这种密集场景里体现得比较明显。6. 复现与落地我在实践中踩过的坑6.1 预训练权重与骨干网络细节复现 FairMOT 时最容易翻车的地方是预训练权重。论文里的 baseline 用的是 DLA-34 结构而这个结构在常见框架里没有现成的 ImageNet 预训练权重很多复现者会直接把 backbone 换成一个现成的 ResNet-34 权重但这其实牺牲了 DLA 结构本身带来的融合优势。我自己的做法是参照论文给的 DLA-34 定义把层次聚合结构搭出来之后用 ImageNet 预训练的 ResNet-34 权重来初始化 backbone 部分其中 DLA 新增的聚合层用随机初始化。实践下来模型需要先跑几个 epoch 让聚合层适应然后 loss 才能稳定下降这个过程看起来会让人误以为代码写错了其实是正常的。如果你直接用 COCO 预训练的 CenterNet 权重来初始化效果会好很多但注意其输出通道数和 FairMOT 的三个头并不一致加载时要做好裁剪。6.2 ReID 特征到底要不要做归一化FairMOT 的 ReID 头输出的 128 维特征在推理时要和轨迹的历史特征做余弦距离。余弦距离本身对向量长度不敏感但训练时如果网络输出的特征向量长度差异过大会导致梯度更新不稳定。实践中我发现一个细节如果在 ReID 头后面加一个 L2 归一化层训练时三元组损失里距离度量用归一化后的特征效果往往比不归一化或者只在推理时归一化要好。因为归一化让网络在训练时就知道“特征最终会被压到单位超球面上”它会主动调整特征分布的紧凑性。FairMOT 原始论文里对这个问题提得不多但很多第三方实现都会在推理阶段做一次 L2 归一化这是经过实操验证的有效做法。6.3 阈值调参IDF1 和 MOTA 之间的隐形成本FairMOT 推理阶段有一个很关键的阈值参数检测置信度阈值。阈值调得低召回率上去了但误检增多最终表现为 MOTA 微升、IDF1 大跌——因为误检目标会随机匹配到轨迹把整个 ID 分配搅乱。阈值调得高ID Switch 确实减少但漏检目标变多轨迹断裂频繁IDF1 又往下掉。我在实际调参中建议不要只看 MOTA而是一起看 IDF1 和 ID Switch。这三个指标本质上在互相对抗。更合理的做法是根据你的业务场景先定一个可接受的误检率再反推阈值。比如做商场客流统计误检一个不存在的行人比漏掉一个行人更致命那阈值就应该往高调做安防巡逻漏报可能更严重那就适当降低阈值、靠后续的轨迹管理机制来过滤噪声。6.4 距离权重的影响比你想的大FairMOT 匹配时综合距离 空间距离 权重 x ReID 余弦距离。这个权重的取值对跟踪效果影响巨大但它恰恰是最容易被复现者忽视的参数。权重太高模型过度信任 ReID 特征在遮挡之后可能把 A 的身份误配给 B权重太低模型又几乎退化成“纯位置跟踪”一旦目标快速移动或短暂丢帧就会断链。我的调参经验是先固定检测置信度阈值把权重按数量级去试0.1、0.5、1、2每改一次都统计 IDF1 和 ID Switch。多数场景下 0.5 到 1 这个区间是比较稳的但如果你的相机有抖动、目标运动速度快权重应该往 0.5 以下调多信任空间信息如果你的场景里目标外观差异明显但空间上容易混淆就往 1 以上调多信任 ReID。6.5 训练轮数和 BN 层统计量的问题FairMOT 论文里训练用的是 30 个 epoch 左右。我复现的时候最开始只跑了 15 个 epochReID 分支明显没有收敛IDF1 差了一大截你甚至能观察到特征向量之间的余弦距离完全没有区分度。后来我把训练拉长到和论文近似并且特别留意 BN 层的 running mean 和 running variance 是否更新稳定——这个问题在小 batch 训练时特别明显。如果你用的是比较小的 batch size比如 4 或 6BN 的统计量噪声会很大模型输出的特征在推理时会出现“训练和推理分布不一致”的典型症状。两个可落地的解法一是增大 batch size一般建议 12 以上二是如果显存不够可以在训练到一半时冻结 BN 的统计量更新只把 BN 当成一个固定的归一化层来用这样推理时会稳定不少。这个技巧在 FairMOT 这种特征敏感型模型上尤其有用。6.6 密集场景和遮挡场景的落地建议FairMOT 在密集场景下的表现比大家预想的要弱一些因为相邻目标的中心点太近heatmap 峰值很容易互相压制。如果你想把它用到商场、车站这类人流密集的场景我建议做两件事一是在训练时增加一个针对“中心点冲突”的数据增强比如随机将一个目标的中心点附近像素扣掉逼迫模型学会在遮挡情况下依然维持正确的中心点响应二是在推理时把局部峰值抑制的邻域从 3x3 扩大到 5x5代价是会丢掉一些相邻的密集目标但换来的是更稳定的 ID 分配。如果你面对的是相机运动较强的场景FairMOT 原生的中心点方案会有点吃力因为背景整体移位之后空间距离约束容易被破坏。一个有效缓解手段是引入轻量的背景运动估计在送进跟踪器之前先做一次全局对齐。这个做法不会影响 ReID 特征本身的提取但对于空间距离匹配的帮助非常明显能在不重训模型的前提下挽回几个点的 IDF1。写在最后FairMOT 给我最大的启发不是它用了 anchor-free而是在这个框架里“检测框”和“身份特征”被真正拧成了同一条绳。这种设计上的干净让工程上很多脏活累活都变得可控了。如果你正准备在业务里落地一个实时 MOT 系统或者只是在学习阶段想把检测和跟踪的边界摸清楚从 FairMOT 的结构和训练细节入手会是一个非常好的起点。实话说它并不是论文里那种“只能看不能跑”的架构——只要你把预训练权重、EMA、阈值平衡这几关过了它给你的回报会相当可观。