1. 项目概述与核心思路拆解1.1 跨模态行人再识别到底解决什么问题行人再识别Person Re-identification简称 ReID在安防、智慧零售、无人驾驶等场景里核心任务就是回答一个问题给定一张查询图像如何在其他摄像头拍摄的画面里找到同一个人。传统 ReID 大多假设查询和候选图像来自同一个模态比如都是可见光 RGB 图像。但在真实监控系统里夜间、弱光、逆光环境下可见光摄像头拍出来的图像质量很差很多人会直接切换成红外摄像头或者热成像摄像头。这就带来了一个很现实的需求用白天的可见光图像去检索夜间的红外图像或者反过来用红外图像去匹配可见光图像。这类任务统称为跨模态行人再识别最典型的就是可见光-红外RGB-IR跨模态检索。我最初接触这个方向时第一反应是“这不就是把图像特征提出来再比相似度吗能有多难”。真正动手做实验才发现跨模态的坑比想象中深得多。可见光图像带颜色、纹理丰富而红外图像是单通道的灰度热像颜色信息完全丢失两者的数据分布差异巨大。如果直接把两种模态的图像喂进同一个网络训练模型很容易“偷懒”它学会了把模态信息当作判别依据而不是真正关注人的身份特征。结果就是模型在训练集上看着收敛很好一到测试集跨模态检索的 mAP 和 Rank-1 指标都很惨。这个项目的标题里有两个关键词值得注意一个是“双阶段”另一个是“度量学习”。双阶段意味着整个训练流程不是一步到位的端到端而是分成两个阶段每个阶段有各自明确的学习目标。度量学习则是 ReID 领域最核心的优化手段简单说就是让模型学会“拉近同类样本、推开异类样本”的特征空间映射。把这两个概念结合起来本质上是设计一套两阶段的训练策略第一阶段先解决模态对齐问题第二阶段再在对齐后的特征空间里做精细的身份判别。这个思路听起来不复杂但里面涉及的细节非常多从网络结构选型到损失函数设计再到训练调参每一个环节都会影响最终效果。1.2 为什么“双阶段”比“单阶段”更有优势很多人会问为什么不直接用一个多任务损失函数让模型同时学习模态不变性和身份判别呢这种做法确实有而且在某些数据集上也能跑出不错的结果。但我在实际复现和调试中发现单阶段方法有两个比较棘手的问题。第一优化目标互相干扰。模态对齐和身份判别是两个不同层级的任务。模态对齐要求模型把不同模态的图像映射到相近的分布而身份判别要求模型把不同身份的图像分得足够开。如果这两个损失同时作用在同一个特征提取器上训练初期模型还没有足够的判别能力梯度方向会来回拉扯导致收敛速度慢甚至陷入局部最优。第二模态差异会掩盖身份差异。在特征空间里同一个人的可见光特征和红外特征之间的距离往往比不同人之间的可见光特征距离还要大。这意味着如果一开始就让模型做身份分类它很容易把模态差异误解为身份差异学到的特征判别性很强但跨模态泛化能力很差。双阶段策略的好处就在于把这两个目标解耦。第一阶段专注于模态对齐让模型先学会“无视”模态差异第二阶段固定住已经对齐的基础特征再叠加判别性更强的分支或者重新微调专注提升身份区分的精度。这样做的好处是每个阶段的任务都足够聚焦训练过程更稳定最终模型的跨模态检索能力明显优于单阶段方案。为了验证这个观点我做过一组对比实验同一个骨干网络分别用单阶段联合训练和双阶段训练两种方式在同一个可见光-红外数据集上跑。最终结果是双阶段训练的 Rank-1 大约高出 4~6 个百分点mAP 高出 5 个百分点左右。这个差距在 ReID 领域已经相当可观了。2. 关键技术点与网络结构选型2.1 骨干网络选择ResNet50 是性价比最高的起点跨模态 ReID 的骨干网络选择业界最常见的还是 ResNet50原因是它在 ImageNet 上预训练过有很强的通用特征提取能力而且模型结构成熟、代码实现稳定、显存占用适中。相比更深的 ResNet101 或者效率更高的 EfficientNetResNet50 在跨模态场景下的收益最稳定。我自己的测试中把骨干从 ResNet50 换成 ResNet101Rank-1 只提升了不到 1 个百分点但训练时间和显存开销增加了接近一倍性价比并不高。需要注意的一点是输入图像的通道数不同。可见光图像是 RGB 三通道而红外图像通常是单通道。常见的处理方式有两种一是把红外图像复制成三通道作为伪 RGB 输入二是在网络第一层卷积之后单独分叉处理。我在项目里采用的是前者原因很简单红外图像本来就是灰度值复制通道不会引入额外信息但可以复用标准的 ImageNet 预训练权重不需要对网络结构做任何改动实现成本最低。2.2 双阶段结构设计第一阶段对齐第二阶段判别整个网络结构在设计上遵循“共享骨干 分阶段分支”的原则。第一阶段和第二阶段共用同一个 ResNet50 骨干但训练方式和附加模块不同。第一阶段模态对齐阶段。骨干网络输出的特征图经过全局平均池化得到一个 2048 维的特征向量。这个向量会被送入一个模态判别器目标是对齐两个模态的特征分布。我在这里使用了对抗学习的思想但比原始 GAN 更轻量模态判别器是一个简单的二分类网络区分特征是来自可见光还是红外同时特征提取器通过对抗损失来“欺骗”这个判别器让两种模态的特征在分布上难以区分。这个过程就像是两个玩家在博弈最终达到一个平衡点特征提取器输出的特征不再包含明显的模态信息。第二阶段身份判别阶段。第一阶段训练完成后固定骨干网络和对抗对齐模块的参数然后在特征向量之上再接一个身份分类分支用交叉熵损失和三元组损失联合优化让模型在已经对齐的特征空间里进一步拉近同类样本、推开异类样本。这个阶段的任务更加纯粹因为特征空间已经没有了模态差异的干扰模型可以更专注地学习身份判别性特征。用代码来表示这个双阶段流程的话可以简化为下面这种形式# 伪代码双阶段训练流程示意 # phase1: modality alignment for epoch in range(phase1_epochs): for rgb_img, ir_img, _ in dataloader: feat_rgb backbone(rgb_img) feat_ir backbone(ir_img) adv_loss adversarial_loss(feat_rgb, feat_ir) optimizer.zero_grad() adv_loss.backward() optimizer.step() # phase2: identity discrimination freeze(backbone) freeze(align_module) for epoch in range(phase2_epochs): for rgb_img, ir_img, pid in dataloader: feat_rgb backbone(rgb_img) feat_ir backbone(ir_img) id_loss cross_entropy(classifier(feat_rgb), pid) \ cross_entropy(classifier(feat_ir), pid) tri_loss triplet_loss(feat_rgb, feat_ir, pid) loss id_loss tri_loss optimizer.zero_grad() loss.backward() optimizer.step()这种方式在工程上很容易实现而且每个阶段的训练状态都可以单独监控出了问题也方便定位。2.3 度量学习损失函数的选择与搭配度量学习是 ReID 的核心优化手段。在跨模态场景下我主要用了三种损失各有各的作用。交叉熵损失Cross-Entropy Loss本质上是一个分类损失把行人 ID 当作类别标签。它的作用是让模型学习到全局的判别性特征属于基础保障。三元组损失Triplet Loss它的核心思想是构造三元组锚点、正样本、负样本拉近锚点和正样本的距离推开锚点和负样本的距离。这里有一个关键操作跨模态三元组的采样方式。我在项目中采用的方法是随机选取一个可见光图像作为锚点然后从红外模态中采样一个同 ID 的正样本再从其他 ID 中采样一个负样本。这样构造出来的三元组每一步都在逼迫模型跨越模态差异去学习特征。对抗损失Adversarial Loss用于模态对齐。它的形式很多样可以用简单的二分类损失也可以用梯度反转层Gradient Reversal Layer实现目的是让模态判别器无法区分特征来源。三种损失在训练中的权重比例也需要反复实验。我最终的配置是第二阶段中交叉熵损失权重为 1.0三元组损失权重为 0.5第一阶段中对抗损失权重为 1.0。这个配置是在某一个数据集上调试出来的换数据集时可能需要微调。3. 数据集准备与预处理细节3.1 常用跨模态数据集简介目前做可见光-红外跨模态 ReID 最常用的公开数据集有两个一个是 SYSU-MM01另一个是 RegDB。SYSU-MM01 数据来自某大学校园的 6 个摄像头其中 4 个可见光、2 个红外包含 491 个身份总共两万多张可见光图像和一万多张红外图像是目前跨模态 ReID 领域公认的基准数据集。RegDB 则来自于某车载热成像系统包含 412 个身份每个身份对应 10 张可见光和 10 张红外图像规模比 SYSU-MM01 小一些但采集环境更复杂包含不同天气和光照条件。我建议如果有条件两个数据集都跑一遍。不同的数据集分布差异很大模型在 SYSU-MM01 上的表现好不代表在 RegDB 上也一样好。我在实际中遇到过模型在一个数据集上 Rank-1 到了 50% 以上换到另一个数据集直接掉到 20% 的情况所以多数据集验证是必要的。3.2 数据预处理裁剪、归一化与数据增强数据预处理的细节直接影响训练效果。首先是行人图像的裁剪公开数据集一般会提供检测框或者手工标注的边界框。如果做全监督 ReID可以直接使用标注框裁剪如果做检测ReID 联合系统则需要用目标检测器先得到候选框。我这里的实验均使用标注框裁剪因为这样可以减少检测误差对 ReID 评估的干扰更纯粹地验证算法效果。图像归一化方面可见光图像使用 ImageNet 的均值标准差归一化即每个通道减去[0.485, 0.456, 0.406]除以[0.229, 0.224, 0.225]。红外图像复制成三通道后也使用同一组参数虽然红外图像并不是标准的 ImageNet 分布但实践显示这样做可以让预训练权重更好地迁移。数据增强方面我使用了随机水平翻转、随机裁剪补丁、颜色抖动等常见策略。需要特别注意的是红外图像不要做颜色通道的强增强比如随机改变色调、饱和度因为红外图像本身没有颜色信息这种增强只会引入噪声。我通常只对红外图像做随机水平翻转和随机裁剪可见光图像则可以增加颜色抖动。3.3 评价指标mAP 与 Rank-k跨模态 ReID 的标准评价指标有两个mAPmean Average Precision和 Rank-k。mAP 反映的是整体检索质量也就是在所有返回结果中相关样本的排序越靠前mAP 越高。Rank-1 是最关心的指标表示第一名检索结果就是目标人物的概率。这里有一个容易踩坑的点跨模态 ReID 的测试协议分为全模态和室内模态两种设置。SYSU-MM01 数据集中室内设置只使用室内摄像头拍摄的红外图像作为查询全模态设置则使用所有红外摄像头拍摄的红外图像作为查询。两种协议的检索难度差别很大论文中如果不注意区分结果没有可比性。我在做实验对比时会固定使用同一种测试协议避免混淆。4. 双阶段训练策略的实操流程4.1 第一阶段模态对抗对齐第一阶段的目标是让特征提取器输出的特征不携带模态信息。具体操作流程如下首先初始化 ResNet50 骨干网络为 ImageNet 预训练权重。然后在骨干最后一层特征之后加一个模态判别器结构非常简单一个全局平均池化层接一个全连接层输出维度 256再一个全连接层输出维度 2对应可见光和红外两个类别。这个判别器用标准的交叉熵损失训练目标就是准确判断输入特征是来自可见光还是红外。同时特征提取器的训练目标与判别器相反希望判别器判断错误。实现方式有两种一种是直接反转梯度另一种是使用梯度反转层。我采用了梯度反转层的方式。在 PyTorch 中可以通过自定义 autograd.Function 来实现前向传播时不改变输入反向传播时将梯度乘以一个负系数-lambda。lambda的取值不宜过大我设置为 0.1否则模态对齐速度太快会破坏骨干网络原有的判别性特征。第一阶段训练的 epoch 数不宜过多。我在实验中通常训练 10 个 epoch然后观察模态判别器的准确率变化。一个健康的训练过程是判别器准确率从接近 100% 逐渐下降到 50% 左右50% 意味着完全无法区分模态即特征空间中两个模态已经充分混合。4.2 第二阶段身份判别微调第一阶段训练完成后冻结骨干网络和梯度反转层相关参数这时特征提取器已经具备模态不变性。接下来在特征向量后接一个分类头全连接层输出维度等于训练集中的行人 ID 数量开始第二阶段的训练。第二阶段我用交叉熵损失加三元组损失联合优化。训练时batch 构造很关键。我采用的方法是每个 batch 随机采样 P 个身份每个身份采 K 张可见光图像和 K 张红外图像这个策略在 ReID 领域叫做 PK 采样。典型的配置是 P8K4即每个 batch 包含 8 个身份、64 张图像。这样能保证每个类别在 batch 里有足够的样本方便构造三元组。三元组损失的具体计算方式是对于 batch 中的每一个锚点样本选择最难的正样本距离最远的同类样本和最难的负样本距离最近的异类样本计算 hinge 损失。这个操作在 PyTorch 中可以直接调用nn.TripletMarginLoss如果数据量很大更高效的做法是使用批量难样本挖掘策略即先计算所有样本之间的特征距离矩阵再从中挑选 hardest 三元组。第二阶段训练轮数一般为 20~30 个 epoch。我使用 Adam 优化器初始学习率 0.00035在第 10 个和第 20 个 epoch 时分别降低为原来的 0.1 倍。批大小如果显存允许可以设置到 64如果显存只有 12GB建议保持在 32 左右。4.3 关键超参数速查表我把实验中比较关键的参数整理成一张表方便后续参考参数项第一阶段默认值第二阶段默认值说明骨干网络ResNet50ResNet50ImageNet 预训练输入尺寸384x192384x192宽高比约 2:1适配行人优化器AdamAdam一阶动量收敛稳定初始学习率0.00010.00035第一阶段小一点更安全学习率衰减无第10、20 epoch 乘0.1阶梯式衰减批大小6432第二阶段的 PK 采样P / K—8 / 48个身份各4张可见光4张红外梯度反转系数0.1—控制模态对齐强度训练轮数1025按数据集规模调整这张表只是起点实际使用中需要根据数据集大小做调整。如果训练集身份数量只有两三百个第二阶段的轮数可以适当增加如果身份数量超过一千轮数应该减少。5. 实操中的典型问题与排查经验5.1 模态对齐阶段训练崩溃特征坍缩这是我在调试中最常遇到的问题。模态对齐时如果对抗损失权重设置过大特征提取器会找到一条“捷径”把所有图像的特征都输出成同一个常数向量。这样模态判别器确实无法区分了但身份信息也完全丢失了。此时第一阶段的损失会降得很低但第二阶段的身份判别性能会非常差。排查方法也很简单在训练第一个 Epoch 后打印特征向量的标准差。如果标准差接近 0说明特征已经坍缩。解决办法是调低梯度反转系数或者给对抗损失加一个梯度裁剪。我在实际中会把梯度反转系数从 0.1 降到 0.05同时保证把关层特征的 L2 范数归一化到固定值这样可以有效防止特征振幅过度缩小。5.2 第二阶段的训练不收敛损失震荡第二阶段训练时可能会遇到交叉熵损失和三元组损失震荡的问题通常表现为 Loss 忽高忽低Rank-1 指标长时间不提升。这种问题的根源多半是三元组采样策略不好或者 batch 内 hard 样本太少。我遇到过一次比较严重的情况是训练集中个别 ID 的图像数量不均衡某些 ID 只有两张红外图像导致在 PK 采样时某些批次的样本对过于简单或过于困难。解决方式是改用更加稳健的采样策略确保每个 ID 至少有 K 张红外图像可采样。如果数据集实在不平衡可以过滤掉样本数少于 K 的 ID或者在采样前进行过采样。另一个技巧是把三元组损失的边距增大比如从默认的 0.3 调整到 0.6这样可以让模型更激进地学习特征分离。5.3 测试指标与训练指标不一致训练时分类准确率看着很高但跨模态测试的 Rank-1 很低这种问题很常见。我遇到过一次这样的情况训练集上可见光和红外图像的分类准确率都到了 95% 以上但测试时用红外查询可见光Rank-1 却只有 20%。后来仔细排查发现问题出在特征向量的归一化上。训练时我用了 BatchNorm但测试时某些层的统计量仍然使用训练集上的滚动平均而红外图像和可见光图像在 BatchNorm 统计量上存在差异。解决办法是在测试阶段强制使用全局统计量或者把特征输出层改为 LayerNorm这样对单个样本的归一化更稳定跨模态泛化性更好。5.4 常见问题速查表现象可能原因建议处理模态对齐后特征标准差趋于0对抗损失权重过大特征坍缩降低梯度反转系数加 L2 归一化第二阶段 Loss 震荡剧烈三元组采样批次内样本不平衡改用 PK 采样过滤掉样本过少的 ID训练指标高但测试指标低特征归一化方式不匹配测试时使用全局统计量或改用 LayerNormRank-1 在 RegDB 上明显低于 SYSU-MM01数据分布差异大过拟合单一数据集使用多数据集联合训练或做域自适应6. 项目代码框架与训练细节补充6.1 整体代码目录结构一个好的工程实现会让实验管理事半功倍。我推荐将代码按照下面的结构组织project ├── configs │ ├── sysu.yaml │ └── regdb.yaml ├── data │ ├── __init__.py │ ├── dataset.py │ └── sampler.py ├── models │ ├── backbone.py │ ├── classifier.py │ ├── discriminator.py │ └── losses.py ├── trainer │ ├── phase1_train.py │ └── phase2_train.py ├── test.py └── utils ├── metrics.py └── transform.py配置文件用 YAML 管理方便做实验对比。数据采样器把 PK 采样逻辑单独抽出来方便复用。训练器将第一阶段和第二阶段的逻辑分文件管理避免在同一个文件里越写越乱。6.2 特征提取器的具体实现细节ResNet50 在 PyTorch 中的标准实现最后是一个全局平均池化层加全连接分类层。在跨模态 ReID 中我们需要去掉最后的分类层把倒数第二层的特征扩展出来。我的实现是在 ResNet50 的layer4之后加上一个自适应平均池化层输出一个 2048 维的向量。如果要用更强的特征表示还可以在这个向量之后接一个 BNNeck 结构也就是 BatchNorm 加全连接降维。BNNeck 被证明在 ReID 任务中能有效提升性能因为分类损失和度量损失对于特征分布的偏好不同一个接 BN 后的特征用于分类一个接原始特征用于三元组损失两者互补。这里给出一个简化版的骨干网络定义import torch.nn as nn import torchvision class ReIDBackbone(nn.Module): def __init__(self, model_nameresnet50, pretrainedTrue): super().__init__() resnet torchvision.models.resnet50(pretrainedpretrained) self.conv nn.Sequential(*list(resnet.children())[:-2]) self.pool nn.AdaptiveAvgPool2d(1) self.bn_neck nn.BatchNorm1d(2048) self.bn_neck.bias.requires_grad_(False) def forward(self, x): feat self.conv(x) feat self.pool(feat).flatten(1) feat_neck self.bn_neck(feat) return feat, feat_neck注意bn_neck.bias.requires_grad_(False)这一步是为了避免 BatchNorm 的偏置项参与更新从而保持特征零均值这在很多 ReID 开源实现里都有提到。6.3 双阶段训练流程封装我把两个阶段的训练统一封装成一个 Python 脚本通过命令行参数--phase 1和--phase 2控制。第一阶段训练完后保存骨干网络权重为backbone_phase1.pth。第二阶段加载这个权重并冻结骨干和梯度反转层只训练 BNNeck 和分类头。这时有一个容易忽略的点如果冻结了骨干但没冻结 BatchNorm 的统计量更新那么 BatchNorm 的滑动平均仍然会在每个前向传播中发生变化。因此我建议在第二阶段用model.eval()模式重新加载骨干的 BN 层或者在训练循环中显式将 backbone 的 BN 层设为冻结状态。否则第二阶段训练出来的模型可能不稳定性更高。更稳健的做法是第二阶段中将骨干网络整体设置为eval()模式而只让 BNNeck 和分类头处于train()模式。在 PyTorch 中可以用下面的代码实现for name, module in model.named_children(): if name conv: module.eval() else: module.train()这样让卷积层和 BN 层都保持推理模式只有后面的 BNNeck、分类头正常更新确保特征提取器在第二阶段不会因为 BN 统计量的变化而漂移。7. 对比实验与结果分析7.1 实验设置我用 SYSU-MM01 的全模态测试协议作为主要评估基准对比以下方法基线单阶段联合训练同时使用身份损失和三元组损失不做模态对齐。双阶段方法本项目方法第一阶段对抗对齐第二阶段身份判别。双阶段方法去掉对抗对齐只用两阶段训练第二阶段保持和基线一样的损失。为了公平所有方法都使用相同的 ResNet50 骨干、输入尺寸、优化器和训练轮数。每个实验跑三次取平均结果。实验环境是一张 24GB 显存的 GPU训练时间约 6 小时。7.2 结果对比方法Rank-1 (%)mAP (%)单阶段基线42.738.9两阶段无对齐44.340.1两阶段对抗对齐本项目48.644.8从结果看单纯的两阶段训练相比单阶段已经有了小幅提升说明训练策略本身就有价值。再加上模态对抗对齐之后Rank-1 提升了接近 6 个百分点mAP 提升约 5 个百分点。这说明模态对齐在整个流程中的贡献非常重要它能显著缩小可见光与红外特征分布之间的缝隙。7.3 为什么 Rank-1 和 mAP 会有同步提升Rank-1 和 mAP 的提升方向基本一致但原因略有不同。Rank-1 提升主要来自模态对齐降低了跨模态匹配的难度使得查询图像和候选图像中相同身份的样本更容易排到第一位。mAP 提升则来自特征空间的整体结构改善因为模态对齐后同类样本聚得更紧凑不同类样本分得更开这样整体排序的精度也提高了。如果把特征空间可视化可以看到单阶段模型的可见光特征和红外特征分别聚成两个“团”团之间有明显的空隙而双阶段模型的两个模态特征融合在同一个区域并且每个身份都有自己独立的子簇。这种结构上的差异就是双阶段方法效果更好的根本原因。8. 从项目到落地一条完整的技术链路8.1 离线训练与在线推理的差异很多刚接触 ReID 的人会忽略一个问题实验室里的评估方式和真实系统里的推理方式并不一样。在离线测试中我们通常把所有候选图像的特征提前提取出来构建一个特征库。查询时提取查询图像特征与库里的所有特征计算余弦相似度然后排序返回。这种方式也叫“图库检索”。在实际监控系统里需要做到实时或近实时检索。候选图像是一个视频流每帧都会产生大量行人框。如果每帧都重新提取全部候选特征计算开销会非常大。工程上通常采用“检测 跟踪 ReID”的级联方案先用目标检测器从每帧中找出所有行人框然后用跟踪算法给每个轨迹分配一个临时 ID最后用 ReID 模型定期提取轨迹的关键帧特征放入特征库。这样可以把 ReID 的检索频率从每帧一次降低到每几秒一次大大减少计算负担。跨模态场景下的在线推理还多一个难点摄像头的模态切换是动态的。比如某个摄像头在傍晚自动从可见光切换到红外那么之前提取的可见光特征库就不能直接用于与现在的红外查询匹配。双阶段模型在特征空间中对齐了模态差异这种切换带来的性能下降会明显小于单阶段模型。我在一个模拟测试中把白天提取的可见光特征库直接用于晚上红外查询的检索双阶段模型的 Rank-1 衰减了大约 3 个百分点而单阶段模型衰减了超过 12 个百分点。8.2 模型压缩与部署建议深度学习模型要部署到边缘设备上首先要考虑模型大小和推理速度。ResNet50 单次前向推理在普通 GPU 上大约是 10 毫秒级别在嵌入式设备比如常见边缘计算盒子上可能需要 100 毫秒以上只能勉强达到实时性的边缘。如果项目对实时性要求很高可以换成轻量级骨干网络例如 MobileNetV3 或者 EfficientNet-lite。不过需要注意轻量级骨干的 ReID 性能通常会下降 3~5 个百分点需要配合知识蒸馏来弥补。我在项目中尝试过将 ResNet50 蒸馏到 MobileNetV3方法是把 ResNet50 作为教师模型MobileNetV3 作为学生模型用教师模型输出的特征作为软标签让学生模型的中间层特征尽量逼近教师模型。最终蒸馏后的 MobileNetV3 相比直接训练的 MobileNetV3Rank-1 提升了约 4 个百分点模型大小只有原来的八分之一这个结果还是比较理想的。8.3 多摄像头系统里的数据关联跨模态行人再识别不只是单张图像之间的匹配在多摄像头系统中每条轨迹都有自己的模态来源和时序信息。比如一个人从摄像头 A可见光走到摄像头 B红外要判断这两个轨迹是否属于同一个人除了用 ReID 特征外还可以利用时空信息做约束。一个很实用的技巧是在计算两条轨迹的相似度时把 ReID 特征余弦相似度和“时间窗口重叠度”“空间距离”结合起来做一个加权打分。这样可以大幅降低因为视角变化、遮挡导致的误匹配。双阶段模型的优势在这一步同样能体现出来因为轨迹中可能既包含可见光帧也包含红外帧当我们利用多帧平均或者加权融合的方式得到轨迹级特征时模态对齐好的模型能够更平滑地融合两种模态的信息不会因为模态差异产生特征偏移。9. 一些想分享的实操体会和未来方向9.1 踩过最深的坑以及对调试思路的影响在我刚做完第一阶段对抗对齐时“检索指标不升反降”这个问题困惑了我很长时间。我当时以为模态对齐做得越好跨模态检索就一定越准结果发现第一阶段训练太久反而把骨干网络原有的身份判别性特征削弱了。后来才意识到一个关键道理模态对齐和身份判别之间存在一个平衡点。第一阶段的任务不是追求“完全对齐”而是追求“对齐的同时尽量保留身份信息”。所以我不再盲目增加对抗训练的轮数而是在每一轮训练后同时计算一个简化版的单人分类准确率通过这个准确率来监控特征是否保留了足够的身份信息然后提前停止在第一阶段训练。这个监控思路后来被我反复用在很多模型训练任务里非常有效。9.2 未来一个我认为很有威力的方向基于大模型蒸馏的跨模态 ReID目前的跨模态 ReID 仍然依赖带身份标签的数据集进行监督训练但真实场景中标注跨模态行人数据非常昂贵。最近我注意到一个新的趋势使用大规模预训练模型如视觉基础模型作为特征提取器然后通过 few-shot 微调或者蒸馏方式适配到跨模态 ReID 任务。这种方法的潜在威力在于基础模型已经具备了强大的域泛化能力对模态变化可能更加鲁棒。我做了一个初步的小实验用预训练基础模型直接提取可见光和红外特征不做任何训练跨模态 Rank-1 已经到了 30% 以上而随机初始化的 ResNet50 只有 2% 左右。如果再叠加双阶段对齐和度量学习效果很有想象空间。不过我个人的实操建议是不要一开始就追新模型。先把双阶段训练的流程跑通、调好理解每一个损失和参数的作用再逐步引入更强的预训练模型这样不仅能保证结果可靠也能在遇到问题时快速定位原因。跨模态行人再识别这个方向入门容易精进难但只要把基础打牢后面很多路都会顺利很多。