101、视觉语言导航VLN基础：从R2R数据集到跨模态指令导航上周调试一个VLN模型时，遇到了一个让我抓狂的问题——模型在训练集上loss降得挺漂亮，一到验证集就彻底迷路，导航成功率不到5%。我盯着终端里刷新的eval结果，脑子里冒出的第一个念头是：这模型是不是把“去厨房拿杯子”理解成了“原地转圈”？后来排查了半天，发现根子不在模型结构，而在数据预处理——我把视角特征和指令token的对应关系搞错了一拍。这种问题在VLN里太典型了，今天就从这类真实调试经历出发，把VLN的基础脉络捋一遍。从“看图说话”到“跟着指令走”先说说VLN到底在解决什么问题。你给机器人一句自然语言指令，比如“从卧室出发，穿过走廊，在蓝色椅子旁边的桌子上放一本书”，机器人需要基于它对环境的视觉感知，一步步做出动作决策，最终完成任务。这跟传统的视觉问答（VQA）或者图像描述（Captioning）有本质区别——那些任务只需要理解静态图像，而VLN要求模型在动态的、部分可观测的环境里做序列决策。换句话说，模型不仅要“看懂”当前画面，还要记住自己从哪来、要去哪，以及指令里每个子目标对应到环境里的哪个位置。我最早接触VLN时犯过一个认知错误：以为这跟强化学习里的导航差不多，给个reward让智能体自己探索就行。但VLN的难点恰恰在于指令和视觉之间的细粒度对齐——一句“穿过走廊”可能对应着连续五六步的移动，每一步的视觉观察都不一样，模型得学会把语言片段动态地绑定到视觉序列上。这就引出了VLN的核心挑战：跨模态时序对齐。R2R数据集：VLN的“ImageNet”