CVPR27方向预测——当VLM“看不懂”空地协同AeroGround揭示的鸿沟与CrossGeo的应对之道数据集与Pipeline仓库https://github.com/ZhongyaoTuo/crossgeo论文链接https://arxiv.org/abs/2605.07978AeroGround项目https://github.com/ShenghongYi/AeroGroundCross3R模型代码待开源独立于数据集仓库一、AeroGround在做什么一个被明确命名的空白2026年8月复旦大学与上海创新研究院团队发布了AeroGround这是首个专门评估视觉语言模型VLM在空中-地面协同场景下推理能力的综合基准。论文的核心问题极其清晰现有的UAV基准几乎全部聚焦于纯航拍视角而真实应用——搜救、灾害评估、基础设施巡检——需要的是无人机与地面人员的协同感知与联合推理。VLM能否在这种跨视角、跨平台的协同场景中完成理解与推理任务此前从未被系统性地检验过。AeroGround的构建策略值得仔细分析。团队没有依赖真实硬件采集——那需要同步无人机和地面设备、精确标定、大规模部署成本极高且难以规模化。他们选择了一条更务实的路径基于高保真仿真环境构建约29,000个多模态观测组每个观测组包含同步的航拍图像、地面RGB图像、地面深度图、地面位姿和语义地图。在这个数据池的基础上团队人工精构了2,250道高质量的问答题目覆盖3个能力层级、11个任务类别。三个能力层级的划分反映了协同推理的认知复杂度递进跨视角对应Cross-View Correspondence是最基础的层级要求模型在两个视角之间建立物体级别的对应关系。例如“无人机看到的红屋顶对应地面哪扇门”这看似简单但需要模型同时理解航拍视角中的平面布局和地面视角中的立面外观并在两者之间建立语义关联。空间理解Spatial Understanding要求模型在跨视角条件下判断三维空间关系。例如“从地面视角判断无人机是否在塔吊正上方”。这类任务不仅需要视角对应还需要模型在头脑中维持一个统一的三维空间模型。推理Reasoning是最高层级要求模型进行多步协同推理。例如“结合航拍障碍物分布与地面可通行区域规划救援路径”。这类任务将空间理解与任务规划耦合在一起模拟了真实协同场景中的决策需求。评估结果构成了这篇论文最核心的发现在16个预训练VLM和2个领域适配变体上表现最优的模型平均准确率仅为54.4%而人类受试者达到93.3%。更值得注意的是模型在单视角描述任务上表现尚可72%但在跨视角几何对齐任务上准确率骤降至38%。这意味着当前VLM的瓶颈不在于“看不懂图像”而在于“无法在不同视角之间建立几何上一致的对应关系”。二、AeroGround揭示的深层问题为什么VLM在跨视角对齐上失败AeroGround的评估结果指向一个结构性的问题VLM的跨视角推理能力受限于其架构中缺乏显式的几何对齐机制。VLM的视觉编码器无论是CLIP-ViT还是SigLIP在预训练阶段学习的是视角不变的语义特征——一张“红色屋顶”的照片无论从哪个角度拍摄编码器都应该将其映射到相似的语义嵌入。这种视角不变性对于图像分类、目标检测、图像描述等任务是有利的但对于跨视角几何对齐却是有害的如果编码器将“从正上方看到的红色屋顶”和“从侧面看到的红色墙面”编码为相似的语义特征因为两者都是“红色建筑的一部分”那么模型就无法区分它们在空间上的不同位置和朝向。这解释了AeroGround中观察到的能力断层单视角描述任务只需要语义理解“这张图里有什么”VLM可以做得很好跨视角对应任务需要几何对齐“这张图中的物体在另一张图的哪个位置”VLM就暴露了短板。从更宏观的视角看AeroGround与AirGroundBench形成了互补。AirGroundBench2026年6月同样关注异构多视角协作中的空间智能它构建于11个高保真仿真环境包含1,021组同步的空地观测对生成约62,000个双视角VQA实例和115个闭环VLN回合覆盖10种任务类型组织为四个渐进式能力维度空间感知、跨视角对齐、空间变换与推理、具身决策。AirGroundBench的发现与AeroGround一致模型在空间感知上表现尚可但在跨视角对齐和变换密集型推理上遭遇瓶颈且这些缺陷会传播到后续的序列决策中。COSMIC2026年3月从另一个角度验证了同样的模式。它设置两个静态MLLM Agent在同一3D室内环境中从不同视角观察通过自然语言交换来解决空间查询。评估发现MLLM在识别跨视角共享锚点物体上表现最可靠在关系推理上表现较差在构建全局一致地图上几乎失败——即便前沿模型也接近随机水平。这三项独立的工作——AeroGround、AirGroundBench、COSMIC——在不同的场景设定户外开放环境、仿真城市、室内房间和不同的任务类型VQA、VLN、协作通信下一致地发现跨视角几何对齐是当前VLM在协同推理中的核心瓶颈。这不是某个模型或某个数据集的偶然现象而是VLM架构层面的系统性局限。三、CrossGeo如何切入这个方向AeroGround和AirGroundBench的共同局限在于它们都是仿真基准且不提供精确的6自由度几何标注。AeroGround的观测组包含“地面位姿”但论文未明确说明位姿的精度和覆盖范围AirGroundBench构建于仿真环境但其核心目标是诊断模型能力而非提供可复用的几何基础设施。CrossGeo的独特价值在于它提供了三视角卫星、无人机、地面同步观测、完整6自由度位姿、稠密度量深度覆盖85个全球场景且配套了可复用的自动化采集pipeline。这意味着基于CrossGeo可以构建一个在真实地理环境中、具有精确几何标注的、可扩展的空地协同推理基准。具体而言CrossGeo在三个方面能够超越现有基准的局限第一真实地理覆盖。AeroGround和AirGroundBench的仿真环境虽然可控但无法完全复现真实世界的视觉复杂性和地理多样性。CrossGeo的85个场景跨越除南极洲外的所有大陆涵盖城市、郊区、乡村和自然地形。基于CrossGeo构建的基准可以检验模型在真实地理分布下的泛化能力。第二精确的6自由度几何标注。CrossGeo的每个样本都附带卫星、无人机、地面相机的完整6自由度位姿在统一的地球坐标系中以及三种不同来源的稠密深度图。这使得研究者可以设计需要精确几何推理的任务——例如“从地面照片中这辆汽车的视角看卫星图上的蓝色建筑在什么方向距离大约多远”——而不仅仅是语义层面的跨视角对应。第三可扩展的采集pipeline。CrossGeo的pipeline使得研究者可以用同一套工具采集全球任意场景的三视角数据。这意味着基于CrossGeo构建的基准不是固定的而是可以按需生长的。研究者可以针对特定城市、特定地形如山区、工业区、灾害现场扩展基准验证模型在不同环境下的协同推理能力。四、三个具体的研究方向方向一CrossGeo-AeroBench——基于真实地理数据的三视角协同推理基准核心思想用CrossGeo的三视角6自由度标注替代AeroGround的仿真数据构建一个在真实地理环境中评估VLM跨视角协同推理能力的基准。基准设计可以继承AeroGround的三层级任务分类跨视角对应、空间理解、推理但增加一个“几何精度”维度除了评估答案是否正确语义准确率还评估答案中涉及的几何量方向、距离、相对位置是否精确。CrossGeo的6自由度位姿和稠密深度提供了地面真值可以精确量化模型的空间推理误差。任务示例可以包括跨视角物体定位“地面照片中的红色汽车在卫星图上的什么位置朝向是什么”跨视角空间关系“无人机照片中的停车场在地面照片中是否可见在哪个方向”尺度感知推理“从地面照片中的自行车到无人机照片中的篮球场大约多少米”这个方向的核心贡献不是“又一个基准”而是在真实地理数据上建立了语义准确率和几何精度两个正交的评估维度。AeroGround已经证明了语义层面的性能鸿沟CrossGeo-AeroBench将进一步揭示即便模型给出了语义上正确的答案其背后的几何推理是否精确。发表竞争力评估高。与AeroGround形成直接对话但数据基础真实vs仿真和评估维度增加几何精度都有明确的差异化。方向二Tool-Augmented Cross-View Reasoning——用Cross3R作为VLM的“几何外挂”核心思想不改变VLM本身而是将Cross3R的6自由度定位能力封装为Agent工具让VLM通过工具调用来获取几何证据从而绕过其架构中缺乏显式几何对齐机制的局限。这个方向直接回应了AeroGround揭示的核心问题VLM在跨视角几何对齐上的失败根源在于视觉编码器的视角不变性。如果VLM无法在参数中“学会”几何对齐那就让它通过工具“查询”几何对齐。具体设计可以包括以下工具CrossViewLocate给定一张透视图像和卫星图返回该图像在卫星坐标系下的6自由度位姿ObjectGround给定图像和文字描述返回目标物体的像素级位置并可选地映射到卫星坐标系GeometricVerify给定两个跨视角位置假设通过几何一致性检查返回验证分数这个方向的研究问题包括VLM需要多少轮工具调用才能完成跨视角对齐任务工具调用的调度策略如何设计才能最大化信息增益工具返回的几何证据如何被VLM有效地整合到推理过程中发表竞争力评估高。与MUSE、AlloSpatial等Agent Harness工作一脉相承但专门针对跨视角几何推理场景。CrossGeo的精确位姿标注使得“几何验证”工具成为可能这是现有Agent Harness工作无法提供的。方向三生成式数据增强——用CS2S扩充跨视角协同推理的训练数据核心思想利用CS2S的卫星到街景可控生成能力为AeroGround式的协同推理任务生成增强训练数据系统性地研究“生成数据的几何精度如何影响VLM的跨视角推理能力”。AeroGround的2,250个QA实例虽然质量高但规模有限。训练一个能够进行可靠跨视角推理的VLM或适配器需要更大的数据量。CS2S的IHA机制确保了生成街景图像与卫星图的几何对齐ZoEC机制支持可控的环境条件这为生成具有精确位姿标注的增强数据提供了技术基础。研究设计可以包括控制变量实验用CS2S生成不同位姿偏差水平通过扰动IHA的校正目标的街景图像分别训练跨视角推理适配器测量推理准确率随生成数据位姿偏差的变化曲线环境多样性实验用ZoEC生成不同天气/光照条件下的街景图像检验环境多样性对模型鲁棒性的贡献与AeroGround的对比在AeroGround的评估集上测试用CS2S增强数据训练的模型检验生成增强是否能够缩小与人类性能的差距这个方向的核心贡献是建立了生成数据质量与跨视角推理性能之间的定量关系为“用生成数据训练具身智能模型”提供了方法论指导。发表竞争力评估中高。需要精心设计实验来凸显“几何精度对推理能力的影响”这一科学问题否则容易被视为生成增强的简单应用。五、AeroGround与CrossGeo的互补关系需要明确的是AeroGround和CrossGeo不是竞争关系而是互补关系。AeroGround的优势在于任务设计的精细度——三层级11任务的分类、2,250道人工精构的QA、完整的人类评估基线这些为诊断VLM的跨视角推理能力提供了标杆。它的局限在于数据来源是仿真的且缺乏精确的6自由度标注。CrossGeo的优势在于数据基础设施的完整性——三视角同步观测、完整6自由度位姿、稠密度量深度、全球覆盖、可扩展pipeline。它的局限在于尚未构建专门的协同推理QA基准。一个自然的路径是用CrossGeo的数据基础支撑AeroGround式的任务设计。具体而言可以借鉴AeroGround的三层级任务分类和QA构造方法在CrossGeo的三视角数据上构建类似的推理基准但增加几何精度评估维度并利用CrossGeo的pipeline扩展到更多地理场景。AeroGround的论文已经明确指出了未来的方向“引入显式空间坐标变换模块、构建航-地联合动作-观测强化学习环境、开发轻量级协同推理适配器”。CrossGeo恰好可以为这三个方向提供数据基础和评估平台。六、发表策略与风险分析目标会议CVPR / ICCV / NeurIPS / EMNLP若强调语言-空间推理交叉。论文标题建议“CrossGeo-AeroBench: Geometry-Grounded Cross-View Collaborative Reasoning in Real-World Environments”核心贡献的表述框架首个在真实地理数据上评估VLM跨视角协同推理能力的基准覆盖三视角6自由度标注引入几何精度作为语义准确率之外的独立评估维度基于CrossGeo pipeline的可扩展基准构建方法在多个VLM上的全面评估与与AeroGround的对比分析风险与应对风险一与AeroGround的竞争。AeroGround已经建立了“空地协同推理基准”这个名目。CrossGeo-AeroBench需要在“真实地理数据”和“几何精度评估”两个维度上建立清晰的差异化。建议在论文中做一个系统性的对比表。风险二Cross3R代码未开源。如果Cross3R代码在投稿截止前仍未发布可以用CrossGeo数据训练轻量级的跨视角定位网络作为几何工具层的底层实现。CrossGeo数据集的先行开源使得这一路径完全可行。风险三QA构造的人工成本。AeroGround的2,250道QA是人工精构的这保证了质量但限制了规模。CrossGeo-AeroBench可以考虑混合策略程序化模板生成几何精确的QA用于几何精度评估加上人工精构的复杂推理QA用于语义评估。结语AeroGround的核心贡献不在于它“建立了一个基准”而在于它明确命名了一个此前未被定义的问题VLM在空地协同场景下的推理能力。它的评估结果——最优模型54.4% vs 人类93.3%——构成了一个清晰的信号当前VLM的跨视角推理能力远未达到实用水平。CrossGeo为回应这个问题提供了一个此前不存在的基础设施三视角6自由度标注、稠密度量深度、全球覆盖、可扩展pipeline。AeroGround的仿真数据擅长“诊断”CrossGeo的真实数据擅长“部署”——两者的结合可能构成从实验室评估到真实世界应用的桥梁。数据集与Pipeline仓库https://github.com/ZhongyaoTuo/crossgeo论文链接https://arxiv.org/abs/2605.07978AeroGround项目https://github.com/ShenghongYi/AeroGroundCross3R模型代码待开源独立于数据集仓库