1. 项目概述当AI在黑夜中“失明”最近在ICLR 2026上看到一篇很有意思的工作核心议题直指当前多模态大模型的一个“阿喀琉斯之踵”夜盲。没错就是字面意思。我们平时用GPT-4V、Gemini、Claude这些模型处理图片时感觉它们“看”得挺明白但一旦把场景切换到夜晚、低光照或者复杂光线条件下模型的“视力”就会急剧下降甚至出现一些令人啼笑皆非的误判。这篇研究通过构建一个包含90段真实世界夜间视频、涵盖12类典型视觉理解问题的基准系统性地给当前的主流模型做了一次“视力体检”结果发现所谓的“视觉理解”能力在暗光环境下存在普遍且严重的缺陷。这不仅仅是学术圈的一个趣味实验。想想看自动驾驶汽车如何在夜间准确识别横穿马路的行人安防监控系统如何在昏暗环境下判断异常行为甚至是我们手机里那些“一键美化”的夜景模式背后都需要AI对低光图像有深刻的理解。如果模型在基准测试中都“集体失明”那在实际应用中埋下的隐患可想而知。这个项目就像给火热的AI视觉领域泼了一盆冷水提醒我们在追求模型规模和新能力的同时那些基础但关键的鲁棒性问题依然是我们必须翻越的大山。2. 基准构建如何科学地给AI测“夜视力”要给AI的夜盲程度打分首先得有一把标尺。这篇工作的核心贡献之一就是构建了一个名为“NightSight Benchmark”的评估体系。这可不是随便找几张晚上拍的照片那么简单它是一套精心设计的、多维度的“视力表”。2.1 数据采集真实世界的90个“黑夜剧本”研究者摒弃了在实验室里用固定灯光模拟夜间环境的方法而是走向街头用摄像机真实记录了90段夜间视频。这些视频覆盖了城市街道、公园、停车场、居民区等多种真实场景光照条件也千差万别——有仅靠月光和星光的郊外有路灯昏暗的老街区也有霓虹闪烁、光线复杂交织的商业中心。这种数据采集思路非常关键它确保了测试集能反映模型在真实、复杂、不可控的夜间环境下的表现而不是在某个理想化参数下的“应试”能力。每一段视频都被切割成关键帧并进行了精细的标注。标注不仅仅是框出物体那么简单而是围绕视觉理解的核心任务展开。这引出了基准的第二个关键部分问题设计。2.2 问题设计12类拷问AI视觉理解力的难题基准包含了12类视觉问答VQA问题这些问题由易到难层层递进专门用于“拷问”模型在低光下的理解能力物体识别与定位最基本的一层。“画面左下角那个模糊的亮点是什么”可能是车灯也可能是反光的路牌。在白天清晰可见的物体在夜晚可能只剩下一团光晕或一个轮廓。属性识别在识别的基础上进一步。“那辆车的颜色是深蓝还是黑色”夜间光线会严重扭曲物体颜色模型很容易出错。场景理解“这是一个十字路口还是一个丁字路口”需要模型综合全局的灯光布局、道路线条来判断。文本识别“远处店铺招牌上写的是什么字”夜间招牌常因过曝或光线不足而难以辨认。动作/行为识别“那个人是在走路还是跑步”“那两只猫是在玩耍还是在打架”动态模糊在夜间更甚对时序理解要求高。空间关系“自行车是停在汽车的前面还是后面”深度信息在夜间丢失严重判断相对位置变得困难。因果推理“为什么那个行人停下了脚步”可能因为他看到了驶来的车灯。需要结合多帧信息和常识推理。异常检测“画面中是否有不寻常的情况”如黑暗中突然闪过的光、静止物体突然移动。计数“画面中共有几盏亮着的路灯”高光点和真实物体容易混淆。光学字符识别OCR增强专门针对模糊、眩光下的文字。时序推理“这辆车是从哪个方向开过来的”需要关联前后帧信息。安全关键性判断“当前场景对行人是否安全”这是最高层次的综合判断直接关联自动驾驶等应用。这12类问题构成了一个立体的评估矩阵不仅能测出模型“看不看得见”更能测出它“看懂了没有”。注意构建基准时务必确保问题答案的客观性和唯一性。例如避免“画面看起来美不美”这种主观问题。每个问题都应有基于标注数据的确定答案这是评估模型性能而非人类审美的前提。2.3 评估指标不仅仅是准确率研究采用了多种评估指标准确率Accuracy最直接的衡量标准。模型置信度分析观察模型在回答正确和错误时其自身给出的置信度分数是否有差异。一个糟糕的模型可能经常在答错时还表现得“非常自信”这在实际应用中极其危险。跨问题类型一致性模型在回答相关问题时是否逻辑自洽。例如它先识别出一辆“汽车”但在回答“汽车颜色”时却给出了一个不可能属于汽车的颜色这就出现了不一致。与光照条件的相关性分析将模型错误率与视频帧的平均亮度、对比度、噪声水平等量化指标进行关联分析找出模型在何种光照条件下最脆弱。这套组合拳下来模型在夜晚有几斤几两就被看得清清楚楚了。3. 实测结果主流模型的“夜盲”诊断报告研究团队选取了当时最先进的多个开源和闭源多模态大模型进行测试结果可以用“全军覆没”来形容只是“失明”的程度和方式各有不同。3.1 性能滑坡白天“明察秋毫”夜晚“雾里看花”几乎所有模型在NightSight Benchmark上的表现相较于它们在标准白天数据集如VQAv2, GQA上的表现都出现了断崖式下跌。平均准确率下降幅度在25%到40%之间。一些在白天任务中接近人类水平的模型到了晚上其表现甚至不如一些早期的专用模型。具体问题类型上的弱点暴露无遗细粒度属性识别是重灾区。颜色、型号、材质等属性错误率最高。模型常常将深色物体判断为黑色或将高光反射误认为是物体本身的颜色。文本识别OCR在眩光和模糊情况下几乎失效。模型会“幻觉”出根本不存在的文字或对模糊的文字进行完全错误的猜测。空间关系判断严重依赖清晰的边缘和阴影在夜间这些信息缺失导致模型对“前后”、“左右”的判断随机性很大。需要时序理解的动作识别和因果推理表现也很差。模型难以从模糊的帧间变化中提取有效的运动信息。3.2 有趣的发现模型如何“瞎猜”分析模型的错误答案能发现一些非常有趣的模式这些模式揭示了模型底层理解的缺陷“最亮即焦点”偏见模型倾向于将画面中最亮的区域识别为最重要的物体或答案来源。例如可能会把路灯的光晕识别为“月亮”或“圆形物体”而忽略旁边实际存在的、但较暗的行人。“形状优先于纹理”在细节丢失的夜间模型更依赖轮廓形状进行猜测。这会导致将一条蹲着的狗误判为“石头”或将飘扬的塑料袋误判为“鸟”。“常识过度泛化”模型会滥用其从海量白天数据中学到的“常识”。例如看到一团红色的圆形光晕就坚定地认为是“尾灯”但实际上可能只是一个红色装饰灯。看到两条竖着的亮线就认为是“人腿”而忽略其比例和上下文。“高置信度幻觉”这是最危险的一点。模型在面对根本无法看清的模糊区域时并非回答“我不知道”而是会生成一个非常具体且自信的错误答案。例如面对一团完全无法辨认的黑色像素块模型可能以90%的置信度输出“这是一只黑猫”。实操心得在评估模型时一定要同时关注其输出答案和置信度分数。一个在困难样本上能主动降低置信度、表达“不确定”的模型比一个总是盲目自信的模型更安全、更有可能被用于实际系统。后者需要额外设计“不确定性校准”模块。3.3 模型间的横向对比尽管大家都不及格但模型之间仍有差异闭源模型 vs. 开源模型通常规模更大、训练数据更丰富的闭源模型如GPT-4V在绝对性能上仍领先但其“夜盲”的相对下降幅度同样惊人。这说明问题不是靠简单堆砌数据和参数就能解决的。专用架构的潜力一些在架构设计上更注重局部细节和空间关系的模型例如某些使用了更密集视觉token或特殊注意力机制的模型在属性识别和空间关系问题上表现稍好。这为改进方向提供了线索。训练数据的影响分析表明在训练数据中明确包含大量高质量、多样化的夜间图像和视频的模型表现明显优于那些主要依赖白天数据训练的模型。这直接证明了“数据偏差”是导致夜盲的关键原因之一。4. 根源探析为什么AI会“夜盲”模型在夜间表现不佳不是单一原因造成的而是数据、算法、任务定义等多个层面问题的综合体现。4.1 数据偏差阳光下的“温室花朵”这是最根本的原因。当前多模态大模型的视觉训练数据绝大多数来源于互联网公开图片和视频而这些内容天然地以白天、光照良好、画质清晰的场景为主。专业摄影、社交媒体分享都追求“美”而低光、模糊的夜间图像通常被视为“废片”而被过滤或不被上传。这就导致模型从“出生”起就主要生活在一个人造的“阳光温室”里从未真正学习过如何理解黑暗。即使数据集中包含一些夜间图片其数量、多样性和标注质量也无法与白天数据相比。模型没有足够的机会去学习“车灯在雨夜路面上的反光模式”、“人脸在微弱光源下的轮廓特征”这些夜间特有的视觉模式。4.2 算法局限视觉编码器的“感光不足”现有的视觉编码器如ViT, CLIP的视觉主干及其预训练任务如对比学习、掩码图像建模其设计目标主要是从高质量图像中提取高级语义特征。它们就像是为明亮环境优化的“感光元件”。对低阶视觉特征不敏感夜间图像的信噪比低边缘、纹理等低阶特征模糊。标准编码器可能无法有效提取这些退化特征中的有用信息反而放大了噪声。注意力机制失效Transformer的注意力机制依赖于特征之间的显著差异来建立关联。在夜间整个图像的特征可能都趋于同质化一片黑暗加几个光点导致注意力权重分散难以聚焦到关键物体上。缺乏物理世界光照先验模型不理解光线是如何传播、反射、衰减的。它无法像人类一样通过一个光斑的形状和亮度反向推断出光源的位置、物体的材质和大致距离。4.3 任务-模型失配用“阅读理解”的脑子做“看图写话”多模态大模型的典型训练方式是“图像-文本”对齐。给定一张图片模型学习生成一段描述它的文字。这更像是一个“概括总结”或“阅读理解”任务。但NightSight Benchmark中的许多问题如空间关系、精确计数、因果推理需要的是“精读”和“分析”要求模型对图像细节有极其精确的几何和物理理解。这种“概括性理解”与“精确性分析”之间的鸿沟在信息本就匮乏的夜间被急剧放大。5. 解决路径与未来展望如何给AI配上“夜视仪”发现问题是为了解决问题。这篇研究不仅揭示了“夜盲”现象更为后续研究指明了几个清晰的改进方向。5.1 数据层面构建“昼夜均衡”的视觉宇宙主动收集与合成夜间数据必须投入资源大规模、系统性地收集和标注真实世界的夜间视觉数据。同时可以利用图像处理技术如模拟低光照、添加噪声、模拟运动模糊对现有白天数据进行增强合成高质量的夜间训练数据。但需要注意的是合成数据与真实数据之间仍存在差距不能完全替代。设计夜间特定的预训练任务例如可以设计“去噪”、“去模糊”、“低光增强”等前置任务让模型在预训练阶段就学会从退化图像中恢复信息。或者设计“光照条件预测”任务让模型显式地理解当前图像的光照环境。5.2 模型架构层面增强“微光视觉”模块改进视觉编码器探索对噪声和模糊更鲁棒的视觉特征提取器。可以借鉴低层计算机视觉领域的知识例如在模型前端引入可学习的图像预处理模块如软性去噪层或设计多尺度特征融合网络来同时捕捉夜间图像中可用的全局上下文和局部细节。引入物理先验将一些简单的光照物理模型作为归纳偏置引入网络。例如通过额外的网络分支或损失函数让模型隐式或显式地学习估计场景的照明图、反射率等从而更好地分解图像内容。不确定性建模如前所述让模型具备“自知之明”至关重要。在架构上集成不确定性估计模块使模型在信息不足时能输出较低的置信度或明确的“无法判断”信号这对于安全关键应用是必须的。5.3 评估与基准层面推动研究社区重视推广NightSight Benchmark希望这个基准能成为多模态模型评估的标准组成部分就像ImageNet之于图像分类一样。敦促所有新发布的模型都公布其在该基准上的表现。开发更细粒度的诊断工具未来的基准可以进一步细化例如区分“亮度不足”、“动态模糊”、“高光过曝”等不同退化类型对模型的影响以便更精准地定位模型弱点。连接下游应用将此类视觉理解基准与具体的下游任务如自动驾驶的夜间感知、安防监控的异常行为检测更紧密地结合用任务性能来反向驱动模型能力的提升。6. 对开发者的启示在当下如何应对AI“夜盲”对于正在从事AI应用开发特别是涉及视觉理解的工程师来说这项研究提供了非常现实的警示和行动指南。6.1 产品设计阶段管理预期设定边界如果你的产品涉及视觉理解并且有可能在低光环境下使用必须在产品定义和用户协议中明确其局限性。绝对不要宣传或暗示模型具备全天候、全场景的完美视觉能力。清晰告知用户在夜间、逆光、极端天气等条件下功能可能降级或不可用。这是规避技术风险和法律责任的基础。6.2 技术选型与测试增加夜间专项评测在选择或评估一个视觉模型时不能只看它在COCO、ImageNet等标准数据集上的漂亮分数。必须将其纳入你的夜间测试集进行专项评估。这个测试集应尽可能贴近你的真实应用场景。如何构建内部测试集收集或拍摄一批你业务场景下的典型夜间图像/视频人工构造一批关键问题参考那12类进行标注。这个数据量不需要像学术研究那么大但必须具有代表性。测试关键指标除了准确率要特别关注错误类型。是识别错误属性错误还是危险的“高置信度幻觉”错误不同类型的错误其风险和缓解策略不同。6.3 工程落地策略采用多模态融合与后处理在现有模型能力有限的情况下可以通过工程手段进行弥补多传感器融合不要单独依赖视觉模型。在可能的情况下结合红外传感器、激光雷达LiDAR、毫米波雷达等其他模态的数据。例如自动驾驶中视觉在夜间识别困难但LiDAR可以稳定提供物体的3D点云位置信息。引入业务逻辑后处理用规则和业务逻辑对模型的原始输出进行校验和修正。例如在监控场景中如果模型识别出一个“以每小时100公里速度移动的行人”这显然违背常识后处理模块可以直接将其过滤或标记为低可信度结果。人机协同对于高风险场景设计“人在环路”的机制。当模型置信度低于某个阈值时自动将任务转交人工审核。6.4 模型微调与优化针对场景进行特化如果条件允许收集你特定场景下的夜间数据对开源的基础模型进行领域自适应微调。即使只有几百张精心标注的夜间图片也能显著提升模型在你特定业务上的表现。微调时可以尝试冻结视觉编码器的大部分层只微调连接视觉和语言的适配器层以及语言模型的部分层这是一种计算成本较低且能有效防止灾难性遗忘的方法。我在实际处理一个安防项目的夜间图像分析需求时就曾吃过亏。最初直接调用通用API误报率极高。后来我们仅用项目地点的500多张夜间人车图片对一个小型视觉模型进行微调并将模型输出与简单的移动区域检测算法结果进行融合规则是只有视觉模型识别出“人”/“车”且移动检测区域与之匹配的警报才上报误报率立刻下降了70%以上。这充分说明面对模型的固有缺陷结合领域知识的工程化处理往往比等待一个“全能”的基础模型更有效、更快捷。