多模态大模型细粒度视觉理解:Vision-OPD在线策略自蒸馏技术方案概述
MLLM在细粒度视觉理解上仍然吃力答案往往依赖图中只占极小比例的决定性细节而在整图推理时这些细节被海量视觉 token 淹没。在整图推理时这些细节往往只占图像中很小一块被大量无关视觉 token 包围极易在全局场景的合理猜测中被忽略——模型可能基于全局语义给出看似合理、实则漏掉关键局部证据的答案。Thinking-with-Images方案给 MLLM 配备了智能体式的视觉工具在推理过程中主动裁剪、放大、检查感兴趣区域。这确实提升了细粒度理解开销较大需要反复编码图像每次 crop 都重新过视觉编码器需要多次模型调用多步推理 工具调用。这引出一个问题能否通过训练把视觉放大的收益内化进模型让模型在单趟前向传播single forward pass里就能从整图中利用细粒度证据而不再依赖推理期的工具关键现象——regional-to-grdobal perception gap区域到全局的感知差距同一个 MLLM当输入是以证据为中心裁剪出的小图时比输入完整大图时答得更准。这说明很多失败不是因为模型认不出细节而是因为模型在全局上下文里难以聚焦到相关细节。Vision-OPD (Vision On-Policy Distillation)从同一个 MLLM 实例化两个条件策略——Teacher老师:只看证据裁剪图crop相当于模型开了一个特权视角Student学生:看完整大图即标准推理场景。学生先在线on-policy生成回答然后让老师和学生在这条学生自己生成的轨迹上做逐 token 的分布差异最小化。这样就把模型放大看的特权能力迁移到了看整图的策略中。2. 动机Less is More少即是多2.1 一个可验证的假设作者提出一个简洁的验证思路对比同一个模型在两种输入下的表现——Global input全局输入喂完整大图Regional input区域输入只喂以证据为中心裁剪出的小图。如果模型在裁剪图上答对、在整图上答错就说明模型其实能识别该证据只是无法在全局上下文中聚焦到它。瓶颈是聚焦能力不是识别能力。2.2 定性案例基于 Qwen3.5-9B 的定性案例。问题问护耳罩是什么颜色。输入整图→ 模型预测black错输入裁剪区域→ 模型正确预测green对。决定性证据在孤立看时清晰可辨但在全局上下文中被淹没。2.3 系统性验证差距是普遍存在的在 ZoomBench 上的系统评测表明这并非个别现象而是一个系统性规律区域输入的精度持续高出全局输入18~22 个百分点。更关键的是——即便是非常大的模型、闭源模型GLM-4.6V、GPT-5.4、Gemini-3.5-Flash、Gemini-3.1-Pro也都有显著的差距证明单纯堆参数无法关闭这个 regional-to-global gap。结论既然模型自己的区域感知始终强于全局感知那么就可以用前者作为特权监督privileged supervision来提升后者——把放大的收益内化进单趟前向无需推理期工具。3. 方法Vision-OPD区域→全局的在线策略自蒸馏整个方法由两大部分组成(A) 数据合成构造 triplet与(B) 在线自蒸馏训练。论文的 Overview 图把这两部分画得很清楚Vision-OPD 总览。左在证据裁剪图上生成细粒度问题并通过边界框叠加把问题锚定回整图。右用同一个 MLLM 实例化 teacher 策略p T ( ⋅ ∣ x crop ) p_T(\cdot\mid x_{\text{crop}})pT​(⋅∣xcrop​)与 student 策略p S ( ⋅ ∣ x global ) p_S(\cdot\mid x_{\text{global}})pS​(⋅∣xglobal​)。学生在线生成 rollouty ∼ p S y\sim p_Sy∼pS​沿该轨迹计算逐 token 散度D ( p T ∥ p S ) D(p_T\|p_S)D(pT​∥pS​)作为稠密监督梯度只流经学生 logits实现无标注的自蒸馏。算法流程输入训练集 D {(x_i, x_i, q_i)}; MLLM p_θ; 散度 D如 JSD_β 定义 p_S(·|x, q) : p_θ(·|x, q) # 学生整图条件 p_T(·|x, q) : p_θ(·|x, q) # 老师裁剪图条件特权视角 for step 1 … M: 采样一个 batch B ⊆ D for 每个 (x, x, q) ∈ B: y ~ p_S(·|x, q) # 学生在线采样 ℓ(x,x,q) 1/|y| Σ_n D( p_S(·|x, q, y_n) || stopgrad( p_T(·|x, q, y_n) ) ) L 1/|B| Σ_{(x,x,q)∈B} ℓ(x,x,q) 用 L 更新 θ注意stopgrad梯度不回传到老师老师只提供目标分布。实验结果参考文献Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillationhttps://arxiv.org/abs/2605.18740代码https://github.com/VisionOPD/Vision-OPD

相关新闻

Token:AI时代的统一度量衡,从技术原理到成本优化实践

Token:AI时代的统一度量衡,从技术原理到成本优化实践

1. 从“度量衡”说起:为什么我们需要重新定义AI的“基本粒子”最近在跟几个做AI应用的朋友聊天,发现一个挺有意思的现象。大家讨论模型能力、评估成本、规划算力时,嘴里蹦出来的单位五花八门:有人用“千亿参数”,有人算…

2026/10/14 16:55:35 阅读更多 →
window系统下的库分析命令

window系统下的库分析命令

.a 是静态库归档,先看成员文件,再看符号最有效。 $lib = D:\demo\libs\libhttp.a 列出库内有哪些 .o 成员: ar t $lib PS D:\demo> ar t $lib um_http.c.obj 这里.obj就是.o文件 查看全部符号: nm -C $lib 只看该库实际定义并导出的全局符号: nm -C -g --define…

2026/10/14 16:57:03 阅读更多 →
如何用Python实现95%成功率的大麦自动化抢票工具:完整配置指南

如何用Python实现95%成功率的大麦自动化抢票工具:完整配置指南

如何用Python实现95%成功率的大麦自动化抢票工具:完整配置指南 【免费下载链接】ticket-purchase 大麦自动抢票,支持人员、城市、日期场次、价格选择 项目地址: https://gitcode.com/GitHub_Trending/ti/ticket-purchase 还在为热门演唱会门票秒光…

2026/10/14 12:53:01 阅读更多 →

最新新闻

ZeroTermux 内置命令手册精讲:zcat 命令——不真正解压也能查看 gzip 压缩包内容

ZeroTermux 内置命令手册精讲:zcat 命令——不真正解压也能查看 gzip 压缩包内容

移动开发开发工具 【免费下载链接】ZeroTermux 项目地址: https://gitcode.com/GitHub_Trending/ze/ZeroTermux 点击查看 免费下载 本篇围绕 ZeroTermux 内置 Linux 命令手册(app/src/main/assets/cmd/zcat.md)展开,系统讲解 zca…

2026/10/15 18:12:24 阅读更多 →
基于CAN总线的温度采集与控制系统设计:抗干扰与主动报警实践

基于CAN总线的温度采集与控制系统设计:抗干扰与主动报警实践

简介:基于CAN总线的温度采集与控制系统完整工程包,面向嵌入式、STM32及CAN总线通信学习者,解决环境温度实时采集与上位机监控的实践需求。该工程以STM32为控制核心,结合DS18B20温度传感器与CAN收发节点,并配套上位机串…

2026/10/15 18:12:24 阅读更多 →
DeepSpec 实战指南:投机解码草稿模型的数据准备、训练与评估全流程

DeepSpec 实战指南:投机解码草稿模型的数据准备、训练与评估全流程

人工智能大模型预训练模型优化模型评测 【免费下载链接】DeepSpec DeepSpec: a full-stack codebase for training and evaluating speculative decoding algorithms 项目地址: https://gitcode.com/gh_mirrors/de/DeepSpec 点击查看 免费下载 DeepSpec 是一个面向…

2026/10/15 18:12:24 阅读更多 →
PCRE 8.45 正则库实战:编译、API 调用与性能优化指南

PCRE 8.45 正则库实战:编译、API 调用与性能优化指南

简介:pcre-8.45.tar.gz 是 PCRE(Perl Compatible Regular Expressions)库 8.45 版的官方源代码压缩包,面向需要在 CentOS 等 Linux 服务器环境中自行编译部署正则表达式引擎的开发者与运维人员。PCRE 以 C 语言编写,支…

2026/10/15 18:12:24 阅读更多 →
南大通用GBase 8a数据库压缩算法新老版本对照

南大通用GBase 8a数据库压缩算法新老版本对照

南大通用GBase 8a数据库(gbase database)旧算法配置参数中,可以控制使用算法的种类,而具体到某一算法,但只能采用默认的压缩级别,缺乏灵活性,也限制了算法在不同场景下发挥出最大效能。同时现在…

2026/10/15 18:12:24 阅读更多 →
IPMItool源码解析:从接口抽象到BMC诊断命令扩展

IPMItool源码解析:从接口抽象到BMC诊断命令扩展

简介:IPMItool 源码包是一份面向服务器运维工程师、系统管理员及BMC嵌入式开发者的开源工具源码,用于通过IPMI协议对BMC进行远程监控、传感器数据读取与电源管理。资源共171个文件,压缩包仅752KB,以50个头文件和49个C源文件为核心…

2026/10/15 18:11:23 阅读更多 →

日新闻

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

1. 为什么选择容器化方式部署 LoRa 网络服务LoRa 物联网项目落地时,网络服务器是整个链路的核心枢纽。它负责接收网关上报的数据包、完成去重与解密、再把有效载荷分发给上层应用。早期大家习惯把网络服务器直接装在物理机上,依赖一堆系统库和特定版本的…

2026/10/15 0:00:46 阅读更多 →
共享LLM服务下的跨模型自动扩缩容:Kubernetes实战与避坑指南

共享LLM服务下的跨模型自动扩缩容:Kubernetes实战与避坑指南

1. 共享推理服务里,扩缩容到底难在哪做过大模型推理服务部署的人,大概都经历过这样的场景:一个团队共用一套推理集群,A 业务跑的是 7B 的小模型,B 业务跑的是 72B 的大模型,C 业务白天流量高、晚上几乎归零…

2026/10/15 0:00:46 阅读更多 →
Systemd 启动阶段根文件系统只读之谜:fstab 与 remount-fs 服务深度解析

Systemd 启动阶段根文件系统只读之谜:fstab 与 remount-fs 服务深度解析

1. 引子:一次内核恐慌引发的追查先从一个真实场景说起。某次我给一台老旧的嵌入式设备折腾系统裁减,为了把启动时间压进两秒以内,我手贱地把一串自认为“没用”的 systemd 服务给 disable 了,其中就包括systemd-remount-fs.servic…

2026/10/15 0:00:46 阅读更多 →

周新闻

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战:ARIMA/LSTM全流程拆解与避坑指南

简介:基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码,面向计算机相关专业课程设计与期末大作业学生,以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程,…

2026/10/15 16:18:54 阅读更多 →
影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程:键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化,十个新手有八个栽在"往输入框里填东西"这件事上:要么填不进去,要么填了一半,要么直接把原来内容追加在后面。这背后的根因&…

2026/10/14 16:30:29 阅读更多 →
影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程:阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀:什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面,跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/15 13:48:15 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/15 0:14:36 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/14 22:45:47 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/15 9:49:14 阅读更多 →