【免费下载链接】Mono-InternVL-2B项目地址https://ai.gitcode.com/OpenGVLab/Mono-InternVL-2B点击查看免费下载Mono-InternVL-2B是上海 AI LabOpenGVLab开源的单体式Monolithic多模态大语言模型MLLM总参数 3B、激活参数仅 1.8B基于 internlm2-chat-1_8b 构建。它的核心创新是原生视觉 TokenVisual ExpertsVE与内生视觉预训练不再依赖外挂的独立视觉编码器翻译图像而是让模型内部的视觉参数天生就会看图从而以极小的参数规模实现接近甚至超越大模型的视觉理解能力。本文用通俗的方式带你一步步看懂这套创新机制 1️⃣ 为什么要内生视觉三种 MLLM 架构路线主流多模态大模型如 InternVL、Qwen-VL、LLaVA 等普遍采用模块化架构图像 → 独立的视觉编码器Visual Encoder视觉特征 → 连接器Connector压缩对齐对齐后的特征 → 送入 LLM 生成回答这套方案的问题在于视觉编码器与 LLM 是拼起来的两边各自训练、各自冻结或微调图像信息在进入 LLM 之前就被降维过一遍模型很难在底层真正理解视觉内容。单体式Monolithic路线如 EVE、SOLO、Chameleon去掉了外挂编码器让 LLM 直接消化视觉特征。Mono-InternVL-2B 在这条路线上更进一步为 LLM 内部注入专职处理视觉 Token 的专家参数即 VE配合内生视觉预训练Endogenous Visual Pre-training让看图能力长进模型主干里而不是后期嫁接上去的。2️⃣ 一图看懂原生视觉 TokenVE的工作流程上图完整展示了 Mono-InternVL-2B 的数据流可以分为三步Patch Embedding视觉 Token 生成图像被切分成 14×14 的小图块patch每个 patch 经过轻量视觉编码modeling_intern_patch.py 中的InternVisionPatchModel转成向量。配置中max_dynamic_patch: 24、min_dynamic_patch: 1意味着模型会动态决定一张图最多拆 24 块、最少 1 块——图越复杂看得越细这正是动态分辨率的来源见 config.json 中dynamic_image_size: true。统一序列混合文本 Token 和视觉 Token 拼进同一条序列进入同一个 Transformer 主干共享 Multi-Head Self-Attention——这是内生的关键视觉与语言在注意力层里充分融合。静态路由分流Static Routing MoE在每层的前馈网络FFN阶段通过visual_token_mask把 Token 分成两路视觉 Token →V-Expert视觉专家 FFN文本 Token →T-Expert文本专家 FFN这个注意力共享、FFN 分工的设计就是原生视觉 TokenVE的精髓所在。3️⃣ 源码视角visual_token_mask如何驱动视觉专家整个机制的核心实现在 modeling_internlm2_ve.py 的InternLM2DecoderLayer中。每个 Transformer 层除了常规 FFN还复制了一份专职视觉专家# visual expert copied from self.feed_forward self.feed_forward InternLM2MLP(config) # 文本 FFN self.feed_forward_ve InternLM2MLP(config) # 视觉 FFNVE推理时的分流逻辑同样简洁直观visual_token_mask visual_token_mask.repeat(1, 1, dim).bool() if visual_token_mask.any(): # 视觉 Token 走视觉专家 hidden_states[visual_token_mask] self.feed_forward_ve(...) # 文本 Token 走普通 FFN hidden_states[non_visual_token_mask] self.feed_forward(...)而visual_token_mask的构建在 modeling_internvl_chat.py 中模型先对每个 patch 的输出做筛选标记出哪些位置是视觉 Token再随序列一起传入 LLM 的每一层visual_token_mask selected.reshape(B, N, 1).to(input_embeds.dtype)小提示视觉专家初始化时直接复制自文本 FFN 的权重因此 VE 并不是凭空加参数而是在预训练阶段被教会专门处理视觉信号——这就是内生视觉预训练的字面含义。4️⃣ 实战示例2B 模型如何看懂一只小熊猫以上图仓库自带的示例图examples/image1.jpg为例Mono-InternVL-2B 可以稳定输出细节级描述一只小熊猫趴在木质平台上红棕色的毛发白色的耳朵边缘和面部斑纹黑色的鼻子……这种细粒度的物体识别与描述能力毛发颜色、五官细节、空间位置正源于视觉 Token 在每一层都获得了专属的视觉专家处理且动态分辨率让它对主体区域看得更清楚。5️⃣ 关键配置速览配置项值含义num_hidden_layers24LLM 主干层数每层含 1 组 VEhidden_size2048隐藏层维度vision_config.image_size/patch_size448 / 14单块图像尺寸与 patch 大小max_dynamic_patch24单图最多动态切块数moe_top_k1每个 Token 只路由到 1 个专家静态路由torch_dtypebfloat16推理精度显存友好全部参数定义见 config.json对话模板为internlm2-chat与 InternLM2 生态完全兼容。6️⃣ 总结小模型大能力的秘诀Mono-InternVL-2B 的创新可以浓缩为三句话去模块化砍掉独立的视觉编码器图像 patch 直接进入 LLM 序列视觉专家原生内建每个 Transformer 层内嵌 VE用visual_token_mask静态路由视觉/文本各练各的 FFN、共享注意力内生视觉预训练VE 从预训练阶段开始参与学习视觉能力长在模型主干里而非后期缝合。最终这个仅激活 1.8B 参数的小钢炮在 OCRBench、DocVQA、ChartQA 等基准上达到了远超同尺寸模型的视觉理解水平证明了单体式 原生视觉 Token是低成本多模态路线上极具性价比的选择。参考文献BibTeX本项目基于 Mono-InternVL 系列论文arXiv:2410.08202 / arXiv:2507.12566引用格式详见仓库 README.md 中的 Citation 部分。赞分享【免费下载链接】Mono-InternVL-2B项目地址https://ai.gitcode.com/OpenGVLab/Mono-InternVL-2B点击查看免费下载相关推荐InternVL3_5-8B-Flash效率核心揭秘Visual Resolution Router如何实现动态视觉Token压缩InternVL3_5 8B Flash效率核心揭秘Visual Resolution Router如何实现动态视觉Token压缩 InternVL3_5 8CANN AscendC SIMD乘法指令asc_mull 产品支持情况 | 产品 | 是否支持 | | : | : :| | Ascend 950PR/Ascend 950DT | √ | 功能说明人工智能深度学习算子库CANNAscend如何微调Mono-InternVL-2B-S1-1LoRA低秩适配视觉专家的完整实战教程如何微调Mono InternVL 2B S1 1LoRA低秩适配视觉专家的完整实战教程 Mono InternVL 2B S1 1 是 OpenGVLab上一篇SWAPI安全实践终极指南保护你的星球大战API服务的10个关键方案下一篇Tesseract OCR命令行终极指南25个实用命令从入门到精通创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考