InternVL3-14B-Pretrained多模态大模型预训练权重入门指南：ViT-MLP-LLM架构它能做什么、怎么开始

【免费下载链接】InternVL3-14B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3-14B-Pretrained点击查看免费下载InternVL3-14B-Pretrained 是 OpenGVLab 开源的 InternVL3 系列 14B 多模态大模型的预训练Pretrained版本采用经典的 ViT-MLP-LLM 架构由视觉编码器 InternViT、MLP 桥接器和语言模型 Qwen2.5-14B 组成支持图像描述、多图理解、视频问答等任务。与经过 SFT 和 MPO 后训练的正式版不同它只完成了原生多模态预训练因此更适合用来做二次预训练、领域微调或对多模态训练流程本身感兴趣的研究者。本文将带你快速理解它的架构、能力边界并用最少的步骤把模型跑起来。一、先搞清楚Pretrained 版本和正式版有什么区别很多新手会纠结到底该下哪个版本结论很简单版本训练阶段适合人群InternVL3-14B-Pretrained本文主角仅原生多模态预训练Native Multimodal Pre-Training想继续预训练、微调、复现训练流程的研究者InternVL3-14B正式版预训练 SFT MPO直接部署、日常使用的用户⚠️ 官方在 README.md 中明确提示如果你不确定该用哪个版本请优先使用正式版 InternVL3-14B。因为预训练版本没有经过指令微调直接对话时的听话程度和正式版有差距但它保留了最大的可塑性。原生多模态预训练是什么意思传统做法是先训纯语言模型再接上视觉模块做对齐而 InternVL3 把图文、视频文本等多模态数据与大规模文本语料交织在一起在同一个预训练阶段完成学习省去了单独的对齐/桥接训练步骤这也是为什么它的纯文本能力可以追平甚至超过底层的 Qwen2.5 系列。二、拆解 ViT-MLP-LLM三个部件各司其职InternVL3 沿用了 ViT-MLP-LLM 范式整体结构可以拆成三块在 modeling_internvl_chat.py 的InternVLChatModel中实现1️⃣ ViT视觉编码器负责看图视觉部分由InternViT承担实现见 modeling_intern_vit.py输入统一切分为448×448 像素的动态分辨率图块dynamic resolution图块数量在 1~12 块之间自适应见 config.json 中的min_dynamic_patch与max_dynamic_patch通过 pixel unshuffle 操作视觉 token 数量压缩为原来的 1/4每个图块约对应256 个视觉 token大幅降低长图带来的算力开销图像预处理参数448 裁剪、ImageNet 均值/方差归一化定义在 preprocessor_config.json2️⃣ MLP桥接器负责翻译一个随初始化的 MLPLayerNorm → Linear → GELU → Linear把 ViT 输出的视觉特征映射到 LLM 的嵌入空间见 modeling_internvl_chat.py 的mlp1结构轻量但关键——它决定了图像说的话LLM 能不能听懂3️⃣ LLM语言模型负责理解和生成语言部分采用Qwen2.5-14B作为基座llm_config显示 48 层、hidden_size 5120、最大上下文 32768支持 FlashAttention-2 加速推理多轮对话模板配置在 conversation.py模板名为internvl2_5InternVL3 的新亮点V2PEVariable Visual Position Encoding。它使用更小、更灵活的视觉 token 位置增量让模型在长上下文理解上比前代版本更稳——这对多图、视频场景尤其重要。三、它能做什么能力清单虽然预训练版本话没聊得多花但核心视觉理解能力已经在线️单图描述与问答给一张图比如仓库自带的 examples/image1.jpg让它描述画面、回答细节问题️多图理解一次输入多张图比较异同支持拼接和独立两种喂图方式视频理解从视频中抽帧后做多轮问答示例视频见 examples/red-panda.mp4OCR 与文档图表理解、多语言图像理解等是 InternVL3 系列预训练阶段重点覆盖的方向纯文本对话它也保留完整的语言能力可当普通 LLM 用四、怎么开始从 0 到跑通第一次推理环境准备Python PyTorch建议 GPU 环境支持 bf16transformers4.37.2加载时需要trust_remote_codeTrue模型权重为 7 个 safetensors 分片model-00001-of-00007.safetensors~model-00007-of-00007.safetensors分片映射关系见 model.safetensors.index.json显存参考来自 README.md 注释8-bit 量化load_in_8bitTrue2 张 80GB GPU16-bitbf16至少 3 张 80GB GPU模型加载最小代码import torch from transformers import AutoTokenizer, AutoModel model AutoModel.from_pretrained( OpenGVLab/InternVL3-14B-Pretrained, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue).eval().cuda() tokenizer AutoTokenizer.from_pretrained( OpenGVLab/InternVL3-14B-Pretrained, trust_remote_codeTrue, use_fastFalse)第一次推理图片 提问pixel_values load_image(./examples/image1.jpg, max_num12).to(torch.bfloat16).cuda() question image\n请简短描述这张图片 response model.chat(tokenizer, pixel_values, question, dict(max_new_tokens512, do_sampleTrue))完整的加载16-bit / 8-bit / 多卡切分、图片预处理、多图与视频推理示例都写在 README.md 的 Quick Start 章节可直接照抄。五、关键文件速查表熟悉仓库结构后遇到问题能更快定位文件作用config.json总配置视觉/语言模型超参、动态分辨率参数modeling_internvl_chat.py主模型ViT-MLP-LLM 组装与chat推理逻辑modeling_intern_vit.pyInternViT 视觉编码器实现configuration_intern_vit.py / configuration_internvl_chat.py视觉/总模型 Config 定义conversation.py对话模板internvl2_5tokenizer.json / tokenizer_config.json分词器及其配置added_tokens.json / special_tokens_map.json新增/特殊 token如imageexamples/官方示例图片与视频六、微调与部署下一步去哪儿微调InternVL3-14B-Pretrained 的价值主要体现在二次训练。InternVL 官方仓库、SWIFT、XTuner 等主流微调框架都已支持 InternVL 系列可在此基础上做领域适配工业图像、GUI、3D 视觉等部署可借助 LMDeploy 将模型封装为 OpenAI 兼容的 API 服务一条命令拉起api_server详见 README.md 的 Deployment 章节许可项目主体为 MIT License其中 Qwen2.5 组件为 Apache-2.0 License商用友好总结InternVL3-14B-Pretrained 是一个半成品但底子极强的多模态模型ViT 负责高分辨率看图、MLP 负责模态翻译、Qwen2.5-14B 负责推理生成配合动态分辨率和 V2PE覆盖单图、多图、视频场景。如果你的目标是直接用请选正式版如果你的目标是微调出自己的领域多模态模型那这份预训练权重就是最佳起点。建议从仓库 Quick Start 的代码跑通第一张图开始再逐步深入微调与部署环节。赞分享【免费下载链接】InternVL3-14B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3-14B-Pretrained点击查看免费下载相关推荐InternVL3-38B-Pretrained 和 InternVL3-38B 怎么选Pretrained 版适用场景与模型选型指南InternVL3 38B Pretrained 和 InternVL3 38B 怎么选Pretrained 版适用场景与模型选型指南 面对 Interyewtube开发环境搭建从源码编译到调试yewtube开发环境搭建从源码编译到调试 你是否在搭建终端YouTube播放器的开发环境时遇到依赖冲突是否想调试却不知从何入手本文将带你从源码克隆到断点为什么InternVL3-1B-AWQ理解力这么强Native多模态预训练与V2PE位置编码原理为什么InternVL3 1B AWQ理解力这么强Native多模态预训练与V2PE位置编码原理 InternVL3 1B AWQ 是 OpenGVLab 发创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考