InternVL3-1B-Pretrained vs 完整版：预训练底座到底该不该用？一次讲清选型逻辑

InternVL3-1B-Pretrained 是 OpenGVLab 推出的 InternVL3 多模态大语言模型（MLLM）的预训练底座：它已完成原生多模态预训练，但没有经过 SFT（监督微调）和 MPO（混合偏好优化）等后训练。一句话结论：官方建议——如果你不确定该用哪个版本，就直接用完整版 InternVL3-1B；只有当你需要继续训练、研究预训练范式时，才考虑这个底座。

↑ 仓库自带的示例图片，可直接用于测试 InternVL3-1B 的图像描述能力，见 examples/

先搞懂：预训练底座和完整版差在哪？

多模态模型从"会看图"到"能对话"，通常要经过三个训练阶段：

官方在 README.md 中明确说明：

This is the pretrained version of InternVL3-1B, which has undergone native multimodal pre-training but has not undergone post-training (i.e., SFT and MPO).

所以两个版本的区别不在结构，而在"教养"：

• Pretrained 底座：像刚读完通识课程的毕业生，知识面广（图文预训练），但不太会"按人类指令办事"；
• 完整版 InternVL3-1B：毕业后又经过了实习（SFT）和绩效考核（MPO），能直接上岗干活。

选型速查：什么场景该用哪个版本？

👉 选 Pretrained 底座的场景

• 自己继续微调：你有垂直领域数据（医疗影像、工业质检、电商图文），想在此基础上做领域适配；
• 研究训练范式：复现或改进原生多模态预训练、MPO 等算法，需要一个"干净"的起点；
• 降低整体训练成本：从底座出发续训，比从头预训练省资源。

👉 选完整版 InternVL3-1B 的场景

• 直接落地应用：图像问答、OCR 文档理解、多图对比、视频理解等开箱即用；
• 需要对话体验：多轮对话、指令遵循、低幻觉，这些主要靠后训练塑造；
• 资源和时间有限：不想再投入一轮微调成本。

💡 记住官方那句"不确定就用完整版"——对绝大多数用户来说，这就是最省心的答案。

底座解剖：1B 参数是怎么组成的？

InternVL3-1B 沿用经典的ViT–MLP–LLM三段式架构：

几个值得新手知道的细节（可从 config.json 中直接看到）：

• force_image_size: 448：图像按 448×448 像素切块，支持动态分辨率；
• max_dynamic_patch: 12：最多切 12 块，分辨率越高细节越好，但 token 更多；
• template: internvl2_5：对话模板版本，加载模型时会自动生效。

代码侧的实现分别在 modeling_internvl_chat.py（整体对话模型）和 modeling_intern_vit.py（视觉编码器），配置文件见 configuration_intern_vit.py 与 conversation.py。

快速上手：一条命令拉取并加载

一键安装步骤

1️⃣ 克隆仓库（或从模型平台下载权重）：

git clone https://gitcode.com/OpenGVLab/InternVL3-1B-Pretrained

2️⃣ 用 transformers 加载（要求transformers>=4.37.2）：

import torch from transformers import AutoTokenizer, AutoModel model = AutoModel.from_pretrained( "OpenGVLab/InternVL3-1B-Pretrained", torch_dtype=torch.bfloat16, use_flash_attn=True, trust_remote_code=True, ).eval().cuda() tokenizer = AutoTokenizer.from_pretrained("OpenGVLab/InternVL3-1B-Pretrained", trust_remote_code=True, use_fast=False)

3️⃣ 调用model.chat()即可进行纯文本对话、单图/多图问答和视频多轮对话，完整示例见 README.md。

⚠️ 提醒：由于底座没有经过 SFT，直接用它闲聊，回答格式和"情商"会明显不如完整版——这是预期内的现象，不是加载出错。

新手常见疑问（FAQ）

Q1：Pretrained 版和完整版大小一样吗？架构完全相同，参数规模一致，差别只在权重训练阶段。显存占用基本没有区别。

Q2：底座的纯文本能力如何？它的语言部分由 Qwen2.5-0.5B 初始化。官方实验表明，得益于原生多模态预训练，InternVL3 系列整体文本表现甚至超过了 Qwen2.5 系列——所以底座并非"只会看图不会写字"。

Q3：我可以在这个底座上微调吗？可以。InternVL 官方训练库以及 SWIFT、XTuner 等主流微调框架均支持 InternVL 系列，具体用法参考各框架文档（见 README.md）。

Q4：V2PE 是什么？跟我选型有关吗？Variable Visual Position Encoding（可变视觉位置编码），让模型对长上下文和多图理解更好。它是 InternVL3 全系标配，与 Pretrained/完整版的选择不冲突，了解一下即可。

一页纸总结

• 普通用户 / 直接部署→ 用完整版 InternVL3-1B，开箱即用；
• 有领域数据要微调 / 研究训练方法→ 选 InternVL3-1B-Pretrained 底座；
• 拿不准？官方原话：不确定就用完整版。

选对起点，才能把有限的算力花在真正有价值的数据上。🎯