InternVL3-1B-Pretrained vs 完整版:预训练底座到底该不该用?一次讲清选型逻辑

【免费下载链接】InternVL3-1B-Pretrained

项目地址:https://ai.gitcode.com/OpenGVLab/InternVL3-1B-Pretrained
点击查看免费下载

InternVL3-1B-Pretrained 是 OpenGVLab 推出的 InternVL3 多模态大语言模型(MLLM)的预训练底座:它已完成原生多模态预训练,但没有经过 SFT(监督微调)和 MPO(混合偏好优化)等后训练。一句话结论:官方建议——如果你不确定该用哪个版本,就直接用完整版 InternVL3-1B;只有当你需要继续训练、研究预训练范式时,才考虑这个底座。

↑ 仓库自带的示例图片,可直接用于测试 InternVL3-1B 的图像描述能力,见 examples/

先搞懂:预训练底座和完整版差在哪?

多模态模型从"会看图"到"能对话",通常要经过三个训练阶段:

阶段作用是否已包含在 Pretrained 版
✅ 原生多模态预训练语言与视觉在同一阶段联合学习,建立"看图+说话"的基础能力✅ 已完成
❌ SFT 监督微调学会遵循指令、多轮对话、OCR、推理等任务❌ 未做
❌ MPO 偏好优化通过正负样本对齐回答分布,提升推理与数学能力❌ 未做

官方在 README.md 中明确说明:

This is the pretrained version of InternVL3-1B, which has undergone native multimodal pre-training but has not undergone post-training (i.e., SFT and MPO).

所以两个版本的区别不在结构,而在"教养":

  • Pretrained 底座:像刚读完通识课程的毕业生,知识面广(图文预训练),但不太会"按人类指令办事";
  • 完整版 InternVL3-1B:毕业后又经过了实习(SFT)和绩效考核(MPO),能直接上岗干活。

选型速查:什么场景该用哪个版本?

👉 选 Pretrained 底座的场景

  • 自己继续微调:你有垂直领域数据(医疗影像、工业质检、电商图文),想在此基础上做领域适配;
  • 研究训练范式:复现或改进原生多模态预训练、MPO 等算法,需要一个"干净"的起点;
  • 降低整体训练成本:从底座出发续训,比从头预训练省资源。

👉 选完整版 InternVL3-1B 的场景

  • 直接落地应用:图像问答、OCR 文档理解、多图对比、视频理解等开箱即用;
  • 需要对话体验:多轮对话、指令遵循、低幻觉,这些主要靠后训练塑造;
  • 资源和时间有限:不想再投入一轮微调成本。

💡 记住官方那句"不确定就用完整版"——对绝大多数用户来说,这就是最省心的答案。

底座解剖:1B 参数是怎么组成的?

InternVL3-1B 沿用经典的ViT–MLP–LLM三段式架构:

组件具体模型说明
🖼️ 视觉编码器InternViT-300M-448px-V2_5约 3 亿参数,动态分辨率切图
🧠 语言模型Qwen2.5-0.5B24 层 Transformer,上下文 32K
🔌 投影层MLP projector把视觉特征"翻译"成语言空间

几个值得新手知道的细节(可从 config.json 中直接看到):

  • force_image_size: 448:图像按 448×448 像素切块,支持动态分辨率;
  • max_dynamic_patch: 12:最多切 12 块,分辨率越高细节越好,但 token 更多;
  • template: internvl2_5:对话模板版本,加载模型时会自动生效。

代码侧的实现分别在 modeling_internvl_chat.py(整体对话模型)和 modeling_intern_vit.py(视觉编码器),配置文件见 configuration_intern_vit.py 与 conversation.py。

快速上手:一条命令拉取并加载

一键安装步骤

1️⃣ 克隆仓库(或从模型平台下载权重):

git clone https://gitcode.com/OpenGVLab/InternVL3-1B-Pretrained

2️⃣ 用 transformers 加载(要求transformers>=4.37.2):

import torch from transformers import AutoTokenizer, AutoModel model = AutoModel.from_pretrained( "OpenGVLab/InternVL3-1B-Pretrained", torch_dtype=torch.bfloat16, use_flash_attn=True, trust_remote_code=True, ).eval().cuda() tokenizer = AutoTokenizer.from_pretrained("OpenGVLab/InternVL3-1B-Pretrained", trust_remote_code=True, use_fast=False)

3️⃣ 调用model.chat()即可进行纯文本对话、单图/多图问答和视频多轮对话,完整示例见 README.md。

⚠️ 提醒:由于底座没有经过 SFT,直接用它闲聊,回答格式和"情商"会明显不如完整版——这是预期内的现象,不是加载出错。

新手常见疑问(FAQ)

Q1:Pretrained 版和完整版大小一样吗?架构完全相同,参数规模一致,差别只在权重训练阶段。显存占用基本没有区别。

Q2:底座的纯文本能力如何?它的语言部分由 Qwen2.5-0.5B 初始化。官方实验表明,得益于原生多模态预训练,InternVL3 系列整体文本表现甚至超过了 Qwen2.5 系列——所以底座并非"只会看图不会写字"。

Q3:我可以在这个底座上微调吗?可以。InternVL 官方训练库以及 SWIFT、XTuner 等主流微调框架均支持 InternVL 系列,具体用法参考各框架文档(见 README.md)。

Q4:V2PE 是什么?跟我选型有关吗?Variable Visual Position Encoding(可变视觉位置编码),让模型对长上下文和多图理解更好。它是 InternVL3 全系标配,与 Pretrained/完整版的选择不冲突,了解一下即可。

一页纸总结

  • 普通用户 / 直接部署→ 用完整版 InternVL3-1B,开箱即用;
  • 有领域数据要微调 / 研究训练方法→ 选 InternVL3-1B-Pretrained 底座;
  • 拿不准?官方原话:不确定就用完整版。

选对起点,才能把有限的算力花在真正有价值的数据上。🎯

【免费下载链接】InternVL3-1B-Pretrained

项目地址:https://ai.gitcode.com/OpenGVLab/InternVL3-1B-Pretrained
点击查看免费下载
上一篇:buffer模块与Typed Arrays:深入理解底层技术原理
下一篇:RabbitMQ 3.8.15 维护版本深度解析:安全补丁、Quorum 队列修复与运维要点

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

一个能在浏览器里跑起来的免费开源三国杀:无名杀本地部署与扩展指南

一个能在浏览器里跑起来的免费开源三国杀:无名杀本地部署与扩展指南

一个能在浏览器里跑起来的免费开源三国杀:无名杀本地部署与扩展指南 【免费下载链接】noname 项目地址: https://gitcode.com/GitHub_Trending/no/noname 无名杀(noname)是一个开源三国杀项目:网页版三国杀,全…

2026/11/17 18:34:42 阅读更多 →
3步部署完整工厂:戴森球计划 FactoryBluePrints 蓝图仓库快速指南

3步部署完整工厂:戴森球计划 FactoryBluePrints 蓝图仓库快速指南

3步部署完整工厂:戴森球计划 FactoryBluePrints 蓝图仓库快速指南 【免费下载链接】FactoryBluePrints 游戏戴森球计划的**工厂**蓝图仓库 项目地址: https://gitcode.com/GitHub_Trending/fa/FactoryBluePrints 刚开荒《戴森球计划》时,最耗时间…

2026/11/17 13:16:30 阅读更多 →
agentic-awesome-skills v7.2.0 版本解析:Registry 清理、社区技能合入与可解释自动分类

agentic-awesome-skills v7.2.0 版本解析:Registry 清理、社区技能合入与可解释自动分类

AI 技能AI 插件人工智能 【免费下载链接】agentic-awesome-skills AAS Core is the local, agent-first control plane for complete catalog discovery, agent-owned selection, stack validation, and planning, backed by 2,600 agentic skills. Includes CLI, local MCP, c…

2026/11/19 10:21:18 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/18 13:59:04 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/18 15:33:23 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/18 17:05:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/18 14:33:19 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/18 17:05:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/18 14:13:08 阅读更多 →

日新闻

周新闻

月新闻