【免费下载链接】InternVL2_5-78B-MPO项目地址https://ai.gitcode.com/OpenGVLab/InternVL2_5-78B-MPO点击查看免费下载InternVL2_5-78B-MPO 是 OpenGVLab 推出的开源多模态大模型MLLM基于 InternVL2.5 并引入 MPOMixed Preference Optimization混合偏好优化训练。它能看懂图片、视频擅长多模态推理与图表数学题780 亿参数、支持多卡本地部署是当下开源视觉理解模型的旗舰之一。一句话总结6B 视觉编码器 Qwen2.5-72B 语言模型 混合偏好优化让模型看得更准、答得更稳。一、InternVL2_5-78B-MPO 到底是什么它是 InternVL 2.5 家族的MPO 增强版——在预训练好的 InternVL2.5 基础上用约 300 万条多模态偏好数据MMPR 数据集做偏好对齐重点提升推理能力、幻觉控制和 OCR 识别。组成部分具体模型作用视觉编码器InternViT-6B-448px-V2_5负责看图语言模型Qwen2.5-72B-Instruct负责思考与表达连接层MLP 投影器把视觉特征翻译给 LLM 上图为仓库自带的示例输入图 examples/image1.jpgREADME 官方示例就是让模型描述这张小熊猫照片——这就是多模态大模型最典型的使用场景。二、为什么叫 MPO混合偏好优化原理普通偏好优化只教模型两个回答里哪个更好而MPO 同时学三件事相对偏好DPO 损失好回答 vs 坏回答学会比较绝对质量BCO 损失每个回答本身够不够好学会打分✍️生成过程SFT 损失如何一步步生成出好回答学会模仿三者加权求和相当于比较 评分 模仿三位一体这也是 MPO 系列整体表现更好的关键。没有明确标准答案的样本则用 Dropout Next-Token Prediction有图/无图各生成一次无图版本更易幻觉自动构造偏好对。三、模型架构ViT-MLP-LLM 三段式InternVL2_5-78B-MPO 沿用经典的ViT → MLP → LLM范式几个实用设计值得了解动态分辨率图片被切成 448×448 的小块tiles最多 12 块见 config.json 中max_dynamic_patch: 12大图看得细、小图不浪费算力像素解 shuffle把视觉 token 数量压缩到原来的 1/4降低长上下文压力多模态输入原生支持纯文本、单图、多图拼接/独立输入、视频帧序列自定义建模代码对话模板在 conversation.py视觉塔实现在 modeling_intern_vit.py对话主模型在 modeling_internvl_chat.py加载时需trust_remote_codeTrue四、性能如何MPO 前后基准对比以下是 README 官方评测节选OpenCompass 榜单常用指标分数越高越好模型平均分MMStarMathVista数学图OCRBench文字识别HallusionBench幻觉InternVL2_5-78B75.269.570.685.357.4InternVL2_5-78B-MPO76.673.173.891.258.7InternVL2_5-8B-MPO70.465.768.988.351.4 可以看到加上 MPO 后数学视觉题MathVista、OCR 识别OCRBench提升最明显8B 小杯同样受益——说明这套方法大小通吃。五、7 分钟快速上手从零跑通第一个问题Step 1获取模型文件git clone https://gitcode.com/OpenGVLab/InternVL2_5-78B-MPO核心文件一览model.safetensors.index.json 记录了 33 个权重分片的索引文件说明config.json模型超参数ViT/LLM 结构、动态分辨率配置modeling_internvl_chat.py自定义建模代码added_tokens.json / vocab.json / merges.txt词表与分词器资源examples/官方示例图与视频Step 2环境与硬件准备软件transformers4.37.2README 强调的版本下限、PyTorch、decord视频推理用硬件官方建议加载方式最低 GPU 需求load_in_8bitTrue8-bit 量化2 × 80GBload_in_8bitFalsebf16 全精度≥ 3 × 80GBStep 3加载模型并发起第一次图片对话import torch from transformers import AutoTokenizer, AutoModel path OpenGVLab/InternVL2_5-78B-MPO model AutoModel.from_pretrained( path, torch_dtypetorch.bfloat16, load_in_8bitTrue, low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue, device_mapdevice_map).eval() tokenizer AutoTokenizer.from_pretrained(path, trust_remote_codeTrue, use_fastFalse) # 图片加载与切块后略参考 README Quick Start发起对话 question image\nPlease describe the image shortly. response model.chat(tokenizer, pixel_values, question, dict(max_new_tokens1024, do_sampleTrue)) print(response)多轮对话只需把history参数传回去即可多图、视频、流式输出的完整代码见 README.md 的 Quick Start 章节。六、它还能做什么能力清单️纯文本对话直接当 Qwen2.5-72B 聊天用️单图 / 多图理解支持多图拼接或Image-1 / Image-2独立编号两种模式视频理解对examples/red-panda.mp4抽 8 帧即可问答小熊猫在做什么批处理推理model.batch_chat一次处理多张图⚡流式输出基于TextIteratorStreamer逐字打印LMDeploy 部署一行命令lmdeploy serve api_server即可提供OpenAI 兼容 API方便接入现有应用继续微调支持 SWIFT、XTuner 等主流微调框架七、写在最后7 分钟回顾是什么78B 级开源多模态大模型 InternViT-6B Qwen2.5-72B MPO 对齐强在哪数学视觉题、OCR、幻觉抑制全面优于同尺寸基座怎么用clone 仓库 →transformers4.37.2加载 →model.chat()开聊8-bit 量化 2 张 80G 显卡即可跑起许可模型本体 MIT 协议语言部分沿用 Qwen 许可可放心用于学习与商用评估 现在就可以动手先加载模型描述一下那只小熊猫你的多模态大模型之旅就开始了。赞分享【免费下载链接】InternVL2_5-78B-MPO项目地址https://ai.gitcode.com/OpenGVLab/InternVL2_5-78B-MPO点击查看免费下载相关推荐InternVL3_5-4B-MPO是什么4.7B开源多模态大模型完整解读MPO强化推理的轻量级VLMInternVL3_5 4B MPO是什么4.7B开源多模态大模型完整解读MPO强化推理的轻量级VLM InternVL3_5 4B MPO 是上海 AI开源多模态大模型 InternVL2.5-26B-MPO-AWQ 完全指南从入门到生产部署开源多模态大模型 InternVL2.5 26B MPO AWQ 完全指南从入门到生产部署 InternVL2_5 26B MPO AWQ 是由 OpenGVMPO混合偏好优化是什么InternVL3_5-4B-MPO训练原理与CPT-SFT-MPO-CascadeRL流水线全解MPO混合偏好优化是什么InternVL3_5 4B MPO训练原理与CPT SFT MPO CascadeRL流水线全解 MPOMixed Prefere上一篇LogicStack-LeetCode找到所有数组中消失的数字下一篇SwiftMessages性能优化图像压缩与资源加载策略创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考