多图对比与视频理解教程：InternVL3_5-241B-A28B-Flash多轮对话代码全解

想一次看懂多张图片的差异，或让模型"看完"整段视频再追问细节？InternVL3_5-241B-A28B-Flash 是一个开源多模态大模型（MoE 总参数 241B、激活 28B），原生支持多图对比、视频理解与多轮对话。本篇教程带你从模型加载讲到model.chat的每个关键参数，零基础上手多模态对话开发。

🤖 InternVL3_5-241B-A28B-Flash 是什么？

InternVL3.5 是 OpenGVLab 开源的多模态模型家族，本仓库中的241B-A28B-Flash是其中最大、且带"Flash 效率增强"的旗舰版本，核心亮点：

架构采用经典的ViT–MLP–LLM范式，语言模型基于 Qwen3 系列初始化。模型配置（如flash_mode: true、动态切片min/max_dynamic_patch: 1/12）可在 config.json 中直接查看，对话逻辑实现在 modeling_internvl_chat.py 中。

💡 官方资料与完整示例都写在仓库根目录的 README.md 里，本文所有代码均基于其中的 Quick Start 示例。

⚡ 环境准备与模型加载

硬件与依赖要求（来自 README）：

• transformers>=4.52.1（务必升级，旧版本无法加载本模型）
• 241B 版本需要8 张 A100 GPU；30B 及以下可单卡部署

加载模型只需几行代码：

import torch from transformers import AutoTokenizer, AutoModel path = "OpenGVLab/InternVL3_5-241B-A28B-Flash" model = AutoModel.from_pretrained( path, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, use_flash_attn=True, trust_remote_code=True, device_map="auto").eval() tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)

三个关键点：

• device_map="auto"：把 241B 大参数自动切分到多张 GPU
• trust_remote_code=True：本模型使用仓库内自定义建模代码（如 modeling_intern_vit.py）
• use_fast=False：分词器必须用慢速版，否则特殊 token 处理可能出错

🗣️ 核心接口：model.chat 多轮对话机制

所有图片/视频对话都通过model.chat完成（源码见 modeling_internvl_chat.py）。先理解它最重要的几个参数：

多轮对话的基本模式就是"接龙"：

generation_config = dict(max_new_tokens=1024, do_sample=True) # 第一轮：开启历史 response, history = model.chat( tokenizer, None, 'Hello, who are you?', generation_config, history=None, return_history=True) # 第二轮：把上轮 history 传进去，即可继续追问 response, history = model.chat( tokenizer, None, 'Can you tell me a story?', generation_config, history=history, return_history=True)

原理很简单：chat内部会把history里的每轮问答按 conversation.py 定义的对话模板拼进提示词，再执行生成（见 modeling_internvl_chat.py）。你只需要负责把history一路传下去。

🖼️ 多图对比：两种传图方式全解

多图是 InternVL 系列最强的场景之一，README 官方示例给出了两种写法，区别在于"模型是否区分第几张图"。

方式一：拼接图像（共用一个<image>）

把所有图的 patch 张量首尾拼接，问题里只写一个<image>：

pixel_values1 = load_image('./examples/image1.jpg', max_num=12).to(torch.bfloat16).cuda() pixel_values2 = load_image('./examples/image2.jpg', max_num=12).to(torch.bfloat16).cuda() pixel_values = torch.cat((pixel_values1, pixel_values2), dim=0) question = '<image>\nDescribe the two images in detail.' response, history = model.chat( tokenizer, pixel_values, question, generation_config, history=None, return_history=True)

适合"请对比这两张图"这类整体描述任务。第二轮追问时无需再传图片，只需继续传history：

question = 'What are the similarities and differences between these two images.' response, history = model.chat( tokenizer, pixel_values, question, generation_config, history=history, return_history=True)

方式二：独立图像（Image-1: <image>+num_patches_list）

如果你希望模型明确知道"哪张是图 1、哪张是图 2"，用编号占位符：

num_patches_list = [pixel_values1.size(0), pixel_values2.size(0)] question = 'Image-1: <image>\nImage-2: <image>\nDescribe the two images in detail.' response, history = model.chat( tokenizer, pixel_values, question, generation_config, num_patches_list=num_patches_list, history=None, return_history=True)

⚠️ 两个易踩的坑：

1. num_patches_list必须与拼接顺序一致，且各元素之和必须等于pixel_values.shape[0]，源码中有断言检查（modeling_internvl_chat.py）；
2. 后续每一轮都要继续传num_patches_list，否则模型会按错误的图片数量展开<IMG_CONTEXT>token。

💡load_image里的max_num=12控制动态高分辨率切片数（上限 12 块），图片细节多时可保留该值；纯视频帧建议设小（如max_num=1）以节省显存。

🎬 视频理解：抽帧 + 多轮追问

InternVL 用"抽帧当多图"的方式做视频理解。核心是两个工具函数（完整代码见 README.md Quick Start 部分）：

• get_index：按视频 fps 均匀抽取num_segments帧（默认 32 帧）
• load_video：逐帧做动态切片预处理，返回pixel_values和每帧的num_patches_list

完整流程：

# 1. 抽 8 帧，每帧只切 1 块（视频帧不宜过大） video_path = './examples/red-panda.mp4' pixel_values, num_patches_list = load_video(video_path, num_segments=8, max_num=1) pixel_values = pixel_values.to(torch.bfloat16).cuda() # 2. 给每一帧编号，拼成"帧列表 + 问题" video_prefix = ''.join([f'Frame{i+1}: <image>\n' for i in range(len(num_patches_list))]) question = video_prefix + 'What is the red panda doing?' # 形如: Frame1: <image>\nFrame2: <image>\n...\nWhat is the red panda doing? # 3. 第一轮提问 response, history = model.chat( tokenizer, pixel_values, question, generation_config, num_patches_list=num_patches_list, history=None, return_history=True) # 4. 第二轮追问：同样要带 num_patches_list question = 'Describe this video in detail.' response, history = model.chat( tokenizer, pixel_values, question, generation_config, num_patches_list=num_patches_list, history=history, return_history=True)

调参经验：

🧠 进阶技巧：Thinking 模式与批量推理

开启 Thinking 模式：设置官方系统提示词，让模型先"思考"再回答，复杂多图/视频推理任务效果更佳。官方推荐配合do_sample=True和temperature=0.6，避免重复输出：

model.system_message = R1_SYSTEM_PROMPT # 见 README 中的完整提示词 generation_config = dict(max_new_tokens=1024, do_sample=True, temperature=0.6)

批量处理多张图：如果任务是"每张图各自回答一个问题"（不是多轮），改用model.batch_chat（源码见 modeling_internvl_chat.py）：

questions = ['<image>\nDescribe the image in detail.'] * len(num_patches_list) responses = model.batch_chat( tokenizer, pixel_values, num_patches_list=num_patches_list, questions=questions, generation_config=generation_config)

注意batch_chat不支持多轮（传history会直接抛NotImplementedError），多轮场景请坚持用model.chat。

🚀 生产部署建议

开发验证用transformers即可；上线服务推荐：

• LMDeploy / vLLM：241B-A28B 版本记得设tp=8（张量并行 8 卡）；多图会大幅增加输入 token，建议把session_len提到 32768 或更高
• LMDeploy 多图对话同样用Image-1: <image>\nImage-2: <image>编号写法，多轮通过pipe.chat(..., session=sess)维持会话

📝 小结

掌握chat/batch_chat两个接口和num_patches_list这一个关键参数，基本就解锁了 InternVL3_5-241B-A28B-Flash 的全部多模态玩法。更多示例与模型家族全表，欢迎直接翻阅 README.md。