【免费下载链接】VisualPRM-8B项目地址https://ai.gitcode.com/OpenGVLab/VisualPRM-8B点击查看免费下载 本文带你揭秘VisualPRM-8B背后的训练数据VisualPRM400K多模态过程监督数据集。它由一条全自动的VisualPRM400K 自动化数据管线构建——无需人工逐条标注就能为图片 分步解答打上每一步的对错标签最终让这个 8B 参数的多模态过程奖励模型Process Reward Model简称 PRM在 Best-of-N 场景下显著提升各类多模态大模型的推理准确率。一、30秒入门什么是多模态过程奖励模型先看一个类比 评分方式做法问题结果监督ORM只看最终答案对不对过程错了但蒙对答案模型学不到哪一步错过程监督PRM给每一步推理单独打分监督粒度更细模型能真正学会挑错VisualPRM-8B就是后者一个 8B 参数的多模态过程奖励模型。它输入一张图和若干候选的分步解答输出每一步以及整体的质量分数从而在Best-of-NBoN策略中帮主模型从 N 个回答里挑出最好的那一个。几个值得记住的亮点 支持3 类 MLLM、4 个参数规模跨模型家族通用 用于能力很强的 InternVL2.5-78B 时在7 个多模态推理基准上平均提升5.9 分 2025/04/11 发布了新版本 VisualPRM-8B-v1.1进一步增强了 InternVL3 在 BoN 下的推理表现⚖️ 配套的 VisualProcessBench 基准提供了人工标注的逐步对错标签专门衡量 PRM找错步的能力二、VisualPRM400KVisualPRM-8B 的数据底座模型再强也离不开数据。VisualPRM400K正是为训练多模态 PRM 而构建的过程监督数据集规模约40 万条。根据 README.md 中的声明To facilitate the training of multimodal PRMs, we construct a multimodal process supervision dataset VisualPRM400K using an automated data pipeline.每条数据长什么样大致是四元组问题图片几何图、图表、截图等多模态内容问题文本分步解答Step 1、Step 2……Final answer逐步正确性标签每一步对/错训练 VisualPRM-8B 时实际用到的数据集还包括MMPR-v1.1与VisualPRM400K二者均在 README.md 的datasets字段中列出。上图是仓库自带的示例题 examples/image.png。官方演示正是拿这道求 ∠3的几何题让 VisualPRM-8B 同时给两份分步解答打分——其中一份在第 2 步就走了弯路PRM 通过逐步评分把它识别出来。这就是过程监督最直观的体现不比最终答案比每一步的推理质量。三、VisualPRM400K 自动化管线四大阶段拆解 ️人工标注每一步对错的成本极高40 万条几乎不可能手工完成。VisualPRM400K 的答案是自动化管线核心思想是用模型自己验证模型。整个管线可分为四个阶段阶段一多模态推理题目采集从公开的多模态推理数据集中采集图像 问题 参考解答覆盖几何、图表理解、数学题等需要多步推理的任务类型这一步决定了数据集的领域分布与难度分布阶段二解答生成与步骤切分Step Alignment由强多模态大模型对每题生成分步解答自动把长解答切分成结构化的推理步骤Step 1 / Step 2 / ……步骤切分必须对齐图像证据——例如图中 ∠1 是直角这类步骤要能对应到图里的直角标记阶段三基于蒙特卡洛展开的逐步打标签核心 ⭐这是整条管线最关键的自动化标注环节从解答的每一个中间步骤出发向后多次采样展开rollout推导出最终答案统计展开结果中最终答案正确的比例若某步之后正确率骤降说明该步是引入错误的转折点据此把第一个错步标为 0、其余有效步骤标为 1得到逐步标签✅好处完全无需人工且标签质量与最终答案是否正确这一可验证信号强绑定 ✅效果这正是 40 万条过程监督数据得以规模化的关键阶段四过滤、去重与质检剔除格式混乱、步骤过短或图文不匹配的样本对同一问题做多解去重避免数据分布失衡抽样人工核验管线产出的逐步标签保证数据可靠性 补充除了训练数据团队还人工标注了小规模基准VisualProcessBench用人来找错步的标准检验模型找错步的能力形成自动数据 人工评测的闭环。四、数据如何变成 VisualPRM-8B有了 VisualPRM400K训练过程相对直接基座模型基于 InternVL2.5-8B 系微调README 元信息中标注InternVL2_5-8B与InternVL2_5-8B-MPO奖励模型头在 config.json 中可以看到architectures为InternVLRewardModel并定义了二分类标签LABEL_0/LABEL_1——正好对应该步错误 / 该步正确训练目标学习逐步对错预测推理时综合每步得分给出整体分数推理用法通过model.select_best_response()接口把 N 个候选答案 同一张图交给 PRM按得分排序选出最优回答注此图为上文已引用的同一示例图此处不再重复插入仅作说明。五、仓库关键文件速查 想知道数据→模型的每个环节落在哪些文件上看这张表文件作用README.md项目介绍、数据声明VisualPRM400K 自动化管线、推理示例config.json模型配置InternVLRewardModel架构、二分类标签、视觉/语言子模块参数modeling_internvl_chat.py核心模型实现InternVLRewardModel含 BoN 打分逻辑modeling_intern_vit.pyInternViT 视觉编码器负责理解问题图片modeling_internlm2.pyInternLM2 语言模型骨干32 层、hidden_size 4096conversation.py对话/提示模板处理tokenizer.model tokenizer_config.json分词器与特殊 token 配置examples/image.png官方演示用几何推理示例图六、快速上手获取模型与数据集 克隆仓库后即可在本地体验模型权重与数据集均已在仓库/元信息中给出git clone https://gitcode.com/OpenGVLab/VisualPRM-8B使用流程非常简洁详见 README.md 的 Inference 部分用AutoModel加载 VisualPRM-8Btrust_remote_codeTrue准备一张问题图 N 个分步候选解答调用select_best_response(...)返回排序后的答案与得分取最高分答案作为最终输出七、总结为什么这套数据管线值得学习问题精准多模态推理缺的不是答案对不对而是哪一步错了——VisualPRM400K 用过程监督直击痛点⚙️全自动标注蒙特卡洛展开 可验证的最终答案信号让 40 万条逐步标签摆脱人工依赖数据-模型-评测闭环VisualPRM400K 训练、VisualProcessBench 评测、VisualPRM-8B 落地 BoN三位一体开箱即用仓库内模型代码、配置、示例一应俱全新手也能快速跑通多候选选最优的推理流程一句话记住它VisualPRM-8B 的能力上限很大程度就是 VisualPRM400K 这条自动化数据管线的上限。赞分享【免费下载链接】VisualPRM-8B项目地址https://ai.gitcode.com/OpenGVLab/VisualPRM-8B点击查看免费下载相关推荐多模态数据集构建完全指南从零开始为Align-Anything准备训练数据多模态数据集构建完全指南从零开始为Align Anything准备训练数据 在当今AI领域多模态模型正成为突破的关键。Align Anything作为一个强大模型多模态RLHF模型微调深度学习FormalVerse数据集揭秘MathForm-8B训练数据完全解析FormalVerse数据集揭秘MathForm 8B训练数据完全解析 你是否好奇MathForm 8B 这款自动形式化AutoformalizationMMPR 300 万偏好数据是怎么来的InternVL2_5-8B-MPO 多模态偏好数据集构造管线拆解MMPR 300 万偏好数据是怎么来的InternVL2_5 8B MPO 多模态偏好数据集构造管线拆解 InternVL2_5 8B MPO 是一个经过 混上一篇elec-ops-simulation案例研究南方电网人工智能研究中心如何利用昇腾硬件加速电力仿真下一篇D2DX宽屏补丁让经典暗黑破坏神2在现代PC上焕发新生创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考