字节:PRISM提升多模态指令遵循
标题PRISM: Priority-aware Rubric Internalization via Structured Multimodal Data Synthesis来源arXiv, 2608.05249v1️文章简介研究问题如何让多模态大模型有效理解并执行包含多重优先级规则的复杂指令而非仅回答单一问题主要贡献论文提出PRISM数据合成框架及评估协议通过结构化评分标准监督显著提升模型对多规则、优先级感知指令的理解能力。重点思路定义评分标准理解任务将模型角色从生成者转变为执行者输入图像和结构化、带优先级的评分标准要求模型逐条验证规则并给出总体判断。构建PRISM四阶段数据合成流水线首先基于图像意图发现人物角色与任务其次利用前缀引导生成包含感知、推理等五类及三种优先级的规则集接着通过多维质量评估筛选高质量数据最后生成包含视觉 grounding、逐条验证及聚合结论的结构化响应轨迹。设计无裁判评估协议PRISM-Eval引入宽松和严格两种准确率指标通过确定性匹配固定标签进行评估无需在推理时调用外部裁判模型确保评估的高效性与客观性。分析总结显著提升特定能力仅在1万条合成数据上进行微调Qwen3-VL-4B在PRISM-Eval上的严格准确率从9.5%大幅提升至30.1%且该增益可迁移至不同架构的其他开源模型。保持通用性能在提升评分标准理解能力的同时模型在MMBench、OCRBench等14个通用基准测试上的平均性能保持不变甚至略有提升证明该方法未损害通用能力。关键组件有效性消融实验表明移除优先级标注会导致严格准确率大幅下降证明语义优先级结构至关重要而移除结构化思维链则影响通用基准表现说明两者互补。超越推理时策略相比零样本或顺序查询等无需训练的推理策略PRISM通过训练内化验证过程在单轮调用中实现了更高的准确率和效率。个人观点论文设计了一个规则验证任务迫使模型学习如何作为执行者去解析和内化复杂规则。

相关新闻

WebSocket连接身份认证实战:JWT Token安全集成与断线重连设计

WebSocket连接身份认证实战:JWT Token安全集成与断线重连设计

1. 项目概述:为什么WebSocket连接也需要“验明正身”? 做前端开发的朋友,尤其是涉及实时通信场景的,对WebSocket肯定不陌生。无论是聊天室、实时数据大屏、在线协作编辑还是游戏,WebSocket都是实现全双工、低延迟通信的…

2026/8/16 23:58:07 阅读更多 →
Agent 安全实战:提示词注入、权限边界、数据泄露与成本控制

Agent 安全实战:提示词注入、权限边界、数据泄露与成本控制

前言 Agent 和普通聊天机器人最大的区别在于:它不仅会回答问题,还可能访问知识库、调用接口、查询业务数据,甚至触发真实操作。 这也意味着,Agent 的安全问题不能只理解为“模型会不会说错话”。 更现实的风险是: 用户…

2026/8/17 23:58:29 阅读更多 →
自动化运维之Ansible

自动化运维之Ansible

所有主机配置解析Ansible安装[rootserver1 ~]# yum install -y ansible-coreAnsible配置文件[rootserver1 ~]# cd /etc/ansible/ [rootserver1 ansible]# ansible-config init --disabled > ansible.cfg[rootserver1 ansible]# vim hosts[rootserver1 ansible]# ansible-inv…

2026/8/18 2:37:25 阅读更多 →

最新新闻

技术写作知识体系:从主题索引到版本更新

技术写作知识体系:从主题索引到版本更新

技术写作知识体系:从主题索引到版本更新 问题与适用范围 微服务网关在流量高峰期遭遇无缓冲 Channel 死锁,线程池瞬间挂起。 本文以 技术写作方法论与知识体系构建 为例,讨论并发与异常输入下的处理方式。下文的架构图和代码用于解释设计取舍…

2026/8/18 6:56:17 阅读更多 →
无U盘安装CentOS 7:Windows硬盘直装与双系统引导全攻略

无U盘安装CentOS 7:Windows硬盘直装与双系统引导全攻略

1. 项目概述与核心思路最近在折腾一台老旧的Windows笔记本,想把它改造成一个轻量级的Linux服务器来跑点小服务。手头没有多余的U盘,又不想破坏现有的Windows系统,这听起来像是个不可能的任务,对吧?其实不然。通过直接在…

2026/8/18 6:56:17 阅读更多 →
计算机毕业设计之基于python的网咖管理系统的设计与实现

计算机毕业设计之基于python的网咖管理系统的设计与实现

随着信息技术的飞速发展,网咖行业对高效、智能的管理系统需求日益增长。本文设计并实现了一套基于Python语言、Django框架、Vue前端框架以及MySQL数据库的网咖管理系统。该系统旨在解决传统网咖管理中存在的效率低下、信息不透明等问题,通过用户、管理员…

2026/8/18 6:56:17 阅读更多 →
本地AI抠图神器See-through WebUI安装与优化全攻略

本地AI抠图神器See-through WebUI安装与优化全攻略

上周帮一个做电商的朋友处理商品图,他有一批白底产品图,想快速把产品主体抠出来换个背景。试了几个在线工具,要么效果粗糙边缘锯齿,要么收费高昂批量处理麻烦。折腾到半夜,我突然想起之前隐约听过一个叫“See-through”…

2026/8/18 6:56:17 阅读更多 →
智能体控制论:构建能调度其他AI的元智能体架构

智能体控制论:构建能调度其他AI的元智能体架构

1. 项目概述:当智能体开始“使用”智能体最近在AI圈子里,一个听起来有点“套娃”的概念正在被频繁讨论:智能体对智能体的使用。这不再是简单的多智能体协作,而是指向一个更深层的架构——一个智能体系统能够像人类使用工具一样&am…

2026/8/18 6:56:17 阅读更多 →
智能体决策可重构性实践:基于锚点实现跨SDK决策追溯

智能体决策可重构性实践:基于锚点实现跨SDK决策追溯

1. 项目缘起:从“黑盒”到“白盒”的决策追溯困境在智能体(Agent)开发领域,尤其是当我们深度集成来自不同供应商的SDK来构建复杂决策系统时,一个长期困扰开发者和算法工程师的痛点日益凸显:我们常常无法清晰…

2026/8/18 6:55:17 阅读更多 →

日新闻

告别逐帧截图:用 extract-video-ppt 快速提取视频中的 PPT 并一键导出 PDF

告别逐帧截图:用 extract-video-ppt 快速提取视频中的 PPT 并一键导出 PDF

告别逐帧截图:用 extract-video-ppt 快速提取视频中的 PPT 并一键导出 PDF 【免费下载链接】extract-video-ppt extract the ppt in the video 项目地址: https://gitcode.com/gh_mirrors/ex/extract-video-ppt 如果你还停留在"看网课 不停暂停 截图 …

2026/8/18 0:00:57 阅读更多 →
思源宋体TTF一站式上手:7个字重免费商用,从下载到上线的完整走查

思源宋体TTF一站式上手:7个字重免费商用,从下载到上线的完整走查

思源宋体TTF一站式上手:7个字重免费商用,从下载到上线的完整走查 【免费下载链接】source-han-serif-ttf Source Han Serif TTF 项目地址: https://gitcode.com/gh_mirrors/so/source-han-serif-ttf 你是不是也经历过这种时刻:设计稿里…

2026/8/18 0:00:58 阅读更多 →
华硕笔记本控制权回收指南:GHelper 如何用一个 10MB 文件替代 Armoury Crate

华硕笔记本控制权回收指南:GHelper 如何用一个 10MB 文件替代 Armoury Crate

华硕笔记本控制权回收指南:GHelper 如何用一个 10MB 文件替代 Armoury Crate 【免费下载链接】g-helper Lightweight Armoury Crate alternative for Asus laptops with nearly the same functionality. Works with ROG Zephyrus, Flow, TUF, Strix, Scar, ProArt, …

2026/8/18 0:00:59 阅读更多 →

周新闻

基于阿里云与通义千问(Qwen)构建AI应用:从模型调用到生产部署的完整实践指南

基于阿里云与通义千问(Qwen)构建AI应用:从模型调用到生产部署的完整实践指南

如果你是一名开发者,最近可能已经感受到了AI大模型正在从“玩具”变成“生产力工具”的强烈信号。从代码补全到智能Agent,从本地部署到云端API,我们正处在一个技术栈快速重构的节点。然而,面对层出不穷的模型、框架和工具&#xf…

2026/8/17 2:58:27 阅读更多 →
工业通信系统底层逻辑:04 反射——高频能量撞墙之后会发生什么?

工业通信系统底层逻辑:04 反射——高频能量撞墙之后会发生什么?

第四篇:反射——高频能量撞墙之后会发生什么? —— 你以为信号已经过去了,其实它正在回来打你 老Q的现场笔记 第五季,我们正式进入工业神经系统层。这里不再是单个设备的战斗,而是整个工厂“经脉”层面的秩序之战。从这一篇开始,你将第一次看清:看似简单的信号传播,背…

2026/8/17 2:58:30 阅读更多 →
【文章复现】非线性值迭代自适应动态规划(ADP):离散时间非线性系统的策略迭代自适应动态规划算法研究附Matlab代码

【文章复现】非线性值迭代自适应动态规划(ADP):离散时间非线性系统的策略迭代自适应动态规划算法研究附Matlab代码

✅作者简介:热爱科研的Matlab仿真开发者,擅长毕业设计辅导、数学建模、数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页:Matlab科研工作室👇 关注我领取海量matlab电子书和…

2026/8/17 2:58:32 阅读更多 →

月新闻

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 还在为百度网盘macOS版的龟速下…

2026/8/17 18:54:37 阅读更多 →
终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 还在为网易云音乐下载的NCM格式文件无法在其他播放器播放而烦恼吗?ncmdump解密工具帮你轻松解决这个困…

2026/8/17 18:55:16 阅读更多 →
HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

AgentCard 智能体卡片:为英语学习 App 打造桌面级学习助手适用平台:HarmonyOS 7.0 (API 26 Beta)一、引言 HarmonyOS 7.0(API 26 Beta)新增了 AgentCard 智能体卡片能力,这是继 HMAF(鸿蒙智能体框架&#x…

2026/8/17 18:55:55 阅读更多 →