数据集AI 评测计算机视觉多模态人工智能【免费下载链接】HSS项目地址https://ai.gitcode.com/hf_mirrors/ScaleAI/HSS点击查看免费下载HSS 数据集Humanitys Sixth Sense由 Scale AI 发布的直觉性视觉推理基准是近期多模态模型评测领域的热门基准。本文带你逐字段拆解 HSS 数据集的 JSON 结构522 道题目、723 条评分标准、11 个核心字段一次讲清让你快速上手这份数据集几分钟内看懂每一行记录。HSS 数据集是什么为什么值得关注HSS 是一个专门考察直觉性视觉推理能力的基准测试给模型看一张图片或一段短视频考察它能否一眼看出其中隐含的时序、空间、社交和抽象结构。每个任务包含️ 一张图片或一段短视频❓ 一道人类专家撰写的题目prompt✅ 一份参考答案golden_response 一组可独立核验的评分标准rubric_criteria几个关键数字指标数值任务总数522288 图像 234 视频评分标准总数723 条每题 1–7 条领域 / 子领域4 / 11人类平均得分93.1%最强模型GPT-6-astra53.6%3466 道候选题经过三轮独立评审一致通过才入选最终存活率仅15.1%——这是它质量高、区分度强的原因。获取数据两步拿到 HSS 数据集git clone https://gitcode.com/hf_mirrors/ScaleAI/HSS核心数据只有一个文件题目数据data/test.jsonl每行一个 JSON 对象共 522 行媒体文件media/images/288 个与media/videos/234 个按task_id命名项目说明README.md 注意media/下的图片视频使用 Git LFS 存储clone 后如需拉取真实媒体文件请执行git lfs pull。11个核心字段速查表#字段类型说明1task_idstring任务唯一 ID同时是媒体文件的命名依据2domainstring4 个领域之一如Physical Spatial Logic3subdomainstring11 个子领域之一如Spatial Reachability4media_typestringimage或video5media_pathstring媒体文件相对路径如media/images/task_id.png6promptstring展示给模型的问题7golden_responsestring人类撰写的参考答案8rubric_criterialist of{id, title}正确答案必须满足的评分标准9num_criteriaintlen(rubric_criteria)快捷计数10evidence_start/evidence_endstring 或 null视频任务关键证据所在的m:ss时间窗图像任务为 null11evidence_start_sec/evidence_end_secfloat 或 null同一时间窗的秒数版本逐字段深度解析1. task_id一切的主键每条记录以task_id开头如6a9e06bce6e80e99fcf1f818。它是媒体文件的唯一索引media_path一定指向media/{images|videos}/task_id.扩展名找图片、找视频全靠它。2. domain / subdomain任务分类体系4 个领域共 522 题分布如下Domain领域包含 Subdomain子领域题数Physical Spatial LogicHidden Invisible · Spatial Alien Viewpoint · Affordance Feasibility · Spatial Reachability176Temporal Causal DynamicsRetrodiction · Mechanistic Causality · Extrapolation134Social UnderstandingSocial Role, Norm Power Dynamics · Theory of Mind110Abstract Contextual InferenceChange Consequence · Patterns Pareidolia102做子集分析比如只跑社交理解题时直接按这两个字段过滤即可。3. media_type / media_path定位输入媒体media_type image→ 288 题媒体在media/images/png/jpg/webpmedia_type video→ 234 题媒体在media/videos/mp4/webm模型评测时使用完整视频作答evidence 字段只是元数据不是输入的一部分。4. prompt / golden_response问题与参考答案prompt是展示给模型的问题golden_response是人类专家写的参考答案供 LLM 评审时对照而不是直接用来做字符串匹配。示例真实数据节选{ task_id: 6a9e06bce6e80e99fcf1f818, media_type: image, prompt: How many people with white hair can touch the light pole without moving?, golden_response: There is no one with white hair that would be able to touch the light pole without moving... }5. rubric_criteria / num_criteria评分核心这是 HSS 数据集最有特色的字段。rubric_criteria是一个列表每个元素是{id, title}id是 UUIDtitle是一条可独立核验的评分标准人类裁判只需判断满足/不满足。rubric_criteria: [ { id: e3541365-2e73-40e9-9c14-2f767b04c35a, title: States that no one with white hair would be able to touch the light pole without moving. } ]全数据集共723 条标准每题 1–7 条分布1 条 373 题、2 条 121 题、3 条及以上 28 题。num_criteria就是它的长度方便统计。⚠️ 计分规则一条任务只有在全部 criteria 都满足时才算答对。6. evidence_start / evidence_end视频证据时间窗仅对 234 道视频任务有效图像任务中 4 个字段全为null。以m:ss标注了回答依据的关键片段并提供秒数版本便于程序处理{ task_id: 6a878e23bb6c50948ae31a77, media_type: video, evidence_start: 0:05, evidence_end: 0:50, evidence_start_sec: 5.0, evidence_end_sec: 50.0 }它是分析用的元数据例如研究模型需要看多长的片段才能答对评测时模型仍看完整视频。一条完整的 JSON 记录长什么样下面是 data/test.jsonl 中一条图像任务记录的完整结构字段值节选{ task_id: 6a9e06bce6e80e99fcf1f818, domain: Physical Spatial Logic, subdomain: Spatial Reachability, media_type: image, media_path: media/images/6a9e06bce6e80e99fcf1f818.jpg, prompt: How many people with white hair can touch the light pole without moving?, golden_response: There is no one with white hair that would be able to touch the light pole without moving., rubric_criteria: [ { id: e3541365-2e73-40e9-9c14-2f767b04c35a, title: States that no one with white hair would be able to touch the light pole without moving. } ], num_criteria: 1, evidence_start: null, evidence_end: null, evidence_start_sec: null, evidence_end_sec: null }字段速记口诀task_id定身份 →domain/subdomain分领域 →media_*找素材 →prompt/golden_response出题给参 →rubric_criteria管评分 →evidence_*标视频关键段。如何加载 HSS 数据集官方提供datasets方式加载核心就三步from datasets import load_dataset from huggingface_hub import snapshot_download repo ScaleAI/HSS ds load_dataset(repo, splittest) # 522 条记录 root snapshot_download(repo, repo_typedataset) # 拉取 media 文件 task ds[0] media_file f{root}/{task[media_path]} # 拼出媒体文件绝对路径本地已 clone 仓库的话直接逐行读data/test.jsonl每行json.loads即可媒体路径相对仓库根目录。评分机制LLM Judge Rubric 全满足制HSS 不用字符串匹配打分而是由LLM 评审论文中使用 Claude Opus 5阅读问题 参考答案 模型答案逐条判定rubric_criteria满足与否。由于 curation 阶段只保留了必要标准任务只有在全部标准都满足时才计为正确最终指标是 522 题上的准确率。使用注意与已知限制这是测试集请勿用于训练⚠️媒体可能污染图片/视频来自公开网络可能出现在预训练数据中但题目是全新的⚠️评分依赖 LLM Judge论文报告了不同 judge 之间的一致性及人工 oracle 校验 标注数据题目、参考答案、rubric、分类标签采用 MIT 协议media/下媒体版权归原作者仅限非商业研究使用总结HSS 数据集的 JSON 结构极简而完整11 个字段覆盖了**身份task_id、分类domain/subdomain、输入media_、题目prompt、参考golden_response、评分rubric_criteria/num_criteria、分析evidence_**七大职责。配合全部标准满足才算对的严格计分它成为当前最能拉开人类与模型差距的直觉视觉推理基准之一——人类 93.1%最强模型仅 53.6%差距本身就是它最大的价值。赞分享数据集AI 评测计算机视觉多模态人工智能【免费下载链接】HSS项目地址https://ai.gitcode.com/hf_mirrors/ScaleAI/HSS点击查看免费下载相关推荐行情数据字段完全解析tick.py核心字段含义速查指南行情数据字段完全解析tick.py核心字段含义速查指南 在金融市场交易中理解行情数据的每一个字段含义至关重要。本文为您详细解析trader项目中的 tick金融科技后端BIRD-Interact 数据集结构详解ambiguity、external_knowledge、test_cases 等 12 个核心字段完全指南BIRD Interact 数据集结构详解ambiguity、external_knowledge、test_cases 等 12 个核心字段完全指南 BIRSQLAlchemy JSON字段处理存储与查询非结构化数据的完整指南SQLAlchemy JSON字段处理存储与查询非结构化数据的完整指南 在现代应用开发中处理非结构化数据已经成为常态。SQLAlchemy作为Python中后端数据库ORM关系型数据库上一篇HStreamDB核心特性解析实时流处理与持久化存储的完美结合下一篇MacHack 备份与恢复asr、brctl 数据备份与系统恢复完整教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考