Investigation of the Inter-Rater Reliability between Large Language Models and Human Raters in Qu...
文章总结与翻译一、文章主要内容该研究聚焦大型语言模型(LLMs)与人类评分者在定性分析中的评分者间信度(IRR),旨在解决定性分析因耗时、依赖人工而难以规模化的问题,探索LLMs在物理教育领域定性分析中的应用潜力。1. 研究背景与目标背景:定性研究(QLR)在物理教育中对理解学生思维过程和问题解决方法至关重要,但存在人工编码耗时久、难以规模化的局限,且需多名人类评分者保证信度;现有LLMs用于定性编码的研究未涉及超参数优化,部分研究虽关注提示工程对IRR的影响,但未聚焦工程设计(ED)项目情境。目标:一是对比GPT-4.5和GPT-4o两款先进LLMs与专家人类评分者,在对学生ED项目小组讨论音频转录文本编码时的IRR,并比较两款模型性能;二是探究通过提示工程和OpenAI API优化模型超参数,能否提升LLMs的IRR。2. 研究方法数据来源:选取美国中西部某大学基于微积分的本科物理实验室课程中14个学生小组(每组3人)的音频数据,这些小组在课程第8-14周完成ED项目,第14周末录制至少5分钟关于ED项目中物理和数学概念应用及问题解决方法演变的自由讨论,数据经匿名处理。编码框架:依据已有研究框架,确定4种思维方式作为编码主题,分别是工程设计(ED)、物理概念(PC)、数学结构(MC)和元认知思维(M

相关新闻

朴素 split 只快 7%,却把 2 万行全拆错:单文件工具里 CSV 解析三种写法的实测复盘

朴素 split 只快 7%,却把 2 万行全拆错:单文件工具里 CSV 解析三种写法的实测复盘

做单文件工具的人迟早要面对 CSV:一个 HTML 文件、零依赖、双击即用,用户往文本框里粘贴几万行数据,你负责出表格、去重或者清洗。这时候最顺手的写法是一行链式调用:先按换行切开,再按逗号切开。我在 2 万行真实形状的…

2026/8/26 17:21:49 阅读更多 →
《Java 100 天进阶之路》第78篇:Spring Boot自动配置(2026版)

《Java 100 天进阶之路》第78篇:Spring Boot自动配置(2026版)

第78篇:Spring Boot自动配置(2026版) 📌 系列导航:《Java 100 天进阶之路》完整目录 | ⬅️ 上一篇:第77篇:Spring MVC流程 | ➡️ 下一篇:第79篇:Spring源码阅读技巧 &a…

2026/8/26 17:21:49 阅读更多 →
GTool: Graph Enhanced Tool Planning with Large Language Model

GTool: Graph Enhanced Tool Planning with Large Language Model

GTool:基于图增强的大语言模型工具规划方法(文章总结与翻译) 一、文章主要内容总结 1. 研究背景与问题 当前大语言模型(LLMs)在自然语言处理任务中表现突出,但在数值计算、复杂问题求解等场景中依赖外部工具(如API、算法)。工具规划作为LLMs与工具交互的核心能力,需…

2026/8/26 17:21:49 阅读更多 →

最新新闻

嵌入式Linux设备树DTS语法详解与实战配置指南

嵌入式Linux设备树DTS语法详解与实战配置指南

1. 项目概述:从“硬编码”到“软描述”的进化如果你是从单片机或者裸机开发转向嵌入式Linux的,那么第一次接触“设备树”这个概念时,大概率会感到困惑。在传统的单片机开发中,我们习惯于在代码里直接写死硬件信息:比如…

2026/8/26 21:02:19 阅读更多 →
基于MCP协议构建安全本地文件读取服务:Node.js实现与安全实践

基于MCP协议构建安全本地文件读取服务:Node.js实现与安全实践

1. 项目缘起:为什么我们需要一个“本地文件读取工具服务”?在开发者的日常工作中,与本地文件系统打交道是家常便饭。无论是读取配置文件、解析日志、加载静态资源,还是处理用户上传的临时文件,我们总是在重复编写类似的…

2026/8/26 21:02:19 阅读更多 →
AI明星是趋势还是噱头?从内容价值到AI Agent的落地拆解

AI明星是趋势还是噱头?从内容价值到AI Agent的落地拆解

“观众需要AI明星吗?”这个问题,最近几乎每隔几天就会出现在我刷到的内容流里。有人把虚拟偶像演唱会视频转给我看,有人已经把AI短剧跑完了几十集,还有人正纠结要不要做一个AI代言人。作为一个长期关注AI应用落地方向的人&#xf…

2026/8/26 21:02:19 阅读更多 →
软件测试面试核心考察与自动化测试实践

软件测试面试核心考察与自动化测试实践

1. 软件测试面试的核心考察维度 在软件测试岗位的面试中,技术问题的设计通常围绕五个核心能力展开:测试理论基础、自动化测试能力、测试框架设计思维、问题排查技巧以及持续集成实践。根据2023年行业调研数据显示,自动化测试相关问题的出现频…

2026/8/26 21:02:19 阅读更多 →
claude-hud:AI编程助手效率革命,快捷键驱动开发心流

claude-hud:AI编程助手效率革命,快捷键驱动开发心流

1. 项目概述:为什么你需要 claude-hud如果你正在使用 Claude Code 进行 AI 辅助编程,却总觉得效率卡在一个瓶颈上,那今天聊的这个插件,可能就是为你准备的。我最近深度体验了claude-hud这个插件,它不是一个花里胡哨的 …

2026/8/26 21:02:19 阅读更多 →
MySQL登录失败Access denied八大原因与系统排查修复指南

MySQL登录失败Access denied八大原因与系统排查修复指南

1. 问题现象与核心困惑“明明昨天还好好的,今天用同样的账号密码登录MySQL,怎么就报Access denied了?” 这几乎是每一位数据库管理员或开发者在职业生涯中都会遇到的“灵异事件”。你反复确认了密码,甚至用记事本打开、复制粘贴&a…

2026/8/26 21:01:18 阅读更多 →

日新闻

Python random 模块常用函数详解:从入门到实战

Python random 模块常用函数详解:从入门到实战

目录 1. 引言2. 准备工作3. 基础随机函数4. 序列相关函数5. 随机种子与复现6. 实战案例7. 注意事项8. 常见问题与排查9. 总结 1. 引言 摘要: 本文系统介绍 Python 标准库 random 模块中最常用的随机数生成函数。内容涵盖基础随机函数(random()、unifor…

2026/8/26 0:00:40 阅读更多 →
《Microsoft Sql server 2008 Internals》读书笔记--第三章Databases and Database Files(2)

《Microsoft Sql server 2008 Internals》读书笔记--第三章Databases and Database Files(2)

《Microsoft Sql server 2008 Internals》索引目录: 《Microsoft Sql server 2008 Internals》读书笔记--目录索引 在上篇文章中,主要介绍了创建数据库的基本语法和FileGroup的初步知识。需要注意的是: 关于FileGroup 如果你的系统是用Raid设备直接存…

2026/8/26 1:18:18 阅读更多 →
政务AI智能体怎么建?三种模式、三步路径与四个误区

政务AI智能体怎么建?三种模式、三步路径与四个误区

政务AI智能体已经从概念试点阶段,转入了政务服务的常态化落地应用;在实际使用过程中,它能自主理解办事需求、辅助完成填报申报、开展材料预审,并联动多个系统协同作业,真正嵌入到政务办理的全流程当中。但在落地推进过…

2026/8/26 1:18:18 阅读更多 →

周新闻

[光学原理与应用-521]:对光的错误理解与纠偏

[光学原理与应用-521]:对光的错误理解与纠偏

首先光是一种能量的载体和形态,宏观上观察到的光是由无数个微观的光量子组成的,每个光子在产生的瞬间,其在真空的空间中以确定不变的速度沿着一个初始的方向一直向前,在微观层面,每个光量子的运动轨迹是以波函数所展现…

2026/8/26 14:45:33 阅读更多 →
SIP通话转接原理与REFER方法实战解析

SIP通话转接原理与REFER方法实战解析

1. 通话转接不是“挂断再拨号”,而是SIP会话的动态重定向你有没有遇到过这样的场景:客服坐席A正在和客户通电话,突然需要把这通对话无缝转给专家坐席B,客户完全感知不到中间的断连——既没听到忙音,也没被要求重新拨号…

2026/8/26 17:46:43 阅读更多 →
Kolla-ansible单节点OpenStack部署实战:从环境准备到排坑指南

Kolla-ansible单节点OpenStack部署实战:从环境准备到排坑指南

1. 为什么选择Kolla-ansible来部署单节点OpenStack?如果你正在寻找一种能把OpenStack从“概念”快速变成“可用的实验环境”的方法,那么Kolla-ansible几乎是当前最主流、最省心的选择。我见过太多人卡在手动编译依赖、配置服务、处理版本冲突的泥潭里&am…

2026/8/26 14:46:37 阅读更多 →

月新闻

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 还在为百度网盘macOS版的龟速下…

2026/8/26 3:50:20 阅读更多 →
终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 还在为网易云音乐下载的NCM格式文件无法在其他播放器播放而烦恼吗?ncmdump解密工具帮你轻松解决这个困…

2026/8/26 17:46:39 阅读更多 →
HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

AgentCard 智能体卡片:为英语学习 App 打造桌面级学习助手适用平台:HarmonyOS 7.0 (API 26 Beta)一、引言 HarmonyOS 7.0(API 26 Beta)新增了 AgentCard 智能体卡片能力,这是继 HMAF(鸿蒙智能体框架&#x…

2026/8/26 1:24:05 阅读更多 →