1. 从“读论文”到“做研究”AI智能体面临的新挑战最近和几个在高校做科研的朋友聊天他们都在感慨现在AI工具读论文、总结摘要的能力越来越强甚至能帮你快速梳理一个领域的脉络。但问题也随之而来当你把一篇复杂的顶会论文丢给AI让它基于此提出一个可行的、有深度的后续研究方案时结果往往不尽如人意。它可能会给你一堆看似相关但实则零散的建议或者直接复述论文里的“未来工作”缺乏真正的创造性连接和批判性思考。这背后反映的正是当前AI在科学研究闭环中一个核心能力的缺失系统性科学探究。这不仅仅是“文献综述”或“问答”任务。真正的科学研究是一个动态、迭代、充满不确定性的“探究循环”。研究者需要从现有知识如一篇论文出发提出假设设计实验去验证或反驳分析结果然后根据新发现修正假设或提出新问题如此循环往复逐步构建起对某个科学问题的深入理解。这个循环中的每一步都需要逻辑推理、知识整合、批判性评估甚至一点“灵感”。而“InquiTree”这个概念正是为了系统性地评估AI智能体在这个完整科学探究循环中的表现所提出的一个创新框架。它不再满足于让AI做“信息搬运工”而是试图考核它能否成为一个合格的“研究协作者”。简单来说InquiTree构想了一个基于论文的“研究树”评估范式。想象一下把一篇种子论文作为树根AI智能体的任务不是简单地总结它而是要以它为起点“生长”出一棵枝繁叶茂的研究树。这棵树的枝干代表不同的研究方向或假设分叉点代表关键的研究决策叶片则代表具体的研究步骤或实验发现。评估者通过观察这棵“树”的结构合理性、逻辑连贯性、创新性和可行性来判断AI智能体在模拟科学研究过程中的综合能力。这听起来很抽象但接下来我会结合具体的操作逻辑和评估维度拆解InquiTree如何将“评估AI做科研”这件事变得可度量、可分析。2. InquiTree框架的核心构件论文、智能体与研究树要理解InquiTree如何工作我们首先要拆解它的三个核心构件作为起点的种子论文、被评估的AI智能体、以及作为产出和评估对象的研究树。这三者构成了一个完整的评估闭环。2.1 种子论文的选择与预处理种子论文是整个评估的基石它的选择至关重要直接决定了评估任务的难度和方向。在实践中我们不会选择一篇介绍性综述或方法极其成熟的论文而是倾向于选择那些提出了新问题、展示了初步但有趣的结果、或结论存在一定开放性的研究。例如一篇提出了新型神经网络架构但在某些数据集上表现不稳定的论文或者一篇发现了某种生物新现象但机理尚未完全阐明的论文。这类论文为后续探究留下了充足的空间。选定论文后需要进行标准化预处理以确保输入给不同AI智能体的信息是一致的。这不仅仅是提供PDF。预处理通常包括结构化信息提取将论文的标题、摘要、引言、方法、结果、讨论、结论等部分进行解析和标注。关键知识单元化识别并提取论文中的核心主张、待验证的假设、使用的实验方法、报告的数据结果、作者指出的局限性以及未来工作方向。这些单元将成为研究树生长的“养分”。上下文补充有时需要提供该论文的参考文献摘要或该领域内1-2篇高度相关的前置工作简介以帮助AI智能体建立基本的领域认知背景。但信息量需严格控制以避免过度提示。注意预处理的程度是一个需要权衡的设计点。提供过多信息如完整的相关领域综述可能会让任务变得过于简单掩盖了AI智能体主动检索和关联信息的能力提供过少信息则可能使任务不切实际。一个常见的折中方案是提供种子论文全文其直接引用的3-5篇核心参考文献的摘要。2.2 AI智能体的角色与能力配置在InquiTree评估中AI智能体通常被赋予一个初级研究员或研究助理的角色。它的目标不是天马行空地创造全新理论而是在给定种子论文的基础上进行合理、深入的后续研究规划。智能体的能力配置决定了它如何“思考”。一个完整的科研AI智能体可能需要集成多种子能力理解与推理深度理解论文内容能进行因果推理、类比推理和逻辑演绎。例如理解“方法A在条件X下有效但在条件Y下失效”这一陈述并能推理出“是否方法A的某个组件对条件Y敏感”这样的问题。知识检索与整合能够根据需求从内置知识库或安全的联网搜索中在评估环境中常使用模拟或本地化的学术数据库检索相关概念、方法或数据并将新信息与种子论文内容进行整合。假设生成这是核心创新能力。基于现有证据和推理提出新的、可检验的假设。例如“既然论文发现化合物α对靶点β有弱抑制作用那么对其分子结构进行某类修饰基于已知的构效关系知识可能会增强结合力。”实验设计将假设转化为具体的、可操作的研究步骤。包括确定对照组、实验组、需要测量的变量、所需的仪器或计算方法、预期的结果类型等。批判性评估能够评估自己或他人在多智能体场景中提出的研究计划的可行性、潜在风险、伦理问题以及资源需求。在实际评估中我们可以测试不同配置的智能体例如一个仅具有强大文本生成能力但无检索功能的“闭卷”智能体与一个可以访问领域知识库的“开卷”智能体它们的表现会有何不同。2.3 研究树从概念到可评估的结构化表示研究树是InquiTree框架的灵魂它是AI智能体科学探究过程的可视化与结构化输出。一棵标准的研究树通常包含以下节点类型根节点即种子论文的核心科学问题或主要发现。假设节点由根节点或上级节点衍生出的具体、可检验的科学假设。这是树的主要分支点。实验/方法节点为验证某个假设而设计的具体研究方案。一个假设可能对应多个实验节点如用不同方法交叉验证。预期结果节点预测实验可能产生的结果正面、负面或不确定。决策节点基于“预期结果”或“实际模拟结果”决定下一步的研究方向。例如如果结果支持假设则可能深化该方向生成新的子假设如果否定则可能回溯并修改原假设或转向替代假设。叶节点代表一个暂时性的结论或一个需要外部输入如真实实验才能继续的终点。这棵树不是一次性生成的而是在与评估环境的交互中迭代生长的。评估系统可能会模拟“实验执行”给智能体反馈一些“模拟数据”基于领域知识预设智能体根据反馈更新研究树。通过分析最终的研究树我们可以从多个维度进行评估树的深度探究的深入程度、广度考虑的不同方向数量、分支逻辑的合理性、节点间因果联系的强度等。3. 评估维度与指标设计如何给AI的“科研能力”打分有了研究树这个产出接下来的关键是如何量化评估。InquiTree的评估不是给一个单一分数而是从多个维度构建一个立体画像。这些维度大致可以分为三类科学性、创造性和实用性。3.1 科学性与逻辑严谨性评估这是最基本也是最重要的维度确保AI提出的研究计划不是空中楼阁。内部一致性研究树中从假设到实验设计再到预期结果逻辑链是否自洽例如假设是“增加数据多样性可提升模型鲁棒性”设计的实验就应该包含控制数据多样性变量的对比组预期结果也应与之对应。与种子论文的关联性新的假设和实验是否牢固地建立在种子论文的发现、局限或未解决问题之上评估方法可以计算新节点与种子论文关键知识单元的语义相关性并检查是否存在合理的推理路径。方法可行性提出的实验方法在当前技术条件下是否可实现是否需要不存在的仪器或超出现实范畴的计算资源这通常需要领域专家评判或对照已知的方法知识库。可证伪性提出的假设是否具备可证伪性即是否设计了能够证明该假设为假的实验可能性一个模糊的、无法被任何实验否定的假设科学价值较低。3.2 创造性与创新性评估这一维度衡量AI能否跳出简单延伸提出有洞见的想法。新颖性提出的假设、方法或研究方向与种子论文中明确提到的“未来工作”相比是否有显著不同或更深层次的延伸与领域内常见的研究思路相比是否有新意可以通过对比大规模学术文献数据库计算语义新颖度得分。洞察深度研究树是否触及了种子论文中隐含的、未明言的核心问题或矛盾例如种子论文可能报告了一个异常现象但未深究AI智能体是否能够识别并提出针对该异常的系统性调查方案连接广度是否能够将种子论文的概念或方法与看似不相关领域的技术、理论进行跨领域连接产生交叉创新点例如将一篇材料科学论文中的合成方法类比应用到化学催化领域的问题中。3.3 实用性与系统性评估这部分关注研究计划作为一个整体项目的质量。资源意识研究树是否考虑了时间、成本、实验材料等现实约束是否提出了分阶段、循序渐进的探索路径风险识别与备选方案是否识别了关键实验步骤可能失败的风险并准备了替代方案体现在研究树的分支上一个稳健的研究计划应该有应对主要假设不成立的“B计划”。树的生长效率与聚焦度虽然鼓励探索但无目的的“发散”并不可取。评估可以看智能体是否能在几个关键分支上进行深度挖掘而不是生成大量浅薄、重复的节点。可以用“有效深度/总节点数”等比率来衡量。沟通清晰度研究树中每个节点的描述是否清晰、无歧义足以让人类研究员理解其意图这可以通过让领域专家解读树的复杂度来评估。将这些维度转化为具体指标后我们可以设计一个混合评估方案一部分通过自动化指标如一致性检查、新颖性计算另一部分通过人类专家评审对可行性、创新深度进行打分。最终针对不同类型的AI智能体如偏重逻辑推理型、偏重知识联想型我们可以得到其在科学探究循环中不同环节的能力剖面图。4. 构建InquiTree评估环境的实操挑战与解决方案将InquiTree从理论框架落地为一个可运行的评估环境会遇到一系列非常实际的挑战。这里结合我参与类似项目设计的经验分享几个关键环节的实操思路和踩过的坑。4.1 挑战一如何模拟“实验反馈”这是让研究树能够动态、迭代生长的关键。我们不能只让AI“空想”需要给它一个模拟的“现实”反馈。完全依赖真实实验不现实目前主要有两种策略基于规则的模拟器针对特定狭窄领域例如有机化学合成、特定物理仿真可以构建一个高度简化的模拟器。当AI提出一个合成路径时模拟器根据内置的化学反应规则库给出产率、副产物等模拟结果。这种方法精准但领域泛化能力极差开发成本高。基于知识库的“专家裁判”这是更通用的方法。构建一个领域知识图谱和事实库当AI提出一个假设如“基因A敲除会导致表型B增强”时系统在知识库中检索相关证据。如果找到强有力支持证据则反馈“模拟实验初步支持该假设”如果找到反驳证据则反馈“遇到矛盾”如果证据不足则反馈“结果不确定需进一步探索”。这个“裁判”的输出是模糊的、概率性的更贴近真实科研中初步数据的不确定性。实操心得在项目初期不要试图构建完美的模拟器。从一个非常具体的“微领域”开始比如“评估AI对某一篇特定催化论文的后续研究设计”。手动定义好该论文所涉及的实体催化剂、反应物、表征方法和简单规则如“活性与金属分散度正相关”。用这个小型系统去跑通智能体与环境的交互流程其价值远大于做一个庞大但不可用的框架。4.2 挑战二平衡“自由探索”与“评估可控性”如果给AI智能体完全的自由它生成的研究树可能过于天马行空无法进行有意义的跨智能体比较。如果限制过多又无法评估其真正的创造力。这就需要设计精心构造的任务提示词Prompt和约束条件。结构化输出要求明确要求AI以特定的JSON或YAML格式输出每一个“研究步骤”包含字段如parent_node_id父节点IDnode_type假设/实验/决策content描述rationale提出理由。这强制了输出的规范性便于自动解析和评估。阶段性目标引导不是简单地说“请基于这篇论文展开研究”而是分解为多轮交互。第一轮“请提出3个最值得跟进的后续研究假设并排序。” 第二轮“针对第一个假设设计两个互补的实验方案。” 第三轮“假设实验一取得了XX结果请更新你的研究树并给出下一步建议。” 这样既引导了方向又保留了每步的开放性。资源约束注入在提示词中明确加入限制如“假设实验室预算为10万元人民币”、“项目周期为6个月”、“现有设备包括XXX”。这能直接考察智能体的实用性规划能力。4.3 挑战三人类评估的标准化与成本自动化指标只能覆盖一部分维度许多关于“创新深度”、“可行性”的判断最终仍需人类专家。但如何让不同专家的打分保持一致开发详细的评分指南不能只说“请为创新性打分1-5分”。必须提供锚定案例。例如“1分直接复述论文未来工作3分对论文方法进行非关键参数扩展5分提出了一个融合跨领域知识、能解决论文核心局限的新范式。” 为每个评估维度都提供这样的描述性锚点。分阶段评估先让专家进行“筛选式”评估快速剔除明显不合理或低质量的研究树。再对通过筛选的树进行“深度评分”此时专家可以更仔细地审视逻辑和创意。这能有效降低专家的疲劳感提升评估质量。校准会议在正式评估前组织所有评估专家对一批“校准样本”进行独立打分然后开会讨论分歧点统一评分尺度。这是一个耗时但极其必要的步骤能显著提高评估信度。我们在一次内部测试中发现没有经过校准的专家在“可行性”维度上的打分差异极大。一位理论物理学家认为“需要超算模拟”是可行的常规操作而一位实验化学家则认为这完全不切实际。通过校准会议我们最终将“可行性”锚定在“一个拥有良好资源的博士课题组在1-2年内可能完成”的标准上大幅缩小了分歧。5. InquiTree的应用前景与当前局限InquiTree不仅仅是一个评估工具它更代表了一种训练和提升AI科研辅助能力的新范式。它的应用前景和面临的局限同样明显。5.1 超越评估作为训练与协作平台一旦我们有了一个能运行InquiTree任务的环境它的用途就远不止于给AI打分。AI智能体的强化学习训练场可以将研究树的质量分数作为奖励信号让AI智能体通过多轮试错学习如何提出更好的假设、设计更合理的实验。这相当于为AI提供了一个“科研沙盒”。人机协作的思维导图工具想象一个界面左侧是种子论文中间是AI初步生成的研究树草图右侧是人类研究员可以实时编辑、评论、拖拽节点的操作区。人类可以否决AI的某个分支可以深化另一个分支AI则根据人类的反馈实时更新树的结构并提供补充建议。这能将人类的直觉、大局观与AI的信息处理、穷举联想能力结合起来真正成为“增强智能”的研究伙伴。科研教育与培训对于研究生和初级科研人员让他们在InquiTree环境中基于经典论文进行“模拟研究”然后将其生成的研究树与历史上实际发生的研究脉络进行对比是一种极佳的学习方式能深刻理解科学探究的动态过程。5.2 当前面临的主要局限与思考尽管前景广阔但InquiTree从概念到成熟应用还有很长的路要走有几个根本性挑战需要正视。对“科学过程”本身的简化真实的科学研究充满意外、非理性和社会因素如学术风向、资源竞争。InquiTree目前模型化的更多是理想化的、逻辑驱动的“探究循环”对于灵感闪现、偶然发现、以及基于不完整数据的直觉跳跃还难以建模和评估。领域依赖性与知识壁垒一个在生物医学领域表现良好的InquiTree评估体系很难直接迁移到理论物理或社会学领域。每个领域的知识体系、方法论、证据标准都大相径庭。构建具有广泛领域适应性的框架要么需要极度抽象可能失去评估意义要么需要投入巨大成本构建各领域的知识库和模拟器。“正确答案”的缺失与围棋或代码生成有明确的最优解或测试用例不同科学研究没有唯一正确的路径。一篇种子论文之后可能衍生出多个都取得重大成功的不同研究方向。因此InquiTree的评估本质上是一种“合理性”和“潜力”评估而非“正确性”评估。如何定义并衡量“潜力”本身就是一个难题。计算成本与评估效率运行一个完整的、多轮交互的InquiTree评估需要调用大模型多次并结合检索、模拟等模块成本远高于传统的单次问答评估。如何设计更高效的评估流程或者发展出可靠的、低成本的代理指标是工程化必须解决的问题。从我个人的实践角度看InquiTree最有价值的落地场景可能不是去评估一个通用AI的“全科科研能力”而是作为垂直领域专用AI工具的评测基准。例如专门用于药物发现、材料设计或芯片架构的AI系统在其特定领域内知识边界相对清晰实验模拟可行性更高。在这些领域构建InquiTree评估不仅能更准确地衡量工具的性能其产生的“研究树”本身也可能直接启发真实的研究人员带来意想不到的创新线索。这条路虽然窄一些但或许能走得更稳、更远。