面向科学装置的纠错式智能混合RAG与运维实测评测体系arXiv原文链接https://arxiv.org/html/2607.24663v1摘要大型科学用户设施数十年运维知识分散存储于电子日志、技术手册、内部维基、运维聊天、工单、设备停机记录、实时控制系统等异构数据源传统单一检索系统无法统一整合。本文设计并落地APS-RAG平台——面向先进光子源APS的检索增强生成系统支持自然语言查询全机构运维知识库同时配套一套贴合真实运维场景的标准化评测框架。检索引擎融合稠密向量、稀疏BM25、知识图谱三路召回基于查询类型自适应 reciprocal-rank 融合内置LangGraph实现纠错式智能迭代回路基于Model Context ProtocolMCP搭建原生ReAct工具执行层可调用EPICS实时设备时序数据。本文构建APS-Bench评测集共50道基于真实运维语料生成的问答每道题目附带人工校验标准答案与关键证据片段标注。基线朴素BM25检索严格关键信息召回率仅63.8%完整纠错式智能图谱RAG方案可达70.3%。实验证明跨编码器重排器是性能决定性组件移除后严格关键召回率暴跌32.8%知识图谱、纠错迭代回路可小幅提升效果但增益不具备统计显著性。本文完整开源评测集、六分层评测工具、MCP检索技能代码可为同步辐射、加速器等大型科研装置搭建知识库问答系统提供可复用工程范式。关键词RAGAgentic智能检索纠错式CRAG知识图谱检索MCP工具协议加速器运维评测基准科学设施知识库一、引言大型加速器、同步辐射类科学装置常年连续运行运维经验分散在多套独立系统BELY电子运行日志束流丢失、设备调试、实验班次记录ICMS受控技术文档设备规范、调试流程、故障处置方案运维工单系统设备维修、更换、故障处理全流程Teams内部运维聊天实时排障沟通内部维基分系统操作手册MCR停机结构化记录SDDS、OAG控制软件文档EPICS归档实时/历史设备PV过程变量不可预索引实时调用。操作人员排查故障、实验人员查阅历史方案时需要切换多套系统、记忆各类查询语法学习成本极高资深员工离职会带走大量隐性运维经验。仅依靠大模型无检索直接生成回答极易产生无依据幻觉检索增强生成RAG可将回答锚定真实文档、每条结论附带原文引用解决事实性错误问题。现有领域RAG工作存在短板仅做基础稠密/稀疏混合检索缺少故障链路知识图谱、迭代纠错智能回路且缺少贴合加速器运维的专用评测数据集通用QA基准无法衡量设备故障、时序、多步骤流程类问题效果。本文核心贡献部署APS-RAG完整工程系统三路自适应融合检索、纠错智能循环、MCP原生工具层、知识图谱故障链路检索一体化架构提出六分层运维导向评测体系设计APS-Bench 50题领域专用基准含自动数据集生成流水线、关键证据nugget标注方案大规模消融实验量化各组件增益证明跨编码器重排是性能核心保障开放全套代码、评测脚本、基准数据集、MCP检索技能支持其他科研设施直接复用落地。二、相关工作2.1 通用RAG、智能RAG、纠错CRAG体系基础RAG稠密DPR向量检索 BM25稀疏检索 RRF融合仅单次检索生成答案Self-RAG、CRAG纠错RAG增加检索-校验-重检索迭代逻辑检测回答证据不足时自动扩写查询、二次召回Agentic RAGLangGraph等图编排框架实现多轮工具调用、条件分支、自校验门控GraphRAG构建实体-关系知识图谱处理多跳因果、故障链式问题。本文在通用架构基础上创新自适应权重RRF三路融合稠密/稀疏/图谱 专用运维知识图谱 MCP实时设备数据工具链。2.2 加速器领域LLM知识库系统已有CALMS阿贡、GAIADESY欧洲XFEL、电子离子对撞机RAG、日志检索工具等同类系统但存在共同缺陷仅基础单路/混合检索无迭代纠错智能体缺少故障因果知识图谱无法追溯“故障-原因-处置流程”链路无标准化运维专用评测集仅靠人工定性评估无法量化组件收益不支持实时EPICS设备时序数据联动检索。APS-RAG填补以上空白同时配套完整可复现定量评测框架。2.3 评测基准相关研究miniF2F、SQuAD等通用问答基准侧重文本抽取不匹配加速器多跳、时序、故障类查询InPars提出基于文档自动生成问答对的数据集构建方法本文基于该思路改造为运维专用生成流水线新增难度分层、查询类型约束、关键证据标注模块。三、APS-RAG系统整体架构3.1 APS八大知识库数据源系统预索引7类静态文档EPICS PV实时数据通过MCP动态调用各数据源文档规模统计数据源文档数量总字符GPT-4分词Token总量BELY运行日志4.5k14.0M4.2MICMS技术文档5.8k72.0M20.6M运维工单Work Requests17.3k3.0M0.8MTeams运维聊天9.4k2.4M0.8M内部维基0.2k0.8M0.1MMCR停机记录103.0k7.9M1.9MSDDS控制工具文档0.6k1.4M0.4MOAG操作界面文档0.7k0.8M0.2M数据源处理规范分源自定义Schema保留唯一文档ID、创建时间、所属设备系统、标题、正文支持精确溯源引用工单、日志等嵌套结构扁平化分块存储每日增量同步流水线通过文档哈希diff比对仅新增/修改文档执行向量、BM25、图谱增量更新无需全量重建索引父子分块索引机制完整父文档保存全局上下文拆分子块用于检索嵌入块重叠200字符每块前置文档元信息保证检索片段自完备稠密检索e5-large-v2生成1024维向量存入Qdrant稀疏检索Elasticsearch BM25知识图谱Neo4j存储故障、设备、流程实体关系。3.2 整体检索生成流水线用户输入自然查询后完整链路查询预处理时间解析、同义词扩充、缩写展开、多查询变体生成、意图分类8类运维查询三路并行召回稠密向量、BM25关键词、知识图谱Cypher查询自适应RRF融合根据查询类型分配三路检索权重Jina v3跨编码器重排取Top50候选片段纠错智能回路校验答案证据完备度不足则扩写查询重检索最多2轮ReAct MCP工具层按需调用EPICS实时PV、图片检索、数值计算7 LLM生成带原文ID内联引用的可验证回答。3.3 自适应三路RRF融合公式RRF(d)∑cwckrc(d),k60\mathrm{RRF}(d)\sum_{c}\frac{w_{c}}{kr_{c}(d)},\quad k60RRF(d)c∑krc(d)wc,k60ccc为检索通道稠密/稀疏/图谱wcw_cwc为对应权重rc(d)r_c(d)rc(d)为文档ddd在通道内排名。8类查询预设固定权重人工基于运维经验调优查询类型稠密权重BM25权重知识图谱权重侧重通道factual事实查询0.20.50.3BM25设备PV、编号精确匹配value数值查询0.10.60.3BM25temporal时序查询0.30.50.2BM25日期/班次troubleshooting故障排查0.30.20.5知识图谱故障链路multi_hop多跳推理0.30.20.5知识图谱comparative对比类0.40.30.3均衡三路code控制代码0.50.50.0稠密BM25general通用咨询0.40.30.3均衡三路3.4 纠错式Agentic循环LangGraph状态机实现1打分公式人工调优固定系数s0.4ρ0.3g0.3c−0.05nKGs0.4\rho0.3g0.3c-0.05n_{\text{KG}}s0.4ρ0.3g0.3c−0.05nKGρ\rhoρ检索片段相关性ggg回答原文锚定程度ccc答案完整度nKGn_{\text{KG}}nKG无法通过图谱验证实体数量惩罚项。2执行逻辑设定阈值τ0.4\tau0.4τ0.4得分低于阈值触发重检索轻量预校验门控Claude Haiku快速初审回答简略改写优化成本极低不达标则进入完整纠错轮次LLM扩写查询、拓宽时间范围重新三路检索部署限制最多2轮纠错防止无限循环取最优得分回答输出。3.5 故障专用知识图谱构建实体类型Fault故障、Component设备、System子系统、LogEntry日志、WorkRequest工单、Procedure处置流程、Person运维人员。核心关系CAUSED_BY故障诱因、RESOLVED_BY处置方案、HAS_FAULT设备故障、FOLLOWS_PROCEDURE执行流程。图谱能力Cypher最短路径查询自动串联「现象→根因→历史处置工单」完整故障链普通向量检索无法跨文档串联因果是故障排查类查询核心增益来源。图谱数据从8套语料LLM两阶段抽取共96517节点、84222条边存入Neo4j社区版。3.6 MCP工具层 ReAct原生调用搭建4组独立FastMCP服务提供8类工具archiverEPICS PV实时/历史时序查询channel_find、channel_readgraph知识图谱检索compute数值计算器、表格统计沙盒代码执行image日志截图反向/文本图像检索SigLIPFAISS。MCP持久会话池减少模型、索引反复加载开销工具调用标准化错误封装同时对外暴露aps-rag独立MCP技能可在Claude Code、Codex等编码智能体直接调用知识库检索。3.7 前端交互界面基于OpenWebUI实现聊天界面三种运行模式APS-RAG Fast单次检索无纠错低延迟APS-RAG Thinking开启最多两轮纠错智能循环AI Troubleshoot优先图谱故障链路检索。回答内联文档ID引用BELY_xxxx / WRQ_xxxx点击直达原始运维记录附带时序、图片、计算工具快捷入口。四、评测基准APS-Bench与六分层评测方案4.1 APS-Bench数据集构建流程共50道问答1道不可回答样例采样阶段按「数据源×查询类型」网格采样原始文档类型约束问答生成给定文档查询类型模板LLM生成问题标准参考答案结构难度分级依据证据跳数、时序范围划分easy/medium/hard过滤去重仅保留可被检索到的有效问题关键nugget标注标准答案拆分为vital核心证据必须出现、okay辅助信息用于量化回答完备度。数据集完整元数据、生成脚本开源每道题目附带溯源哈希、提示词模板记录。4.2 六层完整评测指标体系检索层MRR10、NDCG10、Recall5/10/20核心答案层严格关键召回VstrictV_{\text{strict}}Vstrict主指标、加权召回、幻觉率事实忠实层HHEM2.1逐句主张校验区分生成内容是否有原文支撑RAGAS代理指标便于横向对比通用RAG工作运维专用指标故障链路完整度、引用精确率辅助QA指标Exact Match、Token F1、语义准确率Acc。4.3 评测打分规则生成模型统一使用GPT-5.4ARGO网关评判模型固定选用不同厂商Claude Opus避免自偏好偏差Gemini二次交叉校验统计采用95%配对bootstrap置信区间10000次重采样多组对比使用Holm/Bonferroni多重检验校正控制假阳性。五、实验结果与消融分析5.1 全系统整体性能5种RAG方案对比系统方案严格关键召回VstrictV_{\text{strict}}Vstrict幻觉率语义准确率Token F1Naive BM25 朴素RAG63.8%11.2%58.8%63.1%Hybrid 稠密BM2565.5%9.4%65.0%73.1%Agent 无图谱66.1%7.9%60.6%67.1Graph 无纠错循环69.1%11.3%61.9%69.2Agentic GraphRAG完整APS-RAG70.3%8.7%64.1%71.2结论所有增强方案均优于朴素BM25完整系统取得最高关键召回纠错循环显著降低幻觉。5.2 检索指标对比系统MRR10NDCG10Recall5Recall10Recall20Naive80.769.663.567.371.2Hybrid89.073.662.670.476.3Agent83.871.067.876.574.0Graph87.073.361.969.176.7Full APS-RAG85.672.262.169.175.1稠密BM25混合检索一阶排序效果最优完整系统依靠纠错回路弥补排序小幅劣势。5.3 核心组件消融实验19道高难度子集移除各组件后的严格召回变化配置严格召回幻觉率召回变化95%置信区间完整系统64.5%7.7%—移除纠错循环57.9%7.1%-6.6 [-21.4, 6.2]移除知识图谱58.1%8.2%-6.4 [-20.7, 5.0]固定RRF权重61.0%9.5%-3.5 [-16.8, 6.7]移除预校验门控64.9%11.4%0.4 [-15.8, 10.9]替换重排器为LLM打分31.8%30.0%-32.8 [-47.4, -19.1]p1e-4显著移除时序解析57.9%6.9%-6.7 [-20.7, 3.9]移除同义词扩展58.2%9.1%-6.3 [-19.7, 3.9]移除缩写展开58.2%9.4%-6.4 [-18.9, 2.9]移除多查询生成61.8%10.0%-2.8 [-15.8, 6.4]关键结论跨编码器重排是决定性核心组件移除后召回暴跌32.8%多重检验下差异高度显著纠错回路、知识图谱、时序解析、同义词扩展均带来正向增益但置信区间跨0样本量不足下无统计显著性预校验门控不影响召回但大幅提升回答忠实度、幻觉上升47%属于低成本保真组件。5.4 细分难度性能差异Easy简单15题严格召回77.9%幻觉仅3.4%Medium中等24题严格召回64.5%幻觉10.1%Hard高难10题严格召回72.6%幻觉21.6%中等难度样本证据分散在多份文档最容易出现信息缺失高难多为规范手册长推理幻觉率最高。5.5 知识图谱适用场景分析图谱对故障排查、多跳因果类查询提升明显但会稀释通用查询排序精度因此采用自适应权重动态平衡收益与损耗。仅搭配纠错循环时图谱的完整故障链路价值才能充分发挥单独开启图谱无纠错会提升幻觉率至11.3%。5.6 嵌入模型、纠错轮次、生成模型消融嵌入对比bge-m3 e5-large-v2 all-MiniLM 领域专用accphysbert混合检索可缩小差距纠错轮次1轮迭代即可获得绝大部分保真收益2轮以上延迟大幅上升但性能提升极小工程部署限定2轮最优生成模型对比召回区间58.170.3差异不大但幻觉率跨度5.6%30.6生成模型忠实度选型优先级高于召回能力。六、系统工程落地建议资源投入优先级跨编码器重排 自适应三路融合 纠错自校验门控 知识图谱故障场景必须启用图谱纠错循环普通设备参数查询仅稠密BM25即可满足需求生产环境纠错迭代上限设为2轮平衡延迟与准确性实时EPICS设备数据通过MCP隔离不纳入预索引按需动态调用内部知识库持续迭代时配套APS-Bench定期回归测试监控版本退化。七、研究局限性评测仅基于APS单装置数据结论推广至其他加速器设施仍需验证基准问答由LLM自动生成虽人工抽样校验但无法完全等同于真实操作员提问分布MCP实时工具层未纳入定量评测仅定性验证功能样本量50较小除重排器外其余组件增益无统计显著性引用精确率73%部分回答附带无关检索片段后续可增加引文过滤模块。八、结论本文搭建APS-RAG面向加速器运维纠错式智能混合RAG平台融合稠密/稀疏/知识图谱三路自适应检索、LangGraph纠错智能回路、MCP实时设备工具层配套完整运维专用评测基准APS-Bench。消融实验证明跨编码器重排是系统性能核心保障知识图谱、迭代纠错可小幅提升故障类问题完备度、降低幻觉。整套代码、评测数据集、MCP检索技能全部开源可为各类大型科学装置构建自然语言运维知识库提供可直接复用的完整工程方案。附录 配套资源与部署脚本1. 资源下载链接论文HTML原文https://arxiv.org/html/2607.24663v1论文PDFhttps://arxiv.org/pdf/2607.24663APS-RAG完整开源代码内部GitLab开源文中提供获取渠道APS-Bench完整50道基准数据集JSON随项目附件发布MCP四组服务配置文件、启动脚本全套评测自动化Python脚本召回/幻觉/F1批量计算补充图表、延迟统计表、嵌入模型对比数据表2. MCP服务启动配置示例S1补充材料四组FastMCP服务配置片段{mcpServers:{archiver:{command:python,args:[archiver_mcp_server.py],transport:stdio},graph:{command:python,args:[graph_mcp_server.py],compute:{calculator,code_executor,data_analysis},image:{image_search}}}}可用工具channel_find、channel_read、graph_search、计算器、沙盒数据分析、图文检索。3. 一键部署启动脚本Linux/Kali/服务器通用# 1. 拉取代码仓库gitclone https://内部项目仓库地址cdaps-rag# 2. 安装依赖pipinstall-rrequirements.txt-ihttps://pypi.tuna.tsinghua.edu.cn/simple# 3. 启动Neo4j、Elasticsearch、Qdrant容器docker-composeup-dvector es neo4j# 4. 执行增量索引构建每日定时任务python ingest_pipeline.py --daily-diff-update# 5. 启动MCP后台服务python mcp_archiver.pypython mcp_graph.py# 6. 启动APS-RAG主服务python main_server.py--ip0.0.0.0--port8080# 7. 批量运行APS-Bench评测python eval_runner.py--benchAPS-Bench.json--outputresult.csv4. 系统延时参考补充S2规划大模型端到平均耗时检索耗时重排耗时生成耗时Gemini 2.5 Flash88.8s65.1s18.2s6.5sGPT-5.4105.9s60.0s18.8s8.5sClaude Opus 4.6140.4s109.7s18.8s8.5s检索多路并行占用绝大部分延迟纠错轮次会显著拉长耗时。5. 数据集JSON标准SchemaS6统一分块存储结构所有数据源归一化为同一字段标准{$schema:corpus_v2,doc_id:bely_10635__chunk_0,title:9-BM二维扫描PV配置,collection:bely_logbook,system:9-BM光束线,creation_datetime:2026-02-06T14:34:06,content:扫描相关操作记录、PV参数说明}6. 评测指标计算脚本片段S5Token F1、语义Accuracy计算核心代码defcompute_f1(pred_tokens,gold_tokens):commonset(pred_tokens)set(gold_tokens)plen(common)/len(pred_tokens)ifpred_tokenselse0rlen(common)/len(gold_tokens)ifgold_tokenselse0return2*p*r/(pr)ifpr0else0defjudge_accuracy(question,gold_ans,pred_ans):# 调用独立评判LLM返回0/1语义匹配judge_promptf问题{question}标准答案{gold_ans}模型回答{pred_ans}仅输出1包含正确核心信息或0关键信息缺失/错误respjudge_llm(judge_prompt)returnint(resp.strip())