HAR文件如何辅助RAG评测

HAR文件是什么如何辅助RAG评测一、什么是HAR文件HARHTTP Archive是W3C事实标准的HTTP会话存档文件本质是JSON格式完整记录一次会话下全部HTTP/HTTPS请求与响应全量数据。Chrome/Edge F12 → Network面板 → export HAR即可导出.har文件。HAR核心存储内容log.entries[]数组request请求url、method、header、请求body用户query、RAG传给大模型的完整prompt、检索入参responsehttp状态码、返回body检索返回的chunks上下文、LLM输出回答、错误堆栈timings各阶段耗时DNS、请求等待、传输耗时完整链路时延时间戳、cookie、证书信息等元数据⚠️风险har包含token、业务明文数据评测前务必脱敏不要直接对外分发。二、HAR对RAG评测的核心价值RAG完整链路用户Query → 检索接口(向量库) → 拼接Prompt → LLM生成 → 返回答案。常规RAG评测Ragas、DeepEval大多依赖业务代码埋点输出question/contexts/answerHAR不需要改造RAG服务代码通过网络抓包拿到真实线上完整链路快照适合UI页面调用RAG、黑盒第三方RAG服务、生产回放评测场景。HAR可以捕获RAG链路里3类关键评测素材用户原始query检索返回的上下文chunksretrieved_contextLLM收到的完整prompt、大模型输出answer全链路性能指标、报错、超时、SSE流式分片数据三、HAR辅助RAG评测的4大应用场景场景1黑盒RAG系统离线评测不能改源码如果你拿到是网页/封装好的RAG服务拿不到后端日志无法输出Ragas需要的dataset。录制HAR在浏览器操作RAG问答页面执行一批测试query导出harPython解析har过滤出RAG检索接口、LLM请求接口提取question、retrieved_contexts、answer输出Ragas兼容的Dataset直接跑faithfulness忠实度、context_precision检索精度、answer_relevancy答案相关性指标。优势零代码侵入不需要修改RAG服务复现真实网络传输中的实际入参出参。场景2生产流量回放评测真实用户query做评测集从线上真实用户会话导出HAR提取真实用户提问构建真实评测集而不是人工造测试Question。从har批量剥离出真实query、当时检索到的上下文、当时返回的回答把线上历史流量作为评测数据集对比RAG版本迭代前后效果可以复现线上幻觉案例HAR保存了当时传给LLM的全部上下文定位幻觉是检索召回错误还是大模型生成胡说。场景3RAG性能评测链路时延定位HAR的timings字段记录完整耗时可以拆分RAG各环节耗时向量检索接口耗时LLM接口等待时间整体端到端响应可以区分慢是向量库慢还是大模型调用慢而不是只看最终页面总耗时。同时捕获500、429、超时等异常请求统计RAG服务可用性。场景4SSE流式RAG接口评测RAG网页端大量使用SSE流式输出普通日志很难完整捕获每一条chunkHAR完整保存SSE全部event-stream分片拿到完整流式输出文本统计首token时间TTFT、token输出速率检测流式截断、中途断开、乱码问题。四、完整实操工作流1录制HARChrome F12 → Network勾选Preserve log保留日志执行RAG问答用例导出HAR文件。注意要捕获请求body不要勾选“Disable cache”以外多余过滤避免body为空。2解析HARPython示例思路使用haralyzer或原生json解析har过滤RAG相关接口过滤静态资源、埋点等噪音请求。importjson harjson.load(open(rag_test.har,r,encodingutf‑8))eval_records[]forentryinhar[log][entries]:reqentry[request]respentry[response]urlreq[url]# 过滤RAG检索/大模型接口if/api/rag/queryinurl:questionjson.loads(req[postData][text])[query]resp_bodyjson.loads(resp[content][text])contextsresp_body[contexts]answerresp_body[answer]eval_records.append({question:question,contexts:contexts,answer:answer})# eval_records 直接喂给Ragas做评估3送入RAG评测框架把解析出来的question、contexts、answer构造Dataset运行Ragas/LLM‑as‑Judge评测输出每条case得分。4问题定位低分case直接回看HAR原始请求如果contexts本身信息错误 → 问题属于检索模块如果上下文正确但Answer编造事实 → 属于LLM生成幻觉五、HAR用于RAG评测的优缺点✅优点零侵入黑盒评测不需要埋点、不需要修改RAG服务代码保留完整原始链路拿到真实传给大模型的prompt不是业务层简化后的日志天然适合网页端RAG、SSE流式接口同时拿到质量指标性能指标质量和性能一起评测可以录制真实用户流量生成真实评测数据集。❌缺点坑点HAR文件混杂大量静态资源、埋点请求需要脚本过滤噪音HTTPS抓包部分代理场景下response body为空拿不到上下文和回答文件包含密钥、cookie必须脱敏大批量casehar体积会膨胀token消耗大不建议直接把原始har丢给LLM要先脚本提取结构化数据只能捕获经过浏览器/代理的http流量如果RAG是后端内部调用不走网络HAR抓不到。六、适用与不适用场景✅适合Web页面RAG产品、SSE流式问答第三方闭源RAG服务无法修改后端需要复现线上真实会话做根因定位幻觉同时做RAG质量端到端性能评测。❌不适合RAG模块完全后端内部调用不出HTTP大规模万级case压测har文件会巨大更适合业务侧日志输出JSONL。七、和JSONL评测日志对比方案侵入性拿到完整PromptSSE流式支持性能数据业务埋点JSONL高需要改代码输出日志依赖埋点实现很难完整捕获分片需要额外埋点计时HAR抓包零侵入✅完整原始请求体✅完整SSE分片✅自带全链路timings工程最佳实践开发阶段用业务JSONL跑自动化CI评测线上问题复现、黑盒第三方RAG评测使用HAR做补充。