生成质量崩了多数人先怀疑prompt和大模型其实根子大概率在检索层召回的top-k里压根没有正确答案忠实度再调也是无米之炊。RAG的评测应该分层做——先测检索层再测生成层。这篇文章讲检索层怎么测三个核心指标recallk、MRR、nDCG的原理与实现、评测集的构造、以及怎么用这套指标把混合检索BM25向量的权重调优做成可重复的流程。一、为什么先测检索层RAGAS那套忠实度faithfulness、上下文精确率context precision测的是生成层检索层的联合效果指标好看不代表检索好——比如上下文里10个chunk只有1个相关但大模型恰好用了那1个忠实度照样高分检索精度其实烂到家。反过来检索召回率低生成层再强也救不回来。所以检索层要单独测用独立的指标和独立的评测集。检索层评测回答三个问题问题指标关注点正确答案是否在结果里recallk召回能力漏没漏正确答案排得靠前吗MRR / nDCG排序质量排第几结果里噪声多不多precisionk精度噪声敏感度的源头其中recallk和MRR是底线指标nDCG是进阶指标。检索层的噪声会直接传导成生成层的噪声敏感度问题——检索带进来一堆不相关chunk忠实度评测里答案是否忠于上下文就会失真。检索精度是生成质量的输入先卡住输入。二、三个指标的原理与最小实现先约定符号对一个问题q检索系统返回排序后的chunk列表R [c1, c2, ..., ck]评测集里标注了相关chunk集合Ggolden。recallk前k个结果中相关chunk数占全部相关chunk的比例。漏检的敏感指标。recallk |{ci ∈ R[:k]} ∩ G| / |G|MRRMean Reciprocal Rank第一个相关结果的位置的倒数。适合只要一个正确答案就够的场景问答类。RR 1 / rank(第一个相关结果的位置)没命中记0nDCGk按位置衰减的累计收益。相关chunk排得越靠前得分越高惩罚相关但排后面。用DCG除以理想排序的IDCG归一化方便跨query对比。DCGk Σ_{i1..k} rel(ci) / log2(i1) nDCGk DCGk / IDCGk注意chunk粒度下相关性是二值的相关/不相关rel取值0或1如果做段落级相关性分级如0/1/2三级rel直接代入分级值即可。最小实现30行搞定import numpy as np def recall_at_k(ranked_ids: list, relevant: set, k: int) - float: hits len(set(ranked_ids[:k]) relevant) return hits / len(relevant) if relevant else 0.0 def mrr(ranked_ids: list, relevant: set) - float: for i, cid in enumerate(ranked_ids, start1): if cid in relevant: return 1.0 / i return 0.0 def ndcg_at_k(ranked_ids: list, relevant: set, k: int, rel_fnNone) - float: rel {cid: (1 if cid in relevant else 0) for cid in ranked_ids[:k]} dcg sum(rel.get(cid, 0) / np.log2(i 1) for i, cid in enumerate(ranked_ids[:k], start1)) ideal sorted(rel.values(), reverseTrue) idcg sum(r / np.log2(i 1) for i, r in enumerate(ideal, start1)) return dcg / idcg if idcg 0 else 0.0 # 用法示例检索返回chunk id列表golden标注相关chunk id集合 ranked [c3, c1, c7, c2, c9] # 检索结果按分数排序 relevant {c2, c9} # 标注的相关chunk print(recall3:, recall_at_k(ranked, relevant, 3)) # 0.5 print(MRR:, mrr(ranked, relevant)) # 1/4 0.25 print(nDCG5:, round(ndcg_at_k(ranked, relevant, 5), 3))两个易错点一是log2(i1)的分母位置从1开始计数代码里enumerate(..., start1)别写错写错整个排序分失真二是k的取值要和线上top_k配置一致——你用top_k5上线评测却测recall10指标好看但线上对不上。三、评测集构造没有golden一切都是空谈检索评测的地基是带标注的评测集推荐JSONL格式每条一个query{query: 2026年Q2电商退款率上升的原因分析, relevant_ids: [doc_1024, doc_2031], source: 线上日志采样} {query: RAG噪声敏感度的常见诱因, relevant_ids: [doc_0312], source: 人工构造}构造评测集的三条来源按性价比排序线上真实query采样最高优先级从日志里抽高频query、失败query用户追问/负反馈保底覆盖真实分布。LLM辅助生成人工校正用大模型基于文档生成候选query但必须人工过一遍——LLM生成的query经常和文档措辞高度重合导致评测开卷考试recall虚高。用LLM生成 → 人工改写成口语化/换说法 → 标注相关chunk三步走。专家标注相关chunk的标注让人工做别全信LLM的judge。50-100条就能跑起来重点是质量不是数量。标注时注意一个坑相关要按检索目的定义。如果是检索给生成用chunk包含部分答案就算相关recall会高如果是检索直接给用户看如文档问答展示引用来源要求更严。定义不一致指标不可比。四、落地案例混合检索权重调优这是检索评估最典型的用法。线上常用BM25向量混合检索score α * vector_score (1-α) * bm25_scoreα怎么定拍脑袋α0.5大概率不是最优。用上面的指标做网格搜索import json from rag_retriever import HybridRetriever # 假设已有混合检索封装 def evaluate(retriever, eval_set, k5): recall, mrrs, ndcgs [], [], [] for item in eval_set: ranked retriever.search(item[query], top_kk) # 返回chunk id列表 relevant set(item[relevant_ids]) recall.append(recall_at_k(ranked, relevant, k)) mrrs.append(mrr(ranked, relevant)) ndcgs.append(ndcg_at_k(ranked, relevant, k)) n len(eval_set) return {recall5: sum(recall)/n, mrr: sum(mrrs)/n, ndcg5: sum(ndcgs)/n} best None for alpha in [0.0, 0.2, 0.4, 0.5, 0.6, 0.8, 1.0]: # 0.0纯BM25, 1.0纯向量 retriever HybridRetriever(alphaalpha) score evaluate(retriever, eval_set) print(falpha{alpha}: {score}) if best is None or score[recall5] best[1][recall5]: best (alpha, score) print(最优alpha:, best)我这边一份客服知识库约2万chunk的实测结果alpharecall5MRRnDCG5说明0.0纯BM250.620.410.58术语精确但同义表达漏检0.50.710.480.67默认值均衡但非最优0.60.740.510.70最优向量主导BM25兜底1.0纯向量0.670.440.62口语query好但专有名词/编号查询翻车结论α0.6比默认0.5的recall5提升3个点比纯向量高7个点。纯BM25和纯向量都偏科混合不是55开向量为主、BM25做精确匹配兜底往往更优。这个结论不通用——领域术语密度高的知识库医疗、法律BM25权重应该更高所以调优流程比调优结果更重要把上面的脚本固化进CI数据变了重跑。五、踩坑记录评测集泄漏embedding模型微调或chunk切分调整后老评测集的chunk id全变了recall直接归零。评测集要版本化chunk id变更必须同步重建golden映射别拿旧标注硬套新chunk。k值漂移线上top_k从5调到8评测脚本还写死k5指标和线上脱节。把k做成配置和线上参数同源。向量分数未归一化就混合BM25分数和余弦相似度量纲完全不同直接加权等于没加权。混合前先做min-max或z-score归一化。只看均值recallk均值0.75可能是一半query 0.95、一半0.55。按query类型术语类/口语类/多跳类分组看才能定位检索短板。embedding模型没做A/B就上线换embedding是检索层最大的单点变量切换前至少跑一轮上述指标对比别只看一两句样例。六、总结与进阶检索层评测是RAG质量保障的第一道闸门recallk盯漏检、MRR盯首命中位置、nDCG盯整体排序配合50-100条人工标注的golden评测集就能把混合检索权重、embedding选型、chunk切分这些决策从感觉变成数据。进阶方向多跳query的检索评测子问题分解后逐跳评估、在线评测用点击/反馈信号做无标注评估、以及把检索指标和下游忠实度指标做联动分析定位检索差导致生成差的具体链路。如果你也在做 AI 应用RAG / Agent / LLM不知道质量怎么测——我最近在给 AI 应用做免费质量体检出一份可执行的测评报告检索命中率、回答忠实度、噪声敏感度等维度感兴趣可以直接私信我。