使用 Reranker重排模型提升 RAG 知识库回答准确率系列从零构建企业 RAG 知识库第 10 篇1. 为什么召回后还要重排第一阶段检索追求“别漏掉”通常快速取 20—100 个候选生成模型上下文却只适合少量高质量证据。大范围召回高 Recall → Reranker 精排高 Precision → 去重与上下文预算 → 生成Embedding 常将问题和文档分别编码再比较向量Cross-Encoder 类 Reranker 同时读取“问题 候选”能进行更细致的相关性判断但计算更慢。2. 重排接口必须保留候选身份fromdataclassesimportdataclassfromtypingimportProtocoldataclass(frozenTrue)classCandidate:chunk_id:strdocument_id:strtenant_id:strtext:strretrieval_score:floatdataclass(frozenTrue)classRerankedCandidate:candidate:Candidate rerank_score:floatoriginal_rank:intclassReranker(Protocol):defscore(self,query:str,texts:list[str])-list[float]:返回与 texts 一一对应的相关性分数。3. 安全的批量重排defrerank(query:str,candidates:list[Candidate],reranker:Reranker,top_n:int5,)-list[RerankedCandidate]:ifnotquery.strip():raiseValueError(查询不能为空)ifnot1top_n20:raiseValueError(top_n 必须在 1 到 20 之间)ifnotcandidates:return[]scoresreranker.score(query,[item.textforitemincandidates])iflen(scores)!len(candidates):raiseRuntimeError(Reranker 分数数量与候选数量不一致)ifany(notisinstance(score,(int,float))forscoreinscores):raiseRuntimeError(Reranker 返回了非数值分数)ranked[RerankedCandidate(candidate,float(score),original_rank)fororiginal_rank,(candidate,score)inenumerate(zip(candidates,scores),start1,)]ranked.sort(keylambdaitem:(-item.rerank_score,item.original_rank,item.candidate.chunk_id,))returnranked[:top_n]原始排名作为同分排序依据让结果稳定且可诊断。4. 用确定性 Fake Reranker 测流程classKeywordReranker:教学替身只验证控制流不代表真实重排模型。defscore(self,query:str,texts:list[str])-list[float]:query_charsset(query)return[float(len(query_charsset(text)))/max(len(query_chars),1)fortextintexts]deftest_relevant_candidate_moves_forward()-None:candidates[Candidate(c1,d1,t1,退款政策总览,0.95),Candidate(c2,d2,t1,退款申请需要人工审核,0.80),]resultrerank(退款申请如何审核,candidates,KeywordReranker(),top_n1,)assertresult[0].candidate.chunk_idc2assertresult[0].original_rank25. 真实 Cross-Encoder 的适配示意classSentenceTransformersReranker:示意适配器模型名称和许可证需按当前官方资料选择。def__init__(self,model)-None:self.modelmodeldefscore(self,query:str,texts:list[str])-list[float]:pairs[(query,text)fortextintexts]raw_scoresself.model.predict(pairs)return[float(value)forvalueinraw_scores]# 示例初始化方式需要安装并锁定 sentence-transformers# from sentence_transformers import CrossEncoder# model CrossEncoder(经过团队评测并批准的模型路径)# reranker SentenceTransformersReranker(model)本文没有下载或运行具体重排模型不声称任何模型在企业数据上的准确率。6. 重排之后还要处理上下文defselect_context(ranked:list[RerankedCandidate],max_chars:int,min_score:float,)-list[Candidate]:selected:list[Candidate][]used0seen_documents:set[str]set()foriteminranked:ifitem.rerank_scoremin_score:continuesizelen(item.candidate.text)ifusedsizemax_chars:continue# 示例限制每份文档一个 Chunk避免近重复结果占满上下文ifitem.candidate.document_idinseen_documents:continueselected.append(item.candidate)seen_documents.add(item.candidate.document_id)usedsizereturnselected真实预算应使用目标生成模型 Tokenizer而不是字符数。7. 可复验的失败测试classBrokenReranker:defscore(self,query:str,texts:list[str])-list[float]:return[1.0]# 故意返回错误数量deftest_broken_reranker_is_rejected()-None:candidates[Candidate(c1,d1,t1,A,0.9),Candidate(c2,d2,t1,B,0.8),]try:rerank(问题,candidates,BrokenReranker())exceptRuntimeError:passelse:raiseAssertionError(错误的分数数量必须被拒绝)8. 如何证明重排有效固定第一阶段候选比较重排前后MRR、NDCGK 和 PrecisionK正确证据进入最终 Context 的比例最终答案正确性与忠实度P95 延迟、吞吐和成本长文、编号、否定条件和多语言切片。如果第一阶段没有召回正确证据Reranker 无法凭空找回它。9. 对抗性审查权限过滤必须在重排前完成限制候选数量和单条长度避免资源耗尽文档中的注入文本仍是不可信数据记录召回分数、重排分数和模型版本模型升级重新跑固定评测集Reranker 故障可降级到原始检索排序但要标记降级状态。10. 总结Reranker 的价值是把“可能相关”的大候选集压缩成“更适合进入上下文”的小集合。它优化排序而不是创造证据必须建立在高召回、权限正确和可评测的第一阶段检索之上。