BM25 解决的到底是什么问题全文检索首先需要回答两个不同的问题哪些文档匹配查询词匹配的文档应该如何排序倒排索引解决第一个问题。对于查询词database搜索引擎可以直接找到包含该词的文档列表。BM25 主要解决第二个问题同样包含database的文档哪一篇更相关直觉上一个合理的词项相关性模型至少应考虑三件事查询词在当前文档中出现得越多文档通常越相关一个词在整个语料库中越少见它越有区分度同样出现三次短文档中的三次通常比超长文档中的三次更重要。BM25 正是把这三种信号组合起来TFTerm Frequency词频信号表示查询词在当前文档中出现了多少次。IDFInverse Document Frequency稀有度信号表示一个查询词在整个语料库中有多稀有。字段长度归一化长文档天然更容易包含查询词不能仅因为篇幅长就获得更高分数。不过 BM25 并不是语义模型。它不知道“数据库”和“DBMS”语义相近也不理解句子的真实含义。它做的是一种非常高效、可解释、面向词项匹配的相关性估计。BM25 公式拆解对于查询 中的每个词项 文档 的 BM25 得分通常写成其中符号含义查询词 在文档 中的出现次数即 term frequency当前文档该字段的 token 数avgdl所有文档该字段的平均 token 数文档总数包含词项 的文档数即 document frequency控制词频饱和速度控制字段长度归一化强度Tantivy 0.26.1 中固定使用const K1: Score 1.2;const B: Score 0.75;这也是常见的默认参数组合。2.1 IDF越少见的词区分度越高Tantivy 使用的 IDF 为当一个词几乎出现在所有文档中时它没有多少区分能力IDF 较低。当一个词只出现在少量文档中时它更可能代表用户真正关心的主题IDF 较高。例如在技术文档库中the、is、data可能很常见MVCC、DiskANN、fieldnorm可能更稀有。因此后者通常能给文档带来更高的相关性增量。公式中的0.5和外层1是平滑处理使 IDF 在极端数据分布下仍保持稳定且为正。2.2 TF 不是线性增长而是逐渐饱和假设当前字段长度正好等于平均长度即BM25 的词频部分可以简化为使用 Tantivy 的 词频TF 部分11.00021.37541.692101.964趋近无穷2.200第一次命中很重要从一次增加到两次仍然有明显收益但从一百次增加到一百零一次几乎不会改变排序。这就是“词频饱和”。如果词频完全线性增长一篇反复堆砌关键词的文档会轻易压过正常文档。BM25 用 抑制了这种行为。2.3 字段长度归一化BM25 的长度归一化项为当 时完全不考虑字段长度。当 时完整地按照字段长度相对平均长度进行归一化。Tantivy 使用 意味着长度是重要因素但不会完全主导评分。假设查询词在文档中都出现三次平均字段长度为 100当前字段长度不含 IDF 的 TF 得分501.7601001.5712001.294同样出现三次短字段中的命中更集中因此得分更高。这里有一个容易被忽略的关键点BM25 归一化的是“字段经过 analyzer 后得到的 token 数”不是原始字符串长度也不是整篇文档所有字段长度的总和。分词器、停用词过滤、N-gram 参数都会改变 token 数因此也会间接改变 BM25 分数。落地 BM25 需要哪些数据把公式翻译成存储引擎语言需要四类数据范围数据Tantivy 中的来源当前文档、当前词项词项出现次数 即 term frequencypostings 中记录的 term frequency当前文档、当前字段字段长度 即该字段分词后的 token 数fieldnorm /FieldNormReader全局字段统计该字段的总 token 数以及索引文档总数各 segment 的倒排索引元数据当前查询词的全局统计包含该词项的文档数 即 document frequencyterm dictionary 中TermInfo记录的 doc frequencyBM25 看起来只是一个公式但它要求索引在写入阶段提前保存每个 term 在每个文档中的频率每个文档字段的长度每个 term 的文档频率每个字段的全局 token 统计。如果索引只保存“这个 term 出现在哪些文档中”而不保存频率和字段长度那么就无法完整计算 BM25。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】