RAG分词器的相关知识倒排索引倒排索引就是建立“ 词 → 包含这个词的文档 ”的映射从而让搜索系统能够快速找到相关文档可以理解为字典的反向查找表正常来讲是先去找文档然后看文档里面有什么词但这样操作在文档数量少的时候还行一旦文档数量非常多的时候例如1000万篇文档这个时候一篇一篇文档去查找关键词效率会非常低所以也就用到了倒排索引之所以叫倒排就是因为它是通过去比对关键词找出这个词所归属的文档从而快速锁定关键词所在的文档这种就属于稀疏检索。例如成都 - [doc1, doc2, doc4]旅游 - [doc2]当用户同时问到成都和旅游还可以做交集得知doc2为既包含成都也包含旅游的文档就实现快速精准的检索说到这里联系一下稠密检索中的向量检索这里的倒排索引和BM25这种都属于稀疏检索根据关键词来检索出相关文档只会搜索出包含一模一样的关键词在内的文档有一个字不一样都会被过滤。而向量检索则是根据语义来检索例如用户问我今天想去蓉城玩而如果词库中只有成都没有蓉城BM25没有找到包含蓉城的文档就会失效。而向量检索会分析语义判断出蓉城 成都所以就会检索出成都相关的文档。