HyPE 预计算提示嵌入为什么 RAG 检索总是差一口气【免费下载链接】RAG_TechniquesThis repository showcases various advanced techniques for Retrieval-Augmented Generation (RAG) systems. Each technique has a detailed notebook tutorial.项目地址: https://gitcode.com/GitHub_Trending/ra/RAG_Techniques把内部手册建成 RAG 问答系统后你会发现一个反复出现的现象用户问系统崩了怎么排查文档里写的却是故障恢复流程两者意思相同、措辞不同向量检索就给不出好结果。RAG_Techniques 仓库里的HyPEHypothetical Prompt Embeddings假设提示嵌入就是针对这个问题在离线索引阶段为每个文档块预计算一批假设问题的向量把检索变成问题找问题查询时不再调用 LLM。HyPE 一句话定位把对齐工作搬进索引阶段HyPE 属于 RAG 的查询改写与检索增强方向解决的核心矛盾是用户提问与文档行文在风格上的不匹配。它的做法是把 LLM 调用全部挪到离线索引阶段在线检索只做一次普通的向量相似度搜索。下面这张仓库里的架构图展示了离线加载与在线检索两个阶段的整体形态HyPE 正是离线加载一环的变体实现。机制拆解离线建索引与在线查问题两条时间线离线索引阶段为每个块生成替身问题加载与分块encode_pdf用 PyPDFLoader 读取 PDF再由 RecursiveCharacterTextSplitter 按默认 1000 字符、重叠 200 字符切块。为什么重叠避免一句完整话被拦腰切断保证块内语义连贯。生成假设问题这一步是核心。generate_hypothetical_prompt_embeddings用 ChatOpenAItemperature0为每个块生成若干一行式问题模拟用户可能提出的真实提问随后用 OpenAI 嵌入模型只对这些问题向量化。多重向量入库prepare_vector_store把同一个块与它的全部问题向量一起写入 FAISSIndexFlatL2即一个块拥有多份替身。为什么这么做单块语义覆盖面变宽不同问法都能命中同一份原文。在线查询阶段只做一次向量搜索用户问题向量化后直接在假设问题向量库里做最近邻检索命中的问题映射回原文块返回给生成模型。整个热路径没有任何 LLM 调用——这正是 HyPE 与 HyDE查询时实时生成假设答案的关键区别同样的假设思路HyPE 把成本全部前置到了索引期。HyPE 与标准 RAG 的指标对比对比项标准 RAGHyPE索引期 LLM 调用无每块生成多次问题生成每块向量数1多个 假设问题数查询期 LLM 调用无无检索方式问题对文档块问题对假设问题上下文精度基线最高提升 42 个百分点声明召回率基线最高提升 45 个百分点精度与召回两组数字来自项目 README 的官方描述具体提升幅度随数据集不同而波动。动手体验3 步跑通 HyPE 检索脚本先克隆仓库并配置密钥git clone https://gitcode.com/GitHub_Trending/ra/RAG_Techniques # 在项目根目录 .env 中写入 OPENAI_API_KEYcd all_rag_techniques_runnable_scripts python HyPE_Hypothetical_Prompt_Embeddings.py --path ../data/Understanding_Climate_Change.pdf --query What is the main cause of climate change?脚本默认用仓库自带的示例 PDF 完成分块、问题生成与一次检索测试加上--evaluate会再跑一轮检索评估。想逐格调试的话看 HyPE 笔记本公共函数集中在 helper_functions.py。选型与避坑什么场景值得上 HyPE适合语料以 PDF、手册、报告为主且更新不频繁查询表达与文档文风差异大线上延迟敏感。这类场景能把风格不匹配的损失在索引期一次性抹平。不适合语料高频流式更新每次更新都要重跑问题生成、索引体积敏感每块多存数倍向量、查询量极少的场景预计算成本摊不回来。常见坑每块问题数不是越多越好索引与 LLM 成本随块数线性增长先按默认值跑基线再调。分块可以比标准 RAG 设得更大多重表示会部分补偿单块语义的分散。问题生成提示词要保证 LLM 只基于块内信息提问避免引入原文没有的幻觉内容temperature0 也建议保留。写在最后HyPE 的思路很直接把 LLM 从查询热路径里挪走用离线的替身问题向量改善问题与文档的对齐检索精度收益可以拿到查询延迟基本不变。如果你的 RAG 项目语料以长篇文档为主、且查询侧不方便增加 LLM 调用它值得作为嵌入层的一个候选替换先跑一组对照评估。【免费下载链接】RAG_TechniquesThis repository showcases various advanced techniques for Retrieval-Augmented Generation (RAG) systems. Each technique has a detailed notebook tutorial.项目地址: https://gitcode.com/GitHub_Trending/ra/RAG_Techniques创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考