先编译再检索:一个不用 embedding 的开源知识库
市面上大多数「知识库问答」工具的套路都差不多把文档切块、算 embedding、塞进向量库提问时按相似度召回若干碎片喂给 LLM。KaaS 做了两个和主流不太一样的选择先编译再检索不直接对原始碎片做 RAG。先用 LLM 把散乱内容编译成一篇篇结构化的 Markdown Wiki 文章再在这上面做检索。不用 embedding检索阶段没有向量库、没有相似度计算。文章目录直接喂给 LLM让它像人翻目录一样选页、读全文。这篇讲整套系统的骨架和几个关键取舍单个机制的细节留给后续文章。解决什么问题KaaS 最初是我们内部的一个工具。知识散落在文档、会议、邮件里每当有人转岗或离开他积累的上下文就跟着走了接手的人要花几周重新拼凑。我们要的是让散乱输入沉淀成可读、可编辑、能长期演进的知识资产人能直接打开读的 Markdown而不是黑盒向量库。这也定了架构的走向编译质量第一检索只是编译产物之上的一层薄导航。带来了什么价值对使用者来说KaaS 的价值集中在几点散乱的笔记、文档、会议记录被编译成分类清晰、带溯源的 Markdown Wiki能长期积累复用。用自然语言提问拿到带引用的回答同一个问题不用反复被问第二遍。产出是纯 Markdown可读、可 git 版本管理、可手改。AI 生成、人工校准质量随用随涨。部署轻docker compose up或 CLI 一键启动默认 SQLite无向量库重依赖。通过 MCP 的ask工具Claude Code、Codex、openclaw 都能把这套 Wiki 当知识源直接查询。对接任意 OpenAI-compatible 端点可以全本地跑数据不出境。怎么做到的整体架构三层分工层技术职责Web UIReact Vite shadcn/uiChat / Submit / Wiki / Status 四个页面Go Backend标准库net/httpREST/SSE API、Worker Pool、任务队列、MCP 端点Python AI 引擎kb-aiuv编译流水线、LLM 迭代检索、Chat存储默认 SQLite零依赖go run即可跑存任务队列和编译状态检索走纯 LLM 迭代不依赖任何嵌入模型。检索不用 embedding让 LLM 直接翻目录这是 KaaS 和 naive RAG 的关键差别。编译阶段会维护一份master-index.md作为全量文章目录标题加摘要。检索时不做向量召回而是把这份目录连同问题一起喂给 LLM让它选出最相关的文章路径再把选中的文章整篇读进来做回答上下文。核心就三步storeKBStore(kb_dir,read_onlyTrue)catalogstore.existing_articles()# 1. 读 master-index 目录ifnotcatalog:return[]meta_by_path{a.path:aforaincatalog}selected_select_relevant(catalog,query,model,max_selectmax_articles)# 2. LLM 选页return_read_selected(store,meta_by_path,selected)# 3. 读全文LLM 选页就是一段结构化 prompt让模型从目录里挑路径并返回{paths: [...]}选中的页整篇读入仅按MAX_ARTICLE_CHARS 12_000截断以控制 prompt 预算。全流程没有一处 import 向量库或 embedding 模型。这套方案能成立是因为编译已经把噪声去掉了进入检索的是结构化、去重后的文章目录里的标题和摘要足以让 LLM 导航。好处是部署轻不需要 chromadb / sentence-transformers / pytorch 这些重依赖镜像小、无需预下载模型。代价是只靠目录摘要导航一篇文章如果只在正文深处才和问题相关、标题摘要里没体现就可能选不到。这个「body-depth 召回」缺口是否值得引入向量检索留待后续按价值评估。编译流水线Extract → Classify → Write → Index检索能这么轻前提是编译够重。KaaS 的编译是一条 4 阶段流水线Extract从原始文本提取概念、实体、决策、行动项Classify把提取结果映射到已有文章或标记为新建Write创建/合并 Markdown 文章Index更新 Markdown 索引master-index / topic-index服务端把 Classify→Write→Index 编排成一条带并发和 SSE 进度的流水线。工程难点在去噪单个 LLM 调用卡死不能拖垮整批和去重并行分组不能各自「发明」同名文章这两点在系列首篇《4 阶段编译流水线先编译再检索如何去噪去重》里已经展开这里不再重复。接进任意 AI agent一个asktool 的 MCP 设计编译好的 Wiki 不只给自家 Web UI 用还能被任意支持 Model Context Protocol 的 agentClaude Code / Codex / openclaw当成可问答的知识源。KaaS 的 MCP server 只暴露一个ask工具mcp.tool()defask(query:str,paths:list[str]|NoneNone,model:str|NoneNone)-dict:它不重写检索逻辑而是直接复用 chat corerun_server_chat_http跑一遍 LLM 迭代检索再让 LLM 生成带内联[Title](path)引用的答案。MCP 的tools/call是请求/响应式的chat core 是流式的所以ask用一个 collector 把流事件收集成完整答案再返回。两种传输stdio默认agent 本地 spawnkb-ai mcp自包含和 streamable-http。远程场景由 Go 后端在/mcp原生服务保持:8080单一对外 origin。小结KaaS 的核心做法是把成本压在编译阶段编译时做足去噪、去重、结构化检索就能很轻不用 embedding只让 LLM 翻目录读全文。也因为产出是 Markdown它能用 git 管理、手动编辑、被任意 agent 当知识源接入。几个实现选择也遵循同一个思路能简单就不复杂。检索用 LLM 迭代翻目录没有额外堆一个向量库。后续每篇会钻进一个机制编译流水线的去噪去重已发布、为什么敢不用 embedding、Worker 并发与故障恢复、asktool 的 MCP 设计。代码都是公开的感兴趣可以直接翻 GitHub 仓库。致谢KaaS 的核心思路受 Andrej Karpathy 的 「LLM Wiki」gist 启发把知识编译成一个持续演进、相互链接的 Wiki随时间沉淀复用省掉每次提问都对原始数据重跑 RAG 的老路。感谢他把这个模式讲清楚了。项目地址https://github.com/bybit-exchange/kaas欢迎使用 KaaS 并 star 支持我们

相关新闻

AI编程助手已经知道该删哪些代码了

AI编程助手已经知道该删哪些代码了

这项由上海交通大学LLM4SE实验室联合字节跳动(抖音集团)共同完成的研究,以预印本形式发布于2026年7月20日,论文编号为arXiv:2607.18213v1,有兴趣深入了解的读者可通过该编号查询完整论文。**当AI助手开始"刷屏&qu…

2026/7/31 2:11:12 阅读更多 →
nfs服务器的相关知识

nfs服务器的相关知识

nfs服务器的相关知识一.NFS基本介绍二.安装软件包三.在node2创建共享⽬录四.修改配置文件六.验证是否成功共享七.挂载使⽤1.客户端下载软件包2.建立挂载点3.进行挂载4.查看挂载是否成功5.检查是否可以共享文件一.NFS基本介绍 CentOS Stream 9中的NFS(⽹络⽂件系统&…

2026/7/31 2:11:12 阅读更多 →
国内做工厂AR运维系统的公司有哪些

国内做工厂AR运维系统的公司有哪些

国内工厂AR运维系统技术选型与架构解析:从远程协作到数字孪生 在工业4.0的深水区,传统运维模式正面临严峻挑战。设备复杂度指数级上升,而资深专家资源稀缺且分布不均,导致现场故障排查周期长、差旅成本高、知识沉淀难。增强现实&a…

2026/7/31 2:11:12 阅读更多 →

最新新闻

19-SOUL.md-为Agent注入人格与价值观

19-SOUL.md-为Agent注入人格与价值观

19 SOUL.md——为Agent注入人格与价值观 小杨是名独立开发者,他希望用Hermes管理所有技术项目。但他遇到了一个微妙的问题:每次和Hermes对话,Agent的语气和风格都不一样。有时候像严谨的技术顾问,有时候又像闲聊的朋友。他想要一种稳定的、属于他自己风格的Agent——一个…

2026/7/31 2:54:26 阅读更多 →
火狐浏览器翻译插件全攻略:从云端到本地,打造沉浸式双语阅读体验

火狐浏览器翻译插件全攻略:从云端到本地,打造沉浸式双语阅读体验

1. 为什么我们需要一个“聪明”的翻译插件?如果你经常用火狐浏览器(Firefox)浏览英文技术文档、学术论文或者海外资讯,肯定遇到过这样的场景:面对一整页密密麻麻的英文,要么硬着头皮啃,要么就得…

2026/7/31 2:54:26 阅读更多 →
GPT-5.6 Sol性能优化实测:代码生成与内存管理效率提升指南

GPT-5.6 Sol性能优化实测:代码生成与内存管理效率提升指南

1. 先搞清楚 GPT-5.6 Sol 到底提升了什么 看到 GPT-5.6 Sol 这个标题,最需要先弄明白的不是版本号,而是它到底在哪些具体场景下表现出性能效率的提升。从关键词和热词来看,这次更新可能涉及代码生成、内存管理、字符串处理、硬件资源利用等多…

2026/7/31 2:54:26 阅读更多 →
17-定时任务(Cron)-设置自动化工作流

17-定时任务(Cron)-设置自动化工作流

17 定时任务(Cron)——设置自动化工作流 每天早上8点,小陈的Telegram会自动收到一份AI行业新闻摘要——这是Hermes每天凌晨5点开始工作:先搜索各大科技媒体,汇总重要新闻,再用简洁的语言生成摘要,准时推送到他的手机。这一切都在无人值守的情况下自动完成。这就是Herm…

2026/7/31 2:54:26 阅读更多 →
LangChain入门指南:快速构建AI应用

LangChain入门指南:快速构建AI应用

1. LangChain 快速入门指南:从零搭建你的第一个AI应用如果你最近关注AI应用开发,一定听过LangChain这个框架。作为一个在AI工程领域摸爬滚打多年的开发者,我第一次接触LangChain时就意识到它的价值——它把大语言模型(LLM)从单纯的聊天机器人…

2026/7/31 2:54:26 阅读更多 →
UFS存储性能优化:FBO技术原理、实现与工程实践详解

UFS存储性能优化:FBO技术原理、实现与工程实践详解

1. 项目概述:FBO焕新存储技术是什么?如果你是一名手机或嵌入式设备的开发者,或者对存储性能有极致追求的极客,那么“UFS存储用久了变慢”这个问题,大概率是你心头的一根刺。用户抱怨新手机用半年就卡,应用启…

2026/7/31 2:53:26 阅读更多 →

日新闻

物理复制比逻辑复制好在哪?数据库复制原理详解

物理复制比逻辑复制好在哪?数据库复制原理详解

数据库复制是把主库数据同步到备库的机制,分为逻辑复制和物理复制两种。逻辑复制传输的是 SQL 语句或行变更事件,物理复制传输的是存储引擎底层的物理日志。阿里云 PolarDB(云原生数据库)采用物理复制,在同步延迟、数据…

2026/7/31 0:00:34 阅读更多 →
BilibiliDown:3分钟学会B站视频下载的终极指南

BilibiliDown:3分钟学会B站视频下载的终极指南

BilibiliDown:3分钟学会B站视频下载的终极指南 【免费下载链接】BilibiliDown (GUI-多平台支持) B站 哔哩哔哩 视频下载器。支持稍后再看、收藏夹、UP主视频批量下载|Bilibili Video Downloader 😳 项目地址: https://gitcode.com/gh_mirrors/bi/Bilib…

2026/7/31 0:00:34 阅读更多 →
有哪些游戏数据AI平台?游戏行业Data+AI融合方案盘点

有哪些游戏数据AI平台?游戏行业Data+AI融合方案盘点

当前,游戏行业的“DataAI融合”已从概念验证进入价值落地阶段。根据IDC 2025年数据,中国AI游戏云市场规模已达18.6亿元;同时,游戏研发环节AI渗透率高达86%,生成式AI内容普及率超过50%。面对庞大的市场,游戏…

2026/7/31 0:00:34 阅读更多 →

周新闻

深度学习道路桥梁裂缝检测系统 道路桥梁裂缝检测数据集 道路桥梁病害识别检测数据集

深度学习道路桥梁裂缝检测系统 道路桥梁裂缝检测数据集 道路桥梁病害识别检测数据集

深度学习道路桥梁裂缝检测系统 数据集6000张 完整源码已标注数据集训练好的模型环境配置教程程序运行说明文档,可以直接使用!系统支持图片、视频、摄像头等多种方式检测裂缝,功能强大实用。 1数据集6000张 8各类别

2026/7/31 1:03:03 阅读更多 →
深度学习YOLO模型如何训练 PUBG 绝地求生目标检测数据集

深度学习YOLO模型如何训练 PUBG 绝地求生目标检测数据集

pubg数据集 精选原图1.42万数据 1.49万标签 无任何重复、算法增强或冗余图像! pubg绝地求生目标检测数据集 1分类:e_body,14905个标签,txt格式 共计14244张图,99%为640*640尺寸图像 适合yolo目标检测、AI训练关键词&am…

2026/7/29 14:34:28 阅读更多 →
Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex英雄目标检测数据集 深度学习框架YOLO如何训练APEX数据集

Apex检测数据集数据集详情检测类别: allies enemy tag图片总量:7247张训练集:5139张验证集:1425张测试集:683张标注状态:全部已标注,即拿即用数据格式:支持YOLO格式及其他格式&#…

2026/7/29 15:00:03 阅读更多 →

月新闻