1. 项目概述从“健忘”到“可控记忆”的AI对话进化最近在折腾QQ群里的AI机器人发现一个挺普遍的问题聊着聊着它就“失忆”了。你刚跟它说完“我最近在学Python”转头问它“我该用什么工具写代码”它可能就给你推荐一堆八竿子打不着的玩意儿。这种“上下文健忘症”在长对话或多轮复杂交互中尤其明显严重影响了对话的连贯性和智能感。用户会觉得这机器人怎么这么“傻”说了跟没说一样。所以就有了这个项目——“给QQ AI机器人设计‘可控记忆’”。这名字听起来有点学术但核心目标很直接让机器人不仅能记住对话还能按照我们设定的方式去记住记住什么、记多久、以什么形式记都得可控。这不再是简单地堆叠一个超长的对话历史窗口而是引入了一套结构化的记忆管理机制。我们主要聚焦三个核心模块会话摘要、手动长期记忆和角色卡边界。会话摘要负责把冗长的聊天压缩成精华手动长期记忆让用户能主动给机器人“刻下”关键信息而角色卡边界则确保机器人的“人设”稳定不会在记忆过程中跑偏。这个设计思路其实源于对现有AI对话模型局限性的一个务实补丁。无论是基于API的大模型还是本地部署的模型其上下文长度Token数都是有限的硬约束。无脑地把所有历史对话都塞进去不仅浪费资源、拖慢响应速度还可能因为无关信息过多导致模型“注意力分散”输出质量下降。因此“可控记忆”的本质是在有限的上下文窗口内做最有效的信息筛选、压缩和存储让每一次对话都建立在经过提炼的“记忆基石”之上。2. 核心设计思路分层与解耦的记忆架构要给机器人装上可控的记忆不能是东一榔头西一棒子的功能堆砌。我的设计思路是构建一个分层、解耦的记忆系统。整个系统可以想象成一个三层金字塔结构。2.1 记忆系统的三层架构最底层是原始对话流也就是机器人接收和发送的每一条消息。这是最原始的数据但直接使用效率低下。中间层是会话摘要层它的任务是对原始对话进行实时或定时的“消化”与“提炼”生成结构化的摘要。最顶层是长期记忆库这里存储着经过用户手动确认或系统自动筛选的、需要跨会话持久化的关键信息。而角色卡则是贯穿这三层的一个“滤镜”或“宪法”它定义了机器人的身份、说话风格和知识边界确保所有记忆的生成和应用都符合预设的人设。为什么要分层核心目的是解耦。摘要生成模块可以独立优化比如尝试不同的摘要算法长期记忆的存储和检索也可以单独设计比如用向量数据库还是键值对而不影响最基础的对话流程。这种架构也让“可控”成为可能——我们可以在每一层设置控制点。例如在摘要层我们可以控制摘要的更新频率和详细程度在长期记忆层用户可以手动增删改查记忆条目角色卡则从根本上划定了记忆内容的范围。2.2 可控性的具体体现“可控”具体体现在四个维度内容可控用户或管理员可以决定什么信息值得被记入长期记忆。一句玩笑话可能不需要但用户提到的“我对芒果过敏”这种关键个人信息就必须记住。粒度可控记忆的详细程度可以调整。对于一次技术讨论摘要可能只需要记录核心结论和待办事项而对于一段情感倾诉摘要可能需要保留更多的情绪和细节上下文。时效可控记忆可以是有保质期的。一些临时性的上下文比如“今天天气真好”只在当前会话摘要中保留而长期记忆则可以设置永久保存或指定过期时间。角色可控记忆的生成和调用必须符合角色设定。一个“严谨的学术助手”角色卡其摘要应该更偏向事实和逻辑提炼而一个“幽默的聊天伙伴”角色卡其摘要或许可以保留一些有趣的梗。这套设计思路将记忆从一个被动的、黑盒的模型内部状态转变为一个主动的、可观察、可管理的外部系统组件。3. 会话摘要从信息洪流中打捞关键“记忆锚点”会话摘要是整个记忆系统的“压缩机”和“索引器”。它的目标不是一字不差地记录而是提取对话的骨架和精髓。3.1 摘要的生成策略与时机摘要的生成主要有两种策略增量式摘要和定时/触发式摘要。增量式摘要每进行若干轮对话比如5轮或10轮就基于最新的对话内容和上一版摘要生成一个新版本的摘要。这种方式能保持记忆的“热乎”和连贯但对计算有一定持续开销。定时/触发式摘要在对话自然停顿如用户长时间未回复、话题明显转换或会话即将达到长度上限时触发一次摘要生成。这种方式更省资源但可能导致在关键时刻如话题中途缺乏有效的摘要支持。我个人的实践是混合策略。默认采用定时/触发式摘要以节省资源但在检测到用户提及关键信息如“记住这个”、“很重要”等关键词或对话涉及预设的重要主题如“联系方式”、“个人偏好”时立即触发一次增量摘要确保关键点不被后续对话淹没。摘要的生成并非简单地将对话文本扔给大模型说“请总结一下”。一个有效的摘要应包含以下几个结构化部分核心话题当前对话主要围绕什么展开已达成共识/确认的事实双方明确了哪些信息待办事项或开放问题有哪些事情需要后续跟进或讨论用户状态/情绪线索可选用户表现出困惑、满意还是其他情绪上下文关键实体提到了哪些关键的人名、地名、项目名、术语例如一次关于周末计划的对话摘要可能是“【核心话题】周末聚餐安排。【事实】用户倾向于周六晚上喜欢吃火锅预算人均150元左右。【待办】需确认参与人数和具体餐厅。【情绪】用户表现积极。”3.2 摘要的存储与注入生成的摘要如何被使用它不会替换原始对话历史而是作为一段高度凝练的元数据在后续对话开始时被优先注入到给大模型的提示词Prompt中。通常的Prompt结构会变成[系统指令与角色设定] [长期记忆条目如有] [本次会话的摘要上次对话的精华] [最近的若干轮原始对话用于提供最即时上下文] 用户的新消息[用户当前消息]这样模型在生成回复时既能通过摘要把握较长时间跨度的对话脉络又能通过最近几轮原始对话感知最细微的语境变化。摘要就像给模型提供了一个高效的“记忆目录”让它能快速定位到相关背景而不必逐字翻阅冗长的“历史书”。实操心得摘要的“度”摘要并非越详细越好。过于详细的摘要会占用大量宝贵的上下文Token违背了压缩信息的初衷。我的经验是将摘要长度控制在原始对话长度的5%-15%为宜。同时要训练摘要模型或通过Prompt工程引导避免直接复制原文句子而是要用自己的话进行转述和整合这才是真正的“理解”而非“摘抄”。4. 手动长期记忆赋予用户“记忆刻刀”会话摘要再好也是机器自动生成的难免有遗漏或误解。手动长期记忆功能就是将记忆的“写入权”部分交给用户实现最高级别的可控性。4.1 记忆的写入指令与交互设计在QQ群里可以通过特定的指令来触发记忆操作。例如机器人 /记住 我咖啡因过敏请不要推荐咖啡和浓茶。机器人 /更新记忆 我的手机号已变更为138xxxx5678。机器人 /查看记忆或/忘记 关于咖啡因那条这里的关键是交互的自然性。除了显式的指令还可以设计更隐性的方式。例如当用户说“以后请都叫我‘老王’”时机器人可以主动询问“检测到您可能希望我记住这个称呼需要我将其加入长期记忆吗回复‘是’或提供更精确的描述”。这种确认机制避免了误记也提升了交互体验。每一条长期记忆在存储时都应该是一个结构化的对象而不仅仅是一段文本。一个基础的记忆条目可以包含以下字段{ “id”: “mem_001”, “content”: “用户咖啡因过敏” “category”: “健康/禁忌” // 分类便于管理 “source”: “手动添加” // 来源手动/自动摘要提取 “confidence”: 1.0, // 置信度手动添加为1.0 “created_at”: “2023-10-27T10:00:00Z”, “last_accessed”: “2023-10-28T15:30:00Z”, // 最后被提及或使用的时间 “access_count”: 5, // 被调用的次数 “tags”: [“饮食” “过敏”] // 标签便于检索 }4.2 记忆的检索与应用让记忆“活”起来记忆存好了更关键的是如何在对话中“想起来”。这里涉及到记忆检索策略。最朴素的方式是关键词匹配但效果有限。更优的方案是使用向量检索。具体流程是当用户发送一条新消息时系统会先将这条消息转换为一个向量即语义嵌入。然后在长期记忆库中计算这条消息向量与所有记忆条目内容向量的相似度。如果某些记忆条目的相似度超过预设的阈值比如0.8这些记忆就会被认为是“相关的”并被选中注入到本次对话的Prompt中。例如用户说“下午有点困喝点什么提神好呢” 这条消息的向量可能会与记忆库中的“用户咖啡因过敏”条目产生高相似度。于是机器人在生成推荐时就会自动排除咖啡、浓茶等选项转而建议“也许可以试试散步五分钟或者喝点果汁”此外last_accessed和access_count字段也很有用。我们可以设计一个简单的记忆“保鲜”或“遗忘”算法。长期不被访问的记忆其置信度可以随时间缓慢衰减当低于某个阈值时系统可以提示用户“有一条关于您‘不喜欢香菜’的记忆很久未被提及是否仍然有效” 或者自动将其移入“低频记忆区”不再参与每次的向量检索以提升效率。踩坑记录记忆冲突与优先级当自动生成的摘要和手动添加的记忆存在冲突时怎么办比如摘要里记了“用户说想学吉他”但手动记忆里有一条“用户已放弃学吉他”。必须确立明确的优先级规则。我的方案是手动记忆 高置信度自动记忆 普通会话摘要。当冲突发生时优先采用手动记忆的内容并在日志中记录冲突事件供管理员复查。同时可以尝试在下次合适时机用温和的方式向用户确认“我记得您之前提过对吉他感兴趣但我也记录了一条您已放弃的信息请问目前您对吉他的学习计划是怎样的呢” 这既能澄清事实也展现了机器人的“细心”。5. 角色卡边界为记忆套上“人格”的滤镜角色卡定义了机器人是谁、怎么说话、知道什么。它必须成为记忆系统的“宪法”否则一个设定为“高冷御姐”的机器人可能会因为记住了太多用户分享的搞笑段子而在回复时不自觉地变得滑稽一个“专业客服”机器人也不应该深入记忆和讨论用户的个人隐私。5.1 角色卡对记忆写入的约束在信息被写入记忆无论是自动摘要还是手动添加之前需要经过角色卡过滤器的审查。这个过滤器主要做两件事内容过滤判断信息是否在角色卡规定的知识或兴趣范围内。例如一个“只聊科技”的角色卡应该过滤掉用户关于明星八卦的讨论不将其纳入长期记忆甚至在摘要中也只轻描淡写或忽略。表达转化将信息用符合角色身份的表述方式重新包装后再存储。例如用户说“这代码bug真让人头大”对于一个“严谨工程师”角色记忆存储的内容可能会被转化为“用户在当前编码任务中遇到了一个棘手的错误情绪上有些困扰。” 这样未来调用这条记忆时生成的回复也会是严谨、解决问题的口吻。实现上可以在摘要生成或记忆添加的Prompt中强加入角色指令“请从[角色名称]的视角提取并转述以下对话中的关键信息。” 让模型在生成记忆内容的第一步就带上角色的滤镜。5.2 角色卡对记忆读取的引导在读取记忆检索和应用记忆注入Prompt时角色卡同样发挥作用。当多条相关记忆被检索出来时可以根据角色卡的性格设定决定记忆的呈现顺序和强调程度。一个“细心体贴”的角色可能会优先呈现与用户情感、偏好相关的记忆而一个“效率至上”的角色则可能优先呈现与任务、事实相关的记忆。更重要的是在将记忆片段注入最终对话Prompt时需要为其加上“角色上下文”。例如不是简单地把“用户咖啡因过敏”这条记忆文本扔进去而是包装成“根据你作为健康助手的角色设定你记得用户曾告知对咖啡因过敏因此在推荐饮品时需要避开相关选项。” 这样模型在生成回复时能更明确地知道如何运用这条记忆并保持语气的一致性。角色卡边界的管理本质上是在“记住一切”的冲动和“保持人设”的需求之间取得平衡。它让机器人的记忆有了性格也让对话体验更加沉浸和可信。6. 系统实现与工程实践要点理论设计再好落地才是关键。在QQ机器人这个具体场景下实现可控记忆系统需要解决一系列工程问题。6.1 技术栈选型与架构整个系统可以构建在常见的机器人框架如go-cqhttp、NoneBot2、Koishi等之上。记忆系统的核心模块建议独立部署或作为微服务主要组件包括对话中间件拦截所有进出消息负责触发摘要生成、记忆检索等流程。摘要生成服务调用大模型API如OpenAI GPT、Claude或国内大模型或使用高效的本地文本摘要模型完成对话摘要的生成。记忆存储服务负责长期记忆的增删改查。对于向量检索可以使用专门的向量数据库如Milvus、Qdrant、Chroma或者利用支持向量检索的关系型数据库插件如PgVector。对于简单的键值对记忆Redis是不错的选择。角色管理模块存储和解析角色卡配置通常是YAML或JSON文件并提供过滤和转换接口。数据流大致如下用户消息 - 对话中间件 - 同时进行a) 结合历史摘要和记忆生成回复b) 判断是否触发摘要生成/记忆更新 - 存储新摘要/记忆 - 更新上下文。6.2 性能与成本优化大模型API调用是主要成本来源。优化策略包括摘要缓存对于内容相似的对话片段可以复用之前的摘要而不是每次都重新生成。计算对话内容的哈希值作为缓存键。分级摘要不是每次摘要都调用最强大的也是最贵的模型。可以设置规则短对话、简单话题用小型/廉价模型长对话、复杂讨论再用大型/精准模型。向量检索优化为记忆条目建立向量索引时可以只对content核心内容进行编码而不是整个JSON对象。定期清理相似度过高的冗余记忆条目。异步处理摘要生成和记忆存储等非实时任务可以放入消息队列如RabbitMQ、Kafka异步执行不阻塞实时对话响应。6.3 配置与可观测性一个好的系统必须易于配置和监控。需要为管理员提供清晰的配置界面或文件以调整摘要触发条件轮数、间隔、关键词。向量检索相似度阈值。记忆分类和标签体系。角色卡列表及其绑定关系。同时要建立完善的日志系统记录每一次记忆的写入、检索、命中情况。这不仅能帮助排查问题比如为什么机器人“想不起”某条记忆还能通过分析记忆命中率、用户手动记忆频率等数据来优化整个系统的参数和策略。7. 常见问题与效果调优实录在实际部署和测试中会遇到各种各样的问题。这里记录几个典型场景和解决方案。7.1 记忆系统的典型问题排查问题现象可能原因排查步骤与解决方案机器人完全“想不起”长期记忆。1. 记忆检索阈值设置过高。2. 向量模型与对话模型语义空间不匹配。3. 记忆条目本身描述不清。1. 逐步调低相似度阈值如从0.85调到0.75观察命中情况。2. 确保记忆编码和查询编码使用同一种向量模型。如果使用OpenAI的接口做摘要最好也用text-embedding-3-small等同类模型做向量化。3. 引导用户或优化自动摘要使记忆条目用更通用、包含关键实体的语言描述。机器人记忆错乱张冠李戴。1. 不同用户的记忆在向量检索时混淆。2. 记忆条目过于模糊。1.最重要的措施为所有记忆条目加上用户ID或会话ID作为命名空间。检索时只在与当前用户/会话相关的记忆库中搜索彻底隔离不同用户的记忆。2. 在记忆条目中强制包含具体的主体和上下文例如将“喜欢红色”存储为“用户A在讨论汽车颜色时表示最喜欢红色”。摘要反而导致回复质量下降。1. 摘要信息有误或遗漏关键转折。2. 摘要注入的位置或方式不当干扰了模型对最近上下文的理解。1. 检查摘要生成的Prompt确保指令清晰要求模型“忠于事实”。可以尝试在Prompt中加入“如果存在不确定性请保留原话或标注不确定”。2. 调整Prompt模板中摘要、最近对话、系统指令的排列顺序。通常“系统指令-长期记忆-会话摘要-最近对话-用户消息”的结构比较稳健。也可以尝试A/B测试不同结构的效果。手动记忆指令被误触发。1. 指令前缀如/在普通对话中出现。2. 其他插件或功能冲突。1. 使用更独特的指令前缀如记住或要求指令必须机器人开头。2. 做好指令的优先级和冲突处理确保记忆插件的指令解析器能准确捕获意图。7.2 效果调优从“能用”到“好用”系统跑起来只是第一步让它变得聪明、好用需要持续的调优。记忆相关性调优这是核心。除了调整向量检索的阈值还可以引入混合检索。即先通过关键词从用户消息和记忆条目中提取快速筛选出一批候选记忆再对这批候选记忆进行向量相似度精排。这样可以兼顾召回率和精度。摘要质量调优不要满足于模型默认的摘要效果。设计一个摘要评估机制。可以简单通过人工抽查也可以设计一些自动评估指标比如摘要是否包含了后续对话中频繁被提及的实体基于摘要生成的回复其连贯性是否优于基于原始长历史的回复在相同上下文长度下根据评估结果反复迭代摘要生成的Prompt。用户习惯培养在机器人刚加入群聊或对新用户时可以主动介绍记忆功能“我可以记住一些重要的事情哦如果你想让我记住什么可以对我说‘记住xxxx’。” 并在成功执行记忆操作后给予明确反馈“好的我已经记住‘你对芒果过敏’这件事了。” 这种正反馈能鼓励用户使用该功能从而形成良性循环。可控记忆系统的构建不是一个一蹴而就的项目而是一个需要根据实际对话数据、用户反馈不断迭代优化的过程。它没有完美的终点但其每一步改进都能让机器人的交互体验变得更加自然、贴心和智能。