【免费下载链接】Agent_Memory_TechniquesAgent memory for LLMs: 30 runnable Jupyter notebooks covering conversation buffers, vector stores, knowledge graphs, episodic and semantic memory, MemGPT, Mem0, Letta, Zep, Graphiti, LoCoMo benchmarks, and production patterns.项目地址https://gitcode.com/gh_mirrors/ag/Agent_Memory_Techniques点击查看免费下载想让 Agent 记住你光靠感觉可不行。本文带你走进 Agent Memory Techniques 仓库的第 29 种记忆技术用LoCoMo与LongMemEval两大长对话记忆基准量化测试你的 Agent 记忆能否扛住跨多会话的超长对话——从数据集结构、五类问题、BLEU / ROUGE / F1 与 LLM 裁判评分到分维度诊断短板和无记忆基线对比一篇讲透。为什么感觉记得不算数Agent 记忆基准测试的必要性想象你给新入职的助理出了一张试卷一部分题目考他是否记得你的咖啡口味直接回忆一部分考他能否把两次谈话联系起来安排日程多跳推理还有一部分考他知不知道你在上周三从茶改成了咖啡时间感知。总分有用但分科目分数才能真正告诉你该补什么。LoCoMo 和 LongMemEval 对 Agent 记忆系统做的就是这件事它们提供跨多会话的对话 标准答案问题每个问题都针对一种特定的记忆能力。跑一遍基准记忆质量好不好就从一句模糊的宣称变成了可以追踪、可以对比的具体数字。没有基准测试你无法回答这些问题它还记得 50 条消息前提到的那个偏好吗它能跨两次会话把两个事实连起来吗面对用户上周三换了工作它知道哪个说法是最新的吗LoCoMo 数据集35 轮会话、2000 道题的长对话记忆测试集LoCoMoLong-Context Conversational Memory是 2024 年提出的标准化基准结构非常直白项目内容对话数量10 段多会话对话两位朋友跨最多 35 个会话闲聊题目规模约 2,000 组问答QA pairs问题分类5 类每道题都有已验证的标准答案附加信息每题带证据指针指回对话中具体的轮次它的 5 类问题各测一种记忆能力这也是基准最有价值的部分——分数能直接定位短板类别考察能力示例问题1️⃣ single-hop单跳直接事实回忆Caroline 最喜欢的颜色是什么2️⃣ temporal时间时间顺序与变化用户转行之前是做什么的3️⃣ multi-hop多跳跨会话关联事实Caroline 的哪位同事也参加了她提到的那场会议4️⃣ open-ended开放式综合散落事实作答需要连贯、完整的合成式回答5️⃣ adversarial对抗识破陷阱问题引用了从未发生过的事好系统应拒绝回答数据集托管在 HuggingFace 上仓库的 memory_benchmarks_locomo.ipynb 里用一行就能加载from datasets import load_dataset locomo_dataset load_dataset(snap-stanford/LoCoMo, splittrain)每个样本里包含conversation带会话编号和时间戳的对话 JSON与qa带分类、标准答案和证据指针的问题列表结构在 29 号 README 中有完整说明。LongMemEval覆盖 40 到 500 轮会话的补充基准如果 LoCoMo 像朋友闲聊LongMemEval就是用户和助手的长期聊天史。它包含500 个实例每段历史横跨40 到 500 个会话比 LoCoMo 跨度更长用 7 种题型覆盖 5 项核心记忆能力题型记忆能力测什么single-session-user / assistant信息抽取从单个会话的用户/助手消息中回忆事实single-session-preference信息抽取从一次会话中推断隐性偏好multi-session多会话推理跨多个会话连接事实knowledge-update知识更新识别随时间变化的信息旧的被新的取代temporal-reasoning时间推理基于时间戳做时序推断abstention 变体拒绝回答信息从未提及时正确说不知道而不是瞎猜注意最后一项abstention拒绝回答一个诚实的记忆系统在信息不存在时应该承认不知道。这正是很多 Agent 最容易翻车的地方。怎么打分BLEU、ROUGE-L、Token F1 与 LLM 裁判四件套预测出答案后仓库里的评分流水线用 4 个互补指标打分指标原理特点BLEU-1预测与参考答案的 n-gram 重叠偏重精确率你说的话对不对ROUGE-L最长公共子序列偏重召回率答案要点覆盖全不全Token F1词级别的精确率/召回率调和平均两者平衡LLM 裁判让强模型判断语义上是否正确处理措辞不同但意思对的情况前三项是纯文本重叠指标速度快、零成本但会冤枉换种说法的正确答案——New York City 和 NYC 词面重叠很低意思却完全一致。这时 LLM 裁判notebook 中用gpt-4o-mini出手只回答CORRECT或INCORRECT给出 0/1 的语义判定。 实践建议把 LLM 裁判分数当作主指标跟踪把 BLEU/ROUGE/F1 当作免费的健康指标日常监控。分维度看分数定位记忆系统短板基准真正的威力在按类别聚合分数。跑完后你会得到一张类似这样的成绩单含无记忆基线对比Category Memory Judge No-Memory Judge Delta ---------------------------------------------------- single-hop 0.93 0.03 0.90 temporal 0.71 0.11 0.60 multi-hop 0.55 0.03 0.52 open-ended 0.42 0.05 0.37这张表直接回答两个关键问题哪个能力最弱比如 multi-hop 分数明显偏低说明跨会话关联检索要优先优化记忆到底值多少分把同一批问题交给什么都不给的模型no-memory baseline两者的差值Delta就是记忆系统带来的真实增益。如果某类题上你的系统只比基线高一点点说明检索对这类题根本没帮上忙。这正是 Memory Evaluation 与 Memory Benchmarks 的分工前者帮你自建领域评测集后者提供公开标准题两者结合就是完整评测套件。手把手跑基准从克隆仓库到第一张成绩单完整流程封装在 29 号 notebook 中难度标记为 Advanced约 60 分钟。核心步骤克隆仓库并安装 29 号技术依赖git clone https://gitcode.com/gh_mirrors/ag/Agent_Memory_Techniques cd Agent_Memory_Techniques pip install -r requirements.txt pip install openai python-dotenv datasets rouge-score nltk配置密钥准备一个.env文件并写入OPENAI_API_KEYnotebook 默认用gpt-4o-mini作为答题模型和裁判模型。加载 LoCoMo把结构化对话转成带会话标记和时间戳的纯文本上下文模拟记忆系统能存取的形式。逐题预测notebook 默认抽样 30 题按类别分层抽样控制成本全量运行约 $5-15GPT-4o-mini。四项指标打分按 5 类问题聚合输出分类成绩单。跑无记忆基线对比 Delta确认记忆系统的真实增益。切换你的检索机制notebook 里整段上下文只是基线做法生产系统中把它替换成你自己的向量检索/图谱检索基准不变只换选上下文这一步——这就是可复现对比的来源。仓库还附带小样本对话数据 data/sample_conversation.json 和 30 种技术横向对比表 docs/comparison.md方便你规划先测哪种架构。基准测试的 4 个局限分数高不代表生产可用分布不匹配LoCoMo 是朋友日常闲聊如果你的系统处理的是技术支持工单或企业流程分数未必反映真实表现。对话风格越接近你的业务分数参考价值越高。全量评测有成本约 2,000 题全跑一遍 LLM 裁判预算约 $5-15 每次GPT-4o-mini。日常迭代用分层抽样发版前再全量跑。⚖️指标天花板BLEU/ROUGE/F1 会惩罚措辞不同的正确答案LLM 裁判也不完美。记得人工抽查一批被判错误的预测。静态快照固定题目集覆盖不了生产环境的所有边界情况。把基准分数当作地板而不是天花板配合自建领域评测一起看。下一步把基准接入你的完整评测体系想先自建领域评测集从 28 Memory Evaluation 入手测检索精确率、召回率和信息过时检测跨会话回忆是这两个基准共同考察的核心能力可配合 21 Cross-Session Memory 与 09 Episodic Memory 一起优化分数满意之后用 30 Production Memory Patterns 把记忆系统安全地搬上生产。一句话总结记忆好坏不能靠感觉用 LoCoMo 与 LongMemEval 把记忆质量变成数字分数上涨就是改进分数下跌就是回归。赞分享【免费下载链接】Agent_Memory_TechniquesAgent memory for LLMs: 30 runnable Jupyter notebooks covering conversation buffers, vector stores, knowledge graphs, episodic and semantic memory, MemGPT, Mem0, Letta, Zep, Graphiti, LoCoMo benchmarks, and production patterns.项目地址https://gitcode.com/gh_mirrors/ag/Agent_Memory_Techniques点击查看免费下载相关推荐deepagentsjs记忆系统指南memory与AGENTS.md如何让Agent跨会话记住偏好deepagentsjs记忆系统指南memory与AGENTS.md如何让Agent跨会话记住偏好 deepagentsjs 记忆系统 是这款开箱即用AgAgent Memory Techniques如何让AI Agent第一次真正记住对话Conversation Buffer Memory 实战教程Agent Memory Techniques如何让AI Agent第一次真正记住对话Conversation Buffer Memory 实战教程 AgeClaude Managed Agents 如何记住用户偏好memory store 跨会话记忆实践Claude Managed Agents 如何记住用户偏好memory store 跨会话记忆实践 Claude Managed AgentsCMA里的示例工程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考