day12-大模型-多轮对话,上下文管理
一、多轮对话背景为什么上下文这么重要1.1 单轮 vs 多轮的本质区别维度单轮对话多轮对话上下文❌ 每次独立✅ 保留历史消息用户体验金鱼脑聊两句就失忆老朋友能聊一整天Token 消耗低只看当前问题高每次都带历史实现复杂度简单中等要理会话状态典型场景翻译、摘要、抽取客服、辅导、AI 助手1.2 现实场景为什么离不开多轮如果只有单轮第 2 轮用户就不知道我是谁了AI 只能干瞪眼。多轮对话的核心让 AI 记住前面聊过什么。二、多轮对话的工作原理2.1 大模型本身没有记忆任何大模型GPT、Qwen、DeepSeek…都是无状态的所以多轮不是模型的能力而是调用方你的程序的责任。2.2 多轮 把历史消息打包一起发关键结论多轮对话 每次都把完整对话历史发给模型。2.3 多轮对话系统的三件套三、多轮对话的入门案例手写一个最小可运行版本3.1 用 Python 字典模拟不依赖任何外部存储✅能跑但重启就丢数据。生产环境必须用持久化存储 → 这就是 Redis 登场的原因。四、Redis 对多轮对话消息的存储4.1 为什么选 Redis 而不是 MySQL多轮对话的消息读写非常频繁每发一条都要读 追加用 Redis 性能更优。4.2 数据结构设计Key-Value 约定设计要点用:分隔的层级结构方便按前缀查询和清理。4.3 Redis 客户端初始化Python4.4 消息的存储格式每条消息用JSON 字符串存到 Redis Listensure_asciiFalse是关键 —— 不然中文会被转成\u4f60\u597d调试时很难看。4.5 常用 Redis 操作一览五、创建会话与会话列表5.1 接口设计5.2 创建会话完整代码5.3 查询会话列表5.4 一个细节自动用首条消息更新标题效果用户发了帮我优化一份 Python 后端简历后会话标题自动变成帮我优化一份…。5.5 前端效果六、发送消息与查询消息6.1 完整流程图6.2 发送消息接口6.3 查询消息接口6.4 为什么要跳过第 0 条第 0 条是system prompt给模型看的不该给用户看返回给前端时从LRANGE 1 -1跳过它即可七、多轮对话优化你会遇到的所有坑7.1 坑 1消息越长调用越慢、越贵必须做上下文管理否则用户聊到 50 轮就崩了。7.2 坑 2JSON 解析失败导致整条消息丢失7.3 坑 3Redis 内存无限增长会话和消息没有过期时间 → 用久了内存爆炸。7.4 坑 4并发写入冲突两个用户同时发消息 →LRANGERPUSH之间可能丢数据。方案用 Redis 事务或分布式锁。7.5 坑 5异步任务阻塞 HTTP 请求send_message同步等大模型返回 → 客户端 HTTP 超时。方案 1让前端用异步轮询方案 2用 WebSocket 或 SSE 推结果八、滑动窗口 历史压缩上下文管理的两把利剑8.1 为什么需要上下文管理大模型的context window上下文窗口是有限的超过这个长度模型要么报错要么忘记最早的内容。现实业务中我们不可能让用户聊到上限才动手必须提前压缩。8.2 滑动窗口保留最近 N 条最简单粗暴只保留最近的 10 条消息。优点实现极简、速度快。缺点前 N-10 条的上下文彻底丢失AI 会突然失忆。8.3 历史压缩让大模型自己总结更聪明的做法 ——让大模型把早期对话压缩成一段摘要再和最近的消息一起发给模型8.4 效果对比只滑动窗口8.5 进阶三级压缩策略效果聊到几百轮也几乎不丢上下文。8.6 压缩策略选型表九、把整套流程串起来9.1 完整系统架构9.2 完整调用链路一次 send_message9.3 一次完整会话的 Redis 数据演变十、总结一张图看懂多轮对话学习路径一句话总结多轮对话 每次把历史 messages 一起发给模型会话和消息存 Redis长了用滑动窗口 历史压缩控制成本。附录常见坑排查清单

相关新闻

私密日记不想放在云端?极空间部署DailyTxT完整教程

私密日记不想放在云端?极空间部署DailyTxT完整教程

前言 日记、随手记录和私人备忘中,往往会出现工作安排、家庭信息或个人情绪等不适合公开的内容。使用第三方平台虽然方便,但数据存放位置、账号状态和平台变化都不完全由自己控制。 DailyTxT是一套可以自行部署的轻量日记服务。将它运行在NAS中后&…

2026/10/21 0:34:58 阅读更多 →
微网电源容量优化:两阶段鲁棒优化算法实践

微网电源容量优化:两阶段鲁棒优化算法实践

1. 微网电源容量优化配置的核心挑战微网作为分布式能源系统的重要载体,其电源容量配置直接影响着系统经济性和可靠性。传统确定性优化方法往往难以应对可再生能源出力和负荷需求的双重不确定性,这正是两阶段鲁棒优化算法的用武之地。我在参与某海岛微网项…

2026/10/20 20:12:18 阅读更多 →
Altium Designer DRC规则报错全解析:从核心原理到高效修复实战

Altium Designer DRC规则报错全解析:从核心原理到高效修复实战

1. 项目概述:当DRC红灯亮起时画完PCB,按下那个绿色的“运行DRC检查”按钮,然后看着消息面板里瞬间刷出几十上百条报错,这大概是每个用过Altium Designer的电子工程师都经历过的“心跳时刻”。DRC,设计规则检查&#xf…

2026/10/16 4:43:55 阅读更多 →

最新新闻

Vidu Q4 Preview深度评测:AI视频生成迈向生产力工具的关键一步

Vidu Q4 Preview深度评测:AI视频生成迈向生产力工具的关键一步

最近几个创作群里讨论最多的,绕不开Vidu Q4 Preview。做AI视频的同仁应该都有感觉,这个赛道现在卷到什么程度:几乎每隔几天就有新版本、新模型冒出来,但大多是“看起来厉害、一上手就露馅”。Vidu Q4 Preview这次放出的内容&#…

2026/10/21 0:33:56 阅读更多 →
AI在芯片设计中的黑盒困局:一次IR压降事故带来的反思

AI在芯片设计中的黑盒困局:一次IR压降事故带来的反思

芯片世界里,有一句话最近被工程师们重复得越来越多:AI赢了棋局,却讲不出思路。就在上个月,我拿着一个AI辅助完成的block级floorplan给物理设计团队,线长比上一版少了12%,拥塞图也干净得不像话。结果等IR压降…

2026/10/21 0:33:56 阅读更多 →
计算智能体入门:从状态机到Q-learning的决策实现

计算智能体入门:从状态机到Q-learning的决策实现

1. 从零理解计算智能体的核心骨架计算智能体这个概念,听起来像是学术论文里的术语,但把它拆开来看,其实就是一个能感知环境、做出决策、执行动作的软件实体。你可以把它想象成一个在迷宫里找路的小机器人,它能看到周围哪里有墙、哪…

2026/10/21 0:33:55 阅读更多 →
MoE混合专家模型:稀疏激活如何破解大模型容量与成本困局

MoE混合专家模型:稀疏激活如何破解大模型容量与成本困局

从Transformer诞生起,前馈网络(FFN)就是"又笨重又绕不开"的角色:它占了模型近三分之二的参数量,但每个token都得老老实实把所有参数过一遍。你扩大模型容量,推理成本就跟着线性往上涨&#xff0c…

2026/10/21 0:33:55 阅读更多 →
开源30B模型硬刚闭源旗舰:科研场景实测与本地部署指南

开源30B模型硬刚闭源旗舰:科研场景实测与本地部署指南

最近开源圈又热闹起来了,一个主打科研场景的30B级别开源模型,直接放话要跟两家头部闭源大模型掰手腕。我当时第一反应是“又来一个刷榜的”,但仔细看完技术报告和社区实测数据之后,觉得这波还真不是营销话术,确实有货。…

2026/10/21 0:33:55 阅读更多 →
LLM强化学习全解析:PPO、GRPO、DPO等五类方法选型与实践

LLM强化学习全解析:PPO、GRPO、DPO等五类方法选型与实践

做LLM训练绕不开强化学习这块,标题里这五个字看着简单,真要分类起来其实挺讲究的。我前几年刚开始接触大模型对齐时,也把PPO、DPO、GRPO这些名词搞得晕头转向,后来用了一段时间才理清楚它们之间的血缘关系和适用场景。这篇博文就把…

2026/10/21 0:32:54 阅读更多 →

日新闻

统一内存+量化:锐龙AI Max PRO 400如何本地跑320B大模型

统一内存+量化:锐龙AI Max PRO 400如何本地跑320B大模型

这段时间硬件圈和AI圈都在传一个事:AMD锐龙AI Max PRO 400系列把最高192GB统一内存搬进了PC形态的产品里,按宣传口径,本地跑320B参数的大家伙不再是纸面概念。我第一反应倒不是“内存真大”,而是这话背后的含金量——它把过去只能…

2026/10/21 0:00:11 阅读更多 →
AI助手深度使用体验:对话质量、长文本处理与指令遵循如何留住用户

AI助手深度使用体验:对话质量、长文本处理与指令遵循如何留住用户

1. 从“封号重开”这个行为说起:用户到底在追求什么“封号重开”这四个字,放在任何产品语境里都带着一股决绝的味道。一个账号从零开始积累使用记录、调教偏好、沉淀工作流,背后是大量的时间和精力成本。正常情况下,没有人愿意主动…

2026/10/21 0:00:11 阅读更多 →
ROS中YOLOv3工程落地:通信同步、坐标变换与性能调优

ROS中YOLOv3工程落地:通信同步、坐标变换与性能调优

1. 为什么在ROS里硬刚YOLOv3不是“炫技”,而是工程落地的必经之路我第一次在某高校机器人实验室看到那台搭载Jetson TX2的移动底盘原地打转、反复识别错垃圾桶时,就意识到:单纯跑通darknet_ros demo和真正让YOLOv3在ROS里“干活”&#xff0c…

2026/10/21 0:00:11 阅读更多 →

周新闻

基于GMM的语音识别系统原理与MATLAB实现详解

基于GMM的语音识别系统原理与MATLAB实现详解

说到基于高斯混合模型(GMM)的语音识别系统,很多人第一反应就是一堆数学公式,觉得门槛很高。但如果你真的在MATLAB里把它落地跑通,会发现核心其实就是三件事:把声音变成特征向量,用GMM给每个类别…

2026/10/20 10:02:13 阅读更多 →
数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理入门:反白、灰度化、调色板修改与导出txt实践

数字图像处理这四个字听起来挺唬人,但落到具体操作上,无非就是让计算机按你的想法“摆弄”像素。我在一个模拟项目X里用了一套特别经典的基础处理流程:对图像做反白、改调色板、彩色转灰度,最后把像素数据导出成txt文件。单看每一…

2026/10/20 20:43:59 阅读更多 →
机器人大脑技术盘点:具身智能的感知、决策与数据闭环

机器人大脑技术盘点:具身智能的感知、决策与数据闭环

如果你的信息流最近也天天刷到“机器人大脑”这个词,你会发现一个很有意思的现象:每个人说的“大脑”根本不是同一个东西。有人指的是大语言模型,有人指的是运动控制系统,还有人指的是能理解物理世界的端到端模型。在2026年这个时…

2026/10/20 2:50:50 阅读更多 →

月新闻

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 10:02:08 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 9:50:17 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 9:50:45 阅读更多 →