所以第一篇我们不急着讲 Agent先回答一个更根本的问题大模型是什么它能做什么又不能做什么这个问题看起来简单但它决定了你能不能真正理解后面的一切。因为 Agent 开发要做的事情本质上就是给大模型补短板。 面试时的 30 秒回答大模型本质上是在预测下一个词它从海量文本中学会了语言规律所以擅长理解、生成、总结、翻译这类文字工作。但它有四个短板知识停留在训练截止时间不能真正执行操作不记得上一次对话也不会自己推进多步任务还可能产生幻觉。Agent 开发就是用 RAG、工具调用、记忆管理和 Agent 编排补上这些短板让大模型从能说变成能做事。 详细解析大模型在做什么一次只猜一个词大模型的工作原理可以用一句话概括根据前面的内容预测下一个最可能出现的词。比如输入今天天气真模型会计算下一个词的可能性接好的概率最高接不错次之接热、“冷的概率低一些。它选出一个词接上得到今天天气真好”然后再根据这句话预测下一个词一个接一个直到生成完整的回答。它为什么能预测得这么准因为它在海量的文本上训练过学会了语言的规律、知识之间的联系甚至一定的推理能力。之后再经过专门训练学会按照人的指令来回答问题就成了我们今天用的聊天模型。理解这一点非常重要**大模型输出的每一句话都是最可能的下一个词一步步接出来的而不是从某个数据库里查出来的。**后面讲到的幻觉根源就在这里。两个必须知道的概念Token 和上下文窗口Token是大模型处理文字的最小单位。它不完全等于一个字或一个词一个常见的词可能是一个 Token一个生僻的字可能被拆成好几个。大模型的计费、长度限制都是按 Token 计算的。上下文窗口是大模型单次能处理的最大 Token 数输入和输出共用这个额度。你发给它的问题、资料、聊天记录加上它要生成的回答总量都不能超过这个上限。这两个概念后面会反复出现先有个印象就好。大模型能做什么只要是文字进、文字出的事情大模型都很擅长理解和回答回答问题、解释概念生成写文案、写邮件、写代码转换总结、翻译、改写风格抽取从一段文字里提取姓名、日期、金额整理成结构化数据推理分析问题、给出方案、判断优劣这也是为什么大模型一出现大家就觉得它什么都能干。大模型不能做什么四个短板但一旦要把它用到真实业务里问题马上就出来了。**短板一知识有截止时间。**模型的知识来自训练数据训练完成后就不再更新。你问它昨天发生的事它不知道你问它你们公司的请假制度它更不可能知道因为它从来没见过这些资料。**短板二不能行动。**它只能输出文字。你让它帮你查一下订单、发一封邮件它最多告诉你你可以这样做但真正去查、去发它做不到。**短板三不记得上一次对话。**每次调用大模型都是独立的它不会自动记住你上一次说了什么。我们平时用的聊天应用之所以记得前面的对话是因为应用每次都把之前的聊天记录一起发给了模型。**短板四不能自主完成多步任务。**你给它一个目标比如帮我查一下明天的课再排个复习计划它能写出一份看起来不错的步骤清单但写完就结束了。它不会自己去执行第一步、看结果、再决定第二步一直推进到任务完成。除了这四个短板还有一个贯穿始终的问题幻觉。因为模型是按最可能的下一个词生成内容的没有内置的事实核查所以在不知道答案的时候它也可能流畅地编出一个看似合理的回答。为什么会有 Agent 开发把这四个短板和对应的解决办法放在一起Agent 开发要做什么就很清楚了知识有截止时间用 RAG检索增强生成先从知识库里检索相关资料再交给模型回答不能行动用工具调用让模型决定调用哪个函数由程序去真正执行不记得上一次对话用记忆管理保存对话历史和用户的关键信息不能自主完成多步任务用 Agent让模型在循环中自主规划、调用工具、根据结果调整这些手段也能在一定程度上缓解幻觉有了检索到的资料和工具返回的真实数据模型就不必凭记忆回答。打个比方大模型是一个聪明但被关在房间里的大脑它知识渊博但信息停留在过去没有手脚也记不住事。Agent 开发就是给这个大脑接上资料库、配上手脚、加上记事本再教会它一套做事的方法。这张图也是这个栏目接下来的路线后面的每一篇基本都是在讲其中某一块怎么实现。 面试官会怎么追问追问 1我们用的聊天应用明明能记住前面的对话为什么说大模型不记得记住对话的不是模型而是应用。应用把之前的聊天记录保存下来每次提问时连同新问题一起发给模型模型看到了完整的历史才能接着聊。聊天记录太长超出上下文窗口时应用就只能删掉或压缩较早的内容被删掉的部分模型自然就忘了。追问 2Token 和字数是什么关系没有固定的换算关系取决于模型使用的分词方式中文和英文也不一样。需要精确计算时要用对应模型的分词工具。实际开发中关注 Token 的原因很直接它决定了费用也决定了能放进多少内容。追问 3大模型为什么会产生幻觉能完全消除吗根本原因是它按概率生成内容没有内置的事实核查机制训练数据有截止时间也存在没学到的知识问题模糊时它倾向于给出一个流畅的回答而不是说不知道。幻觉不能完全消除只能降低提供检索到的资料、用工具获取真实数据、要求回答注明出处、允许模型说不知道关键场景再加人工确认。 动手验证模型真的不记得下面这段代码调用了两次大模型。第二次调用时没有把第一次的对话一起发过去import osfrom openai import OpenAI# API Key 放在环境变量里不要直接写在代码中client OpenAI(api_keyos.environ[DEEPSEEK_API_KEY], base_urlhttps://api.deepseek.com)# 第一次调用告诉模型我的名字client.chat.completions.create( modeldeepseek-flash, messages[{role: user, content: 我叫小青请记住我的名字。}],)# 第二次调用只发送新问题没有带上第一次的对话resp client.chat.completions.create( modeldeepseek-flash, messages[{role: user, content: 我叫什么名字}],)print(resp.choices[0].message.content)运行之后你会发现模型回答不出你的名字。把第一次的问答也放进第二次调用的messages里它就记得了。这个小实验说明了一个关键事实**记忆不是模型自带的而是开发者设计出来的。**这正是 Agent 开发要做的事情之一。 面试总结这道题容易答偏的两个地方只讲大模型有多强却说不出它的局限面试官会觉得你没有实际开发经验讲了局限但没有和解决办法对应起来说明你还没理解各种技术为什么存在答好这道题讲清三件事原理大模型是在预测下一个词一个一个地生成内容短板知识有截止时间、不能行动、不记得对话、不能自主完成多步任务还可能产生幻觉对应的解决办法RAG、工具调用、记忆管理和 Agent这就是 Agent 开发要做的事2026年AI行业最大的机会毫无疑问就在应用层字节跳动已有7个团队全速布局Agent大模型岗位暴增69%年薪破百万腾讯、京东、百度开放招聘技术岗80%与AI相关……如今超过60%的企业都在推进AI产品落地而真正能交付项目的大模型应用开发工程师****却极度稀缺落地AI应用绝对不是写几个prompt调几个API就能搞定的企业真正需要的是能搞定这三项核心能力的人✅RAG融入外部信息修正模型输出给模型装靠谱大脑✅Agent智能体让AI自主干活通过工具调用Tools环境交互多步推理完成复杂任务。比如做智能客服等等……✅微调针对特定任务优化让模型适配业务目前脉脉上有超过1000家企业发布大模型相关岗位人工智能岗平均月薪7.8w实习生日薪高达4000远超其他行业收入水平技术的稀缺性才是你「值钱」的关键具备AI能力的程序员比传统开发高出不止一截有的人早就转行AI方向拿到百万年薪AI浪潮正在重构程序员的核心竞争力现在入场仍是最佳时机我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】⭐️从大模型微调到AI Agent智能体搭建剖析AI技术的应用场景用实战经验落地AI技术。从GPT到最火的开源模型让你从容面对AI技术革新大模型微调掌握主流大模型如DeepSeek、Qwen等的微调技术针对特定场景优化模型性能。学习如何利用领域数据如制造、医药、金融等进行模型定制提升任务准确性和效率。RAG应用开发深入理解检索增强生成Retrieval-Augmented Generation, RAG技术构建高效的知识检索与生成系统。应用于垂类场景如法律文档分析、医疗诊断辅助、金融报告生成等实现精准信息提取与内容生成。AI Agent智能体搭建学习如何设计和开发AI Agent实现多任务协同、自主决策和复杂问题解决。构建垂类场景下的智能助手如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等。如果你也有以下诉求快速链接产品/业务团队参与前沿项目构建技术壁垒从竞争者中脱颖而出避开35岁裁员危险期顺利拿下高薪岗迭代技术水平延长未来20年的新职业发展……那这节课你一定要来听因为留给普通程序员的时间真的不多了立即扫码即可免费预约「AI技术原理 实战应用 职业发展」「大模型应用开发实战公开课」还有靠谱的内推机会直聘权益完课后赠送大模型应用案例集、AI商业落地白皮书