一句话总结大模型幻觉的根本原因是它通过概率生成语言而不是通过严格的事实查询和逻辑验证来回答问题当信息不足、记忆模糊或上下文存在歧义时它可能用合理的语言填补知识空缺。大模型出现“幻觉”简单说就是它的核心任务是生成“最像正确答案的文字”而不是先确认事实再把事实说出来。它有时不知道答案但仍然会根据上下文继续往下生成于是就可能生成一个听起来很合理、实际上却不存在或不正确的内容。结论当事实缺失时模型倾向于选择语境下最高频的词生成看似合理实则错误的输出。1. 大模型本质上是在“预测下一个词”例如输入中国的首都是……模型会根据训练数据判断下一个词大概率是“北京”。它内部做的更接近P(下一个词∣前面的内容)而不是像数据库一样执行 查询事实→验证结果→输出答案因此当模型掌握的信息不够时它仍然会选择一个概率较高、语言上比较连贯的答案而不一定选择“我不知道”。2. 训练目标强调“说得通”不天然保证“说得对”大模型训练时主要学习的是大量文本中的语言规律例如哪些词经常一起出现一篇论文通常怎样写一个引用通常长什么样一段代码通常如何组织一个专业回答应该使用哪些术语。所以它很擅长生成“形式正确”的内容。例如用户要求给我找一篇关于图神经网络推荐的论文。如果模型没有准确记住论文它可能根据论文标题的常见格式编出一个很像真的标题、作者和期刊。这些内容在语言形式上合理但事实可能不存在。3. 训练数据本身不完整也可能互相矛盾大模型的知识来自大量文本但这些文本可能存在错误信息过时信息不同来源之间相互冲突某些领域资料非常少同一个名称对应多个对象训练数据中只有片段没有完整上下文。模型最终学到的不是一张严格、统一、可验证的知识表而是分散在参数中的统计规律。因此它可能把多个来源的信息“拼接”到一起形成一个现实中不存在的答案。4.模型的知识是“压缩存储”的不是逐条保存大模型不会像硬盘一样完整保存每篇论文、每句话和每个事实。核心论点知识并非以“条目”形式存在导致检索过程彻底失去精准定位的可能。它更像是把大量知识压缩进参数中学习到一种模糊的关联某个概念通常和哪些概念有关某类问题通常怎样回答。这种压缩能够让模型举一反三但也会造成细节失真。例如它可能知道某篇论文研究图检索使用了GNN与大模型结合发表在某个会议附近的年份。但它未必准确记得具体标题、作者、指标和数据。此时模型可能把这些模糊信息组合成一个完整但错误的回答。5. 问题越模糊模型越容易“自行补全”例如你问那篇使用图来增强推荐的大模型论文是怎么做的这里没有明确论文名称模型需要自己判断你指的是哪一篇。如果上下文不足它就可能猜测你指的是某篇论文把多篇论文的方法混合起来补充一些看似合理的实现细节。所以很多幻觉并不是模型完全胡乱生成而是它在信息不足时进行了错误推断。6. 用户的问题中如果带有错误前提模型可能顺着错误回答例如用户问为什么爱因斯坦在1965年获得诺贝尔奖实际上这个问题的前提有误。如果模型没有先检查前提可能直接解释一个不存在的事件。这叫做“迎合错误前提”。大模型倾向于保持对话连贯而不是每次都先质疑用户的问题。7. 长文本生成会产生误差累积模型每生成一个词后面的内容都会受到前面内容影响。如果前面某一步出现了一个小错误后面可能围绕这个错误继续展开最终形成一整套看起来非常完整的错误解释。例如先写错一个论文名称再根据这个假论文名称编作者再编实验数据再解释为什么结果优秀。于是错误会越写越具体也越显得可信。8. 大模型通常缺少天然的“事实校验机制”普通大模型在生成答案时不一定会自动执行查数据库搜索论文检查引用是否存在运行代码验证公式对比最新资料。如果没有搜索工具、知识库、计算器或外部程序模型主要依赖自身参数中的知识进行回答。所以对于论文名称、最新新闻、法律规定、具体数据、引用来源等内容只依靠模型记忆通常风险较高。9. 为什么模型有时会“非常自信地说错”因为模型输出的“自信语气”和它对事实的真实把握程度并不完全对应。它学到的是专业答案通常应该语句完整、结构清楚、语气确定。因此即使答案不可靠它也可能使用非常肯定的表达。流畅程度不等于事实正确性。一个简单比喻可以把大模型理解成一个读过大量资料、语言表达能力极强但有时记忆模糊而且习惯把话接下去的人。当它准确记得时回答很好当它记不清时也可能根据经验补出一个“最像答案的答案”。怎样减少大模型幻觉常见方法包括联网检索先查资料再回答。RAG从指定知识库中检索相关内容把证据提供给模型。工具调用用计算器、数据库、代码执行器等验证答案。要求提供出处让模型给出可核验的论文、页码或原文依据。限制回答范围要求“只根据提供的材料回答”。允许模型拒答明确要求证据不足时说“不确定”不要自行补充。交叉验证用多个来源或程序检查关键结论。图里所说的“上下文”和 Key主要指模型这一次回答时实际收到的输入内容不是模型参数本身。这一次输入内容可能包括你当前发送的 Prompt当前对话中保留下来的历史消息系统给模型的指令检索系统找到后塞进来的论文、网页或知识库内容模型刚刚已经生成的前文。而模型训练后保存在参数里的知识是另一回事。