你有没有遇到过这样的场面同一个问题换个说法问AI得到的答案可能截然相反而它每次都用同样笃定的语气。很多人觉得这是AI在“装懂”但从概率与信息论的角度看这才是大模型的本来面目——它从来不是在“回答”你的问题而是在做一道又一道的概率选择题。所谓“AI只给概率不给答案”不是一句哲学调侃而是所有大模型架构里最底层的运行逻辑它给出的每个词都是从一个概率分布里采集出来的样本。这篇文章想聊的正是这件事背后的概率直觉和信息论直觉。我会从大模型生成句子的机制讲起说到softmax、温度采样、信息熵、困惑度这些概念再落到实际使用AI时怎么用这套直觉去读懂模型、控制模型、排查问题。适合两类人一类是刚接触大模型、被各种“AI翻车”搞糊涂的产品和开发者另一类是已经在用API做应用但对采样参数、温度、top-p这些东西只知其然、不知其所以然的人。1. AI的答案其实是一场概率抽签1.1 大模型不是“查字典”而是“接龙”大多数人对AI的误解来源于拿搜索引擎的心智模型去套大模型。搜索引擎是“查”你输入关键词它在一堆文档里找匹配项返回结果。大模型则是“续写”你给它一段文本它在内部把这段文本转成数字然后基于这些数字去预测“下一个词最可能是什么”。这个过程从你输入第一个字就开始了。你打出“今天天气”模型不是在回忆“今天天气怎么样”的标准答案而是在计算给出“今天天气”这四个字之后下一个字是“很”的概率是多少是“真”的概率是多少是“不”的概率是多少。它把所有候选词的概率都算出来形成一张概率表然后从这张表里挑一个词出来接到你的输入后面。接着把新得到的完整文本再喂回模型继续预测下一个词。所以你看大模型从头到尾没有“答案”这个东西。它只有“下一个词的概率分布”。你最后看到的一整段回复是一个词一个词接力接出来的结果。整个过程就像在玩“成语接龙”只不过接龙的规则不是首尾相连而是“根据前面所有内容推测最合理的后续”。这个底层机制决定了三件很重要的事。第一模型不保证“对”它只保证“概率高”。很多时候概率高的词确实是正确答案但概率高不等于一定对尤其在推理题和事实题上最顺口的那个词往往不是最正确的。第二同一个问题问两遍答案可能不一样。因为模型在采集词的时候带有随机性每次从概率分布里“抽签”的结果可能不同。如果你把温度调高这种随机性会更明显就算用默认参数很多模型内部也会做采样而不是永远选概率最高的词。第三模型的“自信”和“正确”是两回事。AI用笃定的语气说话只说明它生成的那些词在概率上比较“顺”完全不代表它知道自己说的是错的。1.2 从logits到softmax概率是怎么算出来的既然说到了概率分布就得看看这个分布到底从哪来。这里有两个关键的中间步骤很多人第一次接触会有点懵但其实思路很直接。大模型内部有一个巨大的神经网络它把输入的每个token可以粗略理解为一个词或一个字映射成高维向量然后经过几十层、上百层的变换最终在输出端为词表里的每一个候选词算出一个分数。这个分数叫logit可以理解为“模型对这个词的原始偏好程度”。logit越高模型越倾向于选择这个词logit越低越不倾向。问题在于logit是一个没有边界的实数可以是正数也可以是负数直接拿它当概率用是不行的。所有候选词的logit加起来也不是1。于是需要做一个归一化处理把一堆任意实数变成一组加起来等于1、每个都在0到1之间的概率。这个归一化函数就是softmax。softmax的公式不复杂假设词表里有N个词第i个词的logit是z_i那么第i个词被抽中的概率就是[ P_i \frac{e^{z_i / T}}{\sum_{j1}^{N} e^{z_j / T}} ]T是温度参数后面会专门讲。先不管T你只需要抓住两个直观感受指数函数会把logit之间的差距放大分母是所有候选词的指数和起到“总量归一”的作用。举个例子。假如模型在预测“今天天气__”的下一个词词表里只剩三个候选词“很”的logit是5.0“真”是3.0“冷”是0.5。经过softmax之后“很”的概率大约能到0.8以上“真”大概0.1几“冷”不到0.05。于是模型大概率会说出“今天天气很”但如果做随机采样也有小概率说出“今天天气真”。关键点在于概率分布不是模型“算出来”的唯一答案而是模型对所有可能性的完整排序。你可以只看排名第一的词也可以从整个分布里做文章——这正是后面控制AI输出风格、减少幻觉的切入点。1.3 为什么AI不总是选概率最高的词既然模型已经有了每个词的概率那最稳妥的做法是什么当然是每次都选概率最高的那个词这样生成的文本在“平均意义”上最自然。这种策略叫“贪心解码”也叫greedy decoding。它确实能生成很流畅的文本但有一个致命问题无聊且容易陷入重复。想象一下如果每次都是概率最高的词胜出模型会倾向于走那条“最平坦的大路”。人说话其实不是这样的——很多时候我们会故意拐个弯用一个不那么常见的词或者为了修辞效果打破一点语法惯性。如果完全按最高概率来AI写出来的东西会非常“正确的平庸”甚至出现大量“死循环式”的重复段落因为陷入重复时下一个最高概率的词往往是刚才那个词本身。所以实际的大模型服务几乎都不会用纯贪心解码而是在预测每个词时加入随机采样温度采样、top-k、top-p这些名词本质上都是在调节“从概率分布里抽签”的方式。也就是从“每回都买最热门的那支股票”变成“允许在概率范围内做一点分散投资”。这也是为什么同一个Prompt提示词在不同时间调用结果可能不一样。很多人第一次遇到这种情况会以为系统出Bug了其实不是纯粹是采样随机性在起作用。2. 信息论视角从“概率”到“不确定性”2.1 信息量越出乎意料越“值钱”概率本身已经能帮我们理解AI了但如果想更上一层楼得引入信息论的视角。信息论里有一个很基础的概念叫“信息量”也叫“自信息”。一个事件的自信息量与它发生的概率成反比——确切地说是概率的负对数。[ I(x) -\log_2 P(x) ]用人话说一个事件越不可能发生一旦它真的发生了携带的信息就越多。晴天在广州不算新闻信息量很低下雪在广州就是大新闻信息量极高因为它的概率太低了。AI生成也是同一个道理。模型说“今天天气很”的时候这句话几乎没有信息量因为每个人都猜得到但模型说“今天天气像我们老板的心情”时这个词在概率分布里的排位可能很低可一旦被采样出来整句话的信息量就上去了。这就是为什么很多AI在写文案时如果你把温度调高它反而更容易给出“让人眼前一亮”的表达——你把高概率的平庸词压低了让低概率的新鲜词有机会冒出来。当然代价是它也可能给你说出完全离谱的话。信息量高不代表信息正确只代表“出乎意料”。2.2 熵衡量模型“犹豫”程度单个事件的信息量只描述一个词但我们需要一个指标来描述整个概率分布的“不确定程度”这就是信息熵Entropy。熵的计算公式是[ H -\sum_{i1}^{N} P_i \log P_i ]看着抽象其实直觉很简单熵是一个分布的“平均惊讶程度”。如果某个词的概率是0.99其他所有词加起来0.01那么模型非常确定下一个词就是它熵很低。如果10个词的概率都是0.1模型相当犹豫熵就高。如果1000个词的概率都差不多模型基本等于瞎猜熵非常高。你可以把熵理解成AI的“心虚程度”。当模型对预测下一个词很有把握时概率分布会集中在一个小区域熵低当模型不知道该怎么接话时概率分布会摊得很平熵高。这种信号在实际使用中很有价值——它告诉我们该不该相信AI的输出。不过要注意大模型API通常不会直接告诉你每一步的熵。你看到的只是最终生成的文本模型“心虚”的时刻不会暴露在文本里。但理解了熵你就能想通很多现象为什么让AI回答一个冷门事实性问题时它容易胡说八道因为在对答案没有把握的地方概率分布是平的模型在采样时等于摸黑走路自然容易撞墙。2.3 困惑度一个贯穿大模型的指标信息论在AI里最直接的落地指标可能就是困惑度Perplexity简称PPL。困惑度其实是指数形式的熵[ PPL 2^{H} ]一个模型的平均熵如果是1比特困惑度就是2平均熵如果是2比特困惑度就是4。困惑度越低说明模型对每一步预测的“平均惊讶程度”越小也就是越能把文本预测准。很多人在训练或评估语言模型时会遇到困惑度这个指标但容易忽略它的直觉含义。打个比方假如让你去猜一部电影的下一句台词你要是每句都能猜个八九不离十说明你对这部电影风格的困惑度很低要是每一句都猜不到困惑度就很高。语言模型的困惑度同理——它衡量的是“模型对语料有多熟悉”。在实际工程里困惑度还可以用来做“检测异常”这件事。一段文本如果是模型训练时常见的那类风格困惑度会很低如果风格诡异、信息密度异常、或者根本不像人话困惑度会飙高。所以后来很多“AI生成文本检测器”的基本盘就是拿目标模型的困惑度做特征之一。不过这个方向水很深检测器经常误判原因是困惑度只是一个统计特征不能直接等同于人写的还是AI写的。3. 概率分布如何塑造AI的“性格”和“毛病”3.1 温度把分布压扁或拉尖前面softmax公式里我留了一个T变量没展开讲它就是温度Temperature。温度的直观作用是改变概率分布的“陡峭程度”T越低分布越尖锐高概率词的优势越明显输出越确定T越高分布越平坦低概率词也有机会被选中输出越随机。具体来说当T趋近于0时softmax的结果会无限接近“只选logit最大的那个词”相当于贪心解码。T 1时就是原分布的softmax这是很多模型的默认基线。T越大比如1.5、2.0采样结果就越发散甚至可能出现语法混乱。不同任务需要不同的温度。我问过不少做AI产品的人大家最常用的经验值是这样的代码生成T 0.1到0.3。代码要求确定性宁可无聊也不能随机发挥。事实问答T 0.2左右。偏低温度减少胡编概率。创意写作T 0.7到1.0。太低了没灵气太高了容易跑偏。头脑风暴T 1.0到1.3。故意让模型“瞎说”再从中找灵感。这个参数不是玄学它直接作用在概率分布的形状上。你想让AI当一个严谨的工程师还是天马行空的诗人本质上就是在对同一个概率分布做不同的“整形”。3.2 top-p与top-k只在大池子里抽签温度调节的是整个概率分布的形态但有时候我们还需要限制“候选池”的范围这就轮到top-k和top-p出场了。top-k最简单每次只保留概率最高的k个词其他的全部清零再从这k个词里重新归一化采样。如果k50就是只从前50个最可能的词里抽后面的词再稀奇也不会被选中。这个策略的优点是稳定缺点是k是写死的不同语境下最佳的k不一样。top-p是目前大模型更常用的策略也叫核采样nucleus sampling。它不是固定保留几个词而是按概率从高到低累加直到累加和超过阈值p然后只在这个“核心集合”里采样。比如p0.9就保留“从概率最高的词开始、一直加到累计概率达到0.9为止”的那批词。概率分布平缓的时候候选池会变大概率分布尖锐的时候候选池会变小。它相当于自动匹配语境的不确定性。很多大模型API的默认设置里top-p和温度都会同时出现。我在实际调用时习惯先固定一个再调另一个避免两个参数互相打架。比如先用默认温度调top-p从0.9往下探找到重复率开始明显下降的临界值然后再回头微调温度。这样定位问题比两个参数一起动要清楚得多。3.3 幻觉的概率学解释关于大模型幻觉hallucination的讨论很多但很多人没意识到幻觉本质上是一个概率现象。模型在生成下一个词时所有词都有非零概率只是大小不同。哪怕“2024年奥运会主办城市是北京”这种明显错误的事实只要它词表中“北京”的logit不是绝对劣势在温度较高、或top-p较大、或上下文模糊的情况下它就可能被采样出来。模型不是“知道”北京是错的它只是在那个概率分布里抽到了这个不太可能的签。所以降低幻觉的方法绕来绕去都离不开“收紧概率分布”这条主线降低温度、减小top-p、给模型更明确的上下文、提供参考文本让正确答案在分布里的概率更高。这些年大家常说的RAG检索增强生成本质就是通过检索把正确事实塞进上下文里从而改变模型预测下一个词的概率分布让正确答案的logit升上去。想通这一点你就不会天真地问“大模型什么时候才能不胡说八道”了。只要它是基于概率采样的架构理论上就有胡说八道的可能。我们能做的只是把概率压到足够低而不是清零。3.4 长文本里概率乘积带来的退化还有一个非常隐蔽、但做长文本生成时会遇到的问题和概率的“乘法原理”有关。模型生成一整段文本按照链式法则整句话的概率等于每个词条件概率的乘积。也就是说[ P(w_1, w_2, ..., w_n) P(w_1) \times P(w_2|w_1) \times P(w_3|w_1,w_2) \times ... ]每个词的概率都小于1乘的次数多了总分必然越来越小而且经常小到溢出精度。这在数学上没什么大不了但它带来两个现实问题。第一个问题是长文本生成的“偏差累积”。前面某个词选得偏了一点后面的概率分布全都会跟着变偏差不断累积生成到几百个token之后内容可能已经漂移到和原始Prompt没什么关系了。这就像走钢丝每一步偏离的幅度都很小但走长了必然越偏越远。第二个问题是很多模型在续写长文本时局部重复的概率会逐渐升高——尤其是当某个小段落的概率明显高于其他候选时模型会倾向于反复采样这一小段形成“复读机”。这也是为什么很多API都有类似“重复惩罚”的参数。理解了这个概率乘积的背景再去调那类参数会更有方向感。4. 把概率直觉真正用起来4.1 调整API参数让输出更“确定”的实操方案如果你是开发者正在用大模型API做应用最应该掌握的实操能力就是根据场景去设置采样参数。下面这套组合是我在多个项目里试出来的通用建议不一定最优但至少能帮你少走弯路。给模型限死格式时把温度调到0到0.2top-p调到0.8左右。比如让模型输出JSON、Markdown表格、函数调用参数这时候任何创意都是事故。做内容改写、翻译时温度0.4到0.6。翻译尤其要保守因为“自然流畅”和“忠实原文”之间需要平衡较高温度容易意译过头。做创意生成、起标题、写slogan时温度0.8到1.0top-p可以到0.95。这时候你甚至可以把同一个Prompt跑10次从结果里挑最好的。做头脑风暴、发散联想时温度1.2起步甚至可以到1.5让模型的“意外感”拉满然后再用另一个普通温度的任务去筛选。一个值得提醒的细节是不同厂商对温度的实现略有差异有的范围是0到1有的是0到2不要拿到什么参数就直接套。还有的API在temperature之外提供了reasoning_effort或top_p这些字段的语义可能完全不同最好先看一眼文档再调。4.2 不直接暴露概率时怎么判断AI靠不靠谱事情到这一步还没完。很多情况下你根本没有权限看到模型内部每一步的概率分布只能看到最终文本。那我们能不能从文本反推模型的信心有两个信号可以试试。第一个信号是文本里是否有“我猜”“可能”“大概是”这类模糊限定词。在低温度下模型只有在预测分布不够尖锐时才更倾向于插入这些词来对冲不确定性。虽然这不是严格指标但在实际操作中它确实能帮你快速筛掉一批不可靠回答。第二个信号是让模型“重新回答一遍同一问题”。把问题保持不变多问几次观察答案之间的一致性。如果每次结果都高度一致说明在这个上下文下概率分布集中模型有“稳定倾向”如果每次答案差别巨大说明模型大概率在瞎猜那些token是从平坦的概率分布里随机采样的这时候果断不要信它。我还在内部工具里做过一个更工程化的做法对同一个问题让模型生成N次然后对输出做互相矛盾检测。比如请求中有“重要日期”这种事实属性跑5遍把出现的所有日期都列出来统计一致性。一致性低的事实类回答自动标记为“低可信”延迟给用户强断言。这套思路不复杂但非常有效因为它本质上是把模型内部的概率不确定性用多次采样的方式“外化”出来了。4.3 概率思维在周边工程里的价值这套“概率而非答案”的直觉不只适用于大模型本身周围很多工程问题也是一样的。比如校验码里的CRC8。为什么CRC8不能保证100%检测出所有错误因为它的校验空间只有256个值任意数据发生错误后碰巧映射到同一个校验值的概率是存在且可计算的。做文件传输、嵌入式通信的人不追求“绝对可靠”而是计算“漏检概率低到可接受”这就是典型的工程化概率思维。再比如风电功率预测本质上也是输出“未来一段时间功率的概率分布”而不是一个死数字。调度系统拿着这个分布去评估风险比拿单点预测值要靠谱得多。把这种视角带回大模型应用你会发现很多“看起来是Bug”的现象其实都在概率框架下说得通。为什么同一个Prompt在A平台和B平台效果差很多因为两个平台默认的采样参数、系统Prompt、解码器实现都不同。为什么加了一点Prompt措辞AI就像换了个人因为措辞改变了整个后续概率分布的形状。为什么AI有时候会“一本正经地胡说八道”因为它采样到的那个词在概率分布里虽然排名不低但根本不是事实。这些都是概率在背后起作用而不是AI有“性格”、有“立场”、有“情绪”。5. 最后想分享的几点概率直觉玩了大模型这么久我最大的感受是把AI当成“概率系统”而不是“答案系统”能省掉非常多不必要的困惑和愤怒。第一不要跟AI的随机性对抗要利用随机性。当工作需要稳定输出时调低温度当工作需要多样性时故意把温度调高多跑几次。很多做内容工具的人觉得“AI答案不稳定”是缺陷其实那个不稳定恰恰是产品价值的来源——如果你每次生成的结果都一样那说明它在做的是数据库查询而不是生成式AI。第二排查问题时先问自己“这个现象能不能用概率分布解释”。AI重复一个词、生成中断、输出过长或过短、风格漂移这中间绝大多数问题都和概率分布的采样方式有关而不是模型的“理解能力”出了故障。先把温度、top-p、max_tokens这些参数调一遍再考虑换模型这是成本最低的排查路径。第三对AI生成的内容保持概率性的信任度。我自己写代码和做技术调研时重要信息一定会在AI给的答案之外再验证一遍。倒不是我信不过工具而是我知道它给的每一句话都只是从概率分布里采出来的“可能合理的表达式”而“可能合理”不等于“真的正确”。掌握这套概率与信息论直觉之后你再去看那些“为什么AI又胡说八道了”的吐槽帖心里会很清楚那不是AI真的要骗你只是概率之神在掷骰子时抽中了一个高信息量的低概率签。理解了这个底层逻辑你才能从一个“被AI答案带着走”的使用者变成一个真正能控制AI行为的设计者。