简介这份PPT由清华大学人工智能研究院常务副院长孙茂松教授主讲面向希望系统了解人工智能与大模型技术脉络的高校学生、研究人员及技术从业者帮助建立从基础理论到前沿应用的完整认知框架。内容围绕“迈向通用智能的大模型技术”展开涵盖图灵测试、2012年图像识别突破、2016年AlphaGo等关键节点并深入剖析深度学习的三重境界——从白手起家、预训练模型加大小联调到预训练大模型加一巨托众小。同时讲解GPT-3的语言生成能力与幻觉问题以及AIGC的创造性、多样性与个性化特征辅以AI生成对联等案例。资源包为1个PDF文件大小约10.36MB结构清晰便于按讲次检索学习。目前已有299人学习下载适合作为课程讲义或自学参考帮助读者快速把握大模型发展现状与未来趋势。1. 从图灵测试到 GPT-3这份 PPT 把大模型演进讲透了如果你正在找一份能把「人工智能与大模型通论」讲清楚的课件又不想看满屏公式推导这份 PPT 值得翻一翻。它围绕「迈向通用智能的大模型技术」展开从 1950 年图灵在文章里提出的那个经典问题「Can machines think?」切入一路梳理到 2022 年 ChatGPT 与图灵测试的再次碰撞再到 GPT-3 的「下一个词预测」范式。整套内容不是堆概念而是用图灵测试、语音识别、图像识别、机器翻译、AlphaGo 这些节点串出一条清晰的演进线。适合高校学生、刚转大模型方向的开发者以及需要一份现成课件做内部技术分享的团队。它解决的核心问题是让你在最短时间内建立从深度学习三境界到 AIGC 特性的完整认知框架而不是碎片化地刷短视频。2. 深度学习三境界PPT 里的技术演进主线怎么读2.1 第一重境界白手起家与各家自扫门前雪PPT 里把深度学习的早期阶段概括为「白手起家 各家自扫门前雪」这个说法很形象。2010 年语音识别、2012 年图像识别、2015 年机器翻译每个任务都是独立建模、独立训练模型之间不共享知识。你在语音任务上训好的网络换到图像任务上基本要从头再来。这一阶段的典型特征是数据标注成本高、模型泛化能力弱、任务迁移几乎靠人肉调参。从工程视角看这个阶段对应的是「一个任务一个模型」的烟囱式架构。PPT 里用 2010 到 2015 的几个时间节点把这条线标出来其实是在为后面的「预训练 微调」做铺垫。如果你只记住「深度学习很厉害」却不知道它曾经这么笨拙就很难理解为什么预训练范式的出现会被称作一次范式转移。提示看这一部分时建议把 PPT 里的时间节点和对应的任务类型抄下来后面讲预训练时你会用到这张时间表。2.2 第二重境界预训练模型加大小联调到了第二重境界PPT 给出的关键词是「预训练模型 大小联调」。这个阶段的核心变化是先在大规模无标注数据上训练一个通用底座再针对具体任务做微调。模型开始具备一定的迁移能力不再需要每个任务都从零开始。你可以把它理解为「先上通识课再上专业课」——底座模型学的是语言的通用规律微调学的是具体任务的偏好。这一阶段在工程上的直接体现就是训练流程被拆成两段第一段吃算力、吃数据第二段吃标注质量、吃调参经验。PPT 里没有展开讲具体的微调策略但从「大小联调」这个措辞能看出来它强调的是大模型和小模型之间的配合而不是单纯把模型做大。很多团队在这个阶段踩的坑是底座没选好微调再怎么调都救不回来。2.3 第三重境界预训练大模型加一巨托众小第三重境界是 PPT 的重点「预训练大模型 一巨托众小」。一个巨大的预训练模型作为核心支撑大量下游小任务。GPT-3 就是这一境界的典型代表——它用「下一个词预测」这一个目标把世界知识和逻辑推理能力都压进了参数里。PPT 里举了几个例子来说明这种能力巴西首都的填空、签证与旅行的常识推理、90 分钟内赶到机场该叫什么车。这些例子看似简单但背后是模型在预训练阶段「学习并存储世界知识」和「学习得出合乎逻辑和常识的结论」两件事同时发生。从选型角度看这一境界意味着技术决策的重心从「怎么设计网络结构」转移到了「怎么准备数据、怎么设计提示、怎么评估幻觉」。PPT 里那句「大道至简语言生成模型 下一个词预测」是对这一转变最精炼的概括。你如果正在做技术选型这一页值得反复看——它解释了为什么现在大家都在卷数据质量和推理成本而不是卷网络层数。3. 把 GPT-3 的「下一个词预测」讲明白PPT 里的例子怎么复现3.1 从填空例子理解世界知识存储PPT 里给了三个填空例子分别对应世界知识、常识推理和逻辑结论。第一个例子是「The current capital of Brazil, since its construction in 1960, is [Brasilia]」。这个空填 Brasilia靠的是模型在预训练时见过大量关于巴西首都的文本。第二个例子是「She wanted to go to China or Japan. For China she couldn’t get a visa, so she went to [Japan]」这里需要的是排除法推理。第三个例子是「He had to be at the airport in 90min. Since his car was still in the shop and there were no busses going to the airport, he called a [taxi]」这是典型的常识链条。如果你想在本地复现这类填空行为最常见的做法是用一个开源的小规模语言模型做演示。下面这段代码用 Hugging Face 的 transformers 库加载一个因果语言模型对 PPT 里的第一个例子做掩码预测。注意这里用的是小模型做演示效果不能和 GPT-3 比但流程是一样的。from transformers import AutoModelForCausalLM, AutoTokenizer import torch # 加载一个小规模因果语言模型用于演示下一个词预测流程 model_name gpt2 # 实际项目中可替换为更大的开源模型 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name) # PPT 中的巴西首都例子把答案位置留空 prompt The current capital of Brazil, since its construction in 1960, is # 编码输入 inputs tokenizer(prompt, return_tensorspt) # 生成下一个词max_new_tokens1 表示只预测一个词 with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens1, do_sampleFalse, # 贪婪解码选概率最高的词 temperature1.0 ) # 解码输出 result tokenizer.decode(outputs[0], skip_special_tokensTrue) print(result)这段代码的逻辑很直接把提示词喂给模型让模型预测下一个 token。max_new_tokens1控制只生成一个词do_sampleFalse表示用贪婪解码而不是随机采样。参数上temperature在贪婪解码下不起作用但如果你改成do_sampleTrue它就会影响输出的随机性。PPT 里提到的「按概率随机游走」对应的就是采样解码而「幻觉」问题在采样模式下会更明显。注意小模型在事实性填空上经常翻车这不是代码问题是模型容量和训练数据的问题。PPT 里 GPT-3 的例子是用千亿级参数和海量数据换来的不要用小模型的失败来否定整个范式。3.2 用 top-p 采样复现 AIGC 的多样性PPT 里有一页专门讲 AIGC 的多样性举了对联生成的例子「夜阑卧听风吹雨」作为上联模型可以生成多个不同风格的下联比如「兴到狂吟雪满枝」「晓起坐看露湿衣」「醉后休夸柳漫山」。这些下联都符合对仗规则但意境各不相同。PPT 里标注了「top-p search」说明用的是核采样策略。下面这段代码演示如何用 top-p 采样生成多个候选输出。和上面的贪婪解码不同这里每次生成的结果都会不一样。from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_name gpt2 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name) # 用对联上联作为提示演示多样性生成 prompt 上联夜阑卧听风吹雨\n下联 inputs tokenizer(prompt, return_tensorspt) # 用 top-p 采样生成 3 个不同候选 for i in range(3): with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens10, do_sampleTrue, # 开启采样 top_p0.9, # 核采样只从累积概率 90% 的词里选 temperature0.8, # 温度越低越保守越高越随机 pad_token_idtokenizer.eos_token_id ) result tokenizer.decode(outputs[0], skip_special_tokensTrue) print(f候选 {i1}: {result})参数说明top_p0.9表示每次只从概率累积到 90% 的词表子集里采样这样既保留了多样性又不会选到太离谱的词。temperature0.8是一个偏保守的值如果你想要更「天马行空」的输出可以调到 1.0 甚至 1.2。PPT 里强调的「天马行空式创造性」和「个性化」在工程上就是靠这几个采样参数来控制的。提示top-p 和 temperature 不要同时调得太激进否则输出会变得不可读。常见做法是固定一个调另一个。3.3 幻觉问题的工程表现与观察方法PPT 里专门用一页讲 GPT 的「幻觉」问题原话是「强大而较为准确的理解和生成能力及与生俱来的幻觉问题」。它还举了几个中文例子来说明模型对语序和语义的敏感「山东最高的山是哪座山」和「哪座山是山东最高的」模型都能答但「山东最高的山是哪座山山西最高的山是哪座山」这种对比就会暴露问题。还有「北京的女孩很大气」和「北京女孩很大气」、「北京的大学很赞」和「北京大学很赞」这种分词歧义。从工程角度看幻觉不是 bug而是概率生成模型的固有特性。你可以在本地用下面的方法观察幻觉给模型一个它训练数据里没有的事实性问题看它是不是会编一个看起来很像真的答案。from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_name gpt2 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name) # 问一个模型大概率不知道的事实 questions [ 某虚构公司 2024 年的营收是多少, 某不存在的论文的作者是谁 ] for q in questions: inputs tokenizer(q, return_tensorspt) with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens20, do_sampleTrue, top_p0.9, temperature0.9, pad_token_idtokenizer.eos_token_id ) print(tokenizer.decode(outputs[0], skip_special_tokensTrue)) print(---)运行后你会看到模型一本正经地编出数字或人名。这就是 PPT 里说的「按概率随机游走」——它不是在检索事实而是在续写最像答案的文本。理解这一点你在做应用时就会知道事实性场景必须加外部知识库或检索环节不能裸用生成模型。4. 避坑与排查用这份 PPT 做技术分享时容易翻车的几个点4.1 把「三境界」讲成线性替代关系现象分享时容易说成「第一境界被第二境界淘汰第二境界被第三境界淘汰」。原因PPT 是按演进顺序排的但实际工程中三种模式并存。解决讲的时候补一句——现在很多团队还在用「预训练 微调」做垂直任务第三境界的「一巨托众小」是方向不是唯一解。4.2 用 GPT-3 的例子直接套小模型现象拿 PPT 里的巴西首都填空去测本地小模型发现答不对然后怀疑 PPT 有问题。原因GPT-3 是千亿级参数小模型是亿级容量差几个数量级。解决演示时明确说明模型规模差异或者直接用 API 做对比不要用小模型的失败来否定范式。4.3 忽略 top-p 和 temperature 的联动现象调了 temperature 发现输出变化不大或者调了 top-p 发现输出开始胡言乱语。原因两个参数都在控制随机性叠加调整会互相放大。解决先固定 top-p0.9只调 temperature或者固定 temperature0.8只调 top-p。一次只动一个变量。4.4 把幻觉当成可以「修好」的 bug现象试图通过调参或换模型彻底消除幻觉。原因幻觉是概率生成模型的固有特性不是实现缺陷。解决在应用层加检索增强或事实校验而不是在模型层追求零幻觉。PPT 里把幻觉和「强大理解能力」并列就是在暗示这是一个 trade-off。4.5 分享时堆太多时间线听众记不住现象PPT 里从 1950 年图灵测试一路讲到 2022 年 ChatGPT信息密度大听众容易走神。原因时间线是背景不是重点。解决把时间线压缩成一页重点讲三境界和 GPT-3 的「下一个词预测」这两个才是技术主线。5. 从 AIGC 特性到落地一份 PPT 的进阶用法5.1 用「三特性」框架评估生成任务PPT 里把 AIGC 的特性归纳为三条天马行空式的创造性、多样性、个性化。这三条其实可以直接拿来当评估框架。你在做生成类应用时可以问自己这个任务需要创造性吗需要多样性吗需要个性化吗如果三个都不需要那可能用规则或检索就够了不必上生成模型。比如对联生成三条都占需要创造性不能总是那几个下联、需要多样性不同风格、需要个性化根据用户偏好调整。而如果是客服自动回复创造性和多样性都不需要个性化也有限那用检索或模板就更稳。5.2 把「下一个词预测」当成理解大模型行为的钥匙PPT 里反复强调「大道至简语言生成模型 下一个词预测」。这句话不只是技术描述更是一种理解模型行为的方法论。当你遇到模型输出不符合预期时问自己在当前上下文下概率最高的下一个词是什么模型为什么会选这个词是训练数据里这种搭配多还是提示词里有歧义我自己的习惯是每次调试生成任务先把 temperature 设为 0用贪婪解码看模型最「确定」的输出是什么。如果贪婪解码都不对那说明提示词或模型选型有问题调采样参数也救不回来。如果贪婪解码对但采样后不对那就是随机性控制的问题。5.3 一份可以直接抄的分享大纲如果你要拿这份 PPT 做内部技术分享下面这个大纲可以直接用控制在 40 分钟以内时间段内容对应 PPT 页码0-5 分钟图灵测试与 2022 ChatGPT 的呼应第 2-5 页5-15 分钟深度学习三境界与时间线第 6-13 页15-25 分钟GPT-3 的下一个词预测与填空例子第 14-17 页25-35 分钟AIGC 三特性与对联案例第 18-20 页35-40 分钟幻觉问题与工程应对第 17 页这个大纲的好处是把时间线压缩到 10 分钟把 GPT-3 和 AIGC 展开讲最后用幻觉问题收尾听众带走的是「怎么用」而不是「发生了什么」。5.4 验证你是否真的理解了这份 PPT一个简单的自测方法合上 PPT用自己的话解释「为什么 GPT-3 能用下一个词预测这一个目标同时学到世界知识和逻辑推理」。如果你能说清楚「因为预测下一个词需要用到上文的所有信息包括事实和推理链条」那说明你抓住了核心。如果只能说「因为模型很大」那还需要再翻回去看第 14 到 16 页。从那以后我每次看技术课件都会先找它的「一句话主线」再去看细节怎么支撑这条主线。这份 PPT 的主线就是「从白手起家到一巨托众小下一个词预测是贯穿始终的底层机制」。抓住这条线20 页的内容就不会散。希望帮到你。本文还有配套的精品资源点击获取