Transformer与大语言模型：第14章 GPT

第14章 GPT本章目标：理解 GPT 的 Decoder-Only 架构，Next Token Prediction 的工作原理，以及为什么 GPT 能聊天。本章目录14.1 GPT 是什么？14.2 GPT 为什么采用 Decoder-Only 架构？14.3 GPT 最核心的训练任务：Next Token Prediction14.4 Causal Mask：为什么不能看到答案？14.5 GPT 的架构14.6 GPT 的生成过程14.7 为什么 GPT 能聊天？14.8 GPT 系列的演进14.9 从 GPT 到 ChatGPT：Instruction Tuning 与 RLHF14.10 GPT 的 Tokenizer14.11 TensorFlow 实现（简化版 GPT）14.12 采样策略14.13 GPT 完整推理流程：从 Prompt 到输出14.14 GPT 为什么不是"数据库"？14.15 GPT、BERT、RAG 的关系本章总结本章思考题下一章预告14.1 GPT 是什么？GPT（Generative Pre-trained Transformer）是 OpenAI 发布的语言模型系列。核心思想：在大量文本上预训练，学会预测下一个 Token，然后微调用于各种任务。14.2 GPT 为什么采用 Decoder-Only 架构？原始 Transformer 包含 Encoder + Decoder。其中：Encoder更适合理解和编码输入序列（BERT 走的这条路）Decoder更适合根据已有上下文生成输出序列GPT 的核心目标是生成，因此选择了 Decoder 作为基础。但它没有使用原始 Decoder 的全部结构：GPT DecoderMasked Self-AttentionFFN原始 Transformer DecoderMasked Self-AttentionCross-AttentionFFNGPT 去掉了 Cross-Attention——因为它没有 Encoder，不需要"关注编码器的输出"。GPT=Decoder-Only\text{GPT} = \text{Decoder-Only}GPT=Decoder-Only14.3 GPT 最核心的训练任务：Next Token PredictionGPT 的预训练任务非常简单：给定前面的 Token，预测下一个 Token。输入: I love deep 预测: learning 输入: I love deep learning 预测: . 输入: The capital of France is 预测: Paris以I love deep learning .为例，GPT 学习的是一系列条件概率：P(love∣I)P(\text{love} \mid \text{I})P(love∣I)P(deep∣I,love)P(\text{deep} \mid \text{I}, \text{love})P(deep∣I,love)P(learning∣I,love,deep)P(\text{learning} \mid \text{I}, \text{love}, \text{deep})P(learning∣I,love,deep)P(.∣I,love,deep,learning)P(\text{.} \mid \text{I}, \text{love}, \text{deep}, \text{learning})P(.∣I,love,deep,learning)统一写成：P(xt∣x1,x2,…,xt−1)P(x_t \mid x_1, x_2, \ldots, x_{t-1})P(xt​∣x1​,x2​,…,xt−1​)这个任务看起来简单，但要做好，模型必须理解语法、语义、记住事实知识、理解上下文。14.3.1 一整句话如何变成训练数据？关键做法：把序列错开一位，输入是原序列，目标是右移一位的序列。Input: I love deep learning Target: love deep learning .即：X=[I,love,deep,learning]X = [\text{I}, \text{love}, \text{deep}, \text{learning}]X=[I,love,deep,learning]Y=[love,deep,learning,.]Y = [\text{love}, \text{deep}, \text{learning}, \text{.}]Y=[love,deep,learning,.]对应关系：输入位置 预测目标 I → love I love → deep I love deep → learning I love deep learning → .Target=Input的右移版本\text{Target} = \text{Input 的右移版本}Target=Input的右移版本14.4 Causal Mask：为什么不能看到答案？训练时我们明明知道整个句子I love deep learning .——那模型预测love时会不会直接从输入里"偷看"到答案？会。所以 GPT 必须使用Causal Mask（因果掩码）：当前位置只能看到自己和过去，不能看到未来。I love deep learning I ✓ ✗ ✗ ✗ love ✓ ✓ ✗ ✗ deep ✓ ✓ ✓ ✗ learning ✓ ✓ ✓ ✓14.4.1 Causal Mask 的数学形式标准 Self-Attention：Attention(Q,K,V)=softmax(QKTdk)V\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)VAttention(Q,K,V)=softmax(dk​​QKT​)V加入 Causal Mask 后：Attention(Q,K,V)=softmax(QKTdk+M)V\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}} + M\right)VAttention(Q,K,V)=softmax(dk​​QKT​+M)V其中：Mij={ 0,j≤i−∞,jiM_{ij} = \begin{cases} 0, j \leq i \\ -\infty, j i \end{cases}Mij​={0,−∞,​j≤iji​未来位置加上−∞-\infty−∞，经过 Softmax 后e−∞=0e^{-\infty} = 0e−∞=0