nanoGPT 手把手教程：3分钟跑通第一个GPT模型，复现GPT-2与微调全流程

nanoGPT 手把手教程3分钟跑通第一个GPT模型复现GPT-2与微调全流程【免费下载链接】nanoGPTThe simplest, fastest repository for training/finetuning medium-sized GPTs.项目地址: https://gitcode.com/GitHub_Trending/na/nanoGPTnanoGPT 是目前最精简的 GPT 训练与微调仓库之一核心只有约 600 行代码。本文带你走通环境搭建、训练字符级模型、文本生成、复现 GPT-2、微调和调优排错的全部环节零基础也能逐条命令跑通。它解决了什么问题这一章帮你先判断一件事你手上要做的 GPT 实验是不是适合用 nanoGPT 来做。代码量小到能读完训练入口 是约 300 行的标准训练循环模型定义 约 300 行实现完整 GPT 结构没有多余的抽象层出问题一眼能定位。复现 GPT-2 有真实基准训练入口 可以在单节点 8×A100 40GB 上于约 4 天内复现 GPT-2124M 参数验证损失降到约 2.85与官方模型微调后的水平相当。硬件门槛压得很低单卡、普通笔记本甚至纯 CPU 的 MacBook 都能跑字符级训练官方给出了各档硬件的现成参数组合。全链路工具齐备从 数据准备脚本、训练入口、采样脚本 到 性能基准一条流水线不用换仓库。对比项minGPTnanoGPT定位教学导向的 GPT 实现性能优先的训练/微调仓库代码风格讲解性强、结构较松精简紧凑、贴近真实训练适用场景理解原理快速跑真模型、微调、复现实验从零跑通第一个模型这一章帮你把依赖装齐、数据备好并让第一条训练命令顺利出结果。两条命令完成环境准备先装依赖一共七个包pip install torch numpy transformers datasets tiktoken wandb tqdm装完后python -c import torch不报错就说明 PyTorch 就绪transformers用来加载 GPT-2 权重tiktoken是 OpenAI 的 BPE 分词器wandb是可选的日志工具。再拿到代码仓库为只读直接克隆即可使用git clone https://gitcode.com/GitHub_Trending/na/nanoGPT cd nanoGPT把莎士比亚语料转成整数序列训练前先运行 字符级数据准备脚本它会下载约 1MB 的莎士比亚文本并把文本编码成整数流python data/shakespeare_char/prepare.py跑完后在data/shakespeare_char/目录下出现train.bin和val.bin两个文件即为成功。一条命令启动训练看损失确认收敛配置文件 config/train_shakespeare_char.py 已经调好直接启动python train.py config/train_shakespeare_char.py这个配置训练的是一个 6 层、6 个注意力头、384 维嵌入的小 GPTblock_size为 256模型一次最多参考前 256 个字符batch_size为 64每次迭代消耗的样本数learning_rate为 1e-3max_iters为 5000总训练步数。在一张 A100 上约 3 分钟跑完终端会持续打印 loss验证损失最低可稳定到1.4697左右——看到 val 值在 1.5 附近徘徊就说明模型收敛了。让模型开口说话这一章帮你从刚训好的模型里生成第一段文本并搞懂每种硬件下该怎么启动。三种硬件如何选启动命令训练命令随硬件变化采样命令则统一。先对照你的设备选训练方式# GPU直接用默认配置 python train.py config/train_shakespeare_char.py有 GPU 就照上面跑CPU 用户需要同时关掉torch.compile加--compileFalse并缩小模型和上下文python train.py config/train_shakespeare_char.py --devicecpu --compileFalse \ --block_size64 --batch_size12 --n_layer4 --n_head4 --n_embd128 \ --max_iters2000 --lr_decay_iters2000 --dropout0.0device指定运行设备n_layer / n_head / n_embd分别控制层数、注意力头数和嵌入维度CPU 上约 3 分钟也能跑完验证损失约 1.88样本质量略差但流程完整。Apple Silicon 的 MacBook 用--devicemps调用芯片内 GPU可获得约 2-3 倍加速python train.py config/train_shakespeare_char.py --devicemps采样命令和关键参数怎么调训练结束后 checkpoint 写在out-shakespeare-char目录把 采样脚本 指过去即可python sample.py --out_dirout-shakespeare-charout_dir指定读取哪个输出目录。每次运行生成的文本都不一样字符级模型的典型输出大致是这种有格式、有角色名、句法略显荒诞的样子BALTHAZAR: I am not so much in the way to you But that I would be gone, and if you must Then speak no more of this, for I am As ready as the day is long.想控制生成行为常用这几个参数参数作用--start指定生成起始文本提示词--num_samples生成几段样本--max_new_tokens每段最多生成多少 token--temperature采样随机程度0 为完全确定性输出如果不想自己训练也可以直接对 OpenAI 官方预训练模型做推理把--init_fromgpt2-xl换成gpt2、gpt2-medium、gpt2-large可选不同规格python sample.py --init_fromgpt2-xl \ --startThe moon rose above the castle \ --num_samples3 --max_new_tokens100从玩具到生产GPT-2 复现与微调这一章帮你在多卡环境复现 GPT-2124M并学会用官方 checkpoint 做低成本微调。准备 OpenWebText 语料GPT-2 复现使用 OpenWebTextOpenAI WebText 的开源重建版先运行 数据准备脚本 下载并用 GPT-2 的 BPE 分词器编码python data/openwebtext/prepare.py完成后同样得到train.bin和val.bin里面是 uint16 编码的 token 序列。一行命令启动 8 卡分布式训练有 8×A100 40GB 节点的话用 DDP 启动即可torchrun --standalone --nproc_per_node8 train.py config/train_gpt2.py整轮训练约 4 天验证损失降到约2.85。注意一个基准细节官方 GPT-2 直接在这个数据集上评估损失约 3.11微调后才到 2.85所以 2.85 才是合理的对比线——你的模型到了这个数字就可以说复现成功。微调时哪些参数要改微调不从头训而是加载预训练权重继续训小数据集微调配置 里三个参数最关键init_from初始化的预训练模型示例用gpt2-xl显存不够可换更小的gpt2、gpt2-mediumlearning_rate微调用 3e-5 这种小学习率避免冲掉预训练知识max_iters小数据集 20 步左右即可约 9 个 epoch 的量级数据准备用词元级脚本比字符级快几秒完成然后启动python data/shakespeare/prepare.pypython train.py config/finetune_shakespeare.py微调在单卡上几分钟就能结束最佳 checkpoint 落在配置里的out_dir默认out-shakespeare。用它采样python sample.py --out_dirout-shakespeare同样每次输出不同微调后的文本语感明显更接近真莎士比亚JULIET: And therefore, since the world is so unkind, I will be bold and tell thee what I think: If thou art one that would be true to me, Then prove it now, and let us part no more.调优技巧与常见问题这一章帮你在遇到慢、卡、崩的时候快速止血。三个提速手段默认已开启 torch.compile训练入口 使用 PyTorch 2.0 编译官方数据是单步时间从约 250ms 降到 135ms无需额外操作。混合精度加--dtypebfloat16用 bfloat16 计算可明显降低显存占用并提速。梯度累积用--gradient_accumulation_steps在单卡上模拟更大 batch显存不够但想要大 batch 时优先试它。迭代时间存疑时跑 性能基准脚本它只保留训练循环核心来对比机器与配置差异。高频问题速查症状处理显存不足OOM调小--batch_size或--block_size微调时换更小的init_from损失波动、不收敛降低learning_rate加大warmup_iterstorch.compile 相关报错如 Windows加--compileFalse变慢但能跑CPU 上训练太慢缩小--block_size、--n_layer、--max_iters想确认是不是机器问题用 bench.py 对比单步耗时跑通之后还能做什么到这里你已经完成了从字符级训练到 GPT-2 复现、微调的完整闭环下一步的探索成本都很低因为可读的代码就摆在那里。改 模型定义尝试 RoPE、ALiBi 等其他位置编码照着 数据准备脚本 写一个自己的语料预处理训领域模型用 bench.py 做配置对比找到你的机器上的最优规模翻一遍 配置目录理解每档模型对应的参数组合另需留意作者已发布后继项目 nanochat仓库 README 标注 nanoGPT 偏历史性质长期规划建议同时关注两者的状态。选一台你手边的机器先把train_shakespeare_char那条命令跑起来——3 分钟后你就有自己的 GPT 了。【免费下载链接】nanoGPTThe simplest, fastest repository for training/finetuning medium-sized GPTs.项目地址: https://gitcode.com/GitHub_Trending/na/nanoGPT创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考