从蒸馏到压缩:两种方式训练GPT-2小模型 Student
本文展示如何使用两种方式训练一个 GPT-2 Student 小模型一种是加载原始 GPT-2 模型直接蒸馏v1另一种是使用GPT2Config构建结构更小的模型进行压缩蒸馏v2。同时提供完整训练流程、代码与对比说明。 什么是模型蒸馏Distillation模型蒸馏是一种将大模型Teacher知识压缩到小模型Student的方法Teacher 输出 logits作为软标签指导 student 学习训练目标不再是标签而是“模仿”大模型的行为常用于模型压缩、推理加速、边缘部署 版本对比v1 vs v2方面distill_training.pyv1distill_training_v2.pyv2Student 构建方式直接加载 GPT2使用GPT2Config构建 6层小模型Transformer 层数126模型大小与 teacher 一样小一半场景适配蒸馏演示模型压缩 蒸馏 步骤通用结构两个版本都包含1️⃣ 加载模型和分词器teacher_modelGPT2LMHeadModel.from_pretrained(path_to_teacher).eval()tokenizerGPT2Tokenizer.from_pretrained(path_to_teacher)# v1加载标准 GPT2 作为 studentstudent_modelGPT2LMHeadModel.from_pretrained(gpt2).train()# v2构建 6层 transformer 小模型configGPT2Config(n_layer6,n_embd768,n_head12,vocab_size50257)student_modelGPT2LMHeadModel(config).train()vocab_size 必须一致否则 tokenizer 报错n_layer 越小模型越轻量蒸馏越有意义2️⃣ 构造数据集与 DataLoaderclassTextDataset(Dataset):def__init__(self,texts,tokenizer,max_length64):self.textstexts self.tokenizertokenizer self.max_lengthmax_lengthdef__getitem__(self,idx):inputsself.tokenizer(self.texts[idx],return_tensorspt,paddingmax_length,truncationTrue,max_lengthself.max_length)return{k:v.squeeze(0)fork,vininputs.items()}训练数据示例train_texts[Hello world!,The sky is blue.,AI is changing the world.,...]3️⃣ 蒸馏训练核心逻辑KL Lossloss_fntorch.nn.KLDivLoss(reductionbatchmean)lossloss_fn(student_logits.log_softmax(dim-1),teacher_logits.softmax(dim-1))使用 softmax log_softmax 组合符合 KL 散度要求不用交叉熵因为没有 ground truth label只有 teacher 输出作为 soft target4️⃣ 梯度更新流程optimizertorch.optim.AdamW(student_model.parameters(),lr5e-5)forbatchindataloader:input_idsbatch[input_ids].to(device)attention_maskbatch[attention_mask].to(device)withtorch.no_grad():teacher_logitsteacher_model(input_idsinput_ids,attention_maskattention_mask).logits student_logitsstudent_model(input_idsinput_ids,attention_maskattention_mask).logits lossloss_fn(student_logits.log_softmax(dim-1),teacher_logits.softmax(dim-1))optimizer.zero_grad()loss.backward()optimizer.step() 模型保存save_path./gpt2_student_v2# 或 gpt2_studentv1student_model.save_pretrained(save_path)tokenizer.save_pretrained(save_path)训练完成后即可用于推理支持使用 Hugging Face 接口加载。 总结蒸馏是一种让 student 模型模仿 teacher 的训练方式v1是结构不变的蒸馏偏向学习机制v2是结构压缩 蒸馏更适合部署使用 KL Loss 衡量两个模型输出概率分布的差异 本文为 GPT-2 蒸馏压缩项目第一篇共3篇第一篇从蒸馏到压缩两种方式训练GPT-2小模型 Student第二篇GPT-2 蒸馏模型推理实战标准 Student vs 压缩 Student 的调用对比第三篇GPT-2 蒸馏小模型部署实战Flask 封装推理接口与网页调用演示YoanAILab 技术导航页 项目源码 × 实战部署 × 转型经验一页总览 点击查看完整导航页 包含内容 GPT-2 项目源码GitHub✍️ CSDN 技术专栏合集 知乎转型日志

相关新闻

Plate 如何给选中文本添加批注式 Comment 评论?

Plate 如何给选中文本添加批注式 Comment 评论?

Plate 如何给选中文本添加批注式 Comment 评论? 【免费下载链接】plate Rich-text editor with AI and shadcn/ui 项目地址: https://gitcode.com/GitHub_Trending/pl/plate 在 Plate 编辑器里,批注式评论(Comment)是把一段…

2026/11/22 7:45:35 阅读更多 →
微信小程序在线音乐播放器:从InnerAudioContext到后台播放的实践

微信小程序在线音乐播放器:从InnerAudioContext到后台播放的实践

简介:一款面向微信小程序初学者的在线音乐示例工程,适配1028版本,压缩包内置完整源代码与运行截图,可直接导入开发者工具体验音乐列表播放与页面交互效果。资源一共41个文件,压缩包约72KB,主要类型包含10张…

2026/11/22 7:45:36 阅读更多 →
financial-services提示词调优指南:把Agent范围调整到你团队的实际做法

financial-services提示词调优指南:把Agent范围调整到你团队的实际做法

financial-services提示词调优指南:把Agent范围调整到你团队的实际做法 【免费下载链接】financial-services 项目地址: https://gitcode.com/GitHub_Trending/fi/financial-services financial-services 是 Anthropic 开源的金融行业 AI Agent 模板库&…

2026/11/18 10:43:24 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻