神经网络学习笔记指南:用 nn-zero-to-hero 亲手实现反向传播与语言模型
神经网络学习笔记指南用 nn-zero-to-hero 亲手实现反向传播与语言模型【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-heronn-zero-to-hero是 Neural Networks: Zero to Hero 视频课程的配套笔记本仓库每一讲都是一个 Jupyter Notebook跟着视频从零手写代码先实现支持反向传播的微型自动求导库micrograd再逐级搭出字符级语言模型makemore最终指向 GPT 的完整构建。它适合会基础 Python、希望搞懂神经网络训练与调试底层机制的学习者。仓库里有什么一个 README 加两个笔记本目录整个仓库非常精简核心内容就是 README.md 里的课程索引和lectures/下的代码lectures/micrograd/两半课对应的 notebook讲解标量计算图与反向传播的推导lectures/makemore/五个递进文件从 bigram 模型、MLP、批归一化BatchNorm、手动反向传播到类 WaveNet 的卷积网络。README 中的 Lecture 7从零构建 GPT和 Lecture 8GPT Tokenizer目前在仓库内没有对应 notebook需要配合视频中的外部练习链接使用本地可运行的是前六讲。两条主线先拆反向传播再建语言模型课程的组织逻辑是先懂原理再做工程。micrograd 系列只依赖 Python用上百行代码搭一个标量级的自动求导系统目标是把梯度是怎么传回来的讲透前置要求只有基础 Python 和高中学过的微积分概念。makemore 系列则是一条完整的模型迭代线bigrampart1最简单的二元字符统计模型同时引入torch.Tensor与语言模型的训练、采样、loss 评估框架MLPpart2换成多层感知机顺带覆盖学习率调参、过拟合、训练/验证/测试集划分等机器学习基本功BatchNormpart3检查前向激活与反向梯度的统计量用诊断可视化定位训练不稳定的原因手动反向传播part4不用loss.backward()对交叉熵、线性层、tanh、BatchNorm、embedding 逐层手推梯度在张量层面理解梯度流动CNNpart5把两层 MLP 加深为树状结构得到类似 DeepMind WaveNet 的卷积架构体会torch.nn的实际工作方式。环境准备装好 PyTorch 与 Jupyter 即可仓库里没有安装脚本环境很简单Python 3 PyTorch Jupyter。克隆后执行git clone https://gitcode.com/GitHub_Trending/nn/nn-zero-to-heropip install torch jupyter之后在lectures/micrograd/目录打开第一个 notebook 运行即可。micrograd 不依赖任何第三方库是验证环境最快的入口makemore 各节则依赖 PyTorch建议按文件名顺序推进因为 part2 之后的代码建立在前面文件的变量与函数之上。三个自检点loss 日志告诉你会不会判断自己是否真的跑通了可以看 notebook 里留存的调试记录part3 的 loss log原始 MLP 训练 loss 约 2.12修复 softmax 初始化、换用 Kaiming 初始化、引入 BatchNorm 后逐步降到 2.06 左右——这组数字就是诊断工具如何指导调参的实例part4 是明确设计成动手优先的练习作者建议在 Colab 上先自己做卡住再暂停视频看答案只看不练收益很小part5 的 performance log 记录了参数扩展的效果从 12K 参数验证 loss 2.105扩到 76K 参数验证 loss 1.993能直观感受模型容量与泛化的关系。如果某一步的 loss 明显高于这些参考值优先检查数据切分与学习率而不是怀疑框架。学完这两条线之后的下一步仓库本身停在 makemore part5README 标注 Ongoing意味着后续讲座会持续补充。合理的延伸路线是按 README 顺序补看 Lecture 7 与 8 的视频把 makemore 中积累的自回归语言建模经验迁移到 GPT 与分词器上。现在就可以做的具体动作克隆仓库打开 lectures/micrograd/micrograd_lecture_first_half_roughly.ipynb把第一个计算图的求导部分逐单元格跑通。项目采用 MIT 协议见 LICENSE代码可以任意改写练习。【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

树莓派Pico加旋转编码器:从转盘小电视到PWM舵机控制实战

树莓派Pico加旋转编码器:从转盘小电视到PWM舵机控制实战

从 DF 创客周刊 Vol.182 里看到“赛博朋克全息时钟”“树莓派 Pico 加个转盘转出一台小电视”“垃圾桶改造成联网空气净化器”这三个项目后,我最感兴趣的不是外观上的酷,而是它们背后都指向同一个问题:树莓派 Pico 这种几块钱到几十块钱的微控…

2026/11/16 20:46:09 阅读更多 →
如何用每天 10 分钟打字训练,把英语输入速度提上来

如何用每天 10 分钟打字训练,把英语输入速度提上来

如何用每天 10 分钟打字训练,把英语输入速度提上来 【免费下载链接】qwerty-learner 为键盘工作者设计的单词记忆与英语肌肉记忆锻炼软件 / Words learning and English muscle memory training software designed for keyboard workers 项目地址: https://gitcod…

2026/11/7 3:02:54 阅读更多 →
树莓派Pico实战:全息时钟、转盘电视与联网空气净化器制作指南

树莓派Pico实战:全息时钟、转盘电视与联网空气净化器制作指南

这周落进我收藏夹的,是 DF创客周刊 Vol.182 里三个方向很不同的项目:赛博朋克风格的“全息时钟”、用树莓派 Pico 加转盘做出来的小电视,以及把一个垃圾桶改成联网空气净化器。三件事听起来互相不沾边,但如果你准备自己动手复现&a…

2026/11/7 1:13:48 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/16 8:22:12 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/16 6:41:34 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/16 8:22:12 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/16 8:22:12 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/16 7:30:18 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/16 8:22:12 阅读更多 →

日新闻

周新闻

月新闻