nn-zero-to-hero:7 个笔记本手写反向传播,从零搭出语言模型
nn-zero-to-hero7 个笔记本手写反向传播从零搭出语言模型【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero看视频学神经网络暂停时觉得每一步都懂一敲代码梯度就乱飞反向传播到底在算什么BatchNorm 不加训练为什么崩这个仓库就是为这种卡点准备的——它不教你调 API而是把Neural Networks: Zero to Hero课程的每个推导做成能跑的 Jupyter 笔记本让你一行行把神经网络从标量级手写出来。仓库内容地图两个目录、七个笔记本全部内容集中在 lectures/ 目录下分两条学习线micrograd 线lectures/micrograd/micrograd_lecture_first_half_roughly.ipynb从零手搓一个标量自动求导引擎定义Value类、实现前向与backward()把链式法则敲进代码。micrograd_lecture_second_half_roughly.ipynb用这个引擎搭出两层小网络并训练看梯度怎么一步步流回去。makemore 线lectures/makemore/按 part1 到 part5 递增难度makemore_part1_bigrams.ipynb字符级 bigram 语言模型第一次接触torch.Tensor和语言模型训练—采样—算 loss的完整框架。makemore_part2_mlp.ipynb把 bigram 换成多层感知机顺带引入学习率、过拟合、train/dev/test 划分这些 ML 基础概念。makemore_part3_bn.ipynb检查多层 MLP 的前向激活和反向梯度统计讲清为什么深网络训练脆弱并引入 BatchNorm。makemore_part4_backprop.ipynb不用loss.backward()手动对整个网络做反向传播覆盖交叉熵、线性层、tanh、BatchNorm 到 embedding 全链路。makemore_part5_cnn1.ipynb把网络加深成树状结构搭出类似 WaveNet 的卷积架构顺带学会读torch.nn文档和盯张量 shape。根目录的 README.md 就是课程目录每一讲都写明了主题、前置要求和对应文件翻一下就知道自己该从哪儿切入。从克隆到第一次跑通上手路径克隆仓库git clone https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero准备环境装好 Python 和 PyTorchpip install torchmicrograd 部分只需要纯 Pythonmakemore 部分依赖torch。先跑 micrograd 两个笔记本前半段验证你能手推Value的求导后半段让网络真正训起来。切到 makemore_part1_bigrams.ipynb把 bigram 模型训练完并采样出看起来像人名的输出——这是你的第一个成果。按 part2 → part3 → part4 → part5 顺序推进每讲只加一层复杂度跑完一个再开下一个。四个容易卡住的地方跳过 micrograd 直接进 makemore所有自动求导都会变成黑盒到 part4 要求手推反向传播时基本无从下手。part4 只看不写这一讲的设计就是先让你自己推、卡住再对答案纯看一遍收获约打对折。part5 不打印 shape 就往下写CNN 部分torch.nn用法密度高张量形状猜错一层后面全错多print几行比查代码快。在仓库里找 GPT 那两讲的笔记本提醒一下README 里列的第 7 讲从零搭 GPT和第 8 讲GPT 分词器目前只有视频仓库里还没有对应文件。适合谁以及一个前置条件适合入门者想真正弄清反向传播在算什么而不是背公式。天天用 PyTorch 但没手写过 autograd 的开发者part4 会补上这块直觉。对 GPT、语言模型原理感兴趣的 NLP 学习者makemore 线就是通向 GPT 的铺垫。不适合只想快速调用现成模型出效果的场景这套课节奏偏慢直接看框架官方教程更快。前置条件需要 Python 基础以及高中水平的微积分记忆——至少能想起导数和链式法则是什么。底子太薄的话先花半天复习一下否则 micrograd 会看得很吃力。跑完 micrograd 前半段后做个自检不看代码你能不能自己写出x Value(3)这种标量的backward()能就可以进 makemore 了。【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

相关新闻

Isaac Lab 3.0 快速上手:三步跑通你的第一个机器人强化学习仿真

Isaac Lab 3.0 快速上手:三步跑通你的第一个机器人强化学习仿真

Isaac Lab 3.0 快速上手:三步跑通你的第一个机器人强化学习仿真 【免费下载链接】IsaacLab Unified framework for robot learning with multi-physics/renderer support 项目地址: https://gitcode.com/GitHub_Trending/is/IsaacLab 你想在 GPU 上训练一个四…

2026/11/16 11:25:29 阅读更多 →
Pygame 弹球模拟器(Bouncing Ball Simulator):基于重力与弹性碰撞的物理仿真入门实战

Pygame 弹球模拟器(Bouncing Ball Simulator):基于重力与弹性碰撞的物理仿真入门实战

示例工程 【免费下载链接】python-mini-projects A collection of simple python mini projects to enhance your python skills 项目地址: https://gitcode.com/gh_mirrors/py/python-mini-projects 点击查看 免费下载 python-mini-projects 仓库中的 projects/Bo…

2026/11/19 13:57:17 阅读更多 →
Spring Security认证与授权实战指南

Spring Security认证与授权实战指南

1. Spring Security 学习路线规划Spring Security作为Java生态中最成熟的安全框架,其官方文档体系庞大且层次分明。根据我多年企业级应用开发经验,建议按以下顺序系统学习:认证(Authentication)体系:从最基…

2026/11/5 9:12:30 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/18 13:59:04 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/18 15:33:23 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/18 17:05:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/18 14:33:19 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/18 17:05:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/18 14:13:08 阅读更多 →

日新闻

周新闻

月新闻