1. 从零上手PyTorch：为什么它成了深度学习项目的第一选择如果你刚开始接触深度学习，或者从其他框架迁移过来，大概率会面临一个很现实的问题：到底该用哪个框架把想法跑起来。我这些年带过不少刚入行的朋友，发现大家卡住的地方往往不是数学推导，而是"环境装不上""张量维度对不齐""训练循环写不明白"这类工程细节。PyTorch之所以在近几年成为学术界和工业界的主流选择，核心原因就一个：它让写代码的人感觉自己在写Python，而不是在跟框架搏斗。PyTorch本质上是一个基于动态计算图的深度学习框架。说人话就是，你写的每一行运算代码，它当场就执行，不像早期某些框架那样需要先"画好一张图"再喂数据。这种即时执行的方式，调试起来跟调试普通Python程序几乎没区别，你可以在任意位置打断点、打印中间结果、甚至临时改一行逻辑重新跑。对于做研究、做原型验证的人来说，这个特性省下来的时间是以天为单位计算的。这篇文章适合三类人看：第一类是刚学完机器学习基础、准备动手跑第一个神经网络的新手；第二类是从其他框架转过来、想快速摸清PyTorch脾气的开发者；第三类是做项目时需要快速搭训练流程、但总在环境配置和维度变换上翻车的实践者。我会从环境搭建讲到张量操作，再到完整的训练循环和显存优化，把每个环节里最容易踩的坑和背后的原因都摊开说清楚。需要提前说明的是，下面涉及的所有代码和参数都是基于常见实践给出的参考方案，具体到你的机器配置和任务类型，数值可能需要微调。但思路和排查方法是通用的，照着走基本不会跑偏。2. 环境搭建：别让版本冲突毁掉你的第一个项目2.1 为什么强烈建议用虚拟环境而不是全局安装我见过太多人第一次装PyTorch就直接往系统Python里怼，结果跑通了一个项目，第二个项目需要不同版本的依赖，整个环境就崩了。虚拟环境的核心价值在于隔离——每个项目有自己独立的包目录，互不干扰。你可以用conda也可以用venv，我个人更倾向conda，因为它在处理CUDA相关的二进制依赖时更省心。具体操作上，先创建一个指定Python版本的环境：conda create -n pytorch-lab python=3.10 conda activate pytorch-lab这里选3.10而不是最新的3.12，是因为很多科学计算库对最新Python版本的支持会滞后几个月，用3.10能避开大量"装不上"的报错。这是经验之谈，不是技术限制。2.2 版本匹配：CUDA、驱动、PyTorch三者的关系这是新手翻车最集中的地方。你需要搞清楚三个东西的版本关系：显卡驱动版本、CUDA运行时版本、PyTorch编译时对应的CUDA版本。很多人以为要自己手动装CUDA Toolkit，其实不用——PyTorch的安装包已经自带了对应的CUDA运行时，你只需要保证显卡驱动足够新就行。查看驱动支持的最高CUDA版本，用这条命令：nvidia-smi右上角会显示"CUDA Version: 12.x"之类的信息，这代表你的驱动最高能支持到这个版本。然后去PyTorch官网的安装页面，选择不超过这个版本的CUDA。比如驱动显示12.4，你可以选CUDA 12.1的PyTorch包，向下兼容是没问题的。安装命令大致长这样（以CUDA 12.1为例）：pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121注意：如果你没有独立显卡，或者只是想先跑通CPU版本，把index-url换成cpu对应的地址即可。CPU版本功能完全一样，只是训练慢，学习阶段完全够用。2.3 验证安装是否真正可用装完之后别急着写模型，先跑一段验证代码，确认三件事：PyTorch能导入、CUDA能用、张量能在GPU上运算。import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else "CPU only") x = torch.randn(3, 3) if torch.cuda.is_available(): x = x.to("cuda") print(x.device)如果is_available()返回False，先别怀疑PyTorch，九成是驱动太旧或者装成了CPU版本。这时候回退到上一步检查驱动版本，重新装对应CUDA的包。我踩过的一次坑是：明明装了CUDA版本，但虚拟环境里之前残留了一个CPU版本的torch，pip没有覆盖干净，导致一直用不了GPU。解决办法是先pip uninstall torch彻底卸载，再重新安装。3. 张量操作：PyTorch里90%的报错都源于维度没搞清3.1 张量到底是什么，和NumPy数组差在哪张量可以理解成NumPy数组的加强版，多了两个关键能力：能在GPU上跑，能自动求导。如果你熟悉NumPy，那张量的创建、切片、广播规则几乎可以无缝迁移。区别在于，张量多了一个requires_grad属性，一旦设为True，PyTorch就会追踪所有基于它的运算，为反向传播做准备。创建张量的常见方式：import torch a = torch.tensor([1.0, 2.0, 3.0]) # 从列表创建 b = torch.zeros(2, 3) # 全零 c = torch.randn(4, 5) # 标准正态分布 d = torch.arange(0, 10, 2) # 类似range e = torch.from_numpy(np_array) # 从NumPy转换，共享内存这里有个容易忽略的点：torch.from_numpy创建的张量和原NumPy数组共享同一块内存，改一个另一个也会变。如果你想要独立副本，用torch.tensor(np_array)或者加.clone()。3.2 维度变换：view、reshape、permute的区别与选择维度对不齐是报错之王。我统计过自己早期遇到的错误，大概七成都是"shape mismatch"。要解决这个问题，先得搞清楚几个变换函数的差异。view要求张量在内存里是连续的，它只是换个角度看同一块数据，不复制。reshape更宽容，如果内存不连续它会自动复制一份再变形。permute则是真正改变维度顺序，比如把(通道, 高, 宽)变成(高, 宽, 通道)，它会动数据排列。x = torch.randn(2, 3, 4) print(x.view(6, 4).shape) # (6, 4) print(x.reshape(6, 4).shape) # (6, 4) print(x.permute(2, 0, 1).shape) # (4, 2, 3)实操建议：不确定内存连不连续时，直接用reshape，它不会报错。但如果你明确知道数据连续、想省内存，用view。permute多用于图像数据在"通道优先"和"通道后置"之间转换，比如从PyTorch的NCHW转到某些库需要的NHWC。3.3 广播机制：让不同形状的张量能一起运算广播是NumPy和PyTorch都有的机制，规则是从最后一个维度往前对齐，维度大小为1的可以自动扩展。举个例子：a = torch.randn(4, 1, 3) b = torch.randn(2, 3) c = a + b # 结果形状 (4, 2, 3)这里b被广播到(4, 2, 3)。理解广播的关键是：从右往左逐维比较，要么相等，要么其中一个是1，否则报错。我建议在写涉及两个张量运算的代码时，养成打印shape的习惯，能省下大量调试时间。提示：广播虽然方便，但会隐式复制数据，在大张量上可能吃显存。如果发现显存异常增长，检查一下是不是广播导致的。4. 构建第一个神经网络：从nn.Module到完整训练循环4.1 用nn.Module组织模型的标准写法PyTorch定义模型的标准方式是继承nn.Module，在__init__里声明层，在forward里定义前向传播。这种写法看起来有点模板化，但它的好处是PyTorch能自动帮你管理参数、支持GPU迁移、支持保存加载。import torch.nn as nn class SimpleNet(nn.Module): def __init__(self, in_dim, hidden, out_dim): super().__init__() self.fc1 = nn.Linear(in_dim, hidden) self.relu = nn.ReLU() self.fc2 = nn.Linear(hidden, out_dim) def forward(self, x): x = self.fc1(x) x = self.relu(x) x = self.fc2(x) return x这里有个细节：super().__init__()必须调用，否则PyTorch无法正确注册子模块，后面parameters()会返回空。我见过有人漏写这行，结果训练时loss完全不降，排查半天才发现参数根本没被优化器接管。4.2 损失函数与优化器的搭配逻辑损失函数衡量预测和真实的差距，优化器负责根据梯度更新参数。分类任务常用交叉熵，回归任务常用均方误差。优化器方面，Adam因为对学习率不敏感、收敛快，成了大多数人的默认选择；SGD配合动量在需要精细调优时表现更好。model = SimpleNet(10, 64, 2) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)注意CrossEntropyLoss内部已经包含了softmax，所以模型最后一层不要再加softmax，否则等于做了两次，梯度会出问题。这是新手极容易犯的错误。4.3 训练循环的五个必备步骤一个完整的训练循环包含：前向传播、计算损失、梯度清零、反向传播、参数更新。顺序不能乱，尤其是梯度清零必须在反向传播之前。for epoch in range(epochs): for xb, yb in dataloader: pred = model(xb) loss = criterion(pred, yb) optimizer.zero_grad() loss.backward() optimizer.step()为什么梯度要清零？因为PyTorch默认会累加梯度，如果不清零，这次算的梯度会叠加到上次的上面，导致更新方向错误。这个设计是为了支持梯度累积这种高级用法，但日常训练必须手动清零。4.4 验证集与过拟合的判断训练过程中要定期在验证集上评估，观察训练损失和验证损失的走势。如果训练损失持续下降但验证损失开始上升，说明模型开始过拟合。这时候可以考虑加Dropout、加权重衰减、或者早停。model.eval() with torch.no_grad(): for xb, yb in val_loader: pred = model(xb) val_loss += criterion(pred, yb).item() model.train()model.eval()会关闭Dropout和BatchNorm的训练行为，torch.no_grad()则关闭梯度追踪，省显存也加速。这两个在验证阶段必须加上，否则验证结果会不稳定。5. 显存不够用？几个立竿见影的优化手段5.1 批大小与显存的换算关系显存占用大致和批大小成正比。如果你遇到"CUDA out of memory"，最直接的办法是把batch size减半。但要注意，减半后学习率最好也相应调整，因为每次更新的样本数变了。经验法则是batch size减半，学习率乘以0.5到0.7之间。5.2 梯度累积：小显存模拟大批量如果显存实在小，但又想用大批量训练，可以用梯度累积。思路是多次前向反向累积梯度，攒够一定步数再更新一次参数。accum_steps = 4 for i, (xb, yb) in enumerate(dataloader): pred = model(xb) loss = criterion(pred, yb) / accum_steps loss.backward() if (i + 1) % accum_steps == 0: optimizer.step() optimizer.zero_grad()注意损失要除以累积步数，这样梯度的量级才和真正的大批量一致。5.3 混合精度训练：几乎免费的加速混合精度用float16做前向和反向，用float32保存参数，能在几乎不损失精度的情况下省一半显存、提速30%以上。PyTorch内置了torch.cuda.amp，用起来很简单：scaler = torch.cuda.amp.GradScaler() for xb, yb in dataloader: with torch.cuda.amp.autocast(): pred = model(xb) loss = criterion(pred, yb) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() optimizer.zero_grad()GradScaler的作用是防止float16下梯度下溢，它会自动缩放损失。这套组合我在多个项目里用过，稳定性很好，基本是标配。6. 模型保存与加载：别让训练成果白费6.1 state_dict与整个模型的保存差异保存模型有两种方式：保存整个模型对象，或者只保存参数字典。强烈建议用后者，因为前者依赖具体的类定义路径，换环境容易加载失败。torch.save(model.state_dict(), "model.pth") model = SimpleNet(10, 64, 2) model.load_state_dict(torch.load("model.pth")) model.eval()加载时先实例化同样的结构，再load参数。如果结构对不上，会报key不匹配的错误，这时候要仔细核对层的名字和维度。6.2 断点续训：保存优化器状态如果训练很久，中途可能中断，这时候需要保存优化器状态和当前epoch，才能无缝续训。checkpoint = { "epoch": epoch, "model": model.state_dict(), "optimizer": optimizer.state_dict(), "loss": loss.item() } torch.save(checkpoint, "ckpt.pth")恢复时把这三样都load回去，从保存的epoch继续跑。这个习惯在跑长任务时能救命。7. 常见报错与排查思路7.1 shape mismatch的定位方法遇到维度错误，第一步是打印出错那行涉及的所有张量shape。PyTorch的报错信息通常会告诉你哪两个维度对不上，比如"Expected input batch_size (32) to match target batch_size (16)"，这说明数据和标签没对齐。检查DataLoader是否打乱了顺序、是否用了不同的batch size。7.2 损失不下降的几种可能损失不降通常有几个原因：学习率太大导致震荡、太小导致几乎不动；标签和预测没对齐；损失函数用错（比如分类用了MSE）；模型最后一层激活函数重复。排查顺序是先看学习率，再看数据，最后看模型结构。7.3 GPU利用率低的排查如果发现GPU利用率忽高忽低，多半是数据加载成了瓶颈。解决办法是增大DataLoader的num_workers，开启pin_memory，把数据预处理尽量放到GPU上做。dataloader = DataLoader(dataset, batch_size=32, shuffle=True, num_workers=4, pin_memory=True)num_workers设成CPU核心数左右比较合适，设太大反而会因为进程切换开销变慢。8. 我个人的几条实操心得第一，永远先在小数据上跑通全流程，再上全量数据。我习惯先用几十条样本跑几个epoch，确认loss能降、能保存能加载，再放开跑。这样能把大部分低级错误在几分钟内暴露出来。第二，随机种子要固定。做实验对比时，不固定种子会导致结果不可复现，你根本分不清是改动有效还是随机波动。torch.manual_seed(42) torch.cuda.manual_seed_all(42)第三，善用torchinfo这类工具打印模型结构和参数量，比手动数层靠谱得多。参数量直接关系到显存和推理速度，心里要有数。第四，学习率是最重要的超参数，没有之一。如果只能调一个参数，就调它。配合余弦退火或者阶梯下降，往往比固定学习率效果好一截。这套流程我在多个图像分类和文本分类项目里反复用过，从环境搭建到训练调优，基本覆盖了新手到进阶的主要环节。真正跑起来之后你会发现，PyTorch的门槛不在语法，而在对张量维度和训练动态的直觉，而这个直觉只能靠多跑、多打印、多踩坑积累出来。
1. 从零上手PyTorch：为什么它成了深度学习项目的第一选择如果你刚开始接触深度学习，或者从其他框架迁移过来，大概率会面临一个很现实的问题：到底该用哪个框架把想法跑起来。我这些年带过不少刚入行的朋友，发现大家卡住的地方往往不是数学推导，而是"环境装不上""张量维度对不齐""训练循环写不明白"这类工程细节。PyTorch之所以在近几年成为学术界和工业界的主流选择，核心原因就一个：它让写代码的人感觉自己在写Python，而不是在跟框架搏斗。PyTorch本质上是一个基于动态计算图的深度学习框架。说人话就是，你写的每一行运算代码，它当场就执行，不像早期某些框架那样需要先"画好一张图"再喂数据。这种即时执行的方式，调试起来跟调试普通Python程序几乎没区别，你可以在任意位置打断点、打印中间结果、甚至临时改一行逻辑重新跑。对于做研究、做原型验证的人来说，这个特性省下来的时间是以天为单位计算的。这篇文章适合三类人看：第一类是刚学完机器学习基础、准备动手跑第一个神经网络的新手；第二类是从其他框架转过来、想快速摸清PyTorch脾气的开发者；第三类是做项目时需要快速搭训练流程、但总在环境配置和维度变换上翻车的实践者。我会从环境搭建讲到张量操作，再到完整的训练循环和显存优化，把每个环节里最容易踩的坑和背后的原因都摊开说清楚。需要提前说明的是，下面涉及的所有代码和参数都是基于常见实践给出的参考方案，具体到你的机器配置和任务类型，数值可能需要微调。但思路和排查方法是通用的，照着走基本不会跑偏。2. 环境搭建：别让版本冲突毁掉你的第一个项目2.1 为什么强烈建议用虚拟环境而不是全局安装我见过太多人第一次装PyTorch就直接往系统Python里怼，结果跑通了一个项目，第二个项目需要不同版本的依赖，整个环境就崩了。虚拟环境的核心价值在于隔离——每个项目有自己独立的包目录，互不干扰。你可以用conda也可以用venv，我个人更倾向conda，因为它在处理CUDA相关的二进制依赖时更省心。具体操作上，先创建一个指定Python版本的环境：conda create -n pytorch-lab python=3.10 conda activate pytorch-lab这里选3.10而不是最新的3.12，是因为很多科学计算库对最新Python版本的支持会滞后几个月，用3.10能避开大量"装不上"的报错。这是经验之谈，不是技术限制。2.2 版本匹配：CUDA、驱动、PyTorch三者的关系这是新手翻车最集中的地方。你需要搞清楚三个东西的版本关系：显卡驱动版本、CUDA运行时版本、PyTorch编译时对应的CUDA版本。很多人以为要自己手动装CUDA Toolkit，其实不用——PyTorch的安装包已经自带了对应的CUDA运行时，你只需要保证显卡驱动足够新就行。查看驱动支持的最高CUDA版本，用这条命令：nvidia-smi右上角会显示"CUDA Version: 12.x"之类的信息，这代表你的驱动最高能支持到这个版本。然后去PyTorch官网的安装页面，选择不超过这个版本的CUDA。比如驱动显示12.4，你可以选CUDA 12.1的PyTorch包，向下兼容是没问题的。安装命令大致长这样（以CUDA 12.1为例）：pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121注意：如果你没有独立显卡，或者只是想先跑通CPU版本，把index-url换成cpu对应的地址即可。CPU版本功能完全一样，只是训练慢，学习阶段完全够用。2.3 验证安装是否真正可用装完之后别急着写模型，先跑一段验证代码，确认三件事：PyTorch能导入、CUDA能用、张量能在GPU上运算。import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0) if torch.cuda.is_available() else "CPU only") x = torch.randn(3, 3) if torch.cuda.is_available(): x = x.to("cuda") print(x.device)如果is_available()返回False，先别怀疑PyTorch，九成是驱动太旧或者装成了CPU版本。这时候回退到上一步检查驱动版本，重新装对应CUDA的包。我踩过的一次坑是：明明装了CUDA版本，但虚拟环境里之前残留了一个CPU版本的torch，pip没有覆盖干净，导致一直用不了GPU。解决办法是先pip uninstall torch彻底卸载，再重新安装。3. 张量操作：PyTorch里90%的报错都源于维度没搞清3.1 张量到底是什么，和NumPy数组差在哪张量可以理解成NumPy数组的加强版，多了两个关键能力：能在GPU上跑，能自动求导。如果你熟悉NumPy，那张量的创建、切片、广播规则几乎可以无缝迁移。区别在于，张量多了一个requires_grad属性，一旦设为True，PyTorch就会追踪所有基于它的运算，为反向传播做准备。创建张量的常见方式：import torch a = torch.tensor([1.0, 2.0, 3.0]) # 从列表创建 b = torch.zeros(2, 3) # 全零 c = torch.randn(4, 5) # 标准正态分布 d = torch.arange(0, 10, 2) # 类似range e = torch.from_numpy(np_array) # 从NumPy转换，共享内存这里有个容易忽略的点：torch.from_numpy创建的张量和原NumPy数组共享同一块内存，改一个另一个也会变。如果你想要独立副本，用torch.tensor(np_array)或者加.clone()。3.2 维度变换：view、reshape、permute的区别与选择维度对不齐是报错之王。我统计过自己早期遇到的错误，大概七成都是"shape mismatch"。要解决这个问题，先得搞清楚几个变换函数的差异。view要求张量在内存里是连续的，它只是换个角度看同一块数据，不复制。reshape更宽容，如果内存不连续它会自动复制一份再变形。permute则是真正改变维度顺序，比如把(通道, 高, 宽)变成(高, 宽, 通道)，它会动数据排列。x = torch.randn(2, 3, 4) print(x.view(6, 4).shape) # (6, 4) print(x.reshape(6, 4).shape) # (6, 4) print(x.permute(2, 0, 1).shape) # (4, 2, 3)实操建议：不确定内存连不连续时，直接用reshape，它不会报错。但如果你明确知道数据连续、想省内存，用view。permute多用于图像数据在"通道优先"和"通道后置"之间转换，比如从PyTorch的NCHW转到某些库需要的NHWC。3.3 广播机制：让不同形状的张量能一起运算广播是NumPy和PyTorch都有的机制，规则是从最后一个维度往前对齐，维度大小为1的可以自动扩展。举个例子：a = torch.randn(4, 1, 3) b = torch.randn(2, 3) c = a + b # 结果形状 (4, 2, 3)这里b被广播到(4, 2, 3)。理解广播的关键是：从右往左逐维比较，要么相等，要么其中一个是1，否则报错。我建议在写涉及两个张量运算的代码时，养成打印shape的习惯，能省下大量调试时间。提示：广播虽然方便，但会隐式复制数据，在大张量上可能吃显存。如果发现显存异常增长，检查一下是不是广播导致的。4. 构建第一个神经网络：从nn.Module到完整训练循环4.1 用nn.Module组织模型的标准写法PyTorch定义模型的标准方式是继承nn.Module，在__init__里声明层，在forward里定义前向传播。这种写法看起来有点模板化，但它的好处是PyTorch能自动帮你管理参数、支持GPU迁移、支持保存加载。import torch.nn as nn class SimpleNet(nn.Module): def __init__(self, in_dim, hidden, out_dim): super().__init__() self.fc1 = nn.Linear(in_dim, hidden) self.relu = nn.ReLU() self.fc2 = nn.Linear(hidden, out_dim) def forward(self, x): x = self.fc1(x) x = self.relu(x) x = self.fc2(x) return x这里有个细节：super().__init__()必须调用，否则PyTorch无法正确注册子模块，后面parameters()会返回空。我见过有人漏写这行，结果训练时loss完全不降，排查半天才发现参数根本没被优化器接管。4.2 损失函数与优化器的搭配逻辑损失函数衡量预测和真实的差距，优化器负责根据梯度更新参数。分类任务常用交叉熵，回归任务常用均方误差。优化器方面，Adam因为对学习率不敏感、收敛快，成了大多数人的默认选择；SGD配合动量在需要精细调优时表现更好。model = SimpleNet(10, 64, 2) criterion = nn.CrossEntropyLoss() optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)注意CrossEntropyLoss内部已经包含了softmax，所以模型最后一层不要再加softmax，否则等于做了两次，梯度会出问题。这是新手极容易犯的错误。4.3 训练循环的五个必备步骤一个完整的训练循环包含：前向传播、计算损失、梯度清零、反向传播、参数更新。顺序不能乱，尤其是梯度清零必须在反向传播之前。for epoch in range(epochs): for xb, yb in dataloader: pred = model(xb) loss = criterion(pred, yb) optimizer.zero_grad() loss.backward() optimizer.step()为什么梯度要清零？因为PyTorch默认会累加梯度，如果不清零，这次算的梯度会叠加到上次的上面，导致更新方向错误。这个设计是为了支持梯度累积这种高级用法，但日常训练必须手动清零。4.4 验证集与过拟合的判断训练过程中要定期在验证集上评估，观察训练损失和验证损失的走势。如果训练损失持续下降但验证损失开始上升，说明模型开始过拟合。这时候可以考虑加Dropout、加权重衰减、或者早停。model.eval() with torch.no_grad(): for xb, yb in val_loader: pred = model(xb) val_loss += criterion(pred, yb).item() model.train()model.eval()会关闭Dropout和BatchNorm的训练行为，torch.no_grad()则关闭梯度追踪，省显存也加速。这两个在验证阶段必须加上，否则验证结果会不稳定。5. 显存不够用？几个立竿见影的优化手段5.1 批大小与显存的换算关系显存占用大致和批大小成正比。如果你遇到"CUDA out of memory"，最直接的办法是把batch size减半。但要注意，减半后学习率最好也相应调整，因为每次更新的样本数变了。经验法则是batch size减半，学习率乘以0.5到0.7之间。5.2 梯度累积：小显存模拟大批量如果显存实在小，但又想用大批量训练，可以用梯度累积。思路是多次前向反向累积梯度，攒够一定步数再更新一次参数。accum_steps = 4 for i, (xb, yb) in enumerate(dataloader): pred = model(xb) loss = criterion(pred, yb) / accum_steps loss.backward() if (i + 1) % accum_steps == 0: optimizer.step() optimizer.zero_grad()注意损失要除以累积步数，这样梯度的量级才和真正的大批量一致。5.3 混合精度训练：几乎免费的加速混合精度用float16做前向和反向，用float32保存参数，能在几乎不损失精度的情况下省一半显存、提速30%以上。PyTorch内置了torch.cuda.amp，用起来很简单：scaler = torch.cuda.amp.GradScaler() for xb, yb in dataloader: with torch.cuda.amp.autocast(): pred = model(xb) loss = criterion(pred, yb) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() optimizer.zero_grad()GradScaler的作用是防止float16下梯度下溢，它会自动缩放损失。这套组合我在多个项目里用过，稳定性很好，基本是标配。6. 模型保存与加载：别让训练成果白费6.1 state_dict与整个模型的保存差异保存模型有两种方式：保存整个模型对象，或者只保存参数字典。强烈建议用后者，因为前者依赖具体的类定义路径，换环境容易加载失败。torch.save(model.state_dict(), "model.pth") model = SimpleNet(10, 64, 2) model.load_state_dict(torch.load("model.pth")) model.eval()加载时先实例化同样的结构，再load参数。如果结构对不上，会报key不匹配的错误，这时候要仔细核对层的名字和维度。6.2 断点续训：保存优化器状态如果训练很久，中途可能中断，这时候需要保存优化器状态和当前epoch，才能无缝续训。checkpoint = { "epoch": epoch, "model": model.state_dict(), "optimizer": optimizer.state_dict(), "loss": loss.item() } torch.save(checkpoint, "ckpt.pth")恢复时把这三样都load回去，从保存的epoch继续跑。这个习惯在跑长任务时能救命。7. 常见报错与排查思路7.1 shape mismatch的定位方法遇到维度错误，第一步是打印出错那行涉及的所有张量shape。PyTorch的报错信息通常会告诉你哪两个维度对不上，比如"Expected input batch_size (32) to match target batch_size (16)"，这说明数据和标签没对齐。检查DataLoader是否打乱了顺序、是否用了不同的batch size。7.2 损失不下降的几种可能损失不降通常有几个原因：学习率太大导致震荡、太小导致几乎不动；标签和预测没对齐；损失函数用错（比如分类用了MSE）；模型最后一层激活函数重复。排查顺序是先看学习率，再看数据，最后看模型结构。7.3 GPU利用率低的排查如果发现GPU利用率忽高忽低，多半是数据加载成了瓶颈。解决办法是增大DataLoader的num_workers，开启pin_memory，把数据预处理尽量放到GPU上做。dataloader = DataLoader(dataset, batch_size=32, shuffle=True, num_workers=4, pin_memory=True)num_workers设成CPU核心数左右比较合适，设太大反而会因为进程切换开销变慢。8. 我个人的几条实操心得第一，永远先在小数据上跑通全流程，再上全量数据。我习惯先用几十条样本跑几个epoch，确认loss能降、能保存能加载，再放开跑。这样能把大部分低级错误在几分钟内暴露出来。第二，随机种子要固定。做实验对比时，不固定种子会导致结果不可复现，你根本分不清是改动有效还是随机波动。torch.manual_seed(42) torch.cuda.manual_seed_all(42)第三，善用torchinfo这类工具打印模型结构和参数量，比手动数层靠谱得多。参数量直接关系到显存和推理速度，心里要有数。第四，学习率是最重要的超参数，没有之一。如果只能调一个参数，就调它。配合余弦退火或者阶梯下降，往往比固定学习率效果好一截。这套流程我在多个图像分类和文本分类项目里反复用过，从环境搭建到训练调优，基本覆盖了新手到进阶的主要环节。真正跑起来之后你会发现，PyTorch的门槛不在语法，而在对张量维度和训练动态的直觉，而这个直觉只能靠多跑、多打印、多踩坑积累出来。