简介这份资源面向具备一定Python与深度学习基础、希望用物理信息神经网络PINN求解微分方程的学习者与研究人员提供一套可运行的代码实现方案。内容围绕将控制方程、边界条件与初始条件嵌入损失函数借助自动微分与梯度下降把微分方程求解转化为优化问题覆盖前馈网络搭建、配置点采样、残差构造与训练收敛等关键环节。压缩包共27个文件约1.02MB以17个ipynb交互式笔记本为主辅以3个py模块、若干zbak备份文件及png结果图、md说明笔记本涵盖Euler梁、扩散方程、Poisson方程多种边界条件、Laplace方程、ODE系统与Lorenz系统等典型算例便于逐例对照学习。目前已有98人学习。读者可据此掌握PINN建模流程、损失函数设计与自动微分技巧并借助TensorFlow或PyTorch快速复现与迁移到高维、逆问题及数据同化场景。1. 从“数据不够”到“方程来凑”PINN 到底解决了什么麻烦做工程仿真或者反问题求解的人大概都遇到过这种局面实验数据就那么几组测点稀疏、噪声还不小但你想反推整个物理场或者想在没有网格的情况下直接求一个偏微分方程的解。传统数值方法比如有限差分、有限元网格划分本身就是个手艺活复杂几何下剖分能让人掉一层皮。而纯数据驱动的神经网络又往往因为样本太少直接过拟合预测出来的场看着像那么回事一算残差就露馅。物理信息神经网络PINN的思路很直接把物理方程作为先验知识塞进神经网络的损失函数里。网络不仅要拟合观测数据还要满足方程本身的约束。这样一来即使观测点很少方程提供的“软约束”也能把解拉回正确的物理轨道上。Python 生态里实现 PINN 并不复杂核心就是自动微分加一个自定义损失函数。这份资源围绕微分方程求解展开适合已经会用 PyTorch 或 TensorFlow 搭全连接网络、想把手头的物理模型和神经网络结合起来的从业者。如果你正在做参数反演、场重构或者正问题求解但苦于数据量不够这套方法值得花时间拆一遍。2. 拆开 PINN 的黑匣子损失函数里到底塞了什么2.1 从方程残差到损失项三项拆解PINN 的损失函数通常由三部分组成数据项、方程残差项、边界/初始条件项。数据项负责拟合已知观测点方程残差项负责让网络输出满足偏微分方程边界项负责约束边界上的取值。三者加权求和权重怎么设直接决定训练能不能收敛。以最常见的 Burgers 方程为例方程形式是 u_t u u_x ν u_xx。网络输入是 (x, t)输出是 u(x, t)。利用 PyTorch 的自动微分可以分别求出 u_t、u_x、u_xx然后构造残差 f u_t u u_x - ν u_xx。理想情况下 f 应该处处为零所以损失里加一项 f 的均方值。import torch import torch.nn as nn class PINN(nn.Module): def __init__(self, layers): super().__init__() self.activation nn.Tanh() self.layers nn.ModuleList() for i in range(len(layers) - 1): self.layers.append(nn.Linear(layers[i], layers[i1])) def forward(self, x, t): # 拼接输入形状 [N, 2] inputs torch.cat([x, t], dim1) for layer in self.layers[:-1]: inputs self.activation(layer(inputs)) return self.layers[-1](inputs) def compute_residual(model, x, t, nu): x.requires_grad_(True) t.requires_grad_(True) u model(x, t) # 一阶导 u_t torch.autograd.grad(u, t, grad_outputstorch.ones_like(u), create_graphTrue)[0] u_x torch.autograd.grad(u, x, grad_outputstorch.ones_like(u), create_graphTrue)[0] # 二阶导 u_xx torch.autograd.grad(u_x, x, grad_outputstorch.ones_like(u_x), create_graphTrue)[0] # Burgers 方程残差 f u_t u * u_x - nu * u_xx return f这段代码里create_graphTrue是关键它让梯度计算图保留下来才能继续求二阶导。nu是粘性系数属于物理参数如果做反问题可以把它设成可训练变量。网络结构用 Tanh 激活是因为物理场通常需要二阶可导ReLU 的二阶导为零会导致残差项失效。层数和每层宽度没有固定标准常见做法是 4 到 6 层每层 32 到 128 个神经元具体看方程复杂度和求解域大小。2.2 采样策略配点怎么撒才不浪费算力方程残差项不是在整个区域上算的而是在一批“配点”上算。配点可以随机撒也可以按拉丁超立方采样。均匀撒点实现简单但在解变化剧烈的区域比如激波附近均匀配点容易欠采样导致残差在局部压不下去。我一般会在梯度变化大的地方加密配点或者用自适应采样每隔若干轮重新撒一次点把残差大的区域权重提上来。def sample_collocation(n_points, x_range, t_range): # 均匀采样 x torch.rand(n_points, 1) * (x_range[1] - x_range[0]) x_range[0] t torch.rand(n_points, 1) * (t_range[1] - t_range[0]) t_range[0] return x, t # 自适应重采样保留残差大的点补充新点 def adaptive_resample(model, x, t, nu, top_k0.5): f compute_residual(model, x, t, nu) residual_abs torch.abs(f).detach().flatten() # 选出残差最大的前 top_k 比例 threshold torch.quantile(residual_abs, 1 - top_k) mask residual_abs threshold x_keep, t_keep x[mask], t[mask] # 补充新点 n_new x.shape[0] - x_keep.shape[0] x_new, t_new sample_collocation(n_new, [0, 1], [0, 1]) return torch.cat([x_keep, x_new]), torch.cat([t_keep, t_new])配点数量一般取几千到几万太少残差约束不够太多单步计算慢。实际跑的时候可以先从 2000 个点起步观察损失下降曲线如果残差项降不下去再加点。边界条件项通常直接在边界上采样比如 x0 和 x1 各取几百个点初始条件在 t0 上取一批点。这三类点的比例没有金标准我习惯按 1:1:1 起步再根据收敛情况调。2.3 训练循环优化器选择与学习率调度PINN 的训练和普通网络训练最大的区别是损失项多量级可能差好几个数量级。数据项如果是 O(1)残差项可能是 O(1e-3)边界项可能是 O(1)。如果不做归一化优化器会偏向量级大的项导致其他项训不动。常见做法是对每项损失做滑动平均归一化或者手动调权重。import torch.optim as optim model PINN([2, 64, 64, 64, 1]) optimizer optim.Adam(model.parameters(), lr1e-3) scheduler optim.lr_scheduler.StepLR(optimizer, step_size2000, gamma0.5) lambda_data 1.0 lambda_res 1.0 lambda_bc 1.0 for epoch in range(10000): optimizer.zero_grad() # 数据损失 u_pred model(x_data, t_data) loss_data torch.mean((u_pred - u_data) ** 2) # 残差损失 f_pred compute_residual(model, x_col, t_col, nu) loss_res torch.mean(f_pred ** 2) # 边界损失 u_bc_pred model(x_bc, t_bc) loss_bc torch.mean((u_bc_pred - u_bc) ** 2) loss lambda_data * loss_data lambda_res * loss_res lambda_bc * loss_bc loss.backward() optimizer.step() scheduler.step()优化器首选 Adam学习率 1e-3 起步跑几千轮后切 L-BFGS 做精细收敛。L-BFGS 对 PINN 特别有效因为它利用二阶信息能在残差项上压得更低。但 L-BFGS 显存占用大配点多了容易爆。我一般先用 Adam 跑 5000 到 10000 轮再用 L-BFGS 跑 1000 到 2000 轮。学习率调度用 StepLR 或者 ReduceLROnPlateau后者根据损失平台期自动降学习率省心一些。3. 动手复现从零搭一个一维 Burgers 求解器3.1 环境准备与数据生成先确认环境里有 PyTorch 和 NumPy。如果要用 GPU装 CUDA 版本的 PyTorch。数据生成部分Burgers 方程有解析解可以用谱方法或者查表生成参考解用来验证 PINN 的精度。如果没有解析解就用高精度数值解做参考。pip install torch numpy matplotlibimport numpy as np def burgers_exact(x, t, nu): # 简化版解析解实际使用时替换为对应初边值条件的解 # 这里仅作占位真实场景需根据具体问题推导 return np.sin(np.pi * x) * np.exp(-nu * np.pi**2 * t) # 生成观测数据从解析解里抽 100 个点 n_obs 100 x_obs np.random.rand(n_obs) t_obs np.random.rand(n_obs) u_obs burgers_exact(x_obs, t_obs, nu0.01)观测点数量看实际场景实验数据可能只有几十个点仿真数据可以多抽一些。关键是观测点要覆盖整个求解域不能全挤在一个角落。如果观测点集中在局部网络在其他区域全靠方程约束收敛会慢很多。3.2 网络定义与损失组装网络定义部分前面已经给了骨架这里补上边界和初始条件的处理。边界条件通常有两种Dirichlet 边界直接给 u 值Neumann 边界给 u_x 值。初始条件就是 t0 时的 u 分布。# 边界点x0 和 x1 n_bc 200 t_bc torch.rand(n_bc, 1) x_bc_left torch.zeros(n_bc, 1) x_bc_right torch.ones(n_bc, 1) u_bc_left torch.zeros(n_bc, 1) # 假设 u(0,t)0 u_bc_right torch.zeros(n_bc, 1) # 假设 u(1,t)0 # 初始点t0 n_ic 200 x_ic torch.rand(n_ic, 1) t_ic torch.zeros(n_ic, 1) u_ic torch.sin(torch.pi * x_ic) # 初始条件 u(x,0)sin(pi*x)损失组装时边界和初始条件可以合并成一项也可以分开。分开的好处是能单独调权重。如果边界条件难满足可以把边界损失权重调大比如设成 10 或者 100。但权重太大会导致方程残差项被忽略解在内部区域不满足方程。我一般先让三项权重相等跑一轮看哪项降得慢再针对性调。3.3 训练与结果可视化训练循环跑起来后每隔几百轮打印一次损失。如果损失震荡不降先检查学习率是不是太大再检查配点是不是都落在了解变化剧烈的区域。可视化用 Matplotlib 画热力图对比 PINN 解和参考解。import matplotlib.pyplot as plt # 训练完后在网格上预测 x_grid torch.linspace(0, 1, 100) t_grid torch.linspace(0, 1, 100) X, T torch.meshgrid(x_grid, t_grid, indexingij) u_pred model(X.reshape(-1, 1), T.reshape(-1, 1)).detach().numpy() u_pred u_pred.reshape(100, 100) plt.figure(figsize(8, 6)) plt.contourf(X.numpy(), T.numpy(), u_pred, levels50, cmapjet) plt.colorbar() plt.xlabel(x) plt.ylabel(t) plt.title(PINN solution) plt.show()如果画出来的场在边界附近有异常波动多半是边界损失权重不够或者边界点采样太稀。如果内部区域出现高频振荡可能是网络容量过大或者配点太密导致过拟合残差。这时候减层数或者减配点试试。4. 避坑指南PINN 训练中常见的五个翻车现场4.1 损失不下降残差项始终在 O(1) 徘徊现象训练几千轮后数据损失降了但方程残差损失几乎没动预测解完全不满足方程。原因最常见的是自动微分没开create_graphTrue导致二阶导算不出来残差项本身是错的。另一个原因是激活函数用了 ReLU二阶导为零残差项恒为零梯度传不回去。解决检查torch.autograd.grad里有没有create_graphTrue激活函数换成 Tanh 或 Sin。如果还不行把残差项的权重调大或者先单独训残差项等它降下来再联合训练。4.2 边界条件满足不了解在边界上飞了现象内部区域看着还行但边界上的值和边界条件差很远热力图边界处颜色突变。原因边界损失权重太小或者边界点采样太少。还有一种可能是网络输出没有做归一化边界值量级和内部值量级差太多优化器顾不过来。解决把边界损失权重调大比如从 1 调到 10 或 100。边界点数量增加到 500 以上。如果边界值本身量级大对网络输出做缩放让输出落在 [-1, 1] 附近。4.3 训练后期损失震荡降不下去现象前几千轮损失稳定下降后面开始上下震荡学习率已经很小了还是不稳。原因Adam 在接近极小值时容易震荡因为它是固定学习率的。另外配点如果每轮都重新随机撒损失曲面一直在变优化器追不上。解决切 L-BFGS 做精细收敛。配点不要每轮重撒固定一批配点跑几千轮再换一批。学习率用 ReduceLROnPlateau耐心设 500降幅 0.5。4.4 反问题中物理参数不收敛一直飘现象把粘性系数 nu 设成可训练变量后它不往真实值靠反而越跑越偏。原因参数和网络权重一起训量级不匹配。网络权重初始化通常在 O(0.1)而物理参数可能是 O(0.01) 甚至更小梯度尺度差太多。解决对物理参数做对数变换让优化器在 log 空间里更新。或者分阶段训练先固定物理参数训网络再放开物理参数微调。学习率对物理参数单独设通常比网络学习率大一个量级。4.5 显存爆了配点一多就跑不动现象配点加到 10000 以上GPU 显存直接 OOM或者训练速度断崖式下降。原因PINN 的残差计算需要保留计算图显存占用和配点数量成正比。二阶导更是雪上加霜计算图深度翻倍。解决用 mini-batch 训练把配点分成若干批每批算完梯度累加再更新。或者用混合精度训练把 float32 换成 float16显存直接减半。如果还不行减网络层数或者把配点降到 5000 左右靠自适应采样提效率。5. 进阶技巧把 PINN 用在反问题与多物理场耦合上反问题里物理参数是未知的比如材料导热系数、流体粘性系数。把参数设成nn.Parameter和网络权重一起优化就能从稀疏观测里反推参数。但直接训容易飘我一般先固定参数训网络 5000 轮再放开参数联合训 5000 轮学习率对参数单独设 1e-2网络设 1e-3。# 可训练物理参数 nu nn.Parameter(torch.tensor(0.01)) optimizer optim.Adam([ {params: model.parameters(), lr: 1e-3}, {params: [nu], lr: 1e-2} ]) # 训练时对 nu 做正约束 with torch.no_grad(): nu.clamp_(min1e-5)多物理场耦合是另一个方向。比如流固耦合两个场各自有一个网络损失函数里加一项界面条件让两个网络在交界面上满足连续性。这种做法比单网络硬拟合所有场要稳因为每个网络的输出量级更一致。界面条件的权重通常设得比方程残差大因为界面不连续会直接导致解发散。验证 PINN 结果时不要只看损失曲线。损失降了不代表解对了尤其是反问题参数可能收敛到局部极小。我习惯用三种方式交叉验证一是和解析解对比二是和传统数值解对比三是检查残差在配点之外的区域是否也小。如果只在配点上残差小换个区域残差就大说明网络过拟合了配点得重新采样。从那以后我每次跑 PINN都强制走一遍流程先固定参数训网络再联合训参数最后用 L-BFGS 收尾跑完必须画残差分布图。这套流程帮我省了不少后悔药。希望帮到你。本文还有配套的精品资源点击获取