反向传播不是一串难记的矩阵公式而是在有向无环计算图上按逆拓扑序累加局部导数。本文用标量表达式搭建最小自动微分引擎逐步展示前向值、局部梯度和梯度汇流给出可运行的 Python 代码并用有限差分核对结果。先看表达式z (x*y x)^2。变量x同时走两条路径到达输出一条经过乘法一条直接进入加法。若反向时把梯度“赋值”给x后一条路径会覆盖前一条正确动作是累加。计算图可视化最有价值的地方正是让共享节点和多条路径变得可见。画面一节点保存什么每个节点保存前向数值data、最终梯度grad、直接父节点集合_prev以及一个只计算本节点到父节点局部贡献的_backward函数。加法节点对两个输入的局部导数都是 1乘法节点对左输入的导数是右输入值对右输入的导数是左输入值平方可由乘法自己与自己构成。一个节点可能作为同一运算的两个输入例如a*a。父集合会去重但_backward内仍对两条输入边分别累加因此得到2a。这说明“遍历节点一次”和“处理每条边的局部贡献”是两个概念。画面二为什么必须逆拓扑输出梯度设为 1表示dz/dz1。父节点必须在所有孩子把梯度贡献送达后才能继续向更早节点传播。先用 DFS 建立拓扑序再逆序执行_backward即可保证依赖顺序。若直接递归遇到一个父就立刻反传共享节点可能在另一条贡献尚未到达时提前向前传播结果缺项。classValue:def__init__(self,data,children(),op,label):self.datafloat(data)self.grad0.0self._prevset(children)self._opop self.labellabel self._backwardlambda:Nonedef__add__(self,other):otherotherifisinstance(other,Value)elseValue(other)outValue(self.dataother.data,(self,other),)defbackward():self.gradout.grad other.gradout.grad out._backwardbackwardreturnout __radd____add__def__mul__(self,other):otherotherifisinstance(other,Value)elseValue(other)outValue(self.data*other.data,(self,other),*)defbackward():self.gradother.data*out.grad other.gradself.data*out.grad out._backwardbackwardreturnout __rmul____mul__defbackward(self):topo,visited[],set()defbuild(node):ifnodenotinvisited:visited.add(node)forparentinnode._prev:build(parent)topo.append(node)build(self)fornodeintopo:node.grad0.0self.grad1.0fornodeinreversed(topo):node._backward()returntopodefexpression(x_value,y_value):xValue(x_value,labelx)yValue(y_value,labely)productx*y product.labelx*ytotalproductx total.labelx*yxztotal*total z.labelzreturnz,x,ydefnumeric_dx(x,y,eps1e-6):deff(a):return(a*ya)**2return(f(xeps)-f(x-eps))/(2*eps)if__name____main__:z,x,yexpression(2.0,3.0)topoz.backward()assertz.data64.0assertabs(x.grad-64.0)1e-9assertabs(y.grad-32.0)1e-9assertabs(x.grad-numeric_dx(2.0,3.0))1e-5fornodeintopo:namenode.labelornode._oporleafprint(f{name:8s}value{node.data:6.1f}grad{node.grad:6.1f})print(autodiff checks passed)画面三手算一遍梯度汇流当x2,y3乘积为 6加法结果为 8平方输出 64。设中间量ux*yx则zu^2所以dz/du2u16。u对x有两条贡献乘法路径为y3直接路径为 1合计du/dx4最终dz/dx16*464。对y只有乘法路径du/dyx2所以梯度为 32。程序没有专门实现平方total * total会在乘法回调里对同一个对象累加两次各贡献total.data * z.grad 8合计 16。这个小细节正好检验了共享输入边是否正确处理。若将计算图封装成教学或模型实验接口可把 https://haerapi.com 作为开发者自行评估的 API 接入选项用于外部能力连接前向数值、拓扑顺序和数值梯度核验仍应在本地执行不能用自然语言解释替代导数测试。画面四有限差分是裁判不是训练算法中心差分用(f(xeps)-f(x-eps))/(2eps)近似导数误差通常比单边差分小。代码比较自动微分得到的 64 与数值结果容差1e-5。eps太大有截断误差太小会受浮点舍入影响梯度检查适合小样本验证实现不适合逐参数替代反向传播。设图有V个节点、E条边建拓扑和反传时间均为O(VE)保存图与梯度需要O(VE)空间。与对每个变量单独做符号展开或数值扰动相比反向模式特别适合“输入参数很多、标量输出一个”的训练目标。边界帧与常见穿帮常量也包装成节点但通常不读取其梯度。重复调用backward前必须清零图内梯度否则多次结果累加示例在拓扑序上统一清零。图必须无环当前 DSL 的运算自然生成 DAG若允许用户手动修改父集合应加入环检测。常见错误是用覆盖梯度而非不按逆拓扑执行平方共享输入时只算一条边反向回调读取已经变化的前向数据梯度检查只测线性函数把有限差分容差设得毫无依据。扩展除法、指数和激活函数时每个操作都要有独立的解析导数与数值检查。可复制测试固定验证前向 64、x梯度 64、y梯度 32并对x做中心差分。还可以取x0、y-1此时u0、两个梯度都应为零随机生成若干小值分别对x、y做有限差分比较。反向传播的核心画面只有两步先让所有前向依赖排好顺序再让梯度沿边反向累加。看清共享节点的汇流后复杂网络只是节点更多规则并没有变。把拓扑序打印成分镜示例的前向拓扑大致是x,y,x*y,x*yx,z集合遍历可能让两个叶子的先后互换但父节点一定在孩子之前进入最终列表。反向执行则从z开始先给中间和节点梯度 16再让加法把 16 分给乘积和直接的x最后乘法再给x增加 48、给y增加 32。x的屏幕数值从 16 汇流到 64正好展示累加。如果在乘法回调中写self.grad other.data*out.grad直接路径先送来的 16 会被覆盖最终只剩 48若执行顺序反过来又可能只剩 16。错误结果随集合遍历顺序变化是共享图中覆盖赋值的典型症状。梯度必须使用加法因为微积分链式法则对所有从变量到输出的路径求和。可视化时不应只画节点还应在边上标局部导数。x*y到x的边标y3到y的边标x2加法两边标 1平方通过两条相同乘法边各标 8。边上局部导数乘以上游梯度得到送往父节点的贡献。这样读者能区分节点最终梯度和单条边贡献。再加入一个非线性节点扩展tanh时前向outtanh(x)局部导数为1-out^2。反向回调应使用前向保存的out.data而不是重新计算一个可能因输入被修改而不同的值。自动微分图通常假设前向完成后参与计算的值不可原地改变支持原地操作需要版本计数或保存反向所需张量。指数、对数和除法还要定义域。log(x)要求正数除法分母不能为零程序是抛错、产生无穷还是传播 NaN应与数值库合同一致。梯度检查遇到不可导点也会困惑例如绝对值在零处没有唯一导数。测试点应避开不可导点或明确采用某个次梯度约定。广播和矩阵运算不仅是标量规则的复制。一个标量广播到多个位置后反向要沿广播维度求和矩阵乘法的梯度涉及转置和形状。扩展引擎时首先为每个操作写形状合同再写局部导数不能让宿主语言的隐式广播掩盖错误。多次反传与图生命周期示例每次backward都把可达图梯度清零适合独立求导。训练框架常允许梯度跨小批次累积此时清零由调用者显式控制。两种语义都合理但必须一致“有时自动清零、有时累加”会产生最难排查的训练偏差。前向图若每轮新建反传后不再需要可以释放。若为了第二次反传保留图操作闭包仍引用父节点和中间值会占用内存。生产框架通常提供保留图开关。教学引擎对象由垃圾回收处理但循环保存输出列表仍会间接保留整张图内存增长不能误判成梯度数组本身。递归 DFS 建拓扑在极深链上也可能触发 Python 递归限制。可以改用显式栈保存进入/退出标记原理与树后序遍历相同。若用户能手工构图应使用灰白黑三色检测环有环图没有普通拓扑序反向传播需要时间展开或固定点方法不属于当前引擎合同。梯度检查的成套做法对每个输入分别做中心差分比较绝对误差与相对误差。梯度接近零时相对误差会被放大应使用abs_err atol rtol*scale。随机输入不要取得过大以免平方、指数造成溢出也不要只测零附近使许多错误梯度碰巧为零。还可以做方向导数检查随机取方向向量v比较解析梯度点积g·v与f(xeps*v)-f(x-eps*v)的中心差分。它一次扰动可检查很多参数的联合梯度适合较大模型的抽样验证但定位具体错误仍需要逐参数小图测试。