如果你打开任何一本机器学习的书翻到反向传播那一章总会发现作者默认你早就掌握了三种看起来像是为了考试而生的求导技巧隐函数求导、对数求导法、参数方程求导法。我在带新人入门人工智能数学基础时几乎每次都要停下来补这一课。今天这篇就把导数系列的第三篇写透——这三种求导方法到底在干什么、怎么用、在AI里会以什么形态出现。不管你是在准备算法岗位面试还是正在啃深度学习框架源码又或者只是想把神经网络里那些复杂符号推导看明白这篇都适合你。前两篇讲了导数的定义、四则运算和链式法则这篇讲的则是一类更隐蔽但同样高频的问题当函数的表达形式不是傻白甜的 yf(x) 时怎么求导。1. 为什么这三种求导法在人工智能里躲不掉1.1 链式法则的延伸y和x的关系不一定写得出显式形式很多初学者会觉得隐函数求导、对数求导法和参数方程求导法只是高数课本里的练习题真正做AI用不上。但等我给你看几个场景你就不这么想了。先说隐函数。神经网络里的很多约束关系并不是“输入x输出y”这么简单。比如在流形学习中假设数据分布在一个单位球面流形上这个流形通常用一个隐式方程 F(x,y)0 来描述而不是直接给出 yf(x)。在带约束的优化问题里比如SVM的对偶推导、带权重衰减的损失函数目标变量和约束之间也常常刻成隐式关系。想对这类问题求梯度就必须用到隐函数求导的思路。再说对数求导法。机器学习里有一个无法绕开的东西叫极大似然估计。给定一批样本我们要让它们的联合概率最大而联合概率是一大堆概率值连乘出来的。连乘的导数非常难算而且数值上还会下溢到0。解决办法就是取对数把乘法变成加法再用对数求导法把导数解出来。你去看几乎所有生成模型、概率模型的论文开头必然有一句“we maximize the log-likelihood”原因就在这。参数方程求导法更是藏在很多你想象不到的地方。比如GAN生成图片时输入是一个噪声向量 z输出是图像VAE中从隐变量分布里采样时zμσ⋅ε这里的 μ、σ 是网络输出而 ε 是随机噪声。你要求损失对 μ 的导数本质上就是在处理“参数方程”里某个中间变量带来的导数传递。连续归一化流更是直接把时间 t 作为参数让概率密度沿着一条参数曲线演化。不理解参数方程求导看这些内容会非常吃力。1.2 三种方法共同解决一个核心矛盾表达形式不等于依赖关系显式函数 yf(x) 当然最舒服求导就是直接套规则。可现实中的函数关系往往不以“y等于多少x”的形式出现。隐函数把关系藏在一个方程里对数求导法把关系藏在指数和连乘里参数方程把关系藏在一个中间变量里。三种方法本质上是同一件事绕开表面形式的阻碍用链式法则重新找到两个变量之间的导数。我自己的体会是这三个方法像三把钥匙分别打开三种不同的锁。锁芯不同但钥匙的制造原理是一样的都是链式法则。所以你千万不要把它们当成三个孤立技巧来背公式而要把它们理解为“如何在一个复杂关系里应用链式法则”的具体套路。理解了这一点后面看自动微分、反向传播、雅可比矩阵都会顺很多。2. 隐函数求导把方程当约束而不是依赖关系2.1 隐函数求导的第一性原理先看最简单的例子(x^2y^21)。这是一个圆圆上的每个点都满足这个方程。如果你硬要写出 yf(x)在圆的上半部分是 (y\sqrt{1-x^2})下半部分是 (y-\sqrt{1-x^2})很麻烦而且还会出现分段点。隐函数求导的做法是假装 y 是 x 的函数也就是 yy(x)然后对方程两边同时对 x 求导。你不需要真的解出 y 的表达式只需要承认“y 随 x 变化”这个事实。标准步骤等式两边同时对 x 求导。遇到含有 y 的项时把它当作复合函数处理额外乘上一个 dy/dx。整理方程解出 dy/dx。放到圆这个例子里对 (x^2) 求导是 (2x)。对 (y^2) 求导是 (2y\cdot\frac{dy}{dx})。于是得到 [ 2x 2y\frac{dy}{dx}0 ] 解出来 [ \frac{dy}{dx}-\frac{x}{y} ] 这个结果非常优雅圆上任意一点的切线斜率只和该点的坐标有关。当点在 (0,1) 时斜率为0切线水平当点在 (1,0) 时斜率无穷大切线竖直。如果你用显式函数去求导还得区分上下半圆远远没有这么干净。隐函数求导的合法性由隐函数定理保证在满足一定条件时F(x,y)0 在局部确实定义了一个 y 关于 x 的函数。这也是为什么点不能取在那些会破坏定理条件的地方比如前面例子里的 (1,0)此时分母 y0dy/dx 趋于无穷大。数学上这种点往往是奇点在AI里对应着数值不稳定的位置。2.2 一个完整推导从隐式方程到切线我们来做一个稍微复杂一点的经典例题 [ e^y xy e ] 求曲线在点 (0,1) 处的切线方程。第一步先确认点是否满足方程左边 (e^10\cdot1e)没问题。第二步两边对 x 求导。注意 y 是 x 的函数 [ \frac{d}{dx}(e^y)\frac{d}{dx}(xy)0 ] 第一项是 (e^y\cdot\frac{dy}{dx})第二项用乘法法则(yx\frac{dy}{dx})。于是 [ e^y\frac{dy}{dx} y x\frac{dy}{dx}0 ] 第三步把所有含 dy/dx 的项合并 [ (e^yx)\frac{dy}{dx} -y ] [ \frac{dy}{dx}-\frac{y}{e^yx} ] 第四步代入 (0,1) [ \frac{dy}{dx}-\frac{1}{e^10}-\frac{1}{e} ] 所以切线方程是 [ y-1-\frac{1}{e}(x-0) ] 整理得 [ y-\frac{x}{e}1 ]整个过程没有任何一步需要你解出 y 的显式表达式。这就是隐函数求导的核心价值在约束方程层面直接计算导数值。2.3 AI场景隐式神经网络里的“隐式梯度”隐函数求导在现代AI里最惊艳的应用我觉得是Deep Equilibrium Model这类隐式模型。普通神经网络的输出是层层堆叠出来的显式函数隐式模型不是这样它定义一个不动点方程 [ z^* f_\theta(z^, x) ] 模型的输出 (z^) 是方程的解而不是一次前向传播就能算出来的结果。你要求损失 L 对网络参数 θ 的梯度时不能简简单单地使用标准反向传播因为 (z^*) 依赖 θ 的方式是非线性的。但隐函数定理告诉你即使 (z^) 没有显式表达式我们也可以通过把方程两边对 θ 求导解出 dz^/dθ。这个技巧在原论文里被称为“implicit differentiation”它让梯度计算不再需要穿透每一层而是直接利用收敛点的隐式关系。这样做不仅省内存而且在很多任务上又快又稳。我再补充一个和PyTorch相关的实际经验。PyTorch的 autograd 对显式计算图非常友好但你如果自己实现一个带隐式方程的层想要求隐式梯度最直接的方案并不是硬套反向传播而是利用隐函数求导公式自定义一个torch.autograd.Function在前向中求解不动点在反向中直接使用隐式梯度公式。这样写出来的代码效率往往比把整个迭代过程展开成计算图要高得多。很多新手第一次看到这种实现都会惊讶“怎么反向传播还能这么写”其实底层就是隐函数求导。2.4 三个容易翻车的细节第一求导时忘记 y 项要乘 dy/dx。尤其是像 (x y^2) 这种项用乘法法则后对 (y^2) 求导时漏掉 (2y\frac{dy}{dx}) 是最高频错误。第二解 dy/dx 时符号搞反。合并项后最好拿一个已知点做数值验证不要凭感觉。第三代入点之前一定检查这个点是否在原方程上。很多人算出导数才想起来把坐标代进去结果点根本不在曲线上得到的切线当然毫无意义。3. 对数求导法把乘除幂变成加减把指数拉下来3.1 什么时候必须想到对数求导对数求导法本质上利用了这样一条导数公式 [ (\ln y) \frac{y}{y} ] 所以 [ y y \cdot (\ln y) ] 如果先对等式两边取对数把复杂的乘除展开成加减再求导计算量会肉眼可见地下降。什么情况下应该用对数求导法我的经验是三条多个因子连乘连除比如 (y\frac{(x1)^3(x-2)^4}{\sqrt{x3}})。幂指函数也就是底数和指数都是函数的比如 (yx^{\sin x})。指数特别复杂尤其是 (u(x)^{v(x)}) 这种直接套幂函数或指数函数求导公式都不对必须取对数。为什么能这么做因为对数函数是单调的在函数值大于0的区间内取对数不会改变函数关系。严格来说为了保证实数对数有意义通常要求 y0。如果 y 可能为负可以考虑对 |y| 取对数因为 ((\ln |y|) y/y) 依然成立。在机器学习推导里概率值都是正的所以大家通常会忽略符号问题但做题时一定要留意。3.2 一个完整的对数求导过程我们来看一个典型例子 [ y\frac{(x1)^3(x-2)^4}{\sqrt{x3}} ] 直接求导要先对分子两个因子用乘法法则再对分式用除法法则最后还要处理根号写出来一大串。但取对数之后一切都变得简单。第一步两边取自然对数 [ \ln y 3\ln(x1) 4\ln(x-2) - \frac{1}{2}\ln(x3) ] 第二步对两边关于 x 求导。左边是 ((\ln y) y/y)右边逐项求导 [ \frac{y}{y} \frac{3}{x1} \frac{4}{x-2} - \frac{1}{2(x3)} ] 第三步两边同乘 y把原函数代回去 [ y \frac{(x1)^3(x-2)^4}{\sqrt{x3}} \left(\frac{3}{x1} \frac{4}{x-2} - \frac{1}{2(x3)}\right) ] 如果愿意还可以约分化简 [ y 3(x1)^2(x-2)^4(x3)^{-1/2} 4(x1)^3(x-2)^3(x3)^{-1/2} - \frac{1}{2}(x1)^3(x-2)^4(x3)^{-3/2} ] 但我一般会保留括号形式看起来更清楚也不容易错。再看幂指函数 (yx^{\sin x})。不能用幂函数公式因为指数不是常数也不能用指数函数公式因为底数不是常数。正确做法是取对数 [ \ln y \sin x \cdot \ln x ] 求导 [ \frac{y}{y} \cos x \ln x \frac{\sin x}{x} ] 所以 [ y x^{\sin x}\left(\cos x \ln x \frac{\sin x}{x}\right) ] 这个结果也经常用另一条路验证先把 (x^{\sin x}) 改写成 (e^{\sin x\ln x})再用复合函数求导结果一模一样。我建议你用两种方法各推一遍能极大加深理解。3.3 AI场景极大似然估计和高斯分布的均值和方差对数求导法在AI里最重要的应用就是极大似然估计。假设我们有 n 个独立同分布样本 (x_1,\dots,x_n)来自高斯分布 (N(\mu,\sigma^2))参数是 μ 和 σ²。似然函数是 [ L(\mu,\sigma^2)\prod_{i1}^n \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right) ] 如果直接对这个连乘求导会让人崩溃。取对数后变成 [ \ln L -\frac{n}{2}\ln(2\pi) - n\ln\sigma - \frac{1}{2\sigma^2}\sum_{i1}^n (x_i-\mu)^2 ] 对 μ 求偏导 [ \frac{\partial \ln L}{\partial \mu} \frac{1}{\sigma^2}\sum_{i1}^n (x_i-\mu) ] 令它等于0得到 [ \mu \frac{1}{n}\sum_{i1}^n x_i ] 这正是样本均值。对 σ 求偏导的过程类似最后会得到样本方差。整个过程如果用“对数求导法”的视角看就是把连乘的似然函数变成了连加的对数似然把一个难以求导的问题变成一个标准的求导问题。在神经网络训练里交叉熵损失同样是对数求导思想的产物。softmax 函数的输出是多个指数函数归一化后的结果直接求梯度会出现复杂的分母项但如果你把交叉熵损失和 softmax 放在一起求导大部分项会互相抵消最后得到“预测概率减真实标签”这样简洁的梯度。这个经典结论经常被老师直接告诉学生但很多学生不知道它背后的推导就是对数求导法加上一点点代数化简。3.4 对数求导的坑定义域和代回第一个坑是定义域。取对数要求内部为正如果原函数在定义域内有正有负可以改为对 |y| 取对数。但如果你在推导概率或损失函数时用的是 (p(x))概率非负通常不存在这个问题。不过在写通用推导时最好留意一下。第二个坑是代回。求完 y/y 后一定记得把原函数 y 乘回去。经常有人算出右边一大串却忘记乘左边最后得到一个“导数”其实只是对数导数差了原函数量级。第三个坑是计算过程中把 (\ln y) 的导数写成 (\frac{1}{y})而忘了乘 y。这可能是因为前面刚对 ln x 求导得 1/x产生了惯性思维。每一次看到 (\ln y)都要条件反射地写出 (y/y)而不是 (1/y)。4. 参数方程求导法跟随参数流动4.1 参数方程到底在表达什么参数方程把 x 和 y 都用第三个变量 t 来表示比如 [ \begin{cases} x \cos t \ y \sin t \end{cases} ] 这就是圆的参数方程t 从 0 到 (2\pi) 走一圈点 (x,y) 就画出一个圆。你要求的是曲线在某个位置的斜率也就是 dy/dx。直觉上可以这样理解t 变化一点x 跟着变化一点y 也跟着变化一点。那么 y 相对于 x 的变化率就等于 y 相对于 t 的变化率除以 x 相对于 t 的变化率 [ \frac{dy}{dx} \frac{dy/dt}{dx/dt} ] 这个公式可以用链式法则严格推导。假设 xx(t)在 t 的某个邻域内可以用反函数把 t 表示成 x 的函数那么 [ \frac{dy}{dx} \frac{dy}{dt}\cdot\frac{dt}{dx} \frac{dy/dt}{dx/dt} ] 前提是 (dx/dt \neq 0)。这个条件很重要如果 dx/dt0说明 x 暂时没变切线可能是竖直的斜率不存在。用圆的参数方程验证一下(\frac{dy}{dx} \frac{\cos t}{-\sin t} -\cot t)。而圆上点 ((\cos t, \sin t)) 处用隐函数求导得到 (dy/dx-x/y-\cos t/\sin t-\cot t)。两者完全一致。这给你一个很好的信号参数方程求导和隐函数求导不是互相矛盾的方法它们从不同角度描述同一条曲线。4.2 二阶导数最容易出错的地方很多初学者会想当然地认为 [ \frac{d^2y}{dx^2} \frac{d}{dt}\left(\frac{dy}{dx}\right) ] 这是错误的。因为 dy/dx 是 x 的函数不是 t 的函数。你不能直接把对 t 求导的结果当成对 x 求导的结果。正确的公式是 [ \frac{d^2y}{dx^2} \frac{d}{dx}\left(\frac{dy}{dx}\right) \frac{\frac{d}{dt}\left(\frac{dy}{dx}\right)}{\frac{dx}{dt}} ] 翻译成人话先用一阶导公式得到 dy/dx 关于 t 的表达式再对 t 求一次导最后除以 dx/dt。我们看一个具体例子 [ x t^2,\quad y t^3 ] 一阶导 [ \frac{dy}{dx} \frac{3t^2}{2t} \frac{3}{2}t ] 这里要求 t≠0。二阶导 [ \frac{d^2y}{dx^2} \frac{\frac{d}{dt}\left(\frac{3}{2}t\right)}{2t} \frac{\frac{3}{2}}{2t} \frac{3}{4t} ] 当 t0 时二阶导为正曲线凹向上当 t0 时二阶导为负曲线凹向下。这个例子虽然简单却完美暴露了常见的错误如果直接对一阶导结果再对 t 求导你会得到 3/2而正确答案却是 3/(4t)差距很大。我建议你养成一个习惯每次算完二阶导先在脑海里或者草稿纸上取几个特殊 t 值代入原始参数方程观察曲线弯曲方向再和二阶导的符号对照一下。这个习惯能帮你抓出绝大多数低级错误。4.3 AI场景隐变量流动和轨迹预测参数方程求导在AI里最常见的应用是处理那些“变量不是直接映射到输出而是通过中间参数映射”的问题。拿 VAE 重参数化来说。训练时要从分布 (N(\mu,\sigma^2)) 中采样一个隐变量 z但标准采样过程不可导。重参数化技巧把采样写成 [ z \mu \sigma \cdot \varepsilon,\quad \varepsilon\sim N(0,1) ] 这里 ε 是随机噪声μ 和 σ 是网络输出。如果你把 z 看作 μ 或 σ 的函数本质上就是一个参数方程ε 是固定的z 随 μ、σ 变化。对 μ 求导时可以直观地写成 [ \frac{\partial z}{\partial \mu} 1,\quad \frac{\partial z}{\partial \sigma} \varepsilon ] 这就是参数方程求导在最简单情形下的体现。你不需要绕开采样操作只需要把采样操作重构成一个确定性的参数方程表达。另一个场景是路径规划。在机器人或自动驾驶领域轨迹经常用参数曲线表示比如三次样条或贝塞尔曲线 [ P(t) (1-t)^3 P_0 3(1-t)^2 t P_1 3(1-t)t^2 P_2 t^3 P_3 ] 坐标 x(t)、y(t) 都是 t 的多项式机器人每个时刻的速度是 (x(t)) 和 (y(t))加速度是二阶导。如果你想控制一个机械臂沿曲线运动就需要反复用到参数方程求导。很多时候你以为这种数学技巧只存在于课本其实它在工程系统里天天跑。4.4 参数方程求导中的隐藏陷阱除了二阶导漏除 dx/dt还有几个细节值得注意。第一一阶导公式只适用于 (dx/dt \neq 0) 的点。如果某一点 dx/dt0切线可能竖直dy/dx 不存在但 dy/dx 的极限可能存在也可能不存在。曲线在尖点处就经常出现这种情况例如 (xt^2, yt^3) 在 t0 处有一个尖点此时一阶导表达式 3t/2 当 t→0 时趋于0但真实曲线在原点处是尖的左右两侧切线方向不同严格来说不存在唯一的切线。AI里处理不连续或不可微点时要特别小心梯度爆炸、梯度消失往往和这类退化点有关。第二参数方程中 t 不一定是时间它可以是角度、长度、概率路径上的“进度”。不要被变量名限制住。第三直接求导得到的结果可能包含 t也可能需要把 t 替换成 x 和 y。在分析曲线性质时二者各有用途保留 t 容易判断单调区间替换成 x、y 容易得到显式形式。做题前想清楚你要用来干什么。5. 三种方法如何选决策表与实战验证5.1 方法选择决策表我遇到很多同学会困惑拿到一道题到底该用哪种方法其实可以根据函数表达形式直接判断。下面这张表我用了很久也分享给过不少同事。函数/关系的形式首选方法为什么显式 (yf(x))结构简单直接用四则运算法则和链式法则不需要额外变换最直接关系隐藏在方程 (F(x,y)0) 中隐函数求导不需要解出 y直接在约束上求导多个因子连乘连除或幂指函数 (u(x)^{v(x)})对数求导法取对数后乘除变加减指数被拉下来x、y 都由第三个变量 t 给出参数方程求导用 (dy/dx (dy/dt)/(dx/dt)) 建立关系显式函数特别复杂含多层复合、多个超越函数可以结合对数求导和链式法则降低单步运算复杂度更容易检查还有一种情况是几种方法混在一起。比如参数方程给出的 x(t)、y(t) 本身又满足一个复杂的隐式方程你可能需要先用隐函数求导再用参数方程公式。不要害怕组合使用数学工具从来不是互相排斥的。5.2 最容易翻车的五个坑我把平时改作业和带人时遇到的高频错误整理成了一份清单你可以把它当成自查表。忘记链式法则中的“内层导数”。尤其是隐函数里所有的 y 都要乘 dy/dx参数方程里所有对 t 求导的结果最后都要除以 dx/dt。对数求导后忘记乘回原函数。算出 ((\ln y)) 不等于算出 y中间差一个 y 的倍数。取对数时忽略定义域。虽然 AI 推导中概率和损失函数通常为正但手推公式时不要默认正数至少要在注释里说明假设。参数方程二阶导直接对 t 求导后当结果。很多人写着写着就忘记了分母上还有一个 dx/dt。代入点前不验证曲线方程。不管是隐函数还是参数方程都得先确认点确实在曲线上否则切线斜率毫无意义。5.3 用数值微分快速验证你的推导当你手推完一个导数公式尤其是隐函数或参数方程的时候强烈建议立刻用数值微分验证一遍。数值微分的思想是用差商近似导数 [ f(x) \approx \frac{f(xh)-f(x-h)}{2h} ] 这里的 h 取一个很小的数比如 1e-5、1e-6。中心差分比单侧差分误差小一个数量级所以优先使用。举个例子。假设你推导出隐函数圆在点 ((\frac{\sqrt{2}}{2}, \frac{\sqrt{2}}{2})) 处的切线斜率为 -1。为了验证可以把 x 分别取 (x_0h) 和 (x_0-h)然后用圆的方程解出对应的 y注意取上半圆的 y带入差商公式。结果应该很接近 -1。这里因为原方程能显式解出 y所以验证比较容易。如果遇到解不出来的隐函数也可以利用隐函数定理的数值版本或者直接对参数方程版本做验证参数方程特别适合数值差分因为 x(t)、y(t) 都是显式的。下面是一段极简的 Python 验证代码适用于参数方程或显式函数import numpy as np def dydx_at(t_0, h1e-6): t_plus t_0 h t_minus t_0 - h # 参数方程 x t^2, y t^3 x_plus, y_plus t_plus**2, t_plus**3 x_minus, y_minus t_minus**2, t_minus**3 dydx_num (y_plus - y_minus) / (x_plus - x_minus) # 解析解 dy/dx 3t/2 dydx_analytical 1.5 * t_0 return dydx_num, dydx_analytical for t in [0.5, 1.0, 2.0, -1.0]: num, ana dydx_at(t) print(ft{t:5.2f} 数值{num:10.6f} 解析{ana:10.6f} 误差{num-ana:10.2e})这段代码用中心差商计算 (dy/dx)核心就是 ((y_-y_-)/(x_-x_-))也就是把参数方程求导公式倒过来用数值差商直接定义曲线的切线斜率。跑完后你会发现误差非常小。这种验证方法不需要装任何深度学习框架一个 numpy 就够了但它能帮你挡住 90% 的推导错误。6. 从导数三件套到AI数学主线6.1 它们与梯度、反向传播的关系很多人以为反向传播只是链式法则其实不止。链式法则是基础但当你面对一个真实神经网络时会遇到大量不是简单显式复合的情况。比如 RNN 里时间步之间的循环依赖、隐式模型里的不动点约束、概率模型里的连乘似然这些都需要今天讲的三种求导技巧来拓展“普通链式法则”的适用范围。理解隐函数求导之后你会更容易接受现代自动微分框架里的“隐式梯度”模块。理解对数求导法之后你会明白为什么很多训练目标都写成负对数似然或交叉熵因为它们在数学上天然把概率连乘变成求和既稳定又方便。理解参数方程求导之后你再看到各种基于时间步或隐变量的生成模型就不会被那些中间变量绕晕。换句话讲这三种方法帮你建立了一个更完整的导数世界观导数并不只是“把一个函数抄下来套公式”而是“在一个复杂的关系网络中追踪一个变量对另一个变量变化的敏感度”。反向传播的本质也是如此只不过它是用图算法批量、高效地追踪这些敏感度。6.2 后续学习路径和一点个人建议如果你是想进入人工智能方向的初学者我建议学完这三个求导法之后尽快连接到四个模块多变量微积分中的偏导数和梯度、线性代数中的雅可比矩阵、概率论中的极大似然估计、优化理论中的梯度下降。这四个模块会反复用到今天的内容。我也建议你不要只背公式而是亲手动推几个典型场景。比如自己推一遍 softmax 交叉熵的梯度自己推一遍高斯极大似然估计的结果自己写代码实现一个简单的 logistic 回归并用数值微分验证梯度。做完这些你对“数学基础到底用在哪儿”会有一个很踏实的认识。不管未来是做算法工程、模型训练还是数据科学这份手感都会跟着你很久。最后说一句过来人的体会学数学基础最忌讳眼睛会了手不会。你可以在看完这篇之后找三到五道综合练习题把隐函数、对数、参数方程混合起来做一遍。做错不要紧对照我刚才写的五个坑逐一排查很快就能稳下来。