微积分与梯度

微积分与梯度导数对一个函数yf(x)yf(x)yf(x)进行求导微分可以得到这个函数y对于x的导数表示为Df(x)Df(x)Df(x)。导数的意义在于其可以表示一个函数在某一点上的斜率。函数yx2yx^2yx2的导数是y′2xy2xy′2ximportnumpyasnpimportmatplotlib.pyplotasplt# x 的取值范围xnp.linspace(-5,5,500)# 原函数yx**2# 导函数dy2*x# 绘图plt.plot(x,y,labelf(x) x²)plt.plot(x,dy,labelf(x) 2x)plt.axhline(0,linewidth0.8)plt.axvline(0,linewidth0.8)plt.xlabel(x)plt.ylabel(y)plt.legend()plt.grid(True)end()plt.grid(True)plt.show()梯度如果一个函数有多个变量yf(x1,x2,...,xn)yf(x_1,x_2,...,x_n)yf(x1​,x2​,...,xn​)我们就需要求其对于第i个变量的导数称之为偏导数Dif(x)D_if(x)Di​f(x)。如果我们将函数对于其所有变量的偏导数组合在一起就可以形成一个向量一维数组[D1f(x1),D2f(x2),...Dnf(xn)][D_1f(x_1),D_2f(x_2),...D_nf(x_n)][D1​f(x1​),D2​f(x2​),...Dn​f(xn​)]我们将这个向量称为函数y的梯度$\nabla f(\mathbf{x}) $。梯度的意义在于我们找到了一种方法来衡量复杂函数在某一点的变化率。对于函数上的某一点计算其梯度我们只需要沿着梯度的反方向移动就可以使得函数值下降从而找到一个函数低点往往是局部低点。这个过程就称之为梯度下降。​