三、Stochastic gradient descent【随机梯度下降】stochastic gradient descent(SGD)算法在机器学习和强化学习的许多领域中广泛应用;SGD算法是RM算法的一个特殊情况。mean estimation algorithm 是 RM算法的一个特殊情况,也是SGD算法的一个特殊情况。假设我们的目标是求解下面优化问题