一、优化算法：在深度学习中，该算法是用来使得经过网络层的计算后，使得最终计算结果不断拟合监督数据中的真值。我们知道，经过网络层的计算后，计算结过可能距离真值很远，此时，我们需要通过优化算法来不断调整计算值，使其最终的计算结果——预测值，与真值中的差异尽量小。
二、优化算法举例：
1、梯度下降：
Mini-batch梯度下降：用子训练集进行梯度下降
batch梯度下降：用整个训练集进行梯度下降
随机梯度下降：将一个样本当做一个子训练集
原文：https://www.cnblogs.com/mj-selina/p/13322252.html