原博客：https://blog.csdn.net/huplion/article/details/79069365
（在此仅作学习记录作用）
一、前言
在前几篇文章中，我们学习到如何在训练集上设置权重，并由此计算出损失(loss)，其中loss是有两部分组成，分别是数据损失项和正则化项目。我们最终想要得到损失函数关于权重矩阵w的梯度表达式，然后进行优化（这句话点明了发现传播和训练的作用）。我们采用梯度下降算法，进行迭代运算，计算梯度进行权重的更新，并一直循环执行这个操作。最后会停留在一个损失函数的低值点，我们得到的这个低值点，我们得到的这个低值点就等价于对基于训练集的分数结果进行良好的预测。
原文：https://www.cnblogs.com/elitphil/p/12251650.html