1. 梯度下降算法主要用于优化单个参数的取值，而反向传播算法给出了一个高效的方式在所有参数上使用梯度下降法，从而使神经网络模型在训练数据上的损失函数尽可能小。
2.学习率不能太大也不能太小，tensorflow提供了一种更加灵活的学习率设置方法——指数衰减法：tf.train.exponential_decay函数实现指数衰减。此函数中的参数staricase 默认为false，表示学习率随迭代轮数变化的趋势光滑下降，而当设置为true时，decay_steps会被转化为整数，学习率成为一个阶梯函数。
3. 正则化，避免过拟合：
原文：https://www.cnblogs.com/Turing-dz/p/11609978.html