1.神经网络复杂度（空间复杂度+时间复杂度）
空间复杂度用神经网络层数和神经网络中待优化参数的个数表示
我们计算神经网络层数时，只统计具有运算能力的层，输入层仅把数据传输过来，没有运算，所以在统计神经网络层数时，不把输入层算进来
输入层和输出层之间都是隐藏层
时间复杂度可以用神经网络中的乘加运算的次数表示
有几条权重线，就有几次乘加运算
2.学习率
指数衰减学习率可以根据当前迭代次数，动态改变学习率的值
当前轮数有两种表示方法：
多少轮衰减一次：
迭代多少次数据集，或迭代多少次batch更新一次学习率，决定了学习率的更新频率
代码运行输出：
可以看到随着迭代轮数增加，学习率在指数衰减
原文：https://www.cnblogs.com/GumpYan/p/13575180.html