深度学习发展历史：
感知机和逻辑回归很像，只是没有\(sigmoid\)激活函数。
深度学习训练的三个步骤：
Step1：神经网络（Neural network）
Step2：模型评估（Goodness of function）
Step3：选择最优函数（Pick best function）
Step1：
完全连接前馈神经网络 Fully Connect Feedforward Network：
概念：输入层、隐藏层、输出层、神经元
Deep = Many hidden layers
全连接：两层之间两两都有连接
层数很多，运算量大，用loop不合适，应该用矩阵计算，可以并行计算，用GPU去加速。
需要多少层，每层多少个神经元？尝试+直觉
结构可以自动确定吗？比如进化人工神经网络可以
自己设计？比如卷积神经网络CNN
Step2：
用交叉熵来度量Loss
Step3:
使用Gradient Descent多次迭代
在神经网络中计算损失最好的方法就是反向传播，我们可以用很多框架来进行计算损失，比如说TensorFlow，theano，Pytorch等等
思考：
为何要用多层？后续章节有介绍。
【笔记】机器学习 - 李宏毅 - 7 - Deep Learning
原文：https://www.cnblogs.com/yanqiang/p/11381054.html