1.深度学习的发展历程
2.深度学习的三大步
(1)前馈神经网络：
神经网络的结构：
矩阵运算：
运算过程：
x为（x1,x2,.....xn）,b为(b1,b2,...bn)
特征工程结构图：
案例：
此案例中输入，输出已经确定，需要设置神经网络的结构
可能出现的问题：
问题1：需要多少层，每层需要多少神经元？
试验+错误+直觉
(2)判断模型的好坏---利用损失函数Loss
cross entropy 交叉熵
3.why deep
模块化编程：不要把所有东西都放到主函数中
先利用基础分类器进行分类，再调用另外的分类器。优点：利用少量的数据就可以训练比较好的模型。
deep learning 的优点是模块化编程。
4.backpropagation 反向传播算法
链式法则：
计算过程：
(1)前向传播 Forward Pass计算方法
计算 ∂z/∂w的计算：
计算小案例：
(2)反向传播 Backward Pass计算方法
最终计算结果：
反向传播的理解图：
李宏毅深度学习笔记02---深度学习的发展历程、3大研究步骤、
原文：https://www.cnblogs.com/luckyplj/p/13124111.html