深层神经网络可以解决部分浅层神经网络解决不了的问题。
神经网络的优化目标-----损失函数
深度学习：一类通过多层非线性变化对高复杂性数据建模算法的合集。（两个重要的特性：多层和非线性）
线性模型的最大特点：任意线性模型的组合仍然是线性模型。（任意层的全连接神经网络和单层神经网络模型的表达能力没有任何区别）
激活函数实现去线性化：ReLU函数 sigmoid函数 tanh函数 （增加偏置项） ，TensorFlow支持7中不同的非线性激活函数
感知机：单层的神经网络，无法模拟异或运算。加入隐藏层之后，异或问题可以得到很好的解决。
TensorFlow（实战深度学习框架）----深层神经网络（第四章）
原文：https://www.cnblogs.com/bjut-lqq/p/9403597.html