*BP(Back Propagation)网络是一种前馈网络,即误差反向传播神经网络
*一般的前馈网络包括一个输入层和一个输出层，若干隐单元。隐单元可以分层也可以不分层，若分层，则称为多层前馈网络。网络的输入、输出神经元其激活函数一般取为线性函数，而隐单元则为非线性函数。任意的前馈网络,不一定是分层网络或全连接的网络。
*实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。
*BP网一般都选用二级网络。 结点的激励函数要求是可微的，通常选S型。
*多层前馈网络的每一层都是单层的网络，却无法用单层感知器的学习方法。
*其解决方法：通过误差函数求导使误差沿网络向后传播
*BP网络的学习算法是算法的推广和发展，是一种有教师的学习。
*BP模型学习算法的基本思想为：
(1)从训练样例中取出一样例，把输入信息输入到网络中
(2)由网络分别计算各层节点的输出
(3)计算网络的实际输出和期望输出的误差
(4)从输出层反向计算到第一隐层，根据一定原则向减小误差方向调整网络的各个连接权值
(5)对训练样例集中的每一个样例重复以上步骤，直到对整个训练样集的误差达到要求为止
*在BP算法中，为了使学习以尽可能快的减少误差的方式进行，对误差采用基于梯度法极小化二次性能的指标函数：
*连接权值的修正公式为：
*BP算法的不足：
(1)该学习算法收敛速度太慢，常常需要成千上万次的迭代，而且随着训练样例维数的增加，网络性能会变差
(2)从数学上看该算法是一梯度最速下降法，这就有可能出现局部极小问题，这样算法所求得的就不是问题的解，所以BP算法是不完备的
(3)网络中隐节点个数的选取还没有理论的指导
(4)当有新样例加入时，将影响到已学习过的样例，而且要求刻画每个输入样例的特征数目相同
原文：http://blog.csdn.net/u011308691/article/details/19206755
