人工神经网络(Artificial Neural Networks,ANN)提供了一种普遍而实用的方法从样例中学习值为实数、离散值或向量的函数。
人工神经网络由一系列简单的单元相互密集连接构成，其中每一个单元有一定数量的实值输入(可能是其他单元的输出)，并产生单一的实数值输出(可能成为其他单元的输入)。
适合神经网络学习的问题：
其中每一个w i 是一个实数常量，或叫做权值（weight ），用来决定输入xi 对感知器输出的贡献率。
请注意，常量(w0) 是一个阈值，它是为了使感知器输出 1 ，输入的加权和w1x1+w2x2+...+wnxn必须超过的阈值。
。当然，某些正反样例集合不可能被任一超平面分割。那些可以被分割的成为线性可分(linearly
separable)样例集合。
从随机的权值开始，然后反复地应用这个感知器到每个训练样例，只要它误分类样例就修改感知器的权值。重复这个过程，知道感知器能正确分类所有的训练样例。
每一步根据感知器训练法则（perceptron training rule）来修改权值，也就是修改与输入 xi 对应的权 wi 法则如下：
这里t是当前训练样例的目标输出，O是感知器的输出（1或-1），η是一个正的常数称为学习速率（learning rate）学习速率的作用是缓和每一步调整权的程度。它通常被设为一个小的数值（例如0.1），而且有时会使其随着权调整次数的增加而衰减。
对于权值的调整是一例一调，也就是输入一个样例，就计算每个Δwi, 来调整wi的值，一直训练到会收敛到一个能一个能正确分类所有训练样例的权向量，前提是训练样例线性可分，并且使用了充分小的η 。如果数据不是线性可分的，那么不能保证收敛。
梯度下降和delta法则：
。
原文：http://blog.csdn.net/laozhaokun/article/details/24579119