首页 > 其他 > 详细

感知机

时间:2014-07-18 12:26:34      阅读:622      评论:0      收藏:0      [点我收藏+]

感知机:

就现在我理解的来看,感知机是最早被设计使用的人工神经网络的模型。感知机属于二分类的线性分类模型,输入为实例的特征向量,输出为实例的类别,取值为+1和-1.

感知机使用特征向量来表示的前馈式人工神经网络,它是一种二元分类器,把矩阵上的输入bubuko.com,布布扣(实数值向量)映射到输出值bubuko.com,布布扣上(一个二元的值)。

bubuko.com,布布扣

bubuko.com,布布扣是实数的表式权重的向量,bubuko.com,布布扣是点积。bubuko.com,布布扣是偏置,一个不依赖于任何输入值的常数。偏置可以认为是激励函数的偏移量,或者给神经元一个基础活跃等级。

bubuko.com,布布扣 (0 或 1)用于对bubuko.com,布布扣进行分类,看它是肯定的还是否定的,这属于二元分类问题。如果bubuko.com,布布扣是负的,那么加权后的输入必须产生一个肯定的值并且大于bubuko.com,布布扣,这样才能令分类神经元大于阈值0。从空间上看,偏置改变了决策边界的位置(虽然不是定向的)。

由于输入直接经过权重关系转换为输出,所以感知机可以被视为最简单形式的前馈式人工神经网络。

 

在集合空间中可以这样认为

  线性方程W*X+b=0 为一个超平面,其中W是超平面的法向量,b为截距,这个超平面将特征空间划分为两个部分,分为正例和负例。W是法向量如(X1,X2,X3.......)

感知机的学习策略

   就是确定感知机模型的参数W,B,使得定义的(经验)损失函数极小化。

损失函数

   在这里我们将损失函数定义为:误分类点到超平面s的总距离。

   bubuko.com,布布扣

学习方法:

  感知机的学习算法是误分类驱动的,具体采用梯度下降法

  思想:当一个实例被误分的时候通过修改w和b使得超平面向误分类点移动,减少误分类点到超平面的距离。

  首先任意取一个w b的超平面,比如w=0 b=0.然后用梯度下降法极小化目标函数(损失函数),极小化过程是一次随机选取误分类点使其梯度下降。

损失函数L(w,b)的梯度是对w和b求偏导,即:

bubuko.com,布布扣

其中,(0<<=1)是学习率,即学习的步长。综上,感知机学习算法如下:
bubuko.com,布布扣

感知机,布布扣,bubuko.com

感知机

原文:http://www.cnblogs.com/GuoJiaSheng/p/3852923.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!