支持向量机（一）

阅读目录

一.什么是支持向量？

二.支持向量机的类型？

三.支持向量机的思想？

四.支持向量机名字的由来？

五.各种支持向量机的学习策略？

一.什么是支持向量？

是一种二类分类的模型。它在自然语言中广泛应用于短语识别，词义消歧，文本自动分类和信息过滤等方面。

二.支持向量机的类型？

支持向量机分为三类：1.线性可分支持向量机（第一个图），2.线性支持向量机（第二个图） 3.非线性支持向量机（第三个图）

三.支持向量机的思想？

比如二维平面上，我们只要找到一条直线把这两类划分开来，分类就很容易了，以后遇到一个数据，就丢进这个平面，看在直线的哪一边，就是哪一类。比如x+y-2=0这条直线，我们把数据(x,y)代入，只要认为x+y-2>0的就是A类，x+y-2<0的就是B类。以此类推，还有三维的，四维的，N维的属性的分类，这样构造的也许就不是直线，而是平面，超平面。一个三维的函数分类：x+y+z-2=0，这就是个分类的平面了。有时候，分类的那条线不一定是直线（线性不可分），还有可能是曲线，我们通过某些函数来转换，这样就可以转化成刚才的那种多维的分类问题（线性分类），这个就是核函数的思想。例如：分类的函数是个圆形x^2+y^2-4=0。这个时候令x^2=a; y^2=b,就变成了a+b-4=0 这种可以线性划分的问题了。

四.支持向量机名字的由来？

名字由两部分组成："支持向量"和"机"。
在机器学习领域中，我们通常用“机”来表示“算法”的意思。
而支持向量是什么意思呢？
我们以线性可分的二维空间为例：

1. 假设我们要通过三八线把实心圈和空心圈分成两类。
2. 就像感知机一样，有无数多个直线来划分这里的样本点。
3. 在SVM中，我们寻找一个直线，使得离这个直线最近的点，都尽可能的远。
4. 在这个图中，边缘加粗的点就是离直线最近的点，这些点对直线的最终位置起到了关键的作用，而其他的点并不起作用，我姑且叫它“支持点”（意思就是有用的点），由于样本点会有很多特征，所以我们把“点”改为“向量”（比如三维的点（X，Y，Z）就是三维向量），因此“支持向量”就是这样来的。

五.各种支持向量机的学习策略

a.当训练数据线性可分，通过硬间隔最大化学习到线性可分支持向量机。
b.当训练数据近似线性可分，通过软间隔最大化学习支持线性支持向量机。
c.当训练数据线性不可分，通过核技巧和软间隔最大化学习非线性支持向量机。
在明天会讲解的内容：线性可分支持向量机与硬间隔最大化。

支持向量机（一）

原文：http://www.cnblogs.com/ldphoebe/p/4992976.html