首页 > 编程语言 > 详细

python实现支持向量机之理论基础(二)

时间:2020-05-01 22:40:37      阅读:110      评论:0      收藏:0      [点我收藏+]

上节讲到了支持向量机转换为以下问题了:

技术分享图片

在线性可分的情况下,将距离分离超平面最近的样本点的实例称为支持向量,支持向量是使yi(wxi+b) -1=0的点。对于yi=+1的正例点,支持向量在超平面wx+b=1上,对于yi=-1的负例点,支持向量在wx+b=-1上,如图所示:

技术分享图片

技术分享图片

举个例子:

技术分享图片

技术分享图片

使用对偶算法求解支持向量机的好处:

1、对偶问题更易于求解

2、自然引入核函数,进而推广到非线性分类问题

如何利用对偶算法来求解?

首先建立拉格朗日函数:

技术分享图片

其中αi>=0,i=1,2,...,N。根据拉个朗日对偶性,原始问题的对偶问题是极大极小问题:

技术分享图片

为了求得对偶问题的解,需要先求L(w,b,α)对w,b的极小,再求对α的极大。

技术分享图片技术分享图片

技术分享图片

技术分享图片

技术分享图片

所以,支持向量机就可以转换为以下问题了:

技术分享图片

技术分享图片

举个计算的例子:

技术分享图片

技术分享图片

以上摘自统计学习方法,仅为自己方便复习所用。 

python实现支持向量机之理论基础(二)

原文:https://www.cnblogs.com/xiximayou/p/12814676.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!