Perception Learning Algorithm, PLA

1.感知机

感知机是一种线性分类模型，属于判别模型。

感知机模型给出了由输入空间到输出空间的映射：

　　f(X) = sign(W^TX + b)

简单来说，就是找到一个分类超平面 W^TX + b =0，将数据集中的正例和反例完全分开。

2.感知机学习算法（PLA）

感知机学习算法是为了找到 W 和 b  以确定分类超平面。为了减少符号，令 W = [b, W₁, W₂, ..., W_n]， X = [1, X₁, X₂, ..., X_n]，则 f(X) = sign(W^TX )。

感知机学习算法是由误分类驱动的：

• 对于实际为正例(y=1)的误分类点，则对 W 进行如下修正：

　　　　W = W + X

　　　　从而使得 W^TX 变大，更接近大于 0, 即更接近正确分类；  (W+X)^TX = W^TX + ||X||²

• 对于实际为正例(y=1)的误分类点，则对 W 进行如下修正：　　　　

　　　　W = W - X　　　　

　　　　从而使得 W^TX 变小，更接近小于 0, 即更接近正确分类；  (W-X)^TX = W^TX - ||X||²

综上，令 W 初值 W₀=0，然后每次选取一个误分类点，更新 W = W + y X ，直到所有点都被正确分类。

PS：不同的初值或者选取不同的误分类点，解可以不同。

具体算法如下：

3. PLA算法的收敛性

首先，确定数据集是 线性可分 的，否则，PLA永远不收敛。

假设数据集线性可分，则一定存在一个分类超平面可以将正例负例完全区分。

设最优的参数为 W_f，则：

　　y_i W_f^TX_i ≥ min_n(y_nW_f^TX_n) > 0

已知 W_f^TW 越大，则 W 与 W_f 越接近。（联想协方差）

　　W_f^TW_T = W_f^T (W_T-1+ y_T-1 X_T-1 ) 

                    = W_f^T W_T-1 + y_T-1W_f^TX_T-1

                    ≥  W_f^T W_T-1 + min_n(y_nW_f^TX_n)                                                                         (1)

                    > W_f^T W_T-1 + 0

然而，W_f^TW 越大，也有可能只是 W  的元素值放大，但是W 与 W_f 的角度却没有接近。

所以，我们要讨论 $\frac{W_{f}^{T}W_{T}}{\left \| W_{f} \right \|\left \| W_{T} \right \|}$ 是否越来越大，若是，则 W 越来越接近最优值 W_f 。（联想 SVM 中 函数间隔 和 集合间隔 的概念）

我们知道，PLA 是误分类点驱动，所以有：

　　y_i W^TX_i  ≤ 0

又有：

　　W_T = W_T-1 + y_T-1 X_T-1

则：

　　|| W_T ||² = || W_T-1 ||² + y_T-1² || X_T-1 ||² + 2 y_T-1 W_T-1^T X_T-1

                    ≤ || W_T-1 ||² + y_T-1² || X_T-1 ||²  = || W_T-1 ||² + || X_T-1 ||² 

                     ≤ || W_T-1 ||² + min_n|| X_n ||²                                                                             (2)

设 W₀ = 0

令 ρ = min_n(y_nW_f^TX_n) ，代入式 (1):

　　W_f^TW_T   ≥  W_f^T W_T-1 + ρ  ≥  W_f^T W_T-2 + 2ρ  ≥  ...  ≥  W_f^T W₀ + Tρ = Tρ                     (3)       

令 R = min_n|| X_n ||² ，代入式 (2):

　　|| W_T ||²  ≤  || W_T-1 ||² + R²  ≤  || W_T-2 ||² + 2R²  ≤  ...  ≤  || W₀ ||² + TR²  = TR²            (4)

由 (4), 则：

　　$\left \| W_{f} \right \|\left \| W_{T} \right \|\leq \left \| W_{f} \right \|\sqrt{T}R$                                                                                   (5)

由 (3) (5)：

　　$\frac{W_{f}^{T}W_{T}}{\left \| W_{f} \right \|\left \| W_{T} \right \|}\geq \frac{T\rho }{\left \| w_{f} \right \|\sqrt{T}R}=\frac{\sqrt{T}\rho }{\left \| W_{f} \right \|R}$                                                                              (6)

可以看到，$\frac{W_{f}^{T}W_{T}}{\left \| W_{f} \right \|\left \| W_{T} \right \|}$ 随着迭代次数 T 的增加而增加， 说明 W 在向着最优值 W_f 逐渐靠近。 

由 (6) :

　　$\frac{\sqrt{T}\rho}{\left \| W_{f} \right \|R}\leq 1$     向量点积，当 W_T = W^f 时 cosθ = cos0 = 1

　　=> $T\leq \frac{\left \| W_{f} \right \|^{2}R^{2}}{\rho ^{2}}$

令 $\gamma =\frac{\rho }{\left \| W_{f} \right \|}$：

　　=> $T\leq \frac{R^{2}}{\gamma ^{2}} $                                                                                                                   (7)

式 (7) 表明，迭代次数（误分类的次数）T  有上界，经过有限次迭代可以找到将训练数据完全正确分开的分类超平面。

这就说明，当训练数据集线性可分时，PLA 迭代是收敛的。

PS：PLA 可以有许多解，当选择不同的初值或者选择的误分类点的顺序不同时，解可以不同。

4.线性不可分时的PLA（Pocket 算法）

5.PLA的对偶形式

2018-09-03

感知机学习算法（PLA）

原文：https://www.cnblogs.com/dyj-ng/p/9577807.html