从一个问题说起：
当我们使用H10去拟合曲线的时候，其实我们只想要H2的结果。如果从H10变回到H2呢？
所以我们只需要添加上限制条件：w3=...=w10=0即可。现在呢，我们可以放宽一点条件：任意8个w为0即可。
但是像这种问题是NP-Hard问题，需要枚举所有的情况。
我们再放宽一点条件：
对于linear regression问题，这类squared 条件很好求解。
求解过程主要依赖于Lagrange Multiplier。其次需要结合linear regression中需要用到的推导：
也就是说，添加限制条件之后的线性回归就等价于其error measure为Eaug的线性回归算法。
在上述推导中C始终未出现，但是却有一个λ，λ的选择对于算法会产生怎么的影响呢？
可以看出λ越大相当于C越小。而微小的λ（相当于微小的约束）会产生极其良好的效果。
为什么加上约束条件之后就会使得算法表现更良好呢？因为加上约束条件，就相当于对H进行了约束，使得dvc减小。
现在只有一个问题：如何选择出一个最优的λ。
、
没有什么方法，用多个λ试一试挑选出最好的λ即可。具体的挑选过程其实是一个看仪表盘的过程（validation）。
原文：http://www.cnblogs.com/wangyanphp/p/5470773.html