一般地，我们可以把分类（或者回归）的问题分为两类：参数学习的形式和基于实例的学习形式。
参数学习的形式就是通过一堆训练数据，把相应模型的参数给学习出来，然后训练数据就没有用了，对于新的数据，用学习出来的参数即可以得到相应的结论；
而基于实例的学习（又叫基于内存的学习）则是在预测的时候也会使用训练数据，如KNN算法。而基于实例的学习一般就需要判定两个点之间的相似程度，一般就通过向量的内积来表达。从这里可以看出，核方法不是万能的，它一般只针对基于实例的学习。
—— http://blog.csdn.net/xianlingmao/article/details/7719122
原文：http://www.cnblogs.com/syrena/p/3982268.html