模式识别 学科初入 课堂笔记

学习来源：

1：《Pattern Classification 》 

1.前后环境：

  之前是通过课堂的方式对模式识别有所了解，所用教材为《Pattern Classification》。 

  研一期间，由于个人能力有限和精力有限，所以只是集中于列出在平时学习过程中的一些关键的概念，没能较为系统和全面的叙述，知识点较为零散。

  PS: 这也是我第一次写随笔，是之前在查阅资料的过程中有机会能学习 博客园：JerryLead关于支持向量机的知识笔记，所以也萌生了自己在读研期间试写博客的想法。我可能更偏向一种学习笔记和学习记录的方式和大家分享自己的一些心得体会吧 O(∩_∩)O。同时也希望和各位一同交流学习。

2.模式识别的一些概念：

  以下是模式识别学科认知的课堂笔记：

  概念① 模式识别：

  既用一定的计算方法 通过得到的样本特征 来设计相应的模式分类器 从而达到类别区分的目的。

  它所追求的是：对未知样本的分类能力(泛化能力)。PS: 这个概念还是挺重要的，因为对已知样本的学习得到的一些分类器参数更多的是得到对已知样本的分类能力。但是由于我们在实际工程中，因为样本是有限的(现在流行的大数据之所以受到大家欢迎，是因为它样本数大，不会被很多小样本条件下的束缚所局限)，所以我们在对已知样本的学习过程中会引入对噪声的学习，从而造成了测试结果很“完美”，但是实际使用时候却发现它的成功率不高。

  应对样本不足有很多工程方法，如：交叉验证等。

  概念② VC维：

  VC维概念：一个函数集 其能够打散的最大样本数目 称为VC维，其中 打散 是指：一个函数集能够将n个样本按照所有可能的2^n种形式分开

                 VC维越大，学习能力越强，但是学习机器也越复杂。

  VC维的一个典型例子(课堂老师给的)：

  蓝线和红线的交点假设为我们得到的数据样本，如果用蓝线的sin函数去拟合的话是刚好的，但是用高阶的sin函数(红色曲线)去拟合的话也可以满足条件。

  PS:sin函数的VC维是无穷的，只要你愿意，它可以任意逼近空间一条曲线。

  概念③ 机器学习的一些概念：

  三个基本问题： 模式识别 函数逼近 概率密度估计

  一个基本原则：解决一个问题的情形下，要直接去解决该问题，而不应该先去解决一个更一般问题之后再来解决它

  追求的是：对未知样本的泛化能力

  有限样本条件下：经验风险最小不一定是期望风险最小，而当样本趋近于无限大时，经验风险逼近于期望风险。

  现在(2015年)存在的一些挑战或现状：(个人感觉了解一门学科，去了解它现在面临的问题会更直观)

   1.泛化能力最强是：支持向量机和集成学习

   2.训练速度，测试速度

   3.可理解性：现存的那些效果较好的技术都是“黑箱”技术

   4.数据利用能力

   5.代价敏感：主要是追求错误率最小化还是风险最小化的问题。

  概念④ 神经网络的少许概念：

  历史：其实神经网络有一段时期是停止发展的，就是因为人们不能证明它能够去逼近确切的解(这里描述得有点模糊，可以说成是，他可以去逼近一个空间解向量？)

          又重新开始盛行是因为：有人证明了 三重神经网络可以以任意精度逼近任意网络。

  支持向量机是有严密的数学依据，相比之下，神经网络更像一门工程艺术。但是我们在使用的时候不能说谁更好。

  概念⑤ 支持向量机面临的问题：

  1.针对不同的问题选择什么样的核函数仍是一个问题。

  2.标准的SVM对噪声是不具有鲁棒性的，如何选择适合的目标函数去实现鲁棒性是至关重要的。

  3.维数灾难问题。

  维数灾难的一个直观的解释就是: 假设有100个样本，那么这100个样本在一维空间中可能能很好的表征它的分布，当扩展到二维的话，可能还勉强够用... 扩展到3维4维的时候，这个样本已经不足以体现出分布规律了..

  在多维情况下，一个赋范空间 || || 的值可能相差无几。 

  非平衡问题：

  其中黄线为最为理想的非类面，而因为样本数量的不平衡，导致了实际计算出来的分类面偏向了较少的群体。

模式识别 学科初入 课堂笔记

原文：http://www.cnblogs.com/cyb9299/p/4928417.html