首先模式识别系统的主要作用是:判别各个模式所属的类别,例如对一个两类问题的判别,就是将模式x划分为成ω1和ω2两类。
若x是二维模式样本x = (x1 x2)T,用x1和x2作为坐标分量,得到模式的平面图:
这时,若这些分属于ω1和ω2两类的模式可用一个直线方程d(x)=0来划分
d(x) = w1x1 + w2x2 + w3 = 0
其中x1、x2为坐标变量,w1、w2、w3为参数方程,则将一个不知类别的模式代入d(x),有
- 若d(x) > 0,则
- 若d(x) < 0,则
此时,d(x)=0称为判别函数。
(1)判别函数的几何性质:线性的和非线性的函数。
?线性的是一条直线;
?非线性的可以是曲线、折线等;
?线性判别函数建立起来比较简单(实际应用较多);
?非线性判别函数建立起来比较复杂。
(2)判别函数的系数:判别函数的形式确定后,主要就是确定判别函数的系数问题。
?只要被研究的模式是可分的,就能用给定的模式样本集来确定判别函数的系数。
其中w0 = (w1, w2, …, wn)T称为权向量(或参数向量), x = (x1, x2, …, xn)T。
d(x)也可表示为:d(x) = wTx
其中,x = (x1, x2, …, xn, 1)T称为增广模式向量,w = (w1, w2, …, wn+1)T称为增广权向量。
设模式可分成ω1, ω2,…,
ωM共M类,则有三种划分方法
?多类情况1
?多类情况2
?多类情况3
用线性判别函数将属于ωi类的模式与不属于ωi类的模式分开,其判别函数为:
i = 1, 2, …, M。
这种情况称为两分法,即把M类多类问题分成M个两类问题,因此共有M个判别函数,对应的判别函数的权向量为wi, i = 1, 2, …, M。
图例:对一个三类情况,每一类模式可用一个简单的直线判别界面将它与其它类模式分开。
例如对的模式,应同时满足:d1(x)>0,d2(x)<0,d3(x)<0
不确定区域:若对某一模式区域,di(x)>0的条件超过一个,或全部di(x)<0,i = 1, 2, …, M,则分类失败,这种区域称为不确定区域(IR)。
例题:设有一个三类问题,其判别式为:
d1(x)= -x1 + x2,d2(x)= x1 + x2 - 5,d3(x)= -x2 + 1
则对一个模式x=(6, 5)T,判断其属于哪一类。
将x=(6, 5)T代入上述判别函数,得:
d1(x) = -1,故d1(x)<0
d2(x) = 6,故d2(x)>0
d3(x) = -4,故d3(x)<0
从而
假若x=(3, 5)T,则
d1(x) = 2>0
d2(x) = 3>0
d3(x) = -2<0
分类失败。
采用每对划分,即ωi/ωj两分法,此时一个判别界面只能分开两种类别,但不能把它与其余所有的界面分开。其判别函数为:
若dij(x)>0,,则
重要性质:dij = -dji
图例:对一个三类情况,d12(x)=0仅能分开ω1和ω2类,不能分开ω1和ω3类。
要分开M类模式,共需M(M-1)/2个判别函数。
不确定区域:若所有dij(x),找不到,dij(x)>0的情况。
例:设有一个三类问题,其判别函数为:
d12(x)= -x1 - x2 + 5,d13(x)= -x1 + 3,d23(x)= -x1 + x2
若x=(4, 3)T,则:d12(x) = -2,d13(x) = -1,d23(x) = -1
则:
所以。
若x=(2.8, 2.5)T,则:d12(x) = -0.3,d13(x) = 0.2,d23(x) = -0.3
则:
所以分类失败。
3.1线性判别函数【模式识别】,布布扣,bubuko.com
原文:http://www.cnblogs.com/stemon/p/3782518.html