5、，最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則為：如果則。
三、分類器的設(shè)計(jì)
通常定義一組判別函數(shù)用于表示多類決策規(guī)則，如果對(duì)一切ji,有，則將x歸于wi類。故可根據(jù)需要定義不同的判別函數(shù)，只要滿足上面這條性質(zhì)就行。對(duì)別判別對(duì)象只有兩類的情況下，我們可以定義判別函數(shù)，決策面方程顯然為。
難點(diǎn)：錯(cuò)誤率的正確含義；最小錯(cuò)誤率和最小風(fēng)險(xiǎn)的區(qū)別；分類器的設(shè)計(jì)。
學(xué)習(xí)體會(huì)：
通過(guò)本章的學(xué)習(xí)，對(duì)模式識(shí)別的基本內(nèi)容和方法有了一個(gè)概括的了解。其本質(zhì)就是將客觀事物通過(guò)抽象，概括，找出最能反應(yīng)事物本質(zhì)的特征，利用數(shù)學(xué)工具尤其是統(tǒng)計(jì)學(xué)的有關(guān)理論，比較后驗(yàn)概率的大小，從而對(duì)被識(shí)別對(duì)象進(jìn)行規(guī)類。這樣設(shè)計(jì)出的分類器理論上最優(yōu)而先驗(yàn)條
6、件難以滿足，故在應(yīng)用中受到一定限制。
第三章 概率密度函數(shù)的估計(jì)
主要精髓：
一、參數(shù)估計(jì)
1、最大似然估計(jì)
把參數(shù)看成為確定的未知參數(shù)。似然函數(shù)定義為
最大似然估計(jì)就是求使似然函數(shù)為最大的作為最大似然估計(jì)量。
2、貝葉斯估計(jì)
把參數(shù)看成為隨機(jī)的未知參數(shù)，一般具有先驗(yàn)分布。樣本通過(guò)似然函數(shù)并利用貝葉斯公式將的先驗(yàn)分布轉(zhuǎn)化為后驗(yàn)分布，再利用使平方誤差損失函數(shù)的貝葉斯風(fēng)險(xiǎn)極小化。
3、貝葉斯學(xué)習(xí)
利用的先驗(yàn)分布及樣本提供的信息求出的后驗(yàn)分布，然后直接求總體分布。
二、參數(shù)估計(jì)方法的應(yīng)用
1、正態(tài)分布的監(jiān)督參數(shù)估計(jì)
假定樣本類別已知，且樣本服從正態(tài)分布，則通過(guò)以上三種
7、參數(shù)估計(jì)方法能夠得到很好的效果，估計(jì)值擬合程度很高。
2、非監(jiān)督參數(shù)估計(jì)
在未知樣本類別條件下，經(jīng)常利用最大似然估計(jì)，首先定義似然函數(shù)，然后利用從混合密度中提取的樣本估計(jì)未知參數(shù)，如果混合分布可識(shí)別，則可用一般方法求最大似然估計(jì)量。如果不識(shí)別，則不可使用非監(jiān)督參數(shù)估計(jì)，但實(shí)際上大部分常見(jiàn)連續(xù)隨機(jī)變量的分布密度函數(shù)都是可識(shí)別的，故這種方法還有較強(qiáng)的實(shí)際應(yīng)用價(jià)值。
三、關(guān)于分類器錯(cuò)誤率的估計(jì)問(wèn)題
1、對(duì)于已設(shè)計(jì)好的分類器，利用樣本來(lái)估計(jì)錯(cuò)誤率。這種只用來(lái)估計(jì)分類器錯(cuò)誤率的樣本集稱為檢驗(yàn)集或考試集。
2、對(duì)于未設(shè)計(jì)好的分類器，需將樣本分成兩部分，即分為設(shè)計(jì)集和檢驗(yàn)集，分別用以設(shè)計(jì)分類器和估
8、計(jì)錯(cuò)誤率。
難點(diǎn)：參數(shù)估計(jì)方法在實(shí)際中的應(yīng)用。
學(xué)習(xí)體會(huì)：本章主要討論了當(dāng)概率密度函數(shù)未知時(shí)，利用三種參數(shù)估計(jì)對(duì)其進(jìn)行估計(jì)的問(wèn)題。但是可以看出，盡管參數(shù)估計(jì)在統(tǒng)計(jì)學(xué)中已經(jīng)有一套較完整的理論和方法，但在實(shí)際應(yīng)用中，當(dāng)樣本數(shù)有限時(shí)，并不能保證估計(jì)出的概率密度函數(shù)能很好的反應(yīng)真實(shí)情況，故一般情況下在此基礎(chǔ)上設(shè)計(jì)性能良好的分類器并不是一個(gè)十分簡(jiǎn)單的問(wèn)題。
第四章 線性判別函數(shù)
主要精髓：
一、線性判別函數(shù)的基本概念及設(shè)計(jì)步驟
一般表達(dá)式為；令；則當(dāng)時(shí)，否則，若，則將任意分到某一類，或拒絕。
線性分類器的主要設(shè)計(jì)步驟如下：
1、要有一組具有類別標(biāo)志的樣本集。
2、根據(jù)實(shí)際情況確定一
9、個(gè)準(zhǔn)則函數(shù)，且要能反映分類器的性能，極值解對(duì)應(yīng)于最好的決策。
3、用最優(yōu)化技術(shù)求出準(zhǔn)則函數(shù)的極值解，利用極值解就可以構(gòu)造判別函數(shù)了。
二、感知準(zhǔn)則函數(shù)及其梯度下降算法
對(duì)于一組線性可分的樣本集，我們先構(gòu)造準(zhǔn)則函數(shù)，使得我們能夠從準(zhǔn)則函數(shù)的符號(hào)來(lái)判斷樣本是否被錯(cuò)分，故可以采用梯度下降算法，感知準(zhǔn)則函數(shù)對(duì)所求的解向量求導(dǎo)數(shù)，再通過(guò)迭代循環(huán)即可求出使準(zhǔn)則函數(shù)達(dá)到最小值的解向量。
三、最小錯(cuò)分樣本數(shù)準(zhǔn)則
由于感知準(zhǔn)則函數(shù)及其梯度下降算法只適用于線性可分情況，對(duì)于線性不可分情況，迭代過(guò)程永遠(yuǎn)不會(huì)終結(jié)，即算法不收斂。但在實(shí)際中很難事先知道樣本集是否可分，因此，有必要研究一種既能適用于線性可分情況
10、，又適用于線性不可分情況的算法。對(duì)于線性可分問(wèn)題，可以得到一個(gè)如感知函數(shù)那樣的解向量，使樣本全部正確分類；而對(duì)于線性不可分情況，則得到一個(gè)使兩類樣本集錯(cuò)分?jǐn)?shù)目最少的權(quán)向量，這樣的準(zhǔn)則就叫作最小錯(cuò)分樣本數(shù)準(zhǔn)則。主要算法有共軛梯度法、搜索法等。
難點(diǎn)：算法的深刻理解及程序設(shè)計(jì)的實(shí)現(xiàn)
學(xué)習(xí)體會(huì)：通過(guò)本章的學(xué)習(xí)，對(duì)基于幾個(gè)常用準(zhǔn)則函數(shù)的線性分類器設(shè)計(jì)方法有了一個(gè)大致的了解，深刻認(rèn)識(shí)到在工程實(shí)踐中化繁為簡(jiǎn)的思維方法，復(fù)雜的分類判別問(wèn)題可以用線性判別函數(shù)近似逼近，為我以后解決實(shí)際問(wèn)題提供了一個(gè)很好的思路。
第五章 非線性判別函數(shù)
主要精髓：
一、分段線性判別函數(shù)概念
分段線性判別函數(shù)是一種
11、特殊的非線性判別函數(shù)，它確定的決策面是由若干超平面段組成的，能逼近各種形狀的超曲面，具有很強(qiáng)的適應(yīng)能力。如基于距離的分段線性判別函數(shù)可以將多個(gè)樣本集分類，也就是說(shuō)樣本點(diǎn)距離哪個(gè)類的代表點(diǎn)近就把它分到哪一類。
二、用凹函數(shù)的并表示分段線性判別函數(shù)
對(duì)于多峰分布的兩類問(wèn)題，可以考慮用這種方法構(gòu)造判別函數(shù)，通過(guò)判斷判別函數(shù)的符號(hào)可以對(duì)樣本進(jìn)行分類，通常可以得到滿意的結(jié)果，但也存在明顯的問(wèn)題，在算法執(zhí)行前，要首先判斷每類分布有多少個(gè)峰，從而確定設(shè)計(jì)幾個(gè)分段線性判別函數(shù)，這就需要有先驗(yàn)知識(shí)，還需要給出每個(gè)分段線性判別函數(shù)中分段的數(shù)目。0
三、用交遇區(qū)的樣本設(shè)計(jì)分段線性分類器
這是一種實(shí)現(xiàn)最少分段
12、線性分類器的方法。當(dāng)兩類樣本非線性可分時(shí)，貝葉斯分界面一般通過(guò)兩類樣本十分靠近或相互交迭的區(qū)域，即交遇區(qū)。把這些區(qū)域找出來(lái)，利用這些區(qū)域中的樣本集設(shè)計(jì)線性判別函數(shù)，然后把它們連在一起，就構(gòu)成了一個(gè)線性判別函數(shù)，所得的分界面時(shí)分段線性分界面，它可以很好地逼近貝葉斯分界面。
難點(diǎn)：利用樣本集確定子類數(shù)目及求子類的權(quán)向量和閥值權(quán)。
學(xué)習(xí)體會(huì)：通過(guò)本章的學(xué)習(xí)，使我對(duì)復(fù)雜問(wèn)題簡(jiǎn)單化的思路有了更深刻的認(rèn)識(shí)。由于實(shí)際中很多模式識(shí)別問(wèn)題并不是線性可分的，而且經(jīng)常具有多峰性質(zhì)和互相交錯(cuò)，但直接利用非線性函數(shù)解決問(wèn)題又十分的復(fù)雜，因此，用分段線性函數(shù)進(jìn)行逼近不僅是可能的而且效果很好，在實(shí)踐中得到了廣泛的應(yīng)用。
13、
第六章 近鄰法
主要精髓：
前兩章基于距離的判別函數(shù)都是在每一類選一個(gè)代表點(diǎn)，是很直觀和簡(jiǎn)單的方法，但這樣的代表點(diǎn)可能不能很好的代表各個(gè)類，結(jié)果錯(cuò)誤率比較高。本章討論的近鄰法就是將各類中的全部樣本都作為代表點(diǎn)，即近鄰法，是一種比較成熟的設(shè)計(jì)方法。
一、最近鄰法
這是一種最簡(jiǎn)單但錯(cuò)誤率也很小的方法，即比較待測(cè)樣本與若干個(gè)已知類別的樣本之間距離的大小，取最小值，則待測(cè)樣本就屬于那一類。其錯(cuò)誤率大約為貝葉斯錯(cuò)誤率的一到兩倍，是一種很實(shí)用的設(shè)計(jì)方法。
二、k－近鄰法
這是最近鄰法的一個(gè)推廣。這種方法就是取未知樣本x的k個(gè)近鄰，看這k個(gè)近鄰中多數(shù)屬于哪一類，就把x歸于哪一類。也就是在
14、N個(gè)已知樣本中，找出x的k個(gè)近鄰。設(shè)這N個(gè)樣本中，來(lái)自w1類的樣本有N1個(gè)，來(lái)自w2類的有N2個(gè)，來(lái)自wc類的有NC個(gè)，若k1，k2，kc分別是k個(gè)近鄰中屬于w1，w2，wc類的樣本數(shù)，則定義判別函數(shù)，決策規(guī)則為：若，則；
三、減少近鄰法計(jì)算量和存儲(chǔ)量的方法
近鄰法雖然有很好的特性，但一個(gè)明顯的缺點(diǎn)就是計(jì)算量大?？刹捎每焖偎阉鞣ǎ瑢颖痉旨?jí)成一些不相交的子集，并在子集的基礎(chǔ)上進(jìn)行搜索，這種方法對(duì)最近鄰法和k-近鄰法都適用。還可采用剪輯近鄰法，即將樣本集分成兩個(gè)獨(dú)立的集合——設(shè)計(jì)集和考試集，并用設(shè)計(jì)集設(shè)計(jì)分類器，用考試集估計(jì)錯(cuò)誤率。更進(jìn)一步還有壓縮近鄰法，即在剪輯的基礎(chǔ)上，再去掉一部分對(duì)分類
15、決策沒(méi)什么影響的樣本以縮短計(jì)算時(shí)間和降低存儲(chǔ)要求。
難點(diǎn)：快速搜索算法的分級(jí)方法、程序設(shè)計(jì)
學(xué)習(xí)體會(huì)：通過(guò)本章的學(xué)習(xí)，對(duì)近鄰法的基本理論和方法有了一個(gè)較為全面的認(rèn)識(shí)，也對(duì)它的重要性有了更深的體會(huì)，是一種很有實(shí)用價(jià)值又在理論上比較完善的設(shè)計(jì)方法。為了解決它對(duì)存儲(chǔ)量和計(jì)算速度要求過(guò)高的問(wèn)題，又進(jìn)一步學(xué)習(xí)了幾種改進(jìn)的近鄰法，尤其是快速搜索算法為緩解這一矛盾提供了一個(gè)很好的思路。
第八章 特征的選擇與提取
主要精髓：
特征選擇與提取的目的就是通過(guò)一系列判據(jù)把高維特征空間壓縮到低維空間，保留最有效的特征，以便更有效的設(shè)計(jì)分類器。特征提取和選擇并不是截然分開的。可以先經(jīng)過(guò)選擇去掉那些明顯沒(méi)有
16、分類信息的特征，再進(jìn)行映射以降低維數(shù)。也可以先將原始特征空間映射到維數(shù)較低的空間，再在這個(gè)空間中再進(jìn)行選擇以進(jìn)一步降低維數(shù)。
一、特征提取
本質(zhì)上就是一種變換，即通過(guò)一定的映射方法，把處在高維空間中的樣本用低維空間表示。根據(jù)所依據(jù)的判據(jù)不同，特征提取有很多種方法，如按歐氏距離度量的提取方法，選擇的特征就使各個(gè)類別樣本之間平均距離最大，從而使各類盡可能遠(yuǎn)地分開。按概率距離判據(jù)的特征提取方法，則是將分布密度的交疊程度用兩類的先驗(yàn)概率密度函數(shù)之間的距離來(lái)度量，當(dāng)兩類完全可分時(shí)，這個(gè)距離最大；反之，當(dāng)兩類分布密度相同時(shí)，距離為零。基于判別熵最小化的特征提取，則是利用相對(duì)熵函數(shù)來(lái)判別，即相對(duì)熵越小，
17、兩類概率分布的差別就越大，當(dāng)兩類概率分布完全相同時(shí)，相對(duì)熵最大為零。
二、特征選擇
任務(wù)就是從一組高維特征中選出一組較低維的最優(yōu)特征，再通過(guò)一個(gè)較好的算法，以便在允許的時(shí)間內(nèi)找出最優(yōu)的那一組特征。常用的算法有最優(yōu)搜索算法，也即“分支定界”算法，它是一種自上而下方法，但具有回溯功能，故可使所有可能的特征組合都被考慮到。這種算法主要利用了可分離性判據(jù)的單調(diào)性，一定能得到最優(yōu)解。當(dāng)然，這種算法計(jì)算量還是比較大甚至難以實(shí)現(xiàn)，所以有時(shí)經(jīng)常采取一些次優(yōu)算法，如順序前進(jìn)法，順序后退法等。
難點(diǎn)：最優(yōu)算法的實(shí)現(xiàn)，熵函數(shù)的理解
學(xué)習(xí)體會(huì)：通過(guò)本章的學(xué)習(xí)，對(duì)在圖像處理等領(lǐng)域中使用的降維方法有了一個(gè)大概的了
18、解，強(qiáng)化了通過(guò)數(shù)學(xué)工具解決實(shí)際問(wèn)題的思想，對(duì)特征選擇和提取的有關(guān)理論和方法有了一個(gè)明確的概念，深刻認(rèn)識(shí)到特征選擇和提取在模式識(shí)別中的重要性，為以后深入研究打下了一個(gè)良好的基礎(chǔ)。
第九章 基于K-L展開式的特征提取
主要精髓：
本章分析了利用少量的特征對(duì)樣本進(jìn)行描述從而降低特征空間維數(shù)的方法，即基于K-L展開式的特征提取方法。K-L展開式的一個(gè)重要性質(zhì)就是它的展開系數(shù)是相互無(wú)關(guān)的，通過(guò)K-L變換，消除了原有向量各分量之間的線性相關(guān)性，從而可能去掉那些帶有較少信息的坐標(biāo)軸以達(dá)到降維的目的，而不帶來(lái)很大的誤差。對(duì)同一個(gè)特征向量集，K-L坐標(biāo)系下的表示熵最小，故可以有效的將樣本分開。在很多模式識(shí)別問(wèn)題中，類條件均值向量中包含有大量的分類信息，為了盡可能多地保持這些信息，應(yīng)選擇一種變換，使得變換后的低維空間中的類條件均值向量的各分量和其他的變換相比保持更多的分類信息。
難點(diǎn)：K-L變換的實(shí)際應(yīng)用
學(xué)習(xí)體會(huì)：通過(guò)本章的學(xué)習(xí)，對(duì)K-L變換的基礎(chǔ)理論、性質(zhì)特點(diǎn)及實(shí)際應(yīng)用都有了一個(gè)系統(tǒng)的了解，樹立了通過(guò)K-L變換解決實(shí)際問(wèn)題的基本思想，認(rèn)識(shí)到類條件均值向量中包含有大量的分類信息，應(yīng)很好的利用它，從而設(shè)計(jì)出性能良好的分類器。
6
模式識(shí)別課程小結(jié)
