5、，最小風險貝葉斯決策規(guī)則為：如果則。
三、分類器的設計
通常定義一組判別函數(shù)用于表示多類決策規(guī)則，如果對一切ji,有，則將x歸于wi類。故可根據(jù)需要定義不同的判別函數(shù)，只要滿足上面這條性質就行。對別判別對象只有兩類的情況下，我們可以定義判別函數(shù)，決策面方程顯然為。
難點：錯誤率的正確含義；最小錯誤率和最小風險的區(qū)別；分類器的設計。
學習體會：
通過本章的學習，對模式識別的基本內容和方法有了一個概括的了解。其本質就是將客觀事物通過抽象，概括，找出最能反應事物本質的特征，利用數(shù)學工具尤其是統(tǒng)計學的有關理論，比較后驗概率的大小，從而對被識別對象進行規(guī)類。這樣設計出的分類器理論上最優(yōu)而先驗條
6、件難以滿足，故在應用中受到一定限制。
第三章 概率密度函數(shù)的估計
主要精髓：
一、參數(shù)估計
1、最大似然估計
把參數(shù)看成為確定的未知參數(shù)。似然函數(shù)定義為
最大似然估計就是求使似然函數(shù)為最大的作為最大似然估計量。
2、貝葉斯估計
把參數(shù)看成為隨機的未知參數(shù)，一般具有先驗分布。樣本通過似然函數(shù)并利用貝葉斯公式將的先驗分布轉化為后驗分布，再利用使平方誤差損失函數(shù)的貝葉斯風險極小化。
3、貝葉斯學習
利用的先驗分布及樣本提供的信息求出的后驗分布，然后直接求總體分布。
二、參數(shù)估計方法的應用
1、正態(tài)分布的監(jiān)督參數(shù)估計
假定樣本類別已知，且樣本服從正態(tài)分布，則通過以上三種
7、參數(shù)估計方法能夠得到很好的效果，估計值擬合程度很高。
2、非監(jiān)督參數(shù)估計
在未知樣本類別條件下，經常利用最大似然估計，首先定義似然函數(shù)，然后利用從混合密度中提取的樣本估計未知參數(shù)，如果混合分布可識別，則可用一般方法求最大似然估計量。如果不識別，則不可使用非監(jiān)督參數(shù)估計，但實際上大部分常見連續(xù)隨機變量的分布密度函數(shù)都是可識別的，故這種方法還有較強的實際應用價值。
三、關于分類器錯誤率的估計問題
1、對于已設計好的分類器，利用樣本來估計錯誤率。這種只用來估計分類器錯誤率的樣本集稱為檢驗集或考試集。
2、對于未設計好的分類器，需將樣本分成兩部分，即分為設計集和檢驗集，分別用以設計分類器和估
8、計錯誤率。
難點：參數(shù)估計方法在實際中的應用。
學習體會：本章主要討論了當概率密度函數(shù)未知時，利用三種參數(shù)估計對其進行估計的問題。但是可以看出，盡管參數(shù)估計在統(tǒng)計學中已經有一套較完整的理論和方法，但在實際應用中，當樣本數(shù)有限時，并不能保證估計出的概率密度函數(shù)能很好的反應真實情況，故一般情況下在此基礎上設計性能良好的分類器并不是一個十分簡單的問題。
第四章 線性判別函數(shù)
主要精髓：
一、線性判別函數(shù)的基本概念及設計步驟
一般表達式為；令；則當時，否則，若，則將任意分到某一類，或拒絕。
線性分類器的主要設計步驟如下：
1、要有一組具有類別標志的樣本集。
2、根據(jù)實際情況確定一
9、個準則函數(shù)，且要能反映分類器的性能，極值解對應于最好的決策。
3、用最優(yōu)化技術求出準則函數(shù)的極值解，利用極值解就可以構造判別函數(shù)了。
二、感知準則函數(shù)及其梯度下降算法
對于一組線性可分的樣本集，我們先構造準則函數(shù)，使得我們能夠從準則函數(shù)的符號來判斷樣本是否被錯分，故可以采用梯度下降算法，感知準則函數(shù)對所求的解向量求導數(shù)，再通過迭代循環(huán)即可求出使準則函數(shù)達到最小值的解向量。
三、最小錯分樣本數(shù)準則
由于感知準則函數(shù)及其梯度下降算法只適用于線性可分情況，對于線性不可分情況，迭代過程永遠不會終結，即算法不收斂。但在實際中很難事先知道樣本集是否可分，因此，有必要研究一種既能適用于線性可分情況
10、，又適用于線性不可分情況的算法。對于線性可分問題，可以得到一個如感知函數(shù)那樣的解向量，使樣本全部正確分類；而對于線性不可分情況，則得到一個使兩類樣本集錯分數(shù)目最少的權向量，這樣的準則就叫作最小錯分樣本數(shù)準則。主要算法有共軛梯度法、搜索法等。
難點：算法的深刻理解及程序設計的實現(xiàn)
學習體會：通過本章的學習，對基于幾個常用準則函數(shù)的線性分類器設計方法有了一個大致的了解，深刻認識到在工程實踐中化繁為簡的思維方法，復雜的分類判別問題可以用線性判別函數(shù)近似逼近，為我以后解決實際問題提供了一個很好的思路。
第五章 非線性判別函數(shù)
主要精髓：
一、分段線性判別函數(shù)概念
分段線性判別函數(shù)是一種
11、特殊的非線性判別函數(shù)，它確定的決策面是由若干超平面段組成的，能逼近各種形狀的超曲面，具有很強的適應能力。如基于距離的分段線性判別函數(shù)可以將多個樣本集分類，也就是說樣本點距離哪個類的代表點近就把它分到哪一類。
二、用凹函數(shù)的并表示分段線性判別函數(shù)
對于多峰分布的兩類問題，可以考慮用這種方法構造判別函數(shù)，通過判斷判別函數(shù)的符號可以對樣本進行分類，通?？梢缘玫綕M意的結果，但也存在明顯的問題，在算法執(zhí)行前，要首先判斷每類分布有多少個峰，從而確定設計幾個分段線性判別函數(shù)，這就需要有先驗知識，還需要給出每個分段線性判別函數(shù)中分段的數(shù)目。0
三、用交遇區(qū)的樣本設計分段線性分類器
這是一種實現(xiàn)最少分段
12、線性分類器的方法。當兩類樣本非線性可分時，貝葉斯分界面一般通過兩類樣本十分靠近或相互交迭的區(qū)域，即交遇區(qū)。把這些區(qū)域找出來，利用這些區(qū)域中的樣本集設計線性判別函數(shù)，然后把它們連在一起，就構成了一個線性判別函數(shù)，所得的分界面時分段線性分界面，它可以很好地逼近貝葉斯分界面。
難點：利用樣本集確定子類數(shù)目及求子類的權向量和閥值權。
學習體會：通過本章的學習，使我對復雜問題簡單化的思路有了更深刻的認識。由于實際中很多模式識別問題并不是線性可分的，而且經常具有多峰性質和互相交錯，但直接利用非線性函數(shù)解決問題又十分的復雜，因此，用分段線性函數(shù)進行逼近不僅是可能的而且效果很好，在實踐中得到了廣泛的應用。
13、
第六章 近鄰法
主要精髓：
前兩章基于距離的判別函數(shù)都是在每一類選一個代表點，是很直觀和簡單的方法，但這樣的代表點可能不能很好的代表各個類，結果錯誤率比較高。本章討論的近鄰法就是將各類中的全部樣本都作為代表點，即近鄰法，是一種比較成熟的設計方法。
一、最近鄰法
這是一種最簡單但錯誤率也很小的方法，即比較待測樣本與若干個已知類別的樣本之間距離的大小，取最小值，則待測樣本就屬于那一類。其錯誤率大約為貝葉斯錯誤率的一到兩倍，是一種很實用的設計方法。
二、k－近鄰法
這是最近鄰法的一個推廣。這種方法就是取未知樣本x的k個近鄰，看這k個近鄰中多數(shù)屬于哪一類，就把x歸于哪一類。也就是在
14、N個已知樣本中，找出x的k個近鄰。設這N個樣本中，來自w1類的樣本有N1個，來自w2類的有N2個，來自wc類的有NC個，若k1，k2，kc分別是k個近鄰中屬于w1，w2，wc類的樣本數(shù)，則定義判別函數(shù)，決策規(guī)則為：若，則；
三、減少近鄰法計算量和存儲量的方法
近鄰法雖然有很好的特性，但一個明顯的缺點就是計算量大。可采用快速搜索法，將樣本分級成一些不相交的子集，并在子集的基礎上進行搜索，這種方法對最近鄰法和k-近鄰法都適用。還可采用剪輯近鄰法，即將樣本集分成兩個獨立的集合——設計集和考試集，并用設計集設計分類器，用考試集估計錯誤率。更進一步還有壓縮近鄰法，即在剪輯的基礎上，再去掉一部分對分類
15、決策沒什么影響的樣本以縮短計算時間和降低存儲要求。
難點：快速搜索算法的分級方法、程序設計
學習體會：通過本章的學習，對近鄰法的基本理論和方法有了一個較為全面的認識，也對它的重要性有了更深的體會，是一種很有實用價值又在理論上比較完善的設計方法。為了解決它對存儲量和計算速度要求過高的問題，又進一步學習了幾種改進的近鄰法，尤其是快速搜索算法為緩解這一矛盾提供了一個很好的思路。
第八章 特征的選擇與提取
主要精髓：
特征選擇與提取的目的就是通過一系列判據(jù)把高維特征空間壓縮到低維空間，保留最有效的特征，以便更有效的設計分類器。特征提取和選擇并不是截然分開的?？梢韵冉涍^選擇去掉那些明顯沒有
16、分類信息的特征，再進行映射以降低維數(shù)。也可以先將原始特征空間映射到維數(shù)較低的空間，再在這個空間中再進行選擇以進一步降低維數(shù)。
一、特征提取
本質上就是一種變換，即通過一定的映射方法，把處在高維空間中的樣本用低維空間表示。根據(jù)所依據(jù)的判據(jù)不同，特征提取有很多種方法，如按歐氏距離度量的提取方法，選擇的特征就使各個類別樣本之間平均距離最大，從而使各類盡可能遠地分開。按概率距離判據(jù)的特征提取方法，則是將分布密度的交疊程度用兩類的先驗概率密度函數(shù)之間的距離來度量，當兩類完全可分時，這個距離最大；反之，當兩類分布密度相同時，距離為零?；谂袆e熵最小化的特征提取，則是利用相對熵函數(shù)來判別，即相對熵越小，
17、兩類概率分布的差別就越大，當兩類概率分布完全相同時，相對熵最大為零。
二、特征選擇
任務就是從一組高維特征中選出一組較低維的最優(yōu)特征，再通過一個較好的算法，以便在允許的時間內找出最優(yōu)的那一組特征。常用的算法有最優(yōu)搜索算法，也即“分支定界”算法，它是一種自上而下方法，但具有回溯功能，故可使所有可能的特征組合都被考慮到。這種算法主要利用了可分離性判據(jù)的單調性，一定能得到最優(yōu)解。當然，這種算法計算量還是比較大甚至難以實現(xiàn)，所以有時經常采取一些次優(yōu)算法，如順序前進法，順序后退法等。
難點：最優(yōu)算法的實現(xiàn)，熵函數(shù)的理解
學習體會：通過本章的學習，對在圖像處理等領域中使用的降維方法有了一個大概的了
18、解，強化了通過數(shù)學工具解決實際問題的思想，對特征選擇和提取的有關理論和方法有了一個明確的概念，深刻認識到特征選擇和提取在模式識別中的重要性，為以后深入研究打下了一個良好的基礎。
第九章 基于K-L展開式的特征提取
主要精髓：
本章分析了利用少量的特征對樣本進行描述從而降低特征空間維數(shù)的方法，即基于K-L展開式的特征提取方法。K-L展開式的一個重要性質就是它的展開系數(shù)是相互無關的，通過K-L變換，消除了原有向量各分量之間的線性相關性，從而可能去掉那些帶有較少信息的坐標軸以達到降維的目的，而不帶來很大的誤差。對同一個特征向量集，K-L坐標系下的表示熵最小，故可以有效的將樣本分開。在很多模式識別問題中，類條件均值向量中包含有大量的分類信息，為了盡可能多地保持這些信息，應選擇一種變換，使得變換后的低維空間中的類條件均值向量的各分量和其他的變換相比保持更多的分類信息。
難點：K-L變換的實際應用
學習體會：通過本章的學習，對K-L變換的基礎理論、性質特點及實際應用都有了一個系統(tǒng)的了解，樹立了通過K-L變換解決實際問題的基本思想，認識到類條件均值向量中包含有大量的分類信息，應很好的利用它，從而設計出性能良好的分類器。
6
模式識別課程小結
