《模式識(shí)別課程報(bào)告》由會(huì)員分享，可在線閱讀，更多相關(guān)《模式識(shí)別課程報(bào)告（15頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、模式識(shí)別課程報(bào)告 什么是模式識(shí)別 引用 Anil K. Jain 的話對(duì)模式識(shí)別下定義： Pattern recognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. 什么是 Pattern 呢， Watanabe define

2、s a pattern “as oppaocshiteaoosf; it is an entity, vaguely defined, thatcould be given a name.比如說(shuō)一張指紋圖片，一個(gè)手寫(xiě) 的文字，一張人臉，一個(gè)說(shuō)話的信號(hào)，這些都可以說(shuō)是一種模式。 識(shí)別在現(xiàn)實(shí)生活中是時(shí)時(shí)刻刻發(fā)生的，識(shí)別就是再認(rèn)知 （Re-Cog ni tio n）,識(shí)別 主要做的是相似和分類的問(wèn)題， 按先驗(yàn)知識(shí)的分類， 可以把識(shí)別分為有監(jiān)督的學(xué) 習(xí)和沒(méi)有監(jiān)督的學(xué)習(xí)，下面主要介紹的支持向量機(jī)就是屬于一種有監(jiān)督的學(xué)習(xí)。 模式識(shí)別與統(tǒng)計(jì)學(xué)、人 工智能、機(jī)器學(xué)習(xí)、運(yùn)籌學(xué)等有著很大的聯(lián)系，而 且各行

3、各業(yè)的工作者都在做著識(shí)別的工作，一個(gè)模式識(shí)別系統(tǒng)主要有三部分組 成：數(shù)據(jù)獲取和預(yù)處理，數(shù)據(jù)表達(dá)和決策。 模式識(shí)別的研究主要集中在兩方面，一是研究生物體 （ 包括人）是如何感知 對(duì)象的， 二是在給定的任務(wù)下， 如何用計(jì)算機(jī)實(shí)現(xiàn)模式識(shí)別的理論和方法。 前者 是生理學(xué)家、心理學(xué)家、生物學(xué)家、神經(jīng)生理學(xué)家的研究?jī)?nèi)容，屬于認(rèn)知科學(xué)的 范疇；后者通過(guò)數(shù)學(xué)家、 信息學(xué)專家和計(jì)算機(jī)科學(xué)工作者近幾十年來(lái)的努力， 已 經(jīng)取得了系統(tǒng)的研究成果。 模式識(shí)別的方法介紹： 模式識(shí)別方法（Pattern Recognition Method）是一種借助于計(jì)算機(jī)對(duì)信息進(jìn)行 處理、判決分類的數(shù)學(xué)統(tǒng)計(jì)方法。 應(yīng)用模式識(shí)別方

4、法的首要步驟是建立模式空間。 所謂模式空間是指在考察一客觀現(xiàn)象時(shí) ,影響目標(biāo)的眾多指標(biāo)構(gòu)成的多維空間。 每個(gè)指標(biāo)代表一個(gè)模式參量。假設(shè)一現(xiàn)象有幾個(gè)事件 （樣本） 組成,每一個(gè)事件都 有P個(gè)特征參量（X1 , X2，.…Xp ）,則它就構(gòu)成P維模式空間，每一個(gè)事件的特征參 量代表一個(gè)模式。模式識(shí)別就是對(duì)多維空間中各種模式的分布特點(diǎn)進(jìn)行分析 ,對(duì) 模式空間進(jìn)行劃分 ,識(shí)別各種模式的聚類情況 ,從而做出判斷或決策。分析方法就 利用“映射說(shuō)和“逆映射說(shuō)技術(shù)。映射是指將多維模式空間進(jìn)行數(shù)學(xué)變換到二維 平面,多維空間的所有模式 （樣本點(diǎn) ） 都投影在該平面內(nèi)。在二維平面內(nèi) ,不同類別 的模式分布在不同

5、的區(qū)域之間有較明顯的分界域。 由此確定優(yōu)化方向返回到多維 空間 （原始空間 ） ,得出真實(shí)信息 ,幫助人們找出規(guī)律或做出決策 ,指導(dǎo)實(shí)際工作或 實(shí)驗(yàn)研究。 針對(duì)不同的對(duì)象和不同的目的 ,可以用不同的模式識(shí)別理論、方法，目前主 流的技術(shù)方法是 :統(tǒng)計(jì)模式識(shí)別、句法模式識(shí)別、模糊模式識(shí)別、神經(jīng)網(wǎng)絡(luò)法、 邏輯推理法。 （1） 統(tǒng)計(jì)模式識(shí)別 統(tǒng)計(jì)模式識(shí)別方法也稱為決策論模式識(shí)別方法 ,它是從被研究的模式中選擇 能足夠代表它的若干特征（設(shè)有d個(gè)），每一個(gè)模式都由這d個(gè)特征組成的在d維特 征空間的一個(gè)d維特征向量來(lái)代表，于是每一個(gè)模式就在d維特征空間占有一個(gè)位 置。一個(gè)合理的假設(shè)是同類的模式在特征空

6、間相距較近 ,而不同類的模式在特征 空間則相距較遠(yuǎn)。如果用某種方法來(lái)分割特征空間 ,使得同一類模式大體上都在 特征空間的同一個(gè)區(qū)域中，對(duì)于待分類的模式，就可根據(jù)它的特征向量位于特征空 間中的哪一個(gè)區(qū)域而判定它屬于哪一類模式。 這類識(shí)別技術(shù)理論比較完善。方法也很多，通常較為有效，現(xiàn)已形成了完整的 體系。盡管方法很多，但從根本上講，都是直接利用各類的分布特征，即利用各類的 概率分布函數(shù)、后驗(yàn)概率或隱含地利用上述概念進(jìn)行分類識(shí)別。 其中基本的技術(shù) 為聚類分析、判別類域界面法、統(tǒng)計(jì)判決等。 1) 聚類分析 在聚類分析中，利用待分類模式之間的“相似性”進(jìn)行分類，更相似的作為一 類，更不相似的作為另

7、外一類。在分類過(guò)程中不斷地計(jì)算所分劃的各類的中心 ，下 一個(gè)待分類模式以其與各類中心的距離作為分類的準(zhǔn)則。聚類準(zhǔn)則的確定 ，基本 上有兩種方式。一種是試探方式。憑直觀和經(jīng)驗(yàn) ，針對(duì)實(shí)際問(wèn)題定義一種相似性 測(cè)度的閾值，然后按最近鄰規(guī)則指定某些模式樣本屬于某一聚類類別。例如歐氏 距離測(cè)度，它反映樣本間的近鄰性，但將一個(gè)樣本分到兩個(gè)類別中的一個(gè)時(shí)，必須 規(guī)定一距離測(cè)度的閾值作為聚類的判別準(zhǔn)則，按最近鄰規(guī)則的簡(jiǎn)單試探法和最大 最小聚類算法就是采用這種方式。另一種是聚類準(zhǔn)則函數(shù)法。定一種準(zhǔn)則函數(shù) ， 其函數(shù)值與樣品的劃分有關(guān)。當(dāng)取得極小值時(shí)，就認(rèn)為得到了最佳劃分。實(shí)際工 作中采用得最多的聚類方法之

8、一是系統(tǒng)聚類法。它將模式樣本按距離準(zhǔn)則逐步聚 類,類別由多到少，直到合適的分類要求為止。 2) 判別類域界面法 判別類域界面法中，用已知類別的訓(xùn)練樣本產(chǎn)生判別函數(shù)，這相當(dāng)于學(xué)習(xí)或 訓(xùn)練。根據(jù)待分類模式代入判別函數(shù)后所得值的正負(fù)而確定其類別。 判別函數(shù)提 供了相鄰兩類判決域的界面，最簡(jiǎn)單、最實(shí)用的判別函數(shù)是線性判別函數(shù)。線性 判別函數(shù)的一般表達(dá)為下述矩陣式： d(X)佩&) Wm 其中，W^(Wi，W2，...,Wn)t，稱為權(quán)向量，X=(Xi，X2，…,訂為門維特征向量的樣 本，wn 4為閾值權(quán)。d(x)判別函數(shù)是n維特征空間中某個(gè)x點(diǎn)到超平面的距離。 若以Xp表示x到超平面H的

9、投影向量;r為到超平面H的垂直距離;||w0 ||為權(quán)向量 w的絕對(duì)值；Wo/ ||Wo 11為Wo方向上的單位向量，則有 0 利用線性判別函數(shù)進(jìn)行決策就是用一個(gè)超平面對(duì)特征空間進(jìn)行分割。超平 面H的方向由權(quán)向量決定，而位置由閾值權(quán)的數(shù)值確定，H把特征空間分割為兩個(gè) 決策區(qū)域。當(dāng)d(X) 0時(shí),x在H的正側(cè);d(X)：：：0時(shí),x在H的負(fù)側(cè)。 3) 統(tǒng)計(jì)判別 在統(tǒng)計(jì)判決中，在一些分類識(shí)別準(zhǔn)則下嚴(yán)格地按照概率統(tǒng)計(jì)理論導(dǎo)出各種判 決準(zhǔn)則，這些判決準(zhǔn)則要用到各類的概率密度函數(shù)、先驗(yàn)概率或條件概率，即貝葉 斯法則。貝葉斯判別原則有兩種形式，一種是基于最小錯(cuò)誤率，即若 p(Wj |

10、x) ?-p(Wj |x),則X* Wj(i,j =1,2,..., n;但i = j),換言之，要求最小錯(cuò)誤率，就是 要求p（wi |x）為最大。另一種是基于最小風(fēng)險(xiǎn)，對(duì)于某個(gè)x取值采取決策所帶來(lái)的 n 風(fēng)險(xiǎn)定義為：R（ : i|x）=E （jWj）八 * 'Ci,Wj）P（Wi|x）,其中■ C i,wj）表示對(duì)于 - 一 i 二 某一樣品X，Wj,而采取決策:i時(shí)的損失?；谧钚★L(fēng)險(xiǎn)的貝葉斯規(guī)則為：若 R（〉k|x）二mi nR（〉i|x）,則:?-。也就是說(shuō)，對(duì)于所有x取值的條件風(fēng)險(xiǎn)R（r|x）, 最小風(fēng)險(xiǎn)（損失）的決策是使R（_：? | x）取得最小值時(shí)的決策 4）支

11、持向量機(jī) 統(tǒng)計(jì)學(xué)習(xí)理論是一種專門的小樣本統(tǒng)計(jì)理論，為研究有限樣本情況下的統(tǒng)計(jì) 模式識(shí)別和更廣泛的機(jī)器學(xué)習(xí)問(wèn)題建立了一個(gè)較好的理論框架， 同時(shí)也發(fā)展了一 種新的模式識(shí)別方法一一支持向量機(jī)，能夠較好的解決小樣本學(xué)習(xí)問(wèn)題。 基于數(shù)據(jù)的機(jī)器學(xué)習(xí)是現(xiàn)代智能技術(shù)中的重要方面 ，研究從觀測(cè)數(shù)據(jù)（樣本） 出發(fā)尋找規(guī)律，利用這些規(guī)律對(duì)未來(lái)數(shù)據(jù)或無(wú)法觀測(cè)的數(shù)據(jù)進(jìn)行預(yù)測(cè)。包括模式 識(shí)別、神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有機(jī)器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng)計(jì)學(xué)。 傳統(tǒng)統(tǒng)計(jì)學(xué)研究的是樣本數(shù)目趨于無(wú)窮大時(shí)的漸近理論， 現(xiàn)有學(xué)習(xí)方法也多是基 于此假設(shè)，但在實(shí)際問(wèn)題中，樣本數(shù)往往是有限的，因此一些理論上很優(yōu)秀的學(xué) 習(xí)方法實(shí)際中

12、表現(xiàn)卻可能不盡人意。與傳統(tǒng)統(tǒng)計(jì)學(xué)相比 ，統(tǒng)計(jì)學(xué)習(xí)理論（Stat ist ical L earn ing Theo ry或SL T ）是一種專門研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的 理論.V. V apn ik等人從六、七十年代開(kāi)始致力于此方面研究，到九十年代中期， 隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實(shí)質(zhì)性 進(jìn)展，統(tǒng)計(jì)學(xué)習(xí)理論開(kāi)始受到越來(lái)越廣泛的重視， 統(tǒng)計(jì)學(xué)習(xí)理論是建立在一套較 堅(jiān)實(shí)的理論基礎(chǔ)之上的，為解決有限樣本學(xué)習(xí)問(wèn)題提供了一個(gè)統(tǒng)一的框架。 它能 將很多現(xiàn)有方法納入其中，有望幫助解決許多原來(lái)難以解決的問(wèn)題（比如神經(jīng)網(wǎng) 絡(luò)結(jié)構(gòu)選擇問(wèn)題、局部極小點(diǎn)問(wèn)題等），同時(shí)，

13、在這一理論基礎(chǔ)上發(fā)展了一種新 的通用學(xué)習(xí)方法 支持向量機(jī)（Support Vector Machine或SVM ），它已初步表 現(xiàn)出很多優(yōu)于已有方法的性能。一些學(xué)者認(rèn)為， SL T和SVM正在成為繼神經(jīng) 網(wǎng)絡(luò)研究之后新的研究熱點(diǎn)，并將有力地推動(dòng)機(jī)器學(xué)習(xí)理論和技術(shù)的發(fā)展我國(guó)早 在八十年代末就有學(xué)者注意到統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)成果， 但之后較少研究，目前 只有少部分學(xué)者認(rèn)識(shí)到這個(gè)重要的研究方向。 本文旨在向國(guó)內(nèi)介紹統(tǒng)計(jì)學(xué)習(xí)理論 和支持向量機(jī)方法的基本思想和特點(diǎn)，以使更多的學(xué)者能夠看到它們的優(yōu)勢(shì)從而 積極進(jìn)行研究。 支持向量機(jī)基本過(guò)程：（基于LIBSVM工具箱） 一、支持向量機(jī)是解決數(shù)據(jù)分類問(wèn)題

14、的一種流行技術(shù)， 甚至有人認(rèn)為它用起來(lái)比 神經(jīng)網(wǎng)絡(luò)還要好用，但是，使用者對(duì) SVM不熟悉常常得到不理想的結(jié)果，這里 我們介紹一下如何使用支持向量機(jī)來(lái)得到較理想的結(jié)果。 我們介紹的主要是對(duì) SVM研究者的一個(gè)指導(dǎo)，并不是說(shuō)要得到最好的精 度，我們也沒(méi)有打算解決什么有挑戰(zhàn)或者有難度的問(wèn)題，我們的目的是讓 SVM 研究者們掌握一個(gè)能有快又好的得到可行解得秘訣。 盡管使用者不用徹底理解SVM的理論，但是，我們簡(jiǎn)要介紹SVM的基礎(chǔ)， 因?yàn)檫@些東西對(duì)于后面的解釋是有必要的。 一項(xiàng)分類工作通常包含訓(xùn)練數(shù)據(jù)和測(cè) 試數(shù)據(jù)，這些數(shù)據(jù)就是一些例子，每個(gè)例子又包括它的類別和它的一些特性。 建 立SVM的

15、目的就是建立一個(gè)模版，這個(gè)模版可以預(yù)測(cè)訓(xùn)練數(shù)據(jù)集中的數(shù)據(jù)屬于 哪一類。 給定一組訓(xùn)練數(shù)據(jù)(x，y)i =1,…,1必? Rn,y. {-1,0，SVM需要解決下面 的最優(yōu)化問(wèn)題: min subject tri 這里x通過(guò)?函數(shù)影射到了一個(gè)高維或者無(wú)窮維的空間，SVM找到一個(gè)線 性可分的超平面，使得這個(gè)超平面在高維空間有最大的邊界值。C>0是對(duì)于錯(cuò)誤 部分的懲罰參數(shù)。此外，一 ' 被稱作核函數(shù)，盡管研究者 不斷的提出新的核函數(shù)，初學(xué)者可以在介紹 SVM的課本上找到四個(gè)基本的核函 數(shù)： ? linear: x；) = Xj. * polynomiali K, x; j =『卞斗

16、了 x . + 廣產(chǎn)”牛 > 0. * radial ba^is function (RBF); Xj) = cxp(—丁||百一虧『)j > 0. ? sigmoid: i = taiih(-~rx； xj + r i. 這里,r,d都是核函數(shù)的參數(shù)。 (2) 句法模式識(shí)別 句法模式識(shí)別也稱為結(jié)構(gòu)模式識(shí)別。在許多情況下，對(duì)于較復(fù)雜的對(duì)象僅用 一些數(shù)值特征已不能較充分地進(jìn)行描述，這時(shí)可采用句法識(shí)別技術(shù)。句法識(shí)別技 術(shù)將對(duì)象分解為若干個(gè)基本單元，這些基本單元稱為基元；用這些基元以及他們的 結(jié)構(gòu)關(guān)系來(lái)描述對(duì)象，基元以及這些基元的結(jié)構(gòu)關(guān)系可以用一個(gè)字符串或一個(gè)圖 來(lái)表示;然后運(yùn)用形式語(yǔ)言理

17、論進(jìn)行句法分析，根據(jù)其是否符合某類的文法而決定 其類別。一個(gè)未知類別的模式字符串，當(dāng)它是屬于L(G)中的一個(gè)句子，就應(yīng)屬于 wi類。假如不屬于任何一種語(yǔ)言，則它可被拒識(shí)，即x不被接受為M類中的任一類。 (3) 模糊模式識(shí)別 在人們的實(shí)際生活中，普遍存在著模糊概念，諸如“較冷”、“暖和”、“較重”、 “較輕”、“長(zhǎng)點(diǎn)”、“短點(diǎn)”等等都是一些有區(qū)別又有聯(lián)系的無(wú)確定分界的概念。 模糊識(shí)別技術(shù)運(yùn)用模糊數(shù)學(xué)的理論和方法解決模式識(shí)別問(wèn)題 ，因此適用于分類識(shí) 別對(duì)象本身或要求的識(shí)別結(jié)果具有模糊性的場(chǎng)合。 這類方法的有效性主要在于隸 屬函數(shù)是否良好。目前，模糊識(shí)別方法有很多，大致可以分為兩種，即根據(jù)

18、最大隸 屬原則進(jìn)行識(shí)別的直接法和根據(jù)擇近原則進(jìn)行歸類的間接法，分別簡(jiǎn)介如下 ： 1)根據(jù)最大隸屬原則進(jìn)行識(shí)別的直接法 若已知個(gè)類型在被識(shí)別的全體對(duì)象U上的隸屬函數(shù)，則可按隸屬原則進(jìn)行歸 類。此處介紹的是針對(duì)正態(tài)型模糊集的情形。 對(duì)于正態(tài)型模糊變量x，其隸屬度為 A(x)』b 其中a為均值，b2 =2二2,二2為相應(yīng)的方差 按泰勒級(jí)數(shù)展開(kāi)，取近似值得： x - a :: b x —a b 若有n種類型m個(gè)指標(biāo)的情形，則第i種類型在第j種指標(biāo)上的隸屬函數(shù)是 ” 0 xgj(1)-bj 『aj(i) 1- Aj (x)二 -aj⑴ bij 1 aj⑴蘭x蘭aj(2) \-

19、aj(2) I2 〕bj ] _bj

20、有參數(shù)aj ,bj( j =1,2,..., m),且為正態(tài)型模糊變量，則B與各個(gè)類 型的貼近度為： 0 aj s(1)_(bj _bj) 1一2 1 _aj bj +勺 j 1 ⑵2 aj aij ~'(bj -^) ：：： aj ：：： aij （1\ a」g⑵ aj aj 1」 2\ bi +bj aj⑵

21、是由大量簡(jiǎn)單的基本單元 神經(jīng)元 （n euro n）相互聯(lián)接而 成的非線性動(dòng)態(tài)系統(tǒng)，每個(gè)神經(jīng)元結(jié)構(gòu)和功能比較簡(jiǎn)單，而由其組成的系統(tǒng)卻可以 非常復(fù)雜，具有人腦的某些特性，在自學(xué)習(xí)、自組織、聯(lián)想及容錯(cuò)方面具有較強(qiáng)的 能力，能用于聯(lián)想、識(shí)別和決策。在模式識(shí)別方面，與前述方法顯著不同的特定之 一是訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)對(duì)待識(shí)模式特征提取與分類識(shí)別在該網(wǎng)絡(luò)可以一同完成。 神經(jīng)網(wǎng)絡(luò)模型有幾十種，其中BP （誤差反傳播算法）網(wǎng)絡(luò)模型是模式識(shí)別應(yīng)用最 廣泛的網(wǎng)絡(luò)之一。它利用給定的樣本，在學(xué)習(xí)過(guò)程中不斷修正內(nèi)部連接權(quán)重和閾 值,使實(shí)際輸出與期望輸出在一定誤差范圍內(nèi)相等。 BP算法的主要思想是從后向 前（反向）逐層

22、傳播輸出層的誤差，以間接算出隱層誤差。算法分成兩個(gè)階段：第 一階段（正向過(guò)程）輸入信息從輸入層經(jīng)隱層逐層計(jì)算各單元的輸出值； 第二階段 （反向傳播過(guò)程）內(nèi)輸出誤差逐層向前算出隱層各單元的誤差， 并用此誤差修正前 層權(quán)值。Hopfield網(wǎng)絡(luò)與BP網(wǎng)絡(luò)不同的是它是一種反饋網(wǎng)絡(luò)。反饋網(wǎng)絡(luò)的基本單 元時(shí)與前饋網(wǎng)絡(luò)類似的神經(jīng)元，其特性可以是閾值函數(shù)或 sigmoid函數(shù)。反饋網(wǎng) 絡(luò)是單層的，各單元地位平等，每個(gè)神經(jīng)元都可以與所有其他的神經(jīng)元連接。 如 果考慮一個(gè)二層前饋網(wǎng)絡(luò)，其輸出層與輸入層的神經(jīng)元數(shù)相同，每一個(gè)輸出都直 接連接（反饋）到相對(duì)應(yīng)的一個(gè)輸入上，該網(wǎng)路就等價(jià)于一個(gè)反饋網(wǎng)絡(luò)。反饋網(wǎng)絡(luò)

23、有一般非線性系統(tǒng)的許多性質(zhì)，如穩(wěn)定性問(wèn)題、各種類型的吸引子以及混沌現(xiàn)象 等，在某些情況下還有隨機(jī)性、不可預(yù)測(cè)性。同時(shí)， Hopfield網(wǎng)絡(luò)還滿足權(quán)值對(duì) 稱和無(wú)自反饋性質(zhì)。 （5）邏輯推理法 邏輯推理法是對(duì)待識(shí)客體運(yùn)用統(tǒng)計(jì)（或結(jié)構(gòu)、模糊）識(shí)別技術(shù)，或人工智能技 術(shù)，獲得客體的符號(hào)性表達(dá)即知識(shí)性事實(shí)后，運(yùn)用人工智能技術(shù)對(duì)知識(shí)的獲取、表 達(dá)、組織、推理方法，確定該客體所歸屬的模式類（進(jìn)而使用）的方法。它是一種 與統(tǒng)計(jì)模式識(shí)別、句法模式識(shí)別相并列（又相結(jié)合）的基于邏輯推理的智能模式 識(shí)別方法。它主要包括知識(shí)表示、知識(shí)推理和知識(shí)獲取三個(gè)環(huán)節(jié)。 （6）新的模式識(shí)別方法 1共享核函數(shù)模型 概率

24、密度估計(jì)構(gòu)成一個(gè)無(wú)監(jiān)督的方法，該方法試圖從所得到的沒(méi)有標(biāo)記的數(shù) 據(jù)集中建立原始密度函數(shù)的模型。 密度估計(jì)的一個(gè)重要應(yīng)用就是它可以被用于解 決分類問(wèn)題。 廣泛應(yīng)用于統(tǒng)計(jì)模式識(shí)別中密度估計(jì)的方法之一是基于混合密度模型的。根 據(jù)期望最大(EM算法得到了這些模型中有效的訓(xùn)練過(guò)程。 在參考文獻(xiàn)⑹中，作 者指出，按照共享核函數(shù)可以得出條件密度估計(jì)的更一般的模型， 這里類條件密 度可以用一些對(duì)所有類的條件密度估計(jì)產(chǎn)生作用的核函數(shù)表示。 作者首先提出了 一個(gè)模型，該模型對(duì)經(jīng)典徑向基函數(shù)(RBF)網(wǎng)絡(luò)進(jìn)行了修改，其輸出表示類條件 密度。與其相反的是獨(dú)立混合模型的方法， 其中每個(gè)類的密度采用獨(dú)立混合密度

25、進(jìn)行估計(jì)。 最后提出了一個(gè)更一般的模型， 上面提到的模型是這個(gè)模型的特殊情 況。 2粗糙集理論(Rough Set Theory, 簡(jiǎn)記RST)方法 在 20 世紀(jì) 70 年代，波蘭學(xué)者 Pawlak Z 和一些波蘭的邏輯學(xué)家們一起從事關(guān) 于信息系統(tǒng)邏輯特性的研究。 粗糙集理論就是在這些研究的基礎(chǔ)上產(chǎn)生的。 1982 年，Pawlak Z發(fā)表了經(jīng)典論文Rough Sets，宣告了粗糙集理論的誕生。此后， 粗糙集理論引起了許多科學(xué)家、 邏輯學(xué)家和計(jì)算機(jī)研究人員的興趣， 他們?cè)诖植?集的理論和應(yīng)用方面作了大量的研究工作。 1991 年， Pawlak Z 的專著和 1992 年應(yīng)用專集的出版，

26、 對(duì)這一段時(shí)期理論和實(shí)踐工作的成果作了較好的總結(jié)， 同時(shí) 促進(jìn)了粗糙集在各個(gè)領(lǐng)域的應(yīng)用。 此后召開(kāi)的與粗糙集有關(guān)的國(guó)際會(huì)議進(jìn)一步推 動(dòng)了粗糙集的發(fā)展。 越來(lái)越多的科技人員開(kāi)始了解并準(zhǔn)備從事該領(lǐng)域的研究。 目 前，粗糙集已成為人工智能領(lǐng)域中一個(gè)較新的學(xué)術(shù)熱點(diǎn)， 在模式識(shí)別、機(jī)器學(xué)習(xí)、 知識(shí)獲取、決策分析、過(guò)程控制等許多領(lǐng)域得到了廣泛的應(yīng)用。 模擬傳感器信號(hào)的一個(gè)方法 , 在點(diǎn)的非空不可數(shù)集合下實(shí)現(xiàn)集合的近似 , 引入 了基于粗糙集理論的離散粗糙積分。 離散粗糙積分有助于近似推理和模式識(shí)別中 連續(xù)信號(hào)的分割。 在近似推理中， 離散粗糙積分為確定某特定采樣期間傳感器的 相關(guān)性提供一個(gè)基。在模式識(shí)別

27、中，離散粗糙積分可用于如雷達(dá)天氣數(shù)據(jù)的分類、 汽車模式分類及動(dòng)力系統(tǒng)故障波形分類等方面。 粗糙集理論是處理模糊和不確定性的一個(gè)新的數(shù)學(xué)工具。用粗糙集理論構(gòu)造 決策規(guī)則的算法一般都是考慮決策規(guī)則的數(shù)量而不是它們的代價(jià)。 采用多目標(biāo)決 策來(lái)協(xié)調(diào)規(guī)則的簡(jiǎn)明性和代價(jià)之間的沖突，以及提高粗糙集的效率和效力。 基于模式識(shí)別方法的動(dòng)力系統(tǒng)瞬態(tài)穩(wěn)定性估計(jì) (TSA)通常按兩個(gè)模式的分類 問(wèn)題進(jìn)行處理，即區(qū)分穩(wěn)定和不穩(wěn)定類。其中有兩個(gè)基本問(wèn)題： (1)選擇一組有 效的特征；(2)建立一個(gè)具有高精度分類的模式分類器。 參考文獻(xiàn)[10] 將粗糙集 理論與向后傳播的神經(jīng)網(wǎng)絡(luò)(BPNN相結(jié)合來(lái)進(jìn)行瞬態(tài)穩(wěn)定性估計(jì)，包

28、括特征提 取和分類器構(gòu)造。首先，通過(guò)初始輸入特征的離散化，利用基于RST的誘導(dǎo)學(xué)習(xí) 算法來(lái)簡(jiǎn)化初始特征集。然后，利用采用半監(jiān)督學(xué)習(xí)算法的 BPNN乍為一個(gè)“粗 糙分類器”將系統(tǒng)穩(wěn)定性分為三類，即穩(wěn)定類、不穩(wěn)定類和不確定類（邊界區(qū)域）o 不確定類的引入提供了減少誤分類的一個(gè)切實(shí)可行的方法， 且分類結(jié)果的可靠性 也因此而大大提高。 3仿生模式識(shí)別（拓?fù)淠Ｊ阶R(shí)別） 一種模式識(shí)別理論的新模型，它是基于“認(rèn)識(shí)”事物而不是基于“區(qū)分”事 物為目的。與傳統(tǒng)以“最佳劃分”為目標(biāo)的統(tǒng)計(jì)模式識(shí)別相比， 它更接近于人類 “認(rèn)識(shí)”事物的特性，故稱為“仿生模式識(shí)別”。它的數(shù)學(xué)方法在于研究特征空 間中同類樣本的連續(xù)

29、性（不能分裂成兩個(gè)彼此不鄰接的部分）特性。文獻(xiàn) [11]中 用“仿生模式識(shí)別”理論及其“高維空間復(fù)雜幾何形體覆蓋神經(jīng)網(wǎng)絡(luò)”識(shí)別方 法，對(duì)地平面剛性目標(biāo)全方位識(shí)別問(wèn)題作了實(shí)驗(yàn)。 對(duì)各種形狀相像的動(dòng)物及車輛 模型作全方位8800次識(shí)別，結(jié)果正確識(shí)別率為 99.75 %，錯(cuò)誤識(shí)別率與拒識(shí)率 分別為0與0.25 %o （7）利用模式識(shí)別方法實(shí)現(xiàn)分類 1文獻(xiàn)內(nèi)容方法介紹 問(wèn)題來(lái)源于自動(dòng)車型識(shí)別器的設(shè)計(jì)，分類器的輸入為一個(gè)三維的數(shù)據(jù)，分 別為汽車的三個(gè)特征，頂蓬長(zhǎng)度與車輛長(zhǎng)度之比，稱之為頂長(zhǎng)比；頂蓬長(zhǎng)度與車 輛高度之比，稱之為 頂高比；以頂蓬中垂線為界，前后兩部分之比，稱之為 前后 比。分類目標(biāo)為把

30、汽車分為 客車，貨車，轎車三種，因此我們?cè)O(shè)計(jì)一個(gè)三輸入三 輸出的三層bp網(wǎng)絡(luò)，中間層節(jié)點(diǎn)的數(shù)目我們選擇8個(gè)，實(shí)驗(yàn)證明，這個(gè)3-8-3的三 層神經(jīng)網(wǎng)絡(luò)分類器能達(dá)到很好的效果。 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)為下圖： 1 8 7 Z 2 / Y Z __/ / 前后比 \ 頂高比 / 頂長(zhǎng)比 般的BP神經(jīng)網(wǎng)絡(luò)存在著許多問(wèn)題，如學(xué)習(xí)算法的收斂速度很慢，存在局 部極小值，網(wǎng)絡(luò)學(xué)習(xí)具有不穩(wěn)定性等。這些問(wèn)題一直限制著 BP神經(jīng)網(wǎng)絡(luò)在大范 圍內(nèi)的應(yīng)用。動(dòng)量BP神經(jīng)網(wǎng)絡(luò)是帶動(dòng)量的批處理梯度下降的網(wǎng)絡(luò)，它是通過(guò)改 變學(xué)習(xí)率n來(lái)提高網(wǎng)絡(luò)的性能，并且利用附加動(dòng)量的作用自動(dòng)避免陷入局部極

31、小 值。而且動(dòng)量BP算法可使網(wǎng)絡(luò)在修正其權(quán)值時(shí)，除考慮誤差在梯度上的作用外， 還會(huì)考慮在誤差曲面上變化趨勢(shì)的影響。 本文采用的就是在權(quán)值改變量中加入一個(gè)動(dòng)量因子來(lái)加速收斂并防止網(wǎng)絡(luò)振 蕩。增加動(dòng)量因子n的BP算法，即為動(dòng)量BP算法。在引入動(dòng)量項(xiàng)后，網(wǎng)絡(luò)連接權(quán) 的迭代關(guān)系具有如下形式： x(k+ 1) =x(k) + △ x(k+ 1) Ax(k+ 1) = n 狽k) + ak)(1 - n 蘭血 x(k) 式中，x(k)為第k次迭代各層之間的連接權(quán)向量或者是閥值向量。 n為引入 的動(dòng)量因子，要求0

32、向量。E(k)為第k次迭代的網(wǎng)絡(luò)輸出的總誤差性能，一般采用的網(wǎng) 絡(luò)誤差為均方誤差 MSE(mean square error)。a(為第k次迭代的網(wǎng)絡(luò)學(xué)習(xí)率，在 訓(xùn)練時(shí)，當(dāng)誤差以減小的方式趨于目標(biāo)時(shí) ，說(shuō)明修正方向正確，可以使步長(zhǎng)增大， 因此可以將學(xué)習(xí)率乘以一個(gè)增量因子 kinc使學(xué)習(xí)率增加。動(dòng)量項(xiàng)的作用在于記 憶前一時(shí)刻連接權(quán)的變化方向(即變化量的值),這樣就可以采用較大的學(xué)習(xí)速率 n，以提高學(xué)習(xí)的速度。增加動(dòng)量項(xiàng)，利用其“慣性效應(yīng)”來(lái)抑制可能產(chǎn)生的振蕩， 起到了平滑的作用。 2程序復(fù)現(xiàn)及結(jié)果分析 樣本數(shù)據(jù)： data=[ 0.8645,2.3053,0.9288;%%客車的樣本

33、 0.8456,1.7366,0.9721; 0.8329,1.9963,0.9626; 0.9498,2.4015,0.9466; 0.8735,2.4342,0.8956; 0.7797,1.5103,0.9315; 0.8805,1.5903,0.9466; 0.7453,1.3771,0.9543; 0.1473,0.4372,0.3926;%%貨車的樣本 0.1526,0.4592,0.4588; 0.3421,1.0006,0.5166; 0.3164,0.9250,0.1875; 0.2311,0.9459,0.1875; 0.1534,0.5280,0.

34、5172; 0.3006,0.8367,0.1874; 0.3926,1.0277,0.1875; 0.3692,0.7500,1.5238;%%轎車的樣本 0.3687,0.8138,2.8823; 0.4444,1.0012,2.1818; 0.2921,0.9845,2.3000; 0.3319,1.0764,1.4878; 0.3745,1.3827,1.3600; 0.2747,0.9566,1.4878; 0.3331,1.1811,1.5531］;%%客 車的樣本 目標(biāo)把數(shù)據(jù)分為三類，客車樣本的目標(biāo)為：［1 0 0］，貨車樣本的目標(biāo)為：［0 1 0］,轎車樣本的目

35、標(biāo)為：［0 0 1］。把實(shí)驗(yàn)數(shù)據(jù)等間隔的分為訓(xùn)練集與測(cè)試集。通 過(guò)反復(fù)實(shí)驗(yàn)，我們最終選擇了一個(gè)隱含層為 8個(gè)神經(jīng)元，輸出為3個(gè)神經(jīng)元的 BP神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)。 如下為參數(shù)設(shè)置： n et.tra in Param.show = 100; n et.tra in Para m.lr = 0.2; n et.tra in Param.mc = 0.90; n et.trai nParam.epochs = 100000; n et.tra in Param.goal = 0.01; 下圖是經(jīng)過(guò)反復(fù)訓(xùn)練后得到的平方誤差曲線。紅色表示訓(xùn)練集誤差，藍(lán)色表示測(cè)試集誤 差。 差誤方平 12

36、 10 8 6 4 2 0 0 10 20 30 40 50 60 70 80 90 時(shí)間 Stop Training 從圖中可以看出，當(dāng)目標(biāo)值設(shè)為 0.01時(shí)，訓(xùn)練剛開(kāi)始會(huì)有一點(diǎn)小振蕩。 當(dāng)平方誤差訓(xùn)練目標(biāo)值取到 net.trainParam.goal = 1e-5時(shí)，下圖表示出很好的收斂 性，達(dá)到了很好的分類效果。 6 5 4 3 2 差誤方平 Slop Trsirun^ 2 3 4 5 6 7 時(shí)間 4 x 10 an=sim (n et,p n); a=poststd(a n, mea nt,stdt) 仿

37、真網(wǎng)絡(luò)后得到 a = Colu mns 1 through 8 1.0011 0.9977 0.9995 1.0048 0.9988 0.9578 1.0006 0.8878 -0.0024 0.0006 0.0005 -0.0093 0.0015 0.1479 0.0004 0.2761 -0.0009 0.0057 0.0006 -0.0030 0.0002 -0.0598 0.0001 -0.0814 Columns 9 through 16 -0.0016 -0.0018 0.0009 0.001

38、1 0.0007 -0.0003 -0.0001 0.0123 1.0000 0.9967 0.9958 1.0019 1.0010 0.9911 1.0031 0.9936 -0.0012 0.0023 0.0039 -0.0026 0.0002 0.0056 -0.0028 -0.0094 Colu mns 17 through 24 -0.0004 -0.0676 -0.0001 -0.0233 0.0001 0.0054 0.0005 -0.0004 -0.0017 0.1015 0.0000 -0.0002 0.

39、0030 0.0741 -0.0014 -0.0082 1.0000 0.8980 0.9999 1.0109 0.9996 0.9359 1.0005 1.0151 t1=[ 1 0 0; 1 0 0; 1 0 0; 1 0 0; 1 0 0; 1 0 0; 1 0 0; 1 0 0; 0 1 0; 0 1 0; 0 1 0; 0 1 0; 0 1 0; 0 1 0; 0 1 0; 0 1 0; 0 0 1; 0 0 1; 0 0 1; 0 0 1; 0 0 1; 0 0 1; 0 0 1; 0 0 1]; t=

40、t1'; 很明顯可以與目標(biāo)分類值 t相比，誤差也很小。實(shí)現(xiàn)了很好的分類效果。 程序詳單見(jiàn)附件bpm.m 參考文獻(xiàn)： [1] 周紅曉基于神經(jīng)網(wǎng)絡(luò)的汽車車型識(shí)別器的設(shè)計(jì).工業(yè)控制計(jì)算機(jī).2003 [2] Statistical Pattern Recognition: A Review. Anil K. Jain. Fellow, IEEE, Robert P.W. Duin, and Jia ncha ng Mao, Senior Member, IEEE [3] Image processing with neural network— a review. M.Egmo nt-P

41、eterse n.PATTERN RECOGNITION 35(2002) 2279-2301, [4] 基于改進(jìn)型動(dòng)量BP神經(jīng)網(wǎng)絡(luò)算法的風(fēng)扇葉片性能優(yōu)化研究， 劉波，靳軍，西北 工業(yè)大學(xué)學(xué)報(bào) ⑸模式識(shí)別(第二版)，邊肇祺，張學(xué)工等，清華大學(xué)出版社 [6] Titsias M K, Likas A C. Shared kernel models for class conditional density estimation Neural Networks, IEEE Tran sactio ns on ,2001 12(5) : 987— 997. [7] 韓禎祥，張琦，文福拴.粗

42、糙集理論及其應(yīng)用綜述.控制理論與應(yīng)用，1999； 16(2) : 153—157. [8] 胡可云，陸玉昌，石純一.粗糙集理論及其應(yīng)用進(jìn)展.清華大學(xué)學(xué)報(bào)(自然科 學(xué)版),2001; 41(1) : 64— 68. [9] Borkowski M, Peters J F. Approximating sensor signals: a rough set approach. Electrical and Computer Engineering, 2002.IEEE CCECE 2002.Canadian Co nference on, 2002 Vol.2:980—985. [10] Wang Jun she ng,Li Minqiang. A multi — factorial decisi on—making model for deduct ion of rules in rough sets. In tellige nt Con trol and Automati on,2000.Proceedi ngs of the 3rd World Congress on,2000 Vol 1:383— 386. [11] 王守覺(jué).仿生模式識(shí)別(拓?fù)淠Ｊ阶R(shí)別)一一一種模式識(shí)別新模型的理論與應(yīng) 用.電子學(xué)報(bào)，2002； 30(10) : 1417—1420.