《模式識別_第四章_概率分類法PPT課件》由會員分享，可在線閱讀，更多相關《模式識別_第四章_概率分類法PPT課件（116頁珍藏版）》請在裝配圖網上搜索。

第4章基于統(tǒng)計決策的概率分類法 4 1研究對象及相關概率4 2貝葉斯決策4 3貝葉斯分類器的錯誤率4 4聶曼 皮爾遜決策4 5概率密度函數的參數估計4 6概率密度函數的非參數估計4 7后驗概率密度分類的勢函數方法 第4章基于統(tǒng)計決策的概率分類法 獲取模式的觀察值時 有二種情況 確定性事件 事物間有確定的因果關系 第三章內容 隨機事件 事物間沒有確定的因果關系 觀察到的特征具有統(tǒng)計特性 是一個隨機向量 只能利用模式集的統(tǒng)計特性進行分類 使分類器發(fā)生分類錯誤的概率最小 1 兩類研究對象 2 相關概率 1 概率的定義 設 是隨機試驗的基本空間 所有可能的實驗結果或基本事件的全體構成的集合 也稱樣本空間 A為隨機事件 P A 為定義在所有隨機事件組成的集合上的實函數 若P A 滿足 4 1研究對象及相關概率 3 對于兩兩互斥的事件A1 A2 有 1 對任一事件A有 0 P A 1 2 P 1 事件的全體 則稱函數P A 為事件A的概率 設A B是兩個隨機事件 且P B 0 則稱 為事件B發(fā)生的條件下事件A發(fā)生的條件概率 3 條件概率定義 1 不可能事件V的概率為零 即P V 0 2 概率的性質 4 1 1 概率乘法公式 如果P B 0 則聯(lián)合概率P AB P B P A B P A P B A P BA 3 貝葉斯公式 在全概率公式的條件下 若P B 0 則將 4 2 4 3 式代入 4 1 式中 有 4 4 4 條件概率的三個重要公式 則對任一事件B有 2 全概率公式 設事件A1 A2 An 兩兩互斥 且 4 2 4 3 今后的分類中常用到類概率密度p X i i類的條件概率密度函數 通常也稱為 i的似然函數 設隨機樣本向量X 相關的三個概率 2 后驗概率P i X 相對于先驗概率而言 指收到數據X 一批樣本 后 根據這批樣本提供的信息統(tǒng)計出的 i類出現(xiàn)的概率 表示X屬于 i類的概率 5 模式識別中的三個概率 1 先驗概率P i 根據以前的知識和經驗得出的 i類樣本出現(xiàn)的概率 與現(xiàn)在無關 3 條件概率P X i 已知屬于 i類的樣本X 發(fā)生某種事件的概率 例對一批得病患者進行一項化驗 結果為陽性的概率為95 1代表得病人群 則X化驗為陽性的事件可表示為 P 2 X 表示試驗呈陽性的人中 實際沒有病的人的概率 若用某種方法檢測是否患有某病 假設X表示 試驗反應呈陽性 則 例如 一個2類問題 1診斷為患有某病 2診斷為無病 P 2 表示該地區(qū)人無此病的概率 則 P 1 表示某地區(qū)的人患有此病的概率 P X 2 表示無病的人群做該試驗時反應呈陽性 顯示有病 的概率 值低 高 值低 高 P X 1 表示患病人群做該試驗時反應呈陽性的概率 P 1 X 表示試驗呈陽性的人中 實際確實有病的人的概率 通過統(tǒng)計資料得到 4 三者關系 根據 4 4 貝葉斯公式有 4 5 M 類別數 2 決策規(guī)則 4 2 1最小錯誤率貝葉斯決策 討論模式集的分類 目的是確定X屬于那一類 所以要看X來自哪類的概率大 在下列三種概率中 先驗概率P i 類 條件 概率密度p X i 后驗概率P i X 采用哪種概率進行分類最合理 1 問題分析 后驗概率P i X 4 2貝葉斯決策 設有M類模式 4 6 最小錯誤率貝葉斯決策規(guī)則 雖然后驗概率P i X 可以提供有效的分類信息 但先驗概率P i 和類概率密度函數p X i 從統(tǒng)計資料中容易獲得 故用Bayes公式 將后驗概率轉化為類概率密度函數和先驗概率的表示 由 可知 分母與i無關 即與分類無關 故分類規(guī)則又可表示為 4 7 幾種等價形式 對兩類問題 4 7 式相當于 可改寫為 統(tǒng)計學中稱l12 X 為似然比 為似然比閾值 對 4 8 式取自然對數 有 4 7 4 8 4 9 都是最小錯誤率貝葉斯決策規(guī)則的等價形式 例4 1假定在細胞識別中 病變細胞的先驗概率和正常細胞的先驗概率分別為 現(xiàn)有一待識別細胞 其觀察值為X 從類條件概率密度發(fā)布曲線上查得 試對細胞X進行分類 解 方法1 通過后驗概率計算 方法2 利用先驗概率和類概率密度計算 是正常細胞 4 2 2最小風險貝葉斯決策 1 風險的概念 自動滅火系統(tǒng) 疾病診斷 不同的錯判造成的損失不同 因此風險不同 兩者緊密相連 考慮到對某一類的錯判要比對另一類的錯判更為關鍵 把最小錯誤率的貝葉斯判決做一些修改 提出了 條件平均風險 的概念 對M類問題 如果觀察樣本X被判定屬于 i類 則條件平均風險ri X 指將X判為屬于 i類時造成的平均損失 2 決策規(guī)則 式中 i 分類判決后指定的判別號 j 樣本實際屬于的類別號 Lij 將自然屬性是 j類的樣本決策為 i類時的是非代價 即損失函數 每個X都按條件平均風險最小決策 則總的條件平均風險也最小 總的條件平均風險稱為平均風險 條件平均風險與平均風險的區(qū)別 1 多類情況 設有M類 對于任一X對應M個條件平均風險 對每個X有M種可能的類別劃分 X被判決為每一類的條件平均風險分別為r1 X r2 X rM X 決策規(guī)則 i 1 2 M 用先驗概率和條件概率的形式 p X 對所有類別一樣 不提供分類信息 i 1 2 M 決策規(guī)則為 2 兩類情況 對樣本X 當X被判為 2類時 4 15 4 16 由 4 15 式 決策規(guī)則 為閾值 計算 計算 定義損失函數Lij 判別步驟 類概率密度函數p X i 也稱 i的似然函數 解 計算和得 例4 2在細胞識別中 病變細胞和正常細胞的先驗概率分別為 現(xiàn)有一待識別細胞 觀察值為X 從類概率密度分布曲線上查得 損失函數分別為L11 0 L21 10 L22 0 L12 1 按最小風險貝葉斯決策分類 為病變細胞 損失函數為特殊情況 3 0 1 損失最小風險貝葉斯決策 1 多類情況 0 1 情況下 可改寫成 最小錯誤率貝葉斯決策 2 兩類情況 決策規(guī)則為 或從式 4 20 導出似然比形式 式中 決策規(guī)則 類似地 Lij X 的確定 根據錯誤造成損失的嚴重程度 及專家經驗確定 4 2 3正態(tài)分布模式的貝葉斯決策 許多實際的數據集 均值附近分布較多的樣本 距均值點越遠 樣本分布越少 此時正態(tài)分布 高斯分布 是一種合理的近似 正態(tài)分布概率模型的優(yōu)點 物理上的合理性 數學上的簡單性 圖中為某大學男大學生的身高數據 紅線是擬合的密度曲線 可見 其身高應服從正態(tài)分布 1 相關知識概述 1 二次型 二次型中的矩陣A是一個對稱矩陣 即 含義 是一個二次齊次多項式 3 單變量 一維 的正態(tài)分布 密度函數定義為 曲線如圖示 1 0 5 0 1 1 2 一維正態(tài)曲線的性質 2 曲線關于直線x 對稱 3 當x 時 曲線位于最高點 4 當x 時 曲線上升 當x 時 曲線下降 并且當曲線向左 右兩邊無限延伸時 以x軸為漸近線 向它無限靠近 1 曲線在x軸的上方 與x軸不相交 5 一定時 曲線的形狀由 確定 越大 曲線越 矮胖 表示總體的分布越分散 越小 曲線越 瘦高 表示總體的分布越集中 4 3 規(guī)則 即 絕大部分樣本都落在了均值 附近 3 的范圍內 因此正態(tài)密度曲線完全可由均值和方差來確定 常簡記為 p x 5 多變量 n維 正態(tài)隨機向量 密度函數定義為 式中 C 協(xié)方差矩陣C的行列式 多維正態(tài)密度函數完全由它的均值M和協(xié)方差矩陣C所確定 簡記為 p X N M C 為協(xié)方差矩陣 是對稱正定矩陣 獨立元素有個 以二維正態(tài)密度函數為例 等高線 等密度線 投影到x1ox2面上為橢圓 從原點O到點M的向量為均值M 橢圓的位置 由均值向量M決定 橢圓的形狀 由協(xié)方差矩陣C決定 協(xié)方差矩陣Ci 反映樣本分布區(qū)域的形狀 均值向量Mi 表明了區(qū)域中心的位置 2 正態(tài)分布的最小錯誤率貝葉斯決策規(guī)則 1 多類情況 具有M種模式類別的多變量正態(tài)密度函數為 前面介紹的Bayes方法事先必須求出p X i P i 而當p X i 呈正態(tài)分布時 只需要知道M和C即可 每一類模式的分布密度函數都完全被其均值向量Mi和協(xié)方差矩陣Ci所規(guī)定 其定義為 對正態(tài)密度函數 為了方便計算 取對數 對數是單調遞增函數 取對數后仍有相對應的分類性能 最小錯誤率Bayes決策中 i類的判別函數為 去掉與i無關的項 得判別函數 正態(tài)分布的最小錯誤率Bayes決策的判別函數 4 25 di X 為超二次曲面 可見對正態(tài)分布模式的Bayes分類器 兩類模式之間用一個二次判別界面分開 就可以求得最優(yōu)的分類效果 判決規(guī)則同前 2 兩類問題 2 當C1 C2 C時 由式 4 25 有 由此導出判別界面為 為X的線性函數 是一超平面 當為二維時 判別界面為一直線 如圖4 4所示 4 28 兩類相同 抵消 展開相同 合并 判別界面如圖4 5所示 圖4 5C1 C2 I且先驗概率相等 例4 3設在三維特征空間里 有兩類正態(tài)分布模式 每類各有4個樣本 分別為 其均值向量和協(xié)方差矩陣可用下式估計 4 30 4 31 式中 Ni為類別 i中模式的數目 Xij代表在第i類中的第j個模式 兩類的先驗概率 試確定兩類之間的判別界面 解 經計算有 因協(xié)方差矩陣相等 故 4 28 為其判別式 由于 圖中畫出判別平面的一部分 以上排完 4 3貝葉斯分類器的錯誤率 4 3 1錯誤率的概念 錯誤率 將應屬于某一類的模式錯分到其他類中的概率 是衡量分類器性能優(yōu)劣的重要參數 定義為 表示n重積分 即整個n維模式空間上的積分 式中 是X的條件錯誤概率 平均錯誤率 錯誤率的計算或估計方法 按理論公式計算 計算錯誤率上界 實驗估計 設R1為 1類的判決區(qū) R2為 2類的判決區(qū) 分類中可能會發(fā)生兩種錯誤 將來自 1類的模式錯分到R2中去 將來自 2類的模式錯分到R1中去 錯誤率為兩種錯誤之和 4 3 2錯誤率分析 1 兩類問題的錯誤率 一維情況圖示 4 33 4 33 兩類問題的最小錯誤率貝葉斯決策規(guī)則 用后驗概率密度表示為 用先驗概率和類概率密度函數表示為 或 判別界面為 兩類問題最小錯誤率貝葉斯決策中錯誤率P e X 為 4 33 令 則 在最小錯誤率貝葉斯決策中 判別界面位于兩曲線的交點處 即 可以看出這個錯誤率是所有錯誤率中最小的 圖中三角形的面積減小到0 但總錯誤概率不可能為零 通常需要考慮總錯誤概率 僅使一類樣本的錯誤概率最小是沒有意義的 因為這時另一類的錯誤概率可能很大 其他情況下的錯誤率 設共有M類 當判決時 當X判為任何一類時 都存在這樣一個可能的錯誤 故 2 多類情況錯誤率 總錯誤率為 正確分類概率 則 錯誤率 簡化計算 假定 4 3 3正態(tài)分布貝葉斯決策的錯誤率計算 1 正態(tài)分布的對數似然比 設 對數似然比決策規(guī)則 若 則 令 有 由正態(tài)分布概率密度函數 有 h X 是X的線性函數 故h X 是正態(tài)分布的一維隨機變量 計算錯誤率較為方便 2 對數似然比的概率分布 均值 方差 1和 2間的馬氏距離平方 圖4 9對數似然比h X 的概率分布 3 正態(tài)分布最小錯誤率貝葉斯決策的錯誤率 兩類問題最小錯誤率貝葉斯決策的錯誤率 其中 令 若 則 計算結果通過查標準正態(tài)分布表求得 圖4 10錯誤率與馬氏距離的關系 P e 隨著的增大而單調遞減 只要兩類模式的馬氏距離足夠大 錯誤率就可以減到足夠小 4 3 4錯誤率的估計 1 已設計好分類器時錯誤率的估計 1 先驗概率未知 隨機抽樣 N 隨機抽取的樣本數 k 錯分樣本數 2 先驗概率已知 選擇性抽樣 分別從 1類和 2類中抽取出N1和N2個樣本 用N1 N2 N個樣本對設計好的分類器作分類檢驗 設 1類被錯分的個數為k1 2類錯分的個數為k2 k1 k2統(tǒng)計獨立 聯(lián)合概率為 式中 i是 i類的真實錯誤率 總錯誤率的最大似然估計為 2 未設計好分類器時錯誤率的估計 要求 用收集到的有限的N個樣本設計分類器并估計其性能 錯誤率的函數形式 1 2 1 用于設計分類器的樣本的分布參數 2 用于檢驗分類器性能的樣本的分布參數 設 是全部訓練樣本分布的真實參數集 為全部樣本中N個樣本分布的參數估計量 有 將有限樣本劃分為設計樣本集和檢驗樣本集的兩種基本方法 1 樣本劃分法 將樣本分成兩組 其中一組用來設計分類器 另一組用來檢驗分類器 求其錯誤率 取不同劃分方法的平均值作為錯誤率的估計 缺點 需要的樣本數N很大 2 留一法 將N個樣本每次留下其中的一個 用其余的 N 1 個設計分類器 用留下的那個樣本進行檢驗 檢驗完后重新放回樣本集 重復進行N次 注意 每次留下的一個樣本應當是不同的樣本 適用于樣本數較小的情況 缺點 計算量大 4 4聶曼 皮爾遜 Neyman Person 決策 適用于P i 或P i 和Lij X 難以確定時 基本思想 限制一個錯誤概率 追求另一個最小 二類問題 在兩類問題貝葉斯決策的錯誤率公式中 1 基本思想 式中 先驗概率通常為常數 故一般也稱P1 e 和P2 e 為兩類錯誤率 P1 e 1類模式被誤判為 2類的錯誤率 P2 e 2類模式被誤判為 1類的錯誤率 聶曼 皮爾遜決策出發(fā)點 在P2 e 等于常數的條件下 使P1 e 為最小 以此確定閾值t 一維情況聶曼 皮爾遜決策示意 此時聶曼 皮爾遜決策含義 在虛警概率P2 e 是一個可以承受的常數值的條件下 使漏報概率為最小 求解問題 在P2 e 等于常數的條件下 求P1 e 極小值的條件極值問題 P2 e 的值一般很小 2 判別式推導 式中 待定常數 P2 e 常數 求P1 e 最小 即是求Q最小 構造輔助函數 要使Q最小 積分項至少應為負值 即在R1區(qū)域內 至少應保證 4 57 同理由式 4 57 有 在R2區(qū)域內至少應保證 由于和是已知的 所以聶曼 皮爾遜決策最終歸結為尋找似然比閾值 求解 值從常數P2 e 入手 這時由有 即是P2 e 的函數 通過查標準正態(tài)分布表可以求得的值 表中末行系函數值 3 0 3 1 3 9 縱向值 的整數部分和小數點后第一位 橫向值 的小數點后第二位 表中為 0時 的值 1 標準正態(tài)分布表 復習 2 正態(tài)分布的概率計算 左邊陰影部分的面積表示為概率 即分布函數 在任一區(qū)間內取值的概率 當時 解 1 2 3 例4 4一兩類問題 模式分布為二維正態(tài) 其分布參數協(xié)方差矩陣為C1 C2 I 設P2 e 0 046 求聶曼 皮爾遜決策規(guī)則的似然比閾值 和判別界面 i 1 2 解 1 求類概率密度函數正態(tài)分布的類概率密度函數為 已知 又計算得 2 求似然比 3 求判別式 決策規(guī)則 兩邊取自然對數 有 得判別式 4 62 4 求似然比閾值 由與的關系有 分離積分 向正態(tài)分布表的標準形式 變換 有 令有 查正態(tài)分布數值表 要求P2 e 0 046 在表上查 當時 對應 對應 1 69 即 有 計算得 由 4 62 式得判別界面 圖4 12聶曼 皮爾遜決策結果 4 5概率密度函數的參數估計 4 5 1最大似然估計 兩類估計方法 概率密度函數的形式未知 直接估計概率密度函數的方法 已知概率密度函數的形式而函數的有關參數未知 通過估計參數來估計概率密度函數的方法 參數估計法 非參數估計法 兩種主要參數估計法 最大似然估計 貝葉斯估計 設 i類的類概率密度函數具有某種確定的函數形式 是該函數的一個未知參數或參數集 最大似然估計把 當作確定的未知量進行估計 從 i類中獨立地抽取N個樣本 1 似然函數 稱這N個樣本的聯(lián)合概率密度函數為相對于樣本集XN的 的似然函數 在參數 下觀測到的樣本集XN的概率 聯(lián)合分布 密度 2 最大似然估計 根據已經抽取的N個樣本估計這組樣本 最可能 來自哪個密度函數 最似 哪個密度函數 也即 要找到一個 它能使似然函數極大化 由求得 為一維時的最大似然估計示意圖 的最大似然估計量就是使似然函數達到最大的估計量 為便于分析 定義似然函數的對數為 的最大似然估計是下面微分方程的解 設 i類的概率密度函數有p個未知參數 記為p維向量 此時 解以上微分方程即可得到 的最大似然估計值 3 正態(tài)分布情況舉例 設 i類 正態(tài)分布 一維模式 概率密度函數為 待估計參數為 2 4 69 其中 若XN表示從 i中獨立抽取的N個樣本 則 的似然函數為 其中 得 由以上方程組解得均值和方差的估計量為 類似地 多維正態(tài)分布情況 均值向量的最大似然估計是樣本的均值 最大似然估計結果 協(xié)方差矩陣的最大似然估計是N個矩陣的算術平均 4 5 2貝葉斯估計與貝葉斯學習 貝葉斯估計和貝葉斯學習將未知參數看作隨機參數進行考慮 1 貝葉斯估計和貝葉斯學習的概念 1 貝葉斯估計 步驟 2 貝葉斯學習 迭代計算式的推導 4 72 4 71 式中 除樣本XN以外其余樣本的集合 4 72 4 73 將 4 73 式代入 4 72 式得 類似地 4 74 4 75 將 4 75 式代入 4 74 式得 4 76 參數估計的遞推貝葉斯方法 迭代過程即是貝葉斯學習的過程 迭代式的使用 給出X2 對用X1估計的結果進行修改 2 正態(tài)分布密度函數的貝葉斯估計和貝葉斯學習 1 貝葉斯估計 逐次給出X3 X4 XN 得到 式中 4 79 有 由于 有 式中 與最大似然估計形式類似 式中 同前 2 貝葉斯學習 圖4 14均值的貝葉斯學習過程示意圖 可見 則利用貝葉斯估計得到的M的后驗概率密度函數為 其中 根據貝葉斯學習得到的類概率密度函數為 4 6概率密度函數的非參數估計 4 6 1基本方法 根據樣本直接估計類概率密度函數的方法 1 出發(fā)點 基于事實 p X 類概率密度函數 隨機向量X落入區(qū)域R的概率P為 設從密度為p X 的總體中獨立抽取的樣本X1 X2 XN 若N個樣本中有k個落入區(qū)域R中的概率最大 則 希望是X落入區(qū)域R中概率P的一個很好的估計 類概率密度函數p X 的估計 設p X 連續(xù) 區(qū)域R足夠小且體積為V p X 在R中沒有變化 X是R中的點 有 得 X點概率密度的估計 2 存在的兩個問題 4 91 1 固定V 樣本數增多 則k N以概率1收斂 但只能得到在某一體積V中的平均估計 2 N固定 V趨于零 或發(fā)散到無窮大 沒有意義 必須注意V k k N隨N變化的趨勢和極限 保持合理性 3 估計的步驟 構造一串包含X的區(qū)域R1 R2 RN 對R1采用一個樣本估計 對R2采用兩個樣本 假定VN是RN的體積 kN是落入RN內的樣本數目 是p X 的第N次估計 有 4 為保證估計合理性應滿足的三個條件 1 2 3 使式右邊能以概率1收斂于p X 4 92 落入RN中的樣本數始終是總數中的極小部分 5 兩種非參數估計法 Parzen窗法 kN近鄰估計法 4 6 2Parzen窗法 1 Parzen窗估計的基本概念 設區(qū)域RN d維超立方體 棱長 hN 則 以原點為中心的超立方體 當Xi落入以X為中心 體積為VN的超立方體時 否則 落入超立方體內的樣本數為 4 95 代入得 Parzen窗法基本公式 實質 窗函數的作用是內插 樣本對估計所起的作用取決于它到X的距離 為密度函數應滿足的兩個條件 2 窗函數的選擇 1 方窗函數 2 正態(tài)窗函數 3 指數窗函數 一維形式 滿足條件和的都可以作為窗函數 最終估計效果的好壞與樣本情況 窗函數以及窗函數參數的選擇有關 定義 有 如何選取根據經驗折中考慮 限制條件 1 總體密度函數p X 在X點連續(xù) 2 窗函數滿足以下條件 3 窗函數受下列條件的約束 有 估計結果 解 估計結果 具有一般性 適用于單峰 多峰形式 Parzen窗法特點 要得到較精確的估計必須抽取大量的樣本 一般非參數估計法的共同問題 比參數估計法多得多 樣本數目隨模式維數一般按指數規(guī)律增長 4 6 3kN 近鄰估計法 基本思想 使體積為樣本密度的函數 而不是樣本數N的函數 限制條件仍然是 例4 5和4 6中 用kN 近鄰法估計的p X 的結果 4 7后驗概率密度函數的勢函數估計法 勢函數的確定方法有兩種方法 第i類判別函數的迭代算法 說明 解 從圖上可看出兩類模式不是線性可分的 選擇指數型二維勢函數 結束 同學們 來學校和回家的路上要注意安全 同學們 來學校和回家的路上要注意安全