《數(shù)字圖像處理與模式識別.ppt》由會員分享，可在線閱讀，更多相關(guān)《數(shù)字圖像處理與模式識別.ppt（26頁珍藏版）》請在裝配圖網(wǎng)上搜索。

數(shù)字圖像處理與模式識別 主講 相明西安交通大學(xué)電信學(xué)院計算機系E Mail Mxiang 緒論 一 模式識別的基本概念二 模式識別系統(tǒng)的基本設(shè)計方法三 模式識別問題的一般描述四 模式識別的應(yīng)用五 數(shù)字圖像處理與模式識別六 本課程的主要研究內(nèi)容 一 模式識別的基本概念1 什么是模式識別 簡單地說 模式識別就是對觀察到的物理對象進行識別與分類 模式識別無所不在 我們每一天都在進行著成功的模式識別 一個簡單的例子是根據(jù)聲音識別汽車的類別 再如讀書看報 2 如何讓機器自動進行模式識別 模式識別的定義 根據(jù)對某個物理對象的觀測信息 利用計算機對該物理對象進行分類 從而給出該物理對象所屬的類別 在這里 模式 就是指存儲于計算機內(nèi)的有關(guān)物理對象的觀測信息 它可以是圖像 聲音 溫度 壓力等任何可以測量的觀測量 為了讓機器自動完成模式識別任務(wù) 我們需要 1 數(shù)據(jù)采集設(shè)備 2 模式識別算法 一個簡單的問題 如何讓機器可以認字 3 模式識別研究的意義對外界事物的感知與識別是智能的基礎(chǔ) 如果我們能夠很好的解決模式識別問題 就能夠制造出更高級的智能系統(tǒng) 一個例子是手寫體識別 另一個例子是自動駕駛系統(tǒng) 模式識別在計算機學(xué)科中的地位 模式識別是計算機科學(xué)與控制科學(xué)的一個交叉學(xué)科 是智能系統(tǒng)及智能信息處理的一個重要基礎(chǔ) 二 模式識別系統(tǒng)的基本設(shè)計方法模式識別問題的一個例子 設(shè)計一個自動分類系統(tǒng) 實現(xiàn)對兩種不同類別魚類的自動分類 salmon seabass 結(jié)合該例子 我們討論以下幾個問題 1 觀測量的獲取 2 特征提取 3 分類器的訓(xùn)練 4 分類器的測試 5 分類器的設(shè)計過程 6 分類器設(shè)計過程中需要考慮的一些關(guān)鍵因素 1 觀測量的獲取 圖像獲取 首先通過攝像機獲取圖像 然后采用圖像分割技術(shù) 得到單個物理對象的圖像 2 特征提取 抽取關(guān)鍵特征 并根據(jù)這些特征對物理對象進行分類 長度特征 根據(jù)長度進行分類salmon一般較短 seabass一般較長 亮度特征 根據(jù)亮度進行分類salmon一般較暗 seabass一般較亮 特征向亮 提取一組特征 構(gòu)成特征向量 根據(jù)特征向量進行分類 特征向量 亮度 寬度 x x1 x2 特征空間 特征向量所有可能的取值的集合樣本 x y x 該樣本對應(yīng)的特征向量y 該樣本的類別 y 1 salmon 或y 1 bass 在特征空間中構(gòu)造一個分類面 對兩類樣本進行分類 3 分類器的訓(xùn)練 根據(jù)已有的一組樣本 樣本集 構(gòu)造一個判決函數(shù)d x 根據(jù)d x 實現(xiàn)對兩類樣本的正確分類 我們希望d x 盡可能滿足 對于第一類樣本 x y y 1 d x 0或sign d x 1對于第二類樣本 x y y 1 d x 0或sign d x 1其中 d x 0稱為分類器的分類面 這一過程稱為分類器的訓(xùn)練過程 在訓(xùn)練過程中使用的樣本 稱為訓(xùn)練樣本 由訓(xùn)練樣本構(gòu)成的集合 稱為訓(xùn)練集 判決函數(shù)d x 可以采用多種不同的函數(shù)模型 常用模型有線性模型 多項式模型 神經(jīng)網(wǎng)絡(luò)模型等 在本例中我們可以采用線性模型d x w x b 因此 分類器訓(xùn)練的任務(wù)就是 根據(jù)訓(xùn)練樣本確定線性分類器的權(quán)系數(shù)w及偏差項b 采用所得分類器對訓(xùn)練樣本進行分類時的錯誤率 稱為訓(xùn)練誤差 4 分類器的測試 在分類器訓(xùn)練過程結(jié)束后 需要采用一些新的樣本對分類器的分類性能進行測試 這些樣本稱為測試樣本 由測試樣本構(gòu)成的集合稱為測試集 測試過程 對于測試樣本 x y y 1 如果d x 0則分類正確 如果d x 0則產(chǎn)生一個分類錯誤 分類器對測試樣本集進行分類時的錯誤率 稱為測試誤差 采用所得分類器對訓(xùn)練樣本進行分類時的錯誤率 稱為訓(xùn)練誤差訓(xùn)練誤差 測試誤差統(tǒng)稱為經(jīng)驗誤差 分類器優(yōu)化的原則應(yīng)該是使測試誤差近可能小 因此 判決函數(shù)d x 應(yīng)根據(jù)訓(xùn)練樣本及測試樣本共同確定 分類器的應(yīng)用 在對分類器進行訓(xùn)練及測試 并最終確定了分類器的判決函數(shù)以后 就可將分類器投入實際應(yīng)用 在實際應(yīng)用中 我們只能觀測到物理對象的特征向量 但是并不知道該對象的類別 為此 我們采用分類器的判決函數(shù)對其類別進行預(yù)測 即分類 對于觀測到的特征向量x 如果d x 0 則判y 1 物理對象屬于第一類 如果d x 0 則判y 1 物理對象屬于第二類 5 分類器的設(shè)計過程 6 分類器設(shè)計過程中需要考慮的一些關(guān)鍵因素 1 兩類不同樣本的特征向量的真實分布 特征向量的概率分布決定了分類器在實際應(yīng)用中的真實分類能力 泛化能力 特征向量的概率分布通常是未知的 因此分類器的泛化能力也是未知的 但是 分類器的真實分類能力可以通過測試誤差進行初步的估計 2 訓(xùn)練樣本及測試樣本的數(shù)量 越多越好 但是在實際應(yīng)用中 獲取大量的樣本通常需要付出很大的代價 3 分類器的復(fù)雜度選擇 采用復(fù)雜度高的分類器可以獲得較小的訓(xùn)練誤差 但是 隨著分類器復(fù)雜度的進一步提高 伴隨著訓(xùn)練誤差的降低 分類器的測試誤差卻會開始變大 這一現(xiàn)象稱為過度擬合 過學(xué)習(xí) 過度擬合的出現(xiàn) 意味著分類器泛化能力的降低 它說明在分類器的設(shè)計過程中 分類器 也即判決函數(shù) 的復(fù)雜度應(yīng)該受到適當(dāng)?shù)南拗?分類器復(fù)雜度選擇的兩個基本原則 1 Occamrazor原則 為了保證泛化能力 在經(jīng)驗誤差相近的條件下 應(yīng)該選擇復(fù)雜度較低的分類器 2 統(tǒng)計學(xué)習(xí)理論 為了保證泛化能力 分類器的復(fù)雜度應(yīng)與可用樣本的數(shù)量相平衡 樣本數(shù)量較多時 采用復(fù)雜度高的分類器才更可靠 分類器復(fù)雜度過高 分類器復(fù)雜度過高 出現(xiàn)過度擬合 泛化能力可能會有所降低 分類器復(fù)雜度過低 由于分類器的復(fù)雜度過低 無法有效表示不同類別訓(xùn)練樣本之間的分界面 從而導(dǎo)致訓(xùn)練誤差無法得到充分的降低 這一現(xiàn)象稱為欠學(xué)習(xí) 欠學(xué)習(xí)同樣無法保證較好的泛化能力 分類器復(fù)雜度適中 分類器的復(fù)雜度與可用樣本的數(shù)量相匹配 復(fù)雜度的選擇符合Occamrazor原則 這樣得到的分類器最有可能獲得較好的分類能力 三 模式識別問題的一般描述 1 構(gòu)建樣本集 獲取物理對象的觀測量 從觀測量中提取有利于進行分類的特征向量 根據(jù)特征向量及物理對象的類別構(gòu)成一個樣本 對不同類別的多個物理對象重復(fù)上述過程 獲得一個樣本集 樣本集是分類器設(shè)計的基礎(chǔ) 2 將樣本集分為訓(xùn)練集及測試集 選擇一個合適的分類器模型 根據(jù)訓(xùn)練集及測試集共同確定該分類器模型的參數(shù) 這一過程稱為有監(jiān)督學(xué)習(xí) 有監(jiān)督學(xué)習(xí)是一種基于樣本的學(xué)習(xí)方法 基于樣本的學(xué)習(xí)方法是解決復(fù)雜問題的一個重要手段 例如中醫(yī)診脈 3 與有監(jiān)督學(xué)習(xí)相對應(yīng)的是無監(jiān)督學(xué)習(xí) 聚類分析 在聚類分析中 沒有樣本的類別信息可資利用 只有一組可能是來自于多個不同類別對象的觀測量 也稱為特征向量或樣本 聚類分析的目的 就是根據(jù)樣本分布的自然結(jié)構(gòu) 根據(jù)樣本之間的相似性 將樣本分為多個不同的類 一個聚類分析的例子 只有觀測信息 沒有類別信息 我們希望根據(jù)樣本的分布 將樣本劃分為若干個自然類 從而發(fā)現(xiàn)隱藏于樣本集中的可能的類別信息 四 模式識別的應(yīng)用手寫體識別 郵政編碼指紋識別 人臉識別 故障診斷 語音識別 讀1 2 3 4 5 鑒別合法性網(wǎng)絡(luò)安全 目標識別 雷達 聲吶數(shù)據(jù)挖掘 人臉的識別 分類器的訓(xùn)練樣本 人臉的識別 一個應(yīng)用的例子 五 數(shù)字圖像處理與模式識別圖像特征的提取六 本課程的主要研究內(nèi)容1 特征提取2 BAYES分類器3 線性分類器4 非線性分類器5 神經(jīng)網(wǎng)絡(luò)分類器6 決策樹分類器7 聚類分析