《人工智能 第七章 機(jī)器學(xué)習(xí)》由會員分享，可在線閱讀，更多相關(guān)《人工智能 第七章 機(jī)器學(xué)習(xí)（14頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、第七章 機(jī)器學(xué)習(xí) 教學(xué)內(nèi)容：機(jī)器學(xué)習(xí)是繼專家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域。本章 主要介紹機(jī)器學(xué)習(xí)的有關(guān)知識及其主要的幾種學(xué)習(xí)方法，并介紹了知識發(fā)現(xiàn)的相 關(guān)內(nèi)容。 教學(xué)重點(diǎn)：機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)、類比學(xué)習(xí)、神經(jīng)學(xué)習(xí)、知識發(fā)現(xiàn) 教學(xué)難點(diǎn)：學(xué)習(xí)系統(tǒng)的結(jié)構(gòu)，知識發(fā)現(xiàn)的處理過程， 教學(xué)方法：課堂教學(xué)為主。注意結(jié)合學(xué)生已學(xué)的內(nèi)容。及時提問、收集學(xué)生學(xué)習(xí) 情況，多實(shí)用具體實(shí)例來加以說明，注意難易結(jié)合，將課程講述得較為淺顯易懂。 教學(xué)要求：重點(diǎn)掌握類比學(xué)習(xí)和知識發(fā)現(xiàn)，掌握機(jī)器學(xué)習(xí)的發(fā)展史和神經(jīng)學(xué)習(xí)， 了解解釋學(xué)習(xí)、歸納學(xué)習(xí)，一般了解機(jī)械學(xué)習(xí)。 7.1 機(jī)器學(xué)習(xí)的定義和發(fā)展歷史 教學(xué)內(nèi)容：

2、本小節(jié)主要介紹了機(jī)器學(xué)習(xí)的定義以及其發(fā)展的過程，為后面的進(jìn)一 步學(xué)習(xí)打下基礎(chǔ)。 教學(xué)重點(diǎn)：機(jī)器學(xué)習(xí)的定義 教學(xué)難點(diǎn)：對定義的準(zhǔn)確把握和理解 教學(xué)方法：通過舉例引入機(jī)器學(xué)習(xí)的定義，在講述發(fā)展歷史時，簡介各階段的具 體產(chǎn)物，讓學(xué)生有較為具體的感受和體會。 教學(xué)要求：重點(diǎn)掌握機(jī)器學(xué)習(xí)的定義，了解機(jī)器學(xué)習(xí)的發(fā)展史。 7.1.1 機(jī)器學(xué)習(xí)的定義 1. 機(jī)器學(xué)習(xí)的基本概念： 按照人工智能大師西蒙的觀點(diǎn)，學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對本身能 力的增強(qiáng)或者改進(jìn)，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或類似任務(wù)時，會比現(xiàn)在做 得更好或效率更高。 2. 機(jī)器學(xué)習(xí)的定義 機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來模擬人

3、類學(xué)習(xí)活動的一門學(xué)科。稍為嚴(yán)格的 提法是：機(jī)器學(xué)習(xí)是一門研究機(jī)器獲取新知識和新技能，并識別現(xiàn)有知識的學(xué)問。 舉例：列舉 1959 年美國的塞繆爾設(shè)計(jì)的一下棋程序，由這一事件引出關(guān)于機(jī)器 學(xué)習(xí)的概念的相關(guān)討論。 提問：討論關(guān)于機(jī)器學(xué)習(xí)的各種概念的提出以及其區(qū)別。 7.1.2 機(jī)器學(xué)習(xí)的發(fā)展史 機(jī)器學(xué)習(xí)是人工智能應(yīng)用研究較為重要的分支，它的發(fā)展過程大體上可分為 4 個時期： 1. 第一階段是在 50年代中葉到 60 年代中葉，屬于熱烈時期。在這個時期， 所研究的是“沒有知識”的學(xué)習(xí)，即“無知”學(xué)習(xí)；其研究目標(biāo)是各類自組織系 統(tǒng)和自適應(yīng)系統(tǒng)；指導(dǎo)本階段研究的理論基礎(chǔ)是早在 40 年代就開始

4、研究的神經(jīng) 網(wǎng)絡(luò)模型。在這個時期，我國研制了數(shù)字識別學(xué)習(xí)機(jī)。 2. 第二階段在 60年代中葉至 70 年代中葉，被稱為機(jī)器學(xué)習(xí)的冷靜時期。本 階段的研究目標(biāo)是模擬人類的概念學(xué)習(xí)過程，并采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為機(jī)器 內(nèi)部描述。這個時期正是我國“史無前例”的十年，對機(jī)器學(xué)習(xí)的研究不可能取 得實(shí)質(zhì)進(jìn)展。 3. 第三階段從 70 年代中葉至 80 年代中葉，稱為復(fù)興時期。在這個時期，人 們從學(xué)習(xí)單個概念擴(kuò)展到學(xué)習(xí)多個概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法。 本階段已開始把學(xué)習(xí)系統(tǒng)與各種應(yīng)用結(jié)合起來，中國科學(xué)院自動化研究所進(jìn)行質(zhì) 譜分析和模式文法推斷研究，表明我國的機(jī)器學(xué)習(xí)研究得到恢復(fù)。1980 年

5、西蒙 來華傳播機(jī)器學(xué)習(xí)的火種后，我國的機(jī)器學(xué)習(xí)研究出現(xiàn)了新局面。 4. 機(jī)器學(xué)習(xí)的最新階段始于 1986年。一方面，由于神經(jīng)網(wǎng)絡(luò)研究的重新興 起，另一方面，對實(shí)驗(yàn)研究和應(yīng)用研究得到前所未有的重視。我國的機(jī)器學(xué)習(xí)研 究開始進(jìn)入穩(wěn)步發(fā)展和逐漸繁榮的新時期。 討論：根據(jù)對四個時期的劃分和分段了解，討論機(jī)器學(xué)習(xí)在現(xiàn)實(shí)生活中的具體運(yùn) 用及其影響。 7.2 機(jī)器學(xué)習(xí)的主要策略與基本結(jié)構(gòu) 內(nèi)容與作用：本小節(jié)概括了機(jī)器學(xué)習(xí)的主要策略，同時給出了機(jī)器學(xué)習(xí)的基本結(jié) 構(gòu)，讓學(xué)生對機(jī)器學(xué)習(xí)的機(jī)制有了基本的認(rèn)識。 教學(xué)重點(diǎn)：機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)。 教學(xué)難點(diǎn)：機(jī)器學(xué)習(xí)基本結(jié)構(gòu)的內(nèi)在聯(lián)系。 教學(xué)方法：通過概括介

6、紹讓學(xué)生了解幾種基本的策略，按從易到難的順序，層層 鋪墊，為后面的學(xué)習(xí)埋下伏筆。詳細(xì)講述機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)，通過圖示讓更為 形象的說明。 教學(xué)要求：重點(diǎn)掌握機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)，了解機(jī)器學(xué)習(xí)的幾種主要策略，一般 了解影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的因素。 7.2.1 機(jī)器學(xué)習(xí)的主要策略 學(xué)習(xí)過程與推理過程是緊密相連的，按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí) 所采用的策略大體上可分為 4 種棗機(jī)械學(xué)習(xí)、示教學(xué)習(xí)、類比學(xué)習(xí)和示例學(xué)習(xí)。 學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)。 1. 機(jī)械學(xué)習(xí)就是記憶，是最簡單的學(xué)習(xí)策略。這種學(xué)習(xí)策略不需要任何推理 過程。 2. 比機(jī)械學(xué)習(xí)更復(fù)雜一點(diǎn)的學(xué)習(xí)是示教學(xué)習(xí)策略。系統(tǒng)在

7、接受外部知識時需 要一點(diǎn)推理，翻譯和轉(zhuǎn)化工作。 3. 類比學(xué)習(xí)系統(tǒng)只能得到完成類似任務(wù)的有關(guān)因此，他比上述兩種學(xué)習(xí)策略 需要更多的推理。 4. 采用示例學(xué)習(xí)策略的計(jì)算機(jī)系統(tǒng)，事先完全沒有完成任務(wù)的任何規(guī)律性的 信息，因此需要推理是最多的。 討論：通過對比四種主要策略，討論其各自的優(yōu)缺點(diǎn)以及其適用的環(huán)境。 7.2.2 機(jī)器學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu) 1. 基本結(jié)構(gòu) 圖 7.1 表示學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)： 圖 7.1 學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu) 通過對這個簡單模型的討論，總結(jié)出設(shè)計(jì)學(xué)習(xí) 系統(tǒng)應(yīng)當(dāng)注意的某些總的原則： 環(huán)境向系統(tǒng)的學(xué)習(xí)部分提供某些信息，學(xué)習(xí)部 分利用這些信息修改知識庫，以增進(jìn)系

8、統(tǒng)執(zhí)行部分完成任務(wù)的效能，執(zhí)行部 分根據(jù)知識庫完成任務(wù)，同時把獲得的信息反饋給學(xué)習(xí)部分。在具體的應(yīng)用中， 環(huán)境，知識庫和執(zhí)行部分決定了具體的工作內(nèi)容，學(xué)習(xí)部分所需要解決的問題完 全由上述 3 部分確定。 舉例：以人為例，說明機(jī)器學(xué)習(xí)和 人學(xué)習(xí)一樣，有著其自身的規(guī)律和基本過程。 而且，其學(xué)習(xí)過程也有著共性。 提問：能否就機(jī)器學(xué)習(xí)的基本結(jié)構(gòu)，舉出相關(guān)的例子，并參照其基本結(jié)構(gòu)對其進(jìn) 行分析。 2. 影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的重要因素 (1) .影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的最重要的因素是環(huán)境向系統(tǒng)提供的信息。整個過程 要遵循“取之精華，棄之糟粕”的原則，同時謹(jǐn)記“實(shí)踐是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)”。 (2) .知識庫

9、是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二個因素。知識的表示有多種形式，在 選擇表示方式時要兼顧以下 4 個方面： 表達(dá)能力強(qiáng)。所選擇的表示方式能很容易地表達(dá)有關(guān)的知識。 易于推理。為了使學(xué)習(xí)系統(tǒng)的計(jì)算代價比較低，希望知識表示方式能使推理 較為容易。 容易修改知識庫。學(xué)習(xí)系統(tǒng)的本質(zhì)要求它不斷地修改自己的知識庫，當(dāng)推廣 得出一般執(zhí)行規(guī)則后，要加到知識庫中。 知識表示易于擴(kuò)展。 學(xué)習(xí)系統(tǒng)不能在全然沒有任何知識的情況下憑空獲取知識，每一個學(xué)習(xí)系統(tǒng) 都要求具有某些知識理解環(huán)境提供的信息，分析比較，做出假設(shè)，檢驗(yàn)并修改這 些假設(shè)。因此，更確切地說，學(xué)習(xí)系統(tǒng)是對現(xiàn)有知識的擴(kuò)展和改進(jìn)。 舉例：可舉特征向量的例子來

10、說明表達(dá)能力和推理的問題。 7.3 機(jī)械學(xué)習(xí) 教學(xué)內(nèi)容：本小節(jié)詳細(xì)介紹了機(jī)械學(xué)習(xí)，對機(jī)械學(xué)習(xí)模式和一種數(shù)據(jù)化簡模式以 及機(jī)械學(xué)習(xí)的主要缺點(diǎn)都有較為細(xì)致的講解。通過對這種最基本的機(jī)器學(xué)習(xí)的了 解，為以后學(xué)習(xí)更為復(fù)雜的策略打下良好的基礎(chǔ)。 教學(xué)重點(diǎn)：機(jī)械學(xué)習(xí)的模式和其數(shù)據(jù)化簡模式 教學(xué)難點(diǎn)：基本原理 教學(xué)方法：用較為通俗的語言將機(jī)械學(xué)習(xí)的模式講通徹，同時通過圖表對其數(shù)據(jù) 化簡過程進(jìn)行講解。多結(jié)合日常生活中常有的學(xué)習(xí)過程，和機(jī)械學(xué)習(xí)參照，讓學(xué) 生更容易接受。 教學(xué)要求：重點(diǎn)掌握機(jī)械學(xué)習(xí)模式，了解機(jī)械學(xué)習(xí)的數(shù)據(jù)化簡模式以及機(jī)械學(xué)習(xí) 的優(yōu)缺點(diǎn)。 1、機(jī)械學(xué)習(xí)的模式 機(jī)械學(xué)習(xí)是最簡單的機(jī)器

11、學(xué)習(xí)方法。機(jī)械學(xué)習(xí)就是記憶，即把新的知識存儲 起來，供需要時檢索調(diào)用，而不需要計(jì)算和推理。機(jī)械學(xué)習(xí)又是最基本的學(xué)習(xí)過 程。任何學(xué)習(xí)系統(tǒng)都必須記住它們獲取的知識。在機(jī)械學(xué)習(xí)系統(tǒng)中，知識的獲取 是以較為穩(wěn)定和直接的方式進(jìn)行的，不需要系統(tǒng)進(jìn)行過多的加工。 舉例：可用嬰兒剛開始學(xué)東西時所才用的學(xué)習(xí)方式和成人的思維方式比較。 2、數(shù)據(jù)化簡 Lena t,Hayes Ro th,和Klahr等人于1979年關(guān)于機(jī)械學(xué)習(xí)提出一種有趣的 觀點(diǎn)。他們指出，可以把機(jī)械學(xué)習(xí)看成是數(shù)據(jù)化簡分級中的第一級。數(shù)據(jù)化簡與 計(jì)算機(jī)語言編譯類似；其目的是把原始信息變成可執(zhí)行的信息。在機(jī)械學(xué)習(xí)中我 們只記憶計(jì)算的輸入輸出,

12、忽略了計(jì)算過程,這樣就把計(jì)算問題化簡成存取問題。 見圖 7.2： 3、主要問題 對于機(jī)械學(xué)習(xí)，需要注意 3 個重要的問題：存儲組織，穩(wěn)定性和存儲與計(jì)算 之間的權(quán)衡。 （1）存儲組織信息：采用適當(dāng)?shù)拇鎯Ψ绞剑箼z索速度 盡可能地快，是機(jī)械學(xué)習(xí)中的重要問題。 （2）環(huán)境的穩(wěn)定性與存儲信息的適用性問題：機(jī)械學(xué)習(xí)系統(tǒng)必須保證所保 存的信息適應(yīng)于外界環(huán)境變化的需要，這也就是所謂的信息適用性問題。 （3）存儲與計(jì)算之間的權(quán)衡：對于機(jī)械學(xué)習(xí)來說很重要的一點(diǎn)是它不能降 低系統(tǒng)的效率。 討論：機(jī)械學(xué)習(xí)中存在的主要問題以及對學(xué)習(xí)模型的影響。 7.4 歸納學(xué)習(xí) 教學(xué)內(nèi)容：本小節(jié)詳細(xì)介紹了歸

13、納學(xué)習(xí)，對歸納學(xué)習(xí)的模式有較為細(xì)致的講解， 對其定義有詳細(xì)的介紹，后半部分介紹了幾種常見的歸納學(xué)習(xí)的方法。 教學(xué)重點(diǎn)：歸納學(xué)習(xí)的定義和其學(xué)習(xí)模式 教學(xué)難點(diǎn)：歸納學(xué)習(xí)的基本原理 教學(xué)方法：仍然使用到圖表對歸納學(xué)習(xí)的模式進(jìn)行講授，結(jié)合幾種常用的歸納學(xué) 習(xí)方法，讓學(xué)生形成系統(tǒng)的認(rèn)識。 教學(xué)要求：重點(diǎn)掌握歸納學(xué)習(xí)的定義及其模式，了解歸納學(xué)習(xí)的幾種常見方法。 歸納學(xué)習(xí)的定義 (1) 歸納(induetion)是人類拓展認(rèn)識能力的重要方法，是一種從個別到 一般的，從部分到整體的推理行為。 (2) 歸納推理是應(yīng)用歸納方法，從足夠多的具體事例中歸納出一般性知識， 提取事物的一般規(guī)律；它是一種從個別到

14、一般的推理。 (3) 歸納學(xué)習(xí)(induetion learning)是應(yīng)用歸納推理進(jìn)行學(xué)習(xí)的一種方 法。根據(jù)歸納學(xué)習(xí)有無教師指導(dǎo)，可把它分為示例學(xué)習(xí)和觀察與發(fā)現(xiàn)學(xué)習(xí)。前者 屬于有師學(xué)習(xí)，后者屬于無師學(xué)習(xí)。 7.4.1 歸納學(xué)習(xí)的模式和規(guī)則 歸納學(xué)習(xí)的一般模式為： 給定：(1)觀察陳述(事實(shí))F,用以表示有關(guān)某些對象、狀態(tài)、過程等的 特定知識；(2) 假定的初始?xì)w納斷言(可能為空)；(3) 背景知識，用于定義有 關(guān)觀察陳述、候選歸納斷言以及任何相關(guān)問題領(lǐng)域知識、假設(shè)和約束，其中包括 能夠刻畫所求歸納斷言的性質(zhì)的優(yōu)先準(zhǔn)則。 求：歸納斷言(假設(shè))H,能重言蘊(yùn)涵或弱蘊(yùn)涵觀察陳述，并滿足背景

15、知識。 假設(shè)H永真蘊(yùn)涵事實(shí)F,說明F是H的邏輯推理，則有： H |> F (讀作 H 特殊化為 F) 或F |< H (讀作F —般化或消解為H) 這里，從H推導(dǎo)F是演繹推理，因此是保真的；而從事實(shí)F推導(dǎo)出假設(shè)H 是歸納推理，因此不是保真的，而是保假的。 歸納學(xué)習(xí)系統(tǒng)的模型如圖7.3所示。 圖 7.3 歸納學(xué)習(xí)系統(tǒng)模型 實(shí)驗(yàn)規(guī)劃過程通過對實(shí)例空間的搜索完成實(shí)例選擇，并將這些選中的活躍實(shí) 例提交解釋過程。解釋過程對實(shí)例加以適當(dāng)轉(zhuǎn)換，把活躍實(shí)例變換為規(guī)則空間中 的特定概念，以引導(dǎo)規(guī)則空間的搜索。 思考：引導(dǎo)學(xué)生通過對歸納學(xué)習(xí)模型的學(xué)習(xí)，結(jié)合身邊的實(shí)例加以分析。 7.4.2

16、 歸納學(xué)習(xí)方法 1、示例學(xué)習(xí) 示例學(xué)習(xí)(learning from examples)又稱為實(shí)例學(xué)習(xí)，它是通過環(huán)境中若 干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的一種學(xué)習(xí)方法。 在這種學(xué)習(xí)方法中，外部環(huán)境提供的是一組例子(正例和反例)， 示例學(xué)習(xí)就是要從這些特殊知識中歸納出適用于更大范圍的一般性知識，以 覆蓋所有的正例并排除所有反例。 2、觀察發(fā)現(xiàn)學(xué)習(xí) 觀察發(fā)現(xiàn)學(xué)習(xí)又稱為描述性概括，其目標(biāo)是確定一個定律或理論的一般性描 述，刻畫觀察集，指定某類對象的性質(zhì)。觀察發(fā)現(xiàn)學(xué)習(xí)可分為觀察學(xué)習(xí)與機(jī)器發(fā) 現(xiàn)兩種。前者用于對事例進(jìn)行聚類，形成概念描述；后者用于發(fā)現(xiàn)規(guī)律，產(chǎn)生定 律或規(guī)則。 舉例

17、：通過書上的例子引出示例學(xué)習(xí)的概念，并加以說明。 7.5 類比學(xué)習(xí) 教學(xué)內(nèi)容：本小節(jié)詳細(xì)介紹了類比學(xué)習(xí)，首先介紹類比推理，然后討論類比學(xué)習(xí) 的形式和學(xué)習(xí)步驟，最后研究類比學(xué)習(xí)的過程和研究類型。 教學(xué)重點(diǎn)：類比推理，類比學(xué)習(xí)的學(xué)習(xí)過程 教學(xué)難點(diǎn)：類比推理的步驟 教學(xué)方法：本節(jié)的知識較為枯燥，講述的時候要盡量多結(jié)合相關(guān)的示例讓學(xué)生能 有具體的感受，更有力于接受知識。 教學(xué)要求：重點(diǎn)掌握類比推理的定義，了解類比學(xué)習(xí)的過程。 7.5.1 類比推理和類比學(xué)習(xí)形式 類比推理是由新情況與已知情況在某些方面的相似來推出它們在其它相關(guān) 方面的相似。顯然，類比推理是在兩個相似域之間進(jìn)行的：類比推理

18、的目的是從 源域中選出與當(dāng)前問題最近似的問題及其求解方法以求解決當(dāng)前的問題，或者建 立起目標(biāo)域中已有命題間的聯(lián)系，形成新知識。 其推理過程如下： (1) 回憶與聯(lián)想 遇到新情況或新問題時，首先通過回憶與聯(lián)想在S中找出與當(dāng)前情況相似的 情況，這些情況是過去已經(jīng)處理過的，有現(xiàn)成的解決方法及相關(guān)的知識。 (2) 選擇 從找出的相似情況中選出與當(dāng)前情況最相似的情況及其有關(guān)知識。 (3) 建立對應(yīng)映射 在S與T的相似情況之間建立相似元素的對應(yīng)關(guān)系，并建立起相應(yīng)的映射。 (4) 轉(zhuǎn)換 在上一步建立的映射下，把S中的有關(guān)知識引到T中來，從而建立起求解當(dāng) 前問題的方法或者學(xué)習(xí)到關(guān)于T的新知識

19、。 舉例：舉出現(xiàn)實(shí)中的具體實(shí)例，按推理過程對其步驟進(jìn)行一步步的細(xì)分。 7.5.2 類比學(xué)習(xí)過程與研究類型 類比學(xué)習(xí)主要包括如下四個過程： (1) 輸入一組已知條件(已解決問題)和一組未完全確定的條件(新問題)。 (2) 對輸入的兩組條件，根據(jù)其描述，按某種相似性的定義尋找兩者可類比 的對應(yīng)關(guān)系。 (3) 按相似變換的方法，將已有問題的概念、特性、方法、關(guān)系等映射到新 問題上，以獲得待求解新問題所需的新知識。 (4) 對類推得到的新問題的知識進(jìn)行校驗(yàn)。驗(yàn)證正確的知識存入知識庫中， 而暫時還無法驗(yàn)證的知識只能作為參考性知識，置于數(shù)據(jù)庫中。 7.6 解釋學(xué)習(xí) 教學(xué)內(nèi)容：本小節(jié)對兩種

20、基本的學(xué)習(xí)進(jìn)行了介紹，對相關(guān)知識能有所了解，對以 后的學(xué)習(xí)有很大的幫助。 教學(xué)重點(diǎn)：解釋學(xué)習(xí)的過程和算法，神經(jīng)學(xué)習(xí)的相關(guān)知識 教學(xué)難點(diǎn)：解釋學(xué)習(xí)的過程和算法 教學(xué)方法：由于本節(jié)知識只做一般了解，所以只需對相關(guān)概念做個簡介即可 教學(xué)要求：了解解釋學(xué)習(xí)的過程及神經(jīng)學(xué)習(xí)的概念。 7.6.1 解釋學(xué)習(xí)過程和算法 解釋學(xué)習(xí)一般包括下列 3 個步驟： (1) 利用基于解釋的方法對訓(xùn)練例子進(jìn)行分析與解釋。 (2) 對例子的結(jié)構(gòu)進(jìn)行概括性解釋。 (3) 從解釋結(jié)構(gòu)中識別出訓(xùn)練例子的特性，獲取一般控制知識。 1986年米切爾(Mitchell)等人為基于解釋的學(xué)習(xí)提出了一個統(tǒng)一的算法 EBG,

21、該算法建立了基于解釋的概括過程，并運(yùn)用知識的邏輯表示和演繹推理進(jìn) 行問題求解。圖 7.4 表示 EBG 問題。 操作準(zhǔn)則 目標(biāo)概念 —*― 新規(guī)則 訓(xùn)練例子 1 知識庫 圖 7.4 EBG 問題 EBG 求解問題的形式可描述于下: 給定： (1) 目標(biāo)概念描述 TC； (2) 訓(xùn)練實(shí)例 TE； (3) 領(lǐng)域知識 DT； (4) 操作準(zhǔn)則 OC。 求解：訓(xùn)練實(shí)例的一般化概括，使之滿足： (1) 目標(biāo)概念的充分概括描述 TC； (2) 操作準(zhǔn)則 OC。 思考：引導(dǎo)學(xué)生自學(xué)本小節(jié)的某些知識，結(jié)合書上的示例對數(shù)學(xué)推理有一定了解 例子：通過解釋學(xué)習(xí)獲得一個物體(X)可安全

22、放置到另一個物體(y)上的概念。 7.7 神經(jīng)學(xué)習(xí) 教學(xué)內(nèi)容：討論基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本原理。 教學(xué)重點(diǎn)：基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)，基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí)。 教學(xué)難點(diǎn)： 上述兩種神經(jīng)學(xué)習(xí)的算法。 教學(xué)方法： 課堂講授為主。 教學(xué)要求： 掌握上述神經(jīng)學(xué)習(xí)的結(jié)構(gòu)，了解神經(jīng)學(xué)習(xí)的算法。 7.7.1 基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí) 反向傳播算法是一種計(jì)算單個權(quán)值變化引起網(wǎng)絡(luò)性能變化值的較為簡單的 方法。由于BP算法過程包含從輸出節(jié)點(diǎn)開始，反向地向第一隱含層（即最接近輸 入層的隱含層）傳播由總誤差引起的權(quán)值修正，所以稱為“反向傳播”。反向傳 播特性與所求解問題的性質(zhì)和所作細(xì)節(jié)選擇有極為密切

23、的關(guān)系。 7?7?2基于Hopfield網(wǎng)絡(luò)的學(xué)習(xí) 反饋神經(jīng)網(wǎng)絡(luò)，它是一種動態(tài)反饋系統(tǒng)，比前饋網(wǎng)絡(luò)具有更強(qiáng)的計(jì)算能力。 Hopfield 網(wǎng)絡(luò)是一種具有正反相輸出的帶反饋人工神經(jīng)元。 Hopfield 網(wǎng)絡(luò) 系統(tǒng)不僅能夠?qū)崿F(xiàn)聯(lián)想記憶，而且能夠執(zhí)行線性和非線性規(guī)劃等優(yōu)化求解任務(wù)。 7?8 知識發(fā)現(xiàn) 教學(xué)內(nèi)容：知識發(fā)現(xiàn)的發(fā)展過程和定義，知識發(fā)現(xiàn)的處理過程，知識發(fā)現(xiàn)的方法 和應(yīng)用。 教學(xué)重點(diǎn)：知識發(fā)現(xiàn)的處理過程，知識發(fā)現(xiàn)的方法。 教學(xué)難點(diǎn)：知識發(fā)現(xiàn)的方法 教學(xué)方法：通過實(shí)例激發(fā)學(xué)生對知識發(fā)現(xiàn)的學(xué)習(xí)興趣，進(jìn)而重點(diǎn)講解知識發(fā)現(xiàn)的 過程和方法。 教學(xué)要求：重點(diǎn)掌握知識發(fā)現(xiàn)的過程，了解知識

24、發(fā)現(xiàn)的方法，了解知識發(fā)現(xiàn)的應(yīng) 用。 7?8?1 知識發(fā)現(xiàn)的發(fā)展和定義 1?知識發(fā)現(xiàn)的產(chǎn)生和發(fā)展 知識發(fā)現(xiàn)最早是于1989年8月在第11屆國際人工智能聯(lián)合會議的專題討論 會上提出。隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)上已設(shè)立了不少研究 KDD 的網(wǎng)站、論壇和新聞 報導(dǎo)。在研究的基礎(chǔ)上，也出現(xiàn)一些 KDD 產(chǎn)品和應(yīng)用系統(tǒng)，引起企業(yè)界的關(guān)注。 2?定義：數(shù)據(jù)庫中的知識發(fā)現(xiàn)是從大量數(shù)據(jù)中辨識出有效的、新穎的、潛在有用 的、并可被理解的模式的高級處理過程。 （1）數(shù)據(jù)集：是指一個有關(guān)事實(shí)F的集合，它是用來描述事物有關(guān)方面的 信息，是進(jìn)一步發(fā)現(xiàn)知識的原材料。 2）新穎：經(jīng)過知識發(fā)現(xiàn)提取出的模式必須是新穎的。

25、 （3）潛在有用：提取出的模式應(yīng)該是有意義的，這可以通過某些函數(shù)的值 來衡量。 （4）可被人理解：知識發(fā)現(xiàn)的一個目標(biāo)就是將數(shù)據(jù)庫中隱含的模式以容易 被人理解的形式表現(xiàn)出來，從而幫助人們更好地了解數(shù)據(jù)庫中所包含的信息。 7.8.2 知識發(fā)現(xiàn)的處理過程 1、 數(shù)據(jù)選擇。根據(jù)用戶的需求從數(shù)據(jù)庫中提取與KDD相關(guān)的數(shù)據(jù)。 2、 數(shù)據(jù)預(yù)處理。主要是對上述數(shù)據(jù)進(jìn)行再加工，檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一 致性，對丟失的數(shù)據(jù)利 用統(tǒng)計(jì)方法進(jìn)行填補(bǔ)，形成發(fā)掘數(shù)據(jù)庫。 3、 數(shù)據(jù)變換。即從發(fā)掘數(shù)據(jù)庫里選擇數(shù)據(jù)。 4?數(shù)據(jù)挖掘。根據(jù)用戶要求，確定KDD的 目標(biāo)是發(fā)現(xiàn)何種類型的知識。 5、知識評價。這一過

26、程主要用于對所獲得的 規(guī)則進(jìn)行價值評定，以決定所得的規(guī)則是否存入基礎(chǔ)知識庫。 上述KDD全過程的幾個步驟可以進(jìn)一步歸納為三個步驟，即數(shù)據(jù)挖掘預(yù)處理 （數(shù)據(jù)挖掘前的準(zhǔn)備工作）、數(shù)據(jù)挖掘、數(shù)據(jù)挖掘后處理（數(shù)據(jù)挖掘后的處理工 作）。 簡單介紹幾種新的對數(shù)據(jù)發(fā)掘的改進(jìn)過程。 舉例：參照上述的處理過程，舉出具體實(shí)例，詳細(xì)講述每步的過程。 知識發(fā)現(xiàn)的方法 知識發(fā)現(xiàn)的方法有統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)、神經(jīng)計(jì)算和可視化方法等。 1、 統(tǒng)計(jì)方法 統(tǒng)計(jì)方法是從事物的外在數(shù)量上的表現(xiàn)去推斷該事物可能的規(guī)律性。 2、 機(jī)器學(xué)習(xí)方法 可能用于機(jī)器發(fā)現(xiàn)的機(jī)器學(xué)習(xí)方法有： (1) 規(guī)則歸納。規(guī)則反映數(shù)據(jù)項(xiàng)中某些

27、屬性或數(shù)據(jù)集中某些數(shù)據(jù)項(xiàng)之間的統(tǒng) 計(jì)相關(guān)性。 (2) 決策樹。決策樹的每一個非終葉節(jié)點(diǎn)表示所考慮的數(shù)據(jù)項(xiàng)的測試或決 策。 (3) 范例推理。范例推理是直接使用過去的經(jīng)驗(yàn)或解法來求解給定的問題。 (4) 貝葉斯信念網(wǎng)絡(luò)。貝葉斯信念網(wǎng)絡(luò)是概率分布的圖表示。 (5) 科學(xué)發(fā)現(xiàn)?？茖W(xué)發(fā)現(xiàn)是在實(shí)驗(yàn)環(huán)境下發(fā)現(xiàn)科學(xué)定律。 (6) 遺傳算法。在求解過程中，通過最好解的選擇和彼此組合，使期望解的 集合愈來愈好。 3、神經(jīng)計(jì)算方法 4、可視化方法 可視化(visualization)就是把數(shù)據(jù)、信息和知識轉(zhuǎn)化為可視的表示形式 的過程。 舉例：舉出幾個具體的實(shí)例讓學(xué)生對機(jī)器學(xué)習(xí)的幾種方法有基本了解。 7.8.4 知識發(fā)現(xiàn)的應(yīng)用 知識發(fā)現(xiàn)已在許多領(lǐng)域得到應(yīng)用，且應(yīng)用領(lǐng)域越來越廣?，F(xiàn)在，知識發(fā)現(xiàn)已 在銀行業(yè)、保險業(yè)、零售業(yè)、醫(yī)療保健、工程和制造業(yè)、科學(xué)研究、衛(wèi)星觀察和 娛樂業(yè)等行業(yè)和部門得到成功應(yīng)用，為人們的科學(xué)決策提供很大幫助。 思考：舉出有關(guān)的幾種應(yīng)用，再想想再現(xiàn)實(shí)生活中是否有其它的應(yīng)用。 7.9 小 結(jié) 本章只對機(jī)器學(xué)習(xí)作個入門介紹。 機(jī)器學(xué)習(xí)在過去十多年中獲得較大發(fā)展。今后機(jī)器學(xué)習(xí)將在理論概念、計(jì)算 機(jī)理、綜合技術(shù)和推廣應(yīng)用等方面開展新的研究。其中，對結(jié)構(gòu)模型、計(jì)算理論、 算法和混合學(xué)習(xí)的開發(fā)尤為重要。在這些方面，有許多事要做，有許多新問題需 要人們?nèi)ソ鉀Q。