《人工神經(jīng)網(wǎng)絡(luò)建模專家講座》由會員分享，可在線閱讀，更多相關(guān)《人工神經(jīng)網(wǎng)絡(luò)建模專家講座（49頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,第十一章 人工神經(jīng)網(wǎng)絡(luò)建模,（,Artificial Neuron Nets,）,一、引例,1981年生物學(xué)家格若根（W Grogan）和維什（WWirth）發(fā)覺了兩類蚊子(或飛蠓midges)他們測量了這兩類蚊子每個(gè)個(gè)體翼長和觸角長，數(shù)據(jù)以下：,翼長 觸角長 類別,1.64 1.38 Af,1.82 1.38 Af,1.90 1.38 Af,1.70 1.40 Af,1.82 1.48 Af,1.82 1.54 Af,2.08 1.56 Af,翼長 觸角長 類別,1.78 1.14 Apf,1.96 1.

2、18 Apf,1.86 1.20 Apf,1.72 1.24 Af,2.00 1.26 Apf,2.00 1.28 Apf,1.96 1.30 Apf,1.74 1.36 Af,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第1頁,問：假如抓到三只新蚊子，它們觸角長和翼長分別為(l.24,1.80);,(l.28，1.84)；（1.40，2.04）問它們應(yīng)分別屬于哪一個(gè)種類？,解法一,：,把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個(gè)蚊子翼長和觸角決定了坐標(biāo)平面一個(gè)點(diǎn).其中 6個(gè)蚊子屬于 APf類；用黑點(diǎn)“”表示；9個(gè)蚊子屬 Af類；用小圓圈“?！北硎?得到結(jié)果見圖1,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第2頁,圖,1,飛蠓觸角

3、長和翼長,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第3頁,思緒,：,作一直線將兩類飛蠓分開,比如；取A（1.44，2.10）和 B(1.10，1.16)，過A B兩點(diǎn)作一條直線：,y 1.47x -0.017，,其中,X,表示觸角長；,y,表示翼長,分類規(guī)則,：,設(shè)一個(gè)蚊子數(shù)據(jù)為（x,y）,假如y,1.47x -0.017，則判斷蚊子屬Apf類；,假如,y,1.47x -0.017,；則判斷蚊子屬,Af,類,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第4頁,分類結(jié)果,：,(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于 Apf類,圖2 分類直線圖,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第5頁,缺點(diǎn)：

4、依據(jù)什么標(biāo)準(zhǔn)確定分類直線？,若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)?y=1.39x+0.071,分類結(jié)果,變?yōu)椋?(1.24,1.80),，,(1.40,2.04),屬于,Apf,類；,(1.28,1.84),屬于,Af,類,哪一分類直線才是正確呢？,所以怎樣來確定這個(gè)判別直線是一個(gè)值得研究問題普通地講，應(yīng)該充分利用已知數(shù)據(jù)信息來確定判別直線,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第6頁,再如,，以下情形已經(jīng)不能用分類直線方法：,新思緒：,將問題看作一個(gè)系統(tǒng)，飛蠓數(shù)據(jù)作為輸入，飛蠓類型作為輸出，研究輸入與輸出關(guān)系。,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第7頁,二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)

5、,大腦可視作為1000多億神經(jīng)元組成神經(jīng)網(wǎng)絡(luò),神經(jīng)元解剖圖,圖3 神經(jīng)元解剖圖,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第8頁,神經(jīng)元信息傳遞和處理是一個(gè)電化學(xué)活動(dòng)樹突因?yàn)殡娀瘜W(xué)作用接收外界,刺激；經(jīng)過胞體內(nèi)活動(dòng)表達(dá)為軸突電位，當(dāng),軸突電位,到達(dá),一定值,則形成神經(jīng)脈沖或動(dòng)作電位；再經(jīng)過軸突末梢傳遞給其它神經(jīng)元從控制論觀點(diǎn)來看；這一過程能夠看作一個(gè),多輸入單輸出,非線性系統(tǒng)動(dòng)態(tài)過程,神經(jīng)網(wǎng)絡(luò)研究兩個(gè)方面,從生理上、解剖學(xué)上進(jìn)行研究,從工程技術(shù)上、算法上進(jìn)行研究,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第9頁,三、人工神經(jīng)網(wǎng)絡(luò)（Artificial Neuron Nets,簡稱ANN）,神經(jīng)元數(shù)學(xué)模型,圖4神經(jīng)元數(shù)學(xué)模型,

6、人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第10頁,其中x（x,1,，x,m,）,T,輸入向量，y為輸出，w,i,是權(quán)系數(shù)；輸入與輸出含有以下關(guān)系,：,為閾值，f（X）是激發(fā)函數(shù)；它能夠是線性函數(shù)，也能夠是非線性函數(shù),人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第11頁,比如，若記,取激發(fā)函數(shù)為符號函數(shù),人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第12頁,則,S,型激發(fā)函數(shù)：,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第13頁,或,注：若將閾值看作是一個(gè)權(quán)系數(shù)，,-1,是一個(gè)固定輸入，另有,m-1,個(gè)正常輸入，則（,1,）式也可表示為：,（,1,）,（,1,）,參數(shù)識別,：假設(shè)函數(shù)形式已知，則能夠從已經(jīng)有輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及閾值。,人工神經(jīng)網(wǎng)絡(luò)建模專家

7、講座,第14頁,2、神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型,眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，例以下列圖含有中間層（隱層）,B-P,網(wǎng)絡(luò),圖,5,帶中間層,B-P,網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第15頁,3、量變引發(fā)質(zhì)變,-,神經(jīng)網(wǎng)絡(luò)作用,（1）螞蟻群,一個(gè)螞蟻有,50,個(gè)神經(jīng)元，單獨(dú)一個(gè)螞蟻不能做太多事；甚至于不能很好活下去不過一窩螞蟻；設(shè)有,10,萬個(gè)體，那么這個(gè)群體相當(dāng)于,500,萬個(gè)神經(jīng)元（當(dāng)然不是簡單相加，這里只為說明方便而言）；那么它們能夠覓食、遷居、圍攻敵人等等,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第16頁,（2）網(wǎng)絡(luò)說話,人們把一本教科書用網(wǎng)絡(luò)把它讀出來（當(dāng)然需要經(jīng)過光電，電聲信號轉(zhuǎn)換）；開始網(wǎng)絡(luò)說話像嬰兒學(xué)

8、語那樣發(fā)出“巴、巴、巴”聲響；但經(jīng)過BP算法長時(shí)間訓(xùn)練竟能正確讀出英語書本中 90詞匯,從此用神經(jīng)網(wǎng)絡(luò)來識別語言和圖象形成一個(gè)新熱潮,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第17頁,4、人工神經(jīng)網(wǎng)絡(luò)基本特點(diǎn),（,1,）可處理非線性,（,2,）并行結(jié)構(gòu)對神經(jīng)網(wǎng)絡(luò)中每一個(gè)神經(jīng)元來說；其運(yùn)算都是一樣這么結(jié)構(gòu)最便于計(jì)算機(jī)并行處理,（3）含有學(xué)習(xí)和記憶能力一個(gè)神經(jīng)網(wǎng)絡(luò)能夠經(jīng)過訓(xùn)練學(xué)習(xí)判別事物；學(xué)習(xí)某一個(gè)規(guī)律或規(guī)則神經(jīng)網(wǎng)絡(luò)能夠用于聯(lián)想記憶,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第18頁,（4）對數(shù)據(jù)可容性大在神經(jīng)網(wǎng)絡(luò)中能夠同時(shí)使用量化數(shù)據(jù)和質(zhì)量數(shù)據(jù)（如好、中、差、及格、不及格等）,（5）神經(jīng)網(wǎng)絡(luò)能夠用大規(guī)模集成電路來實(shí)現(xiàn)如美國用

9、 256個(gè)神經(jīng)元組成神經(jīng)網(wǎng)絡(luò)組成硬件用于識別手寫體郵政編碼,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第19頁,四、反向傳輸算法（,B-P,算法）,Back propagation algorithm,算法目標(biāo)：依據(jù)實(shí)際輸入與輸出數(shù)據(jù)，計(jì)算模型參數(shù)（權(quán)系數(shù)）,1,簡單網(wǎng)絡(luò),B-P,算法,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第20頁,圖,6,簡單網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第21頁,假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè),輸入輸出對,（I,p,T,p,）,p=1,P,其中輸入向量為,目標(biāo)輸出向量為（實(shí)際上）,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第22頁,網(wǎng)絡(luò)輸出向量為,（理論上）,記w,ij,為從輸入向量第j(j=1,m)個(gè)分量到輸出向

10、量第i(i=1,n)個(gè)分量權(quán)重。通常理論值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不停地把與比較，并依據(jù)極小標(biāo)準(zhǔn)修改參數(shù)w,ij,，使誤差平方和達(dá)最?。?（,p=1,P,）,（2）,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第23頁,記,Delta,學(xué)習(xí)規(guī)則,:,（,4,）,（,3,）,表示遞推一次修改量，則有,稱為,學(xué)習(xí)速率,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第24頁,i,pm,=-1,w,im,=(第i個(gè)神經(jīng)元閾值)（5）,注：由（1）,式，第i個(gè)神經(jīng)元輸出可表示為,尤其當(dāng),f,是線性函數(shù)時(shí),（6）,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第25頁,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第26頁,圖,7,多層前饋網(wǎng)絡(luò),2,多層前饋網(wǎng)絡(luò),人工神經(jīng)網(wǎng)

11、絡(luò)建模專家講座,第27頁,假設(shè),：,（l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N,0,個(gè)神經(jīng)元設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第 k層有N,k,個(gè)神經(jīng)元,(2)設(shè),表示第k層第i神經(jīng)元所接收信息,w,k,(i,j)表示從第k-1層第j個(gè)元到第k層第i個(gè)元權(quán)重，,表第k層第i個(gè)元輸出,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第28頁,（3）設(shè)層與層間神經(jīng)元都有信息交換（不然，可設(shè)它們之間權(quán)重為零）；但同一層神經(jīng)元之間無信息傳輸,(4)設(shè)信息傳輸方向是從輸入層到輸出層方向；所以稱為前向網(wǎng)絡(luò)沒有反向傳輸信息,（5）表示輸入第j個(gè)分量,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第29頁,在上述假定下網(wǎng)絡(luò)輸入輸出關(guān)系能夠表示為：,（,7,）,

12、其中表示第,k,層第,i,個(gè)元閾值,.,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第30頁,（9）,定理,2,對于含有多個(gè)隱層前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為,S,函數(shù)；且指標(biāo)函數(shù)取,（8）,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第31頁,（10）,則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；其權(quán)重迭代公式為,表示第,-1,層第個(gè)元對第層第個(gè)元輸入第次迭代時(shí)權(quán)重,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第32頁,其中,（12）,（11）,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第33頁,BP算法,Step1,選定學(xué)習(xí)數(shù)據(jù),p=1,P,隨機(jī)確定初始權(quán)矩陣W（0）,Step2,用（10）式反向修正,直到用完全部學(xué)習(xí)數(shù)據(jù).,用學(xué)習(xí)數(shù)據(jù)計(jì)算網(wǎng)絡(luò)輸出,Step3,人工神經(jīng)網(wǎng)絡(luò)建

13、模專家講座,第34頁,五應(yīng)用之例：蚊子分類,已知兩類蚊子數(shù)據(jù)如表,1,：,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第35頁,翼長 觸角長 類別,1.78 1.14 Apf,1.96 1.18 Apf,1.86 1.20 Apf,1.72 1.24 Af,2.00 1.26 Apf,2.00 1.28 Apf,1.96 1.30 Apf,1.74 1.36 Af,目標(biāo)值,0.9,0.9,0.9,0.1,0.9,0.9,0.9,0.1,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第36頁,翼長 觸角長 類別,1.64 1.38 Af,1.82 1.38 Af,1.90 1.38 Af,1.70 1.40 Af,1.82 1.48

14、 Af,1.82 1.54 Af,2.08 1.56 Af,目標(biāo)t,0.1,0.1,0.1,0.1,0.1,0.1,0.1,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第37頁,輸入數(shù)據(jù)有15個(gè)，即,p=1,15;j=1,2;對應(yīng)15個(gè)輸出。,建模：（輸入層，中間層，輸出層，每層元素應(yīng)取多少個(gè)？）,建立神經(jīng)網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第38頁,要求目標(biāo)為：當(dāng)t(1)=0.9 時(shí)表示屬于Apf類，t(2)=0.1表示屬于Af類。,設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第39頁,其中,（分析以下：,為第一層輸出，同時(shí)作為第二層輸入。,為閾值,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第40頁,其中，,為閾值，,為激

15、勵(lì)函數(shù),若令,（閾值作為固定輸入神經(jīng)元對應(yīng)權(quán)系數(shù)）,則有：,（作為一固定輸入）,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第41頁,取激勵(lì)函數(shù)為,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第42頁,則,=,則,一樣，取,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第43頁,令,p=0,詳細(xì)算法以下：,（1）隨機(jī)給出兩個(gè)權(quán)矩陣初值；比如用,MATLAB,軟件時(shí)能夠用以下語句：,=rand(2,3);,=rand(1,3);,(2),依據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)輸出,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第44頁,取,=,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第45頁,（3）計(jì)算,因?yàn)?所以,（4）取,（或其它正數(shù)，可調(diào)整大?。?計(jì)算,j=1,2,3,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第46頁,j=1,2,3,(5),計(jì)算,和,j=1,2,3,i=1,2,3,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第47頁,(6)p=p+1,，轉(zhuǎn)（,2,）,注：僅計(jì)算一圈（p=1，2，15）是不夠，直到當(dāng)各權(quán)重改變很小時(shí)停頓，本例中，共計(jì)算了147圈，迭代了2205次。,最終結(jié)果是,：,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第48頁,即網(wǎng)絡(luò)模型解為：,=,人工神經(jīng)網(wǎng)絡(luò)建模專家講座,第49頁,