《CNN(卷積神經(jīng)網(wǎng)絡(luò)).ppt》由會員分享，可在線閱讀，更多相關(guān)《CNN(卷積神經(jīng)網(wǎng)絡(luò)).ppt（34頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

,卷積神經(jīng)網(wǎng)絡(luò)(CNN),,,,匯報人：吳建寶 2017.06.12,,,目錄 Contents,1. 神經(jīng)網(wǎng)絡(luò)計算 2. 卷積神經(jīng)網(wǎng)絡(luò) 3. CNN實(shí)現(xiàn)(tensorflow),,,目錄 Contents,1. 神經(jīng)網(wǎng)絡(luò)計算 1.1.神經(jīng)網(wǎng)絡(luò)信息流動 1.2.神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)計算 1.3.神經(jīng)網(wǎng)絡(luò)梯度傳播(鏈?zhǔn)椒▌t）,神經(jīng)網(wǎng)絡(luò)信息流動,,,解析：（x,y）是給定的帶標(biāo)簽數(shù)據(jù)，通常，x為特征，y為標(biāo)簽，固定不變．Ｗ為權(quán)重(網(wǎng)絡(luò)參數(shù)），隨機(jī)初始化(正態(tài)分布），且隨時變化．一次前向計算過程，通過score function，得到預(yù)測結(jié)果，與標(biāo)簽數(shù)據(jù)對比，計算loss值，通常，loss是規(guī)則化項(xiàng)(redularization loss)和均方差項(xiàng)(data loss)的加權(quán)和(見式１),其目的是減小權(quán)重的幅度，防止過度擬合．在反向計算時，使用均方差項(xiàng)更新權(quán)重. Notes: 式1:,神經(jīng)網(wǎng)絡(luò)的結(jié)點(diǎn)計算,,前向計算：,反向傳播：,神經(jīng)網(wǎng)絡(luò)梯度傳播(鏈?zhǔn)椒▌t）,,Notes:,,,目錄 Contents,2. 卷積神經(jīng)網(wǎng)絡(luò) 2.1. 卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史 2.2. 卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計和原理 2.3. 卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ),卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史,,卷積神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)的歷史中發(fā)揮了重要作用．它們是將研究大腦獲得的深刻理解成功應(yīng)用于機(jī)器學(xué)習(xí)應(yīng)用的關(guān)鍵例子，也是第一個表現(xiàn)良好的深度模型之一．是第一個解決重要商業(yè)應(yīng)用的神經(jīng)網(wǎng)絡(luò)，并且仍然是當(dāng)今深度學(xué)習(xí)應(yīng)用的前沿． 在20世紀(jì)90年代，ＡＴ＆Ｔ的神經(jīng)網(wǎng)絡(luò)研究小組開發(fā)了一個用于讀取支票的卷積神經(jīng)網(wǎng)絡(luò)，到90年代末，NEC部署的這個系統(tǒng)用于讀取美國所有支票的10%．后來，微軟部署了若干個基于卷積神經(jīng)網(wǎng)絡(luò)的OCR和手寫識別系統(tǒng)(MNIST)． 卷積神經(jīng)網(wǎng)絡(luò)也被用來贏得許多比賽．當(dāng)前對深度學(xué)習(xí)的商業(yè)熱潮始于2012年，當(dāng)時Alex Krizhevsky使用新型卷積神經(jīng)網(wǎng)絡(luò)(AlexNet)贏得了當(dāng)年的ImageNet大賽第一名，TOP-5分類錯誤率比第二名小約10%，引起轟動． 深度學(xué)習(xí)以及卷積神經(jīng)網(wǎng)絡(luò)的適用需要大量的有效訓(xùn)練數(shù)據(jù)，過去的互聯(lián)網(wǎng)時代為深度學(xué)習(xí)提供了大量的訓(xùn)練數(shù)據(jù)，同時隨著幾十年來硬件技術(shù)的發(fā)展，為利用和計算大量數(shù)據(jù)提供了條件．所以，近年來，每一次模型算法的更新，都取得了良好的效果，為深度學(xué)習(xí)這把火炬增添了燃料．,卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史,,,卷積神經(jīng)網(wǎng)絡(luò)提供了一種方法來專業(yè)化神經(jīng)網(wǎng)絡(luò)，以處理具有清楚的網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)，以及將這樣的模型放大到非常大的尺寸(加深層數(shù)).這種方法在二維圖像拓?fù)渖系膽?yīng)用是最成功的．同時，卷積神經(jīng)網(wǎng)絡(luò)比全連接網(wǎng)絡(luò)計算效率更高，使用他們運(yùn)行多個實(shí)驗(yàn)并調(diào)整它們的實(shí)現(xiàn)和超參數(shù)更容易，更大的網(wǎng)絡(luò)也更容易訓(xùn)練． 為了處理一維序列數(shù)據(jù)，便有了循環(huán)神經(jīng)網(wǎng)絡(luò)，以及基于循環(huán)神經(jīng)網(wǎng)絡(luò)優(yōu)化而來的lstm,attention機(jī)制等．,,,目錄 Contents,2. 卷積神經(jīng)網(wǎng)絡(luò) 2.1. 卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史 2.2. 卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計和原理 2.3. 卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ),CNN處理圖像,,,卷積神經(jīng)網(wǎng)絡(luò)的計算效率提升，參數(shù)量：10^12 －＞ 10^6,CNN處理圖像,,,,邊緣檢測的效率。右邊的圖像是通過獲得原始圖像中的每個像素并減去左邊相鄰像素的值而形成的。這對目標(biāo)檢測是有用的操作。兩個圖像都是 280 像素的高度。輸入圖像寬 320 像素,而輸出圖像寬 319 像素。這個變換可以通過包含兩個元素的卷積核來描述,并且需要 319 × 280 × 3 = 267, 960 個浮點(diǎn)運(yùn)算(每個輸出像素需要兩次乘法和一次加法)。不使用卷積,需要 320 × 280 × 319 × 280 個或者說超過 80 億個元素的矩陣,這使得卷積對于表示這種變換更有效 40 億倍。直接運(yùn)行矩陣乘法的算法將執(zhí)行超過 160 億個浮點(diǎn)運(yùn)算,這使得卷積在計算上大約有 60,000 倍的效率。將小的局部區(qū)域上的相同線性變換應(yīng)用到整個輸入上,卷積是描述這種變換的極其有效的方法。照片來源:Paula Goodfellow。,CNN特性－權(quán)值共享和多卷積核,請?jiān)谶@里輸入論文答辯的標(biāo)題,2016-08-03,權(quán)值共享,,多通道多卷積核,,卷積神經(jīng)網(wǎng)絡(luò)之所以計算效率高，對特征提取的效果好，主要是由于卷積神經(jīng)網(wǎng)絡(luò)具有以下三個特性：權(quán)值共享，多卷積核，池化．,CNN多通道和多卷積核,請?jiān)谶@里輸入論文答辯的標(biāo)題,2016-08-03,,CS231N http://cs231n.github.io/convolutional-networks/,,CNN中基于權(quán)值共享的多卷積核算法,,卷積的矩陣轉(zhuǎn)換,請?jiān)谶@里輸入論文答辯的標(biāo)題,2016-08-03,,,,感受野和卷積核是卷積運(yùn)算的一種特殊設(shè)定和直觀表示，卷積核和感受野之間的卷積運(yùn)算使用向量矩陣的形式實(shí)現(xiàn)，提高了計算效率．,卷積的矩陣運(yùn)算形式(im2txt),,CNN 特性－池化,,ＣＮＮ池化過程,卷積神經(jīng)網(wǎng)絡(luò)池化有最大池化(max_pool)和平均池化(avg_pool)，顧名思義，最大池化取區(qū)域內(nèi)最大值，平均池化取區(qū)域內(nèi)平均值．其它池化包括L 2 范數(shù)以及依靠據(jù)中心像素距離的加權(quán)平均池化．,CNN 特性－池化,,,為什么要池化？ １．減少參數(shù)的量，提高計算效率． ２．最大池化能顯著增強(qiáng)局部特征，平均池化可減少噪聲． （最大池化提取輪廓特征，平均池化可模糊圖像） ３．提高局部平移不變性．(不考慮空間，時間位置．－張民） 局部平移不變性是一個很重要的性質(zhì),尤其是當(dāng)我們關(guān)心某個特征是否出現(xiàn)而不關(guān)心它出現(xiàn)的具體位置時，這對于圖像中的目標(biāo)檢測至關(guān)重要，同時，在圖像識別中，同一類別的圖像往往會有細(xì)微的差別，局部平移不變性大大提高了圖像分類的準(zhǔn)確度．,CNN 特性－局部平移不變性,,,為什么最大池化能做到？ 上圖下半部分的輸入像素向右平移一個單位，下圖對應(yīng)位置像素值全部改變，若對輸入像素做池化處理，當(dāng)原始像素平移一個單位后，只有一半的像素值改變．,CNN 特性－局部平移不變性,,,,學(xué)習(xí)不變性的示例。使用分離的參數(shù)學(xué)得多個特征,再使用池化單元進(jìn)行池化,可以學(xué)得對輸入的某些變換的不變性。這里我們展示了用三個學(xué)得的過濾器(卷積核)和一個最大池化單元可以學(xué)得對旋轉(zhuǎn)變換的不變性。這三個過濾器都旨在檢測手寫的數(shù)字 5。每個卷積核嘗試匹配稍微不同方向的 5。當(dāng)輸入中出現(xiàn) 5 時,相應(yīng)的卷積核會匹配它并且在探測單元(激活函數(shù))中引起大的激活。然后,無論哪個探測單元被激活,最大池化單元都具有大的激活。我們在這里展示網(wǎng)絡(luò)如何處理兩個不同的輸入,導(dǎo)致兩個不同的探測單元被激活。然而對池化單元的影響大致相同。空間位置上的最大池化對于平移是天然不變的;這種多通道方法在學(xué)習(xí)其他變換時是必要的。,,,目錄 Contents,2. 卷積神經(jīng)網(wǎng)絡(luò) 2.1.卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史 2.2. 卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計和原理 2.3. 卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ),卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ),,,卷積網(wǎng)絡(luò)也許是生物學(xué)啟發(fā)人工只能的最為成功的故事．雖然卷積網(wǎng)絡(luò)已經(jīng)被其它領(lǐng)域指導(dǎo)，但是神經(jīng)網(wǎng)絡(luò)的一些關(guān)鍵設(shè)計原則來自于神經(jīng)科學(xué)． 卷積網(wǎng)絡(luò)的歷史始于David Hubel 和Torsten Wiesel的神經(jīng)科學(xué)實(shí)驗(yàn)，為了確定哺乳動物視覺系統(tǒng)如何工作的基本事實(shí)，他們觀察了貓的腦內(nèi)神經(jīng)元如何響應(yīng)投影在貓前面屏幕上精確位置的圖像． 他們發(fā)現(xiàn)：處于視覺系統(tǒng)較為前面的神經(jīng)元對非常特定的光模式(例如精確定向的條紋)反應(yīng)最強(qiáng)烈，但對其他模式幾乎完全沒有反應(yīng)．,卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ),,,,圖像是由光到達(dá)眼睛并刺激視網(wǎng)膜形成的，視網(wǎng)膜的神經(jīng)元對圖像執(zhí)行一些簡單的預(yù)處理，但是基本改變它被表示的方式，然后圖像通過視神經(jīng)和腦部區(qū)域，這些區(qū)域負(fù)責(zé)將信號從眼睛傳遞到位于腦后部的主要視覺皮層，它是大腦對視覺輸入開始執(zhí)行顯著高級處理的第一個區(qū)域(以下簡稱V1)，卷積網(wǎng)絡(luò)的設(shè)計參考了其對視覺信號處理的三個主要性質(zhì)： １．V1具有二維結(jié)構(gòu)來反映視網(wǎng)膜中的圖像結(jié)構(gòu)，例如，到達(dá)視網(wǎng)膜下半部的光僅影響V1相應(yīng)的一半．卷積網(wǎng)絡(luò)通過用二維映射定義特征的方式來實(shí)現(xiàn)該特性．(CNN特性：權(quán)值共享和局部池化操作） ２.V1包含許多簡單細(xì)胞，簡單細(xì)胞的活動在某種程度上可以概括為在一個小的空間位置接受域內(nèi)的圖像的線性函數(shù)，卷積神經(jīng)網(wǎng)絡(luò)不同卷積核的權(quán)重與輸入的線性求和，模擬了簡單細(xì)胞對輸入信號的處理． ３．V1還包括許多的復(fù)雜細(xì)胞，這些細(xì)胞響應(yīng)由簡單細(xì)胞檢測的那些特征，但是復(fù)雜細(xì)胞對于特征位置的微小偏移具有不變性，這啟發(fā)了網(wǎng)絡(luò)的池化單元和激活函數(shù)．,,,目錄 Contents,3. CNN實(shí)現(xiàn)(tensorflow) 3.1. 主流CNN模型介紹 3.2.使用tensorflow搭建CNN 3.3.使用tensorflow實(shí)現(xiàn)其它模型,,,,,ImageNet Classification with Deep Convolutional Neural Networks,ImageNet LSVRC-2012冠軍,1000類,120萬高清圖像,Top5Error:26.2% →15.3%． 結(jié)構(gòu)： 由6000萬個參數(shù)和650,000個神經(jīng)元，由五個卷積層和其后的max-pooling層以及三個全連接層,1000-way的softmax層組成.以及開創(chuàng)性的使用“dropout”技術(shù)，避免了過擬合． 計算開銷問題： 采取將網(wǎng)絡(luò)分布在兩個GPU上,在每個GPU中放置一半核（或神經(jīng)元），還有一個額外的技巧：GPU間的通訊只在某些層進(jìn)行。,,Rethinking the Inception Architecture for Computer Vision,,這也是獲得ImageNet LSVRC-2014冠軍的模型，共22層的網(wǎng)絡(luò)． 文章提出獲得高質(zhì)量模型最保險的做法就是增加模型的深度（層數(shù)）或者是其寬度（層核或者神經(jīng)元數(shù)），但是這里一般設(shè)計思路的情況下會出現(xiàn)兩個缺陷（1.若訓(xùn)練數(shù)據(jù)集有限，參數(shù)太多，容易過擬合；2.網(wǎng)絡(luò)越大計算復(fù)雜度越大，難以應(yīng)用；3.網(wǎng)絡(luò)越深，梯度越往后穿越容易消失，難以優(yōu)化模型）。,,Rethinking the Inception Architecture for Computer Vision,,,googlenet的主要思想就是圍繞這兩個思路去做的： 1.深度，層數(shù)更深，文章采用了22層，googlenet巧妙的在不同深度處增加了兩個loss來避免上述提到的梯度消失問題，。 2.寬度，增加了多種核1x1，3x3，5x5，在3x3前，5x5前，max pooling后分別加上了1x1的卷積核起到了降低feature map厚度的作用。以下是googlenet用的inception可以稱之為inception v1，如下圖所示：,,,目錄 Contents,3. CNN實(shí)現(xiàn)(tensorflow) 3.1.主流CNN模型介紹 3.2.使用tensorflow實(shí)現(xiàn)CNN 3.3.使用tensorflow實(shí)現(xiàn)其它模型,,,使用tensorflow搭建CNN,TensorFlow? 是一個采用數(shù)據(jù)流圖，用于數(shù)值計算的開源軟件庫。節(jié)點(diǎn)在圖中表示數(shù)學(xué)操作，圖中的線則表示在節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)數(shù)組，即張量（tensor）。 什么是數(shù)據(jù)流圖（Data Flow Graph）? 數(shù)據(jù)流圖是一種特定的數(shù)據(jù)結(jié)構(gòu)的表現(xiàn)方式， 它以數(shù)據(jù)為中心，由線傳輸數(shù)據(jù)，由節(jié)點(diǎn)對數(shù) 據(jù)進(jìn)行操作，很好的對應(yīng)了神經(jīng)網(wǎng)絡(luò)中的權(quán)值 參數(shù)和神經(jīng)元結(jié)點(diǎn)，是目前各種神經(jīng)網(wǎng)絡(luò)框架 采用的計算方式．,,,,,tensorflow計算示例,tensorflow數(shù)據(jù)流圖的核心在于數(shù)據(jù)流圖的搭建．?dāng)?shù)據(jù)流圖搭建完成以后，啟動會話(Session),進(jìn)行計算和訓(xùn)練．,,,目錄 Contents,3. CNN實(shí)現(xiàn)(tensorflow) 3.1. 主流CNN模型介紹 3.2.使用tensorflow實(shí)現(xiàn)CNN 3.3.使用tensorflow實(shí)現(xiàn)其它模型,,,,,機(jī)器寫詩,Poetry: 1.賦詩何所問，我心亦不知．不知一片月，不是一枝花． 2.香徑無人處，春風(fēng)似水流．不知何處去，不見古人歸． 3.清風(fēng)吹雨夜，一曲一聲中．一片寒光動，無人夜夜吟．,,,,,參考資料,,1.http://ufldl.stanford.edu/wiki/index.php/UFLDL教程 stanford,Andrew Ng 2.http://cs231n.stanford.edu/reports.html 李飛飛 3.http://www.deeplearningbook.org/ Ian Goodfellow and Yoshua Bengio 4.https://www.tensorflow.org/ tensorflow官網(wǎng) 5. tensorflow練習(xí),