《CNN(卷積神經(jīng)網(wǎng)絡(luò)).ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《CNN(卷積神經(jīng)網(wǎng)絡(luò)).ppt（34頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

,卷積神經(jīng)網(wǎng)絡(luò)(CNN),,,,匯報(bào)人：吳建寶 2017.06.12,,,目錄 Contents,1. 神經(jīng)網(wǎng)絡(luò)計(jì)算 2. 卷積神經(jīng)網(wǎng)絡(luò) 3. CNN實(shí)現(xiàn)(tensorflow),,,目錄 Contents,1. 神經(jīng)網(wǎng)絡(luò)計(jì)算 1.1.神經(jīng)網(wǎng)絡(luò)信息流動(dòng) 1.2.神經(jīng)網(wǎng)絡(luò)結(jié)點(diǎn)計(jì)算 1.3.神經(jīng)網(wǎng)絡(luò)梯度傳播(鏈?zhǔn)椒▌t）,神經(jīng)網(wǎng)絡(luò)信息流動(dòng),,,解析：（x,y）是給定的帶標(biāo)簽數(shù)據(jù)，通常，x為特征，y為標(biāo)簽，固定不變．Ｗ為權(quán)重(網(wǎng)絡(luò)參數(shù)），隨機(jī)初始化(正態(tài)分布），且隨時(shí)變化．一次前向計(jì)算過(guò)程，通過(guò)score function，得到預(yù)測(cè)結(jié)果，與標(biāo)簽數(shù)據(jù)對(duì)比，計(jì)算loss值，通常，loss是規(guī)則化項(xiàng)(redularization loss)和均方差項(xiàng)(data loss)的加權(quán)和(見(jiàn)式１),其目的是減小權(quán)重的幅度，防止過(guò)度擬合．在反向計(jì)算時(shí)，使用均方差項(xiàng)更新權(quán)重. Notes: 式1:,神經(jīng)網(wǎng)絡(luò)的結(jié)點(diǎn)計(jì)算,,前向計(jì)算：,反向傳播：,神經(jīng)網(wǎng)絡(luò)梯度傳播(鏈?zhǔn)椒▌t）,,Notes:,,,目錄 Contents,2. 卷積神經(jīng)網(wǎng)絡(luò) 2.1. 卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史 2.2. 卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和原理 2.3. 卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ),卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史,,卷積神經(jīng)網(wǎng)絡(luò)在深度學(xué)習(xí)的歷史中發(fā)揮了重要作用．它們是將研究大腦獲得的深刻理解成功應(yīng)用于機(jī)器學(xué)習(xí)應(yīng)用的關(guān)鍵例子，也是第一個(gè)表現(xiàn)良好的深度模型之一．是第一個(gè)解決重要商業(yè)應(yīng)用的神經(jīng)網(wǎng)絡(luò)，并且仍然是當(dāng)今深度學(xué)習(xí)應(yīng)用的前沿． 在20世紀(jì)90年代，ＡＴ＆Ｔ的神經(jīng)網(wǎng)絡(luò)研究小組開(kāi)發(fā)了一個(gè)用于讀取支票的卷積神經(jīng)網(wǎng)絡(luò)，到90年代末，NEC部署的這個(gè)系統(tǒng)用于讀取美國(guó)所有支票的10%．后來(lái)，微軟部署了若干個(gè)基于卷積神經(jīng)網(wǎng)絡(luò)的OCR和手寫(xiě)識(shí)別系統(tǒng)(MNIST)． 卷積神經(jīng)網(wǎng)絡(luò)也被用來(lái)贏得許多比賽．當(dāng)前對(duì)深度學(xué)習(xí)的商業(yè)熱潮始于2012年，當(dāng)時(shí)Alex Krizhevsky使用新型卷積神經(jīng)網(wǎng)絡(luò)(AlexNet)贏得了當(dāng)年的ImageNet大賽第一名，TOP-5分類錯(cuò)誤率比第二名小約10%，引起轟動(dòng)． 深度學(xué)習(xí)以及卷積神經(jīng)網(wǎng)絡(luò)的適用需要大量的有效訓(xùn)練數(shù)據(jù)，過(guò)去的互聯(lián)網(wǎng)時(shí)代為深度學(xué)習(xí)提供了大量的訓(xùn)練數(shù)據(jù)，同時(shí)隨著幾十年來(lái)硬件技術(shù)的發(fā)展，為利用和計(jì)算大量數(shù)據(jù)提供了條件．所以，近年來(lái)，每一次模型算法的更新，都取得了良好的效果，為深度學(xué)習(xí)這把火炬增添了燃料．,卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史,,,卷積神經(jīng)網(wǎng)絡(luò)提供了一種方法來(lái)專業(yè)化神經(jīng)網(wǎng)絡(luò)，以處理具有清楚的網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)據(jù)，以及將這樣的模型放大到非常大的尺寸(加深層數(shù)).這種方法在二維圖像拓?fù)渖系膽?yīng)用是最成功的．同時(shí)，卷積神經(jīng)網(wǎng)絡(luò)比全連接網(wǎng)絡(luò)計(jì)算效率更高，使用他們運(yùn)行多個(gè)實(shí)驗(yàn)并調(diào)整它們的實(shí)現(xiàn)和超參數(shù)更容易，更大的網(wǎng)絡(luò)也更容易訓(xùn)練． 為了處理一維序列數(shù)據(jù)，便有了循環(huán)神經(jīng)網(wǎng)絡(luò)，以及基于循環(huán)神經(jīng)網(wǎng)絡(luò)優(yōu)化而來(lái)的lstm,attention機(jī)制等．,,,目錄 Contents,2. 卷積神經(jīng)網(wǎng)絡(luò) 2.1. 卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史 2.2. 卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和原理 2.3. 卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ),CNN處理圖像,,,卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算效率提升，參數(shù)量：10^12 －＞ 10^6,CNN處理圖像,,,,邊緣檢測(cè)的效率。右邊的圖像是通過(guò)獲得原始圖像中的每個(gè)像素并減去左邊相鄰像素的值而形成的。這對(duì)目標(biāo)檢測(cè)是有用的操作。兩個(gè)圖像都是 280 像素的高度。輸入圖像寬 320 像素,而輸出圖像寬 319 像素。這個(gè)變換可以通過(guò)包含兩個(gè)元素的卷積核來(lái)描述,并且需要 319 × 280 × 3 = 267, 960 個(gè)浮點(diǎn)運(yùn)算(每個(gè)輸出像素需要兩次乘法和一次加法)。不使用卷積,需要 320 × 280 × 319 × 280 個(gè)或者說(shuō)超過(guò) 80 億個(gè)元素的矩陣,這使得卷積對(duì)于表示這種變換更有效 40 億倍。直接運(yùn)行矩陣乘法的算法將執(zhí)行超過(guò) 160 億個(gè)浮點(diǎn)運(yùn)算,這使得卷積在計(jì)算上大約有 60,000 倍的效率。將小的局部區(qū)域上的相同線性變換應(yīng)用到整個(gè)輸入上,卷積是描述這種變換的極其有效的方法。照片來(lái)源:Paula Goodfellow。,CNN特性－權(quán)值共享和多卷積核,請(qǐng)?jiān)谶@里輸入論文答辯的標(biāo)題,2016-08-03,權(quán)值共享,,多通道多卷積核,,卷積神經(jīng)網(wǎng)絡(luò)之所以計(jì)算效率高，對(duì)特征提取的效果好，主要是由于卷積神經(jīng)網(wǎng)絡(luò)具有以下三個(gè)特性：權(quán)值共享，多卷積核，池化．,CNN多通道和多卷積核,請(qǐng)?jiān)谶@里輸入論文答辯的標(biāo)題,2016-08-03,,CS231N http://cs231n.github.io/convolutional-networks/,,CNN中基于權(quán)值共享的多卷積核算法,,卷積的矩陣轉(zhuǎn)換,請(qǐng)?jiān)谶@里輸入論文答辯的標(biāo)題,2016-08-03,,,,感受野和卷積核是卷積運(yùn)算的一種特殊設(shè)定和直觀表示，卷積核和感受野之間的卷積運(yùn)算使用向量矩陣的形式實(shí)現(xiàn)，提高了計(jì)算效率．,卷積的矩陣運(yùn)算形式(im2txt),,CNN 特性－池化,,ＣＮＮ池化過(guò)程,卷積神經(jīng)網(wǎng)絡(luò)池化有最大池化(max_pool)和平均池化(avg_pool)，顧名思義，最大池化取區(qū)域內(nèi)最大值，平均池化取區(qū)域內(nèi)平均值．其它池化包括L 2 范數(shù)以及依靠據(jù)中心像素距離的加權(quán)平均池化．,CNN 特性－池化,,,為什么要池化？ １．減少參數(shù)的量，提高計(jì)算效率． ２．最大池化能顯著增強(qiáng)局部特征，平均池化可減少噪聲． （最大池化提取輪廓特征，平均池化可模糊圖像） ３．提高局部平移不變性．(不考慮空間，時(shí)間位置．－張民） 局部平移不變性是一個(gè)很重要的性質(zhì),尤其是當(dāng)我們關(guān)心某個(gè)特征是否出現(xiàn)而不關(guān)心它出現(xiàn)的具體位置時(shí)，這對(duì)于圖像中的目標(biāo)檢測(cè)至關(guān)重要，同時(shí)，在圖像識(shí)別中，同一類別的圖像往往會(huì)有細(xì)微的差別，局部平移不變性大大提高了圖像分類的準(zhǔn)確度．,CNN 特性－局部平移不變性,,,為什么最大池化能做到？ 上圖下半部分的輸入像素向右平移一個(gè)單位，下圖對(duì)應(yīng)位置像素值全部改變，若對(duì)輸入像素做池化處理，當(dāng)原始像素平移一個(gè)單位后，只有一半的像素值改變．,CNN 特性－局部平移不變性,,,,學(xué)習(xí)不變性的示例。使用分離的參數(shù)學(xué)得多個(gè)特征,再使用池化單元進(jìn)行池化,可以學(xué)得對(duì)輸入的某些變換的不變性。這里我們展示了用三個(gè)學(xué)得的過(guò)濾器(卷積核)和一個(gè)最大池化單元可以學(xué)得對(duì)旋轉(zhuǎn)變換的不變性。這三個(gè)過(guò)濾器都旨在檢測(cè)手寫(xiě)的數(shù)字 5。每個(gè)卷積核嘗試匹配稍微不同方向的 5。當(dāng)輸入中出現(xiàn) 5 時(shí),相應(yīng)的卷積核會(huì)匹配它并且在探測(cè)單元(激活函數(shù))中引起大的激活。然后,無(wú)論哪個(gè)探測(cè)單元被激活,最大池化單元都具有大的激活。我們?cè)谶@里展示網(wǎng)絡(luò)如何處理兩個(gè)不同的輸入,導(dǎo)致兩個(gè)不同的探測(cè)單元被激活。然而對(duì)池化單元的影響大致相同?？臻g位置上的最大池化對(duì)于平移是天然不變的;這種多通道方法在學(xué)習(xí)其他變換時(shí)是必要的。,,,目錄 Contents,2. 卷積神經(jīng)網(wǎng)絡(luò) 2.1.卷積神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的歷史 2.2. 卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和原理 2.3. 卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ),卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ),,,卷積網(wǎng)絡(luò)也許是生物學(xué)啟發(fā)人工只能的最為成功的故事．雖然卷積網(wǎng)絡(luò)已經(jīng)被其它領(lǐng)域指導(dǎo)，但是神經(jīng)網(wǎng)絡(luò)的一些關(guān)鍵設(shè)計(jì)原則來(lái)自于神經(jīng)科學(xué)． 卷積網(wǎng)絡(luò)的歷史始于David Hubel 和Torsten Wiesel的神經(jīng)科學(xué)實(shí)驗(yàn)，為了確定哺乳動(dòng)物視覺(jué)系統(tǒng)如何工作的基本事實(shí)，他們觀察了貓的腦內(nèi)神經(jīng)元如何響應(yīng)投影在貓前面屏幕上精確位置的圖像． 他們發(fā)現(xiàn)：處于視覺(jué)系統(tǒng)較為前面的神經(jīng)元對(duì)非常特定的光模式(例如精確定向的條紋)反應(yīng)最強(qiáng)烈，但對(duì)其他模式幾乎完全沒(méi)有反應(yīng)．,卷積神經(jīng)網(wǎng)絡(luò)的神經(jīng)科學(xué)基礎(chǔ),,,,圖像是由光到達(dá)眼睛并刺激視網(wǎng)膜形成的，視網(wǎng)膜的神經(jīng)元對(duì)圖像執(zhí)行一些簡(jiǎn)單的預(yù)處理，但是基本改變它被表示的方式，然后圖像通過(guò)視神經(jīng)和腦部區(qū)域，這些區(qū)域負(fù)責(zé)將信號(hào)從眼睛傳遞到位于腦后部的主要視覺(jué)皮層，它是大腦對(duì)視覺(jué)輸入開(kāi)始執(zhí)行顯著高級(jí)處理的第一個(gè)區(qū)域(以下簡(jiǎn)稱V1)，卷積網(wǎng)絡(luò)的設(shè)計(jì)參考了其對(duì)視覺(jué)信號(hào)處理的三個(gè)主要性質(zhì)： １．V1具有二維結(jié)構(gòu)來(lái)反映視網(wǎng)膜中的圖像結(jié)構(gòu)，例如，到達(dá)視網(wǎng)膜下半部的光僅影響V1相應(yīng)的一半．卷積網(wǎng)絡(luò)通過(guò)用二維映射定義特征的方式來(lái)實(shí)現(xiàn)該特性．(CNN特性：權(quán)值共享和局部池化操作） ２.V1包含許多簡(jiǎn)單細(xì)胞，簡(jiǎn)單細(xì)胞的活動(dòng)在某種程度上可以概括為在一個(gè)小的空間位置接受域內(nèi)的圖像的線性函數(shù)，卷積神經(jīng)網(wǎng)絡(luò)不同卷積核的權(quán)重與輸入的線性求和，模擬了簡(jiǎn)單細(xì)胞對(duì)輸入信號(hào)的處理． ３．V1還包括許多的復(fù)雜細(xì)胞，這些細(xì)胞響應(yīng)由簡(jiǎn)單細(xì)胞檢測(cè)的那些特征，但是復(fù)雜細(xì)胞對(duì)于特征位置的微小偏移具有不變性，這啟發(fā)了網(wǎng)絡(luò)的池化單元和激活函數(shù)．,,,目錄 Contents,3. CNN實(shí)現(xiàn)(tensorflow) 3.1. 主流CNN模型介紹 3.2.使用tensorflow搭建CNN 3.3.使用tensorflow實(shí)現(xiàn)其它模型,,,,,ImageNet Classification with Deep Convolutional Neural Networks,ImageNet LSVRC-2012冠軍,1000類,120萬(wàn)高清圖像,Top5Error:26.2% →15.3%． 結(jié)構(gòu)： 由6000萬(wàn)個(gè)參數(shù)和650,000個(gè)神經(jīng)元，由五個(gè)卷積層和其后的max-pooling層以及三個(gè)全連接層,1000-way的softmax層組成.以及開(kāi)創(chuàng)性的使用“dropout”技術(shù)，避免了過(guò)擬合． 計(jì)算開(kāi)銷問(wèn)題： 采取將網(wǎng)絡(luò)分布在兩個(gè)GPU上,在每個(gè)GPU中放置一半核（或神經(jīng)元），還有一個(gè)額外的技巧：GPU間的通訊只在某些層進(jìn)行。,,Rethinking the Inception Architecture for Computer Vision,,這也是獲得ImageNet LSVRC-2014冠軍的模型，共22層的網(wǎng)絡(luò)． 文章提出獲得高質(zhì)量模型最保險(xiǎn)的做法就是增加模型的深度（層數(shù)）或者是其寬度（層核或者神經(jīng)元數(shù)），但是這里一般設(shè)計(jì)思路的情況下會(huì)出現(xiàn)兩個(gè)缺陷（1.若訓(xùn)練數(shù)據(jù)集有限，參數(shù)太多，容易過(guò)擬合；2.網(wǎng)絡(luò)越大計(jì)算復(fù)雜度越大，難以應(yīng)用；3.網(wǎng)絡(luò)越深，梯度越往后穿越容易消失，難以優(yōu)化模型）。,,Rethinking the Inception Architecture for Computer Vision,,,googlenet的主要思想就是圍繞這兩個(gè)思路去做的： 1.深度，層數(shù)更深，文章采用了22層，googlenet巧妙的在不同深度處增加了兩個(gè)loss來(lái)避免上述提到的梯度消失問(wèn)題，。 2.寬度，增加了多種核1x1，3x3，5x5，在3x3前，5x5前，max pooling后分別加上了1x1的卷積核起到了降低feature map厚度的作用。以下是googlenet用的inception可以稱之為inception v1，如下圖所示：,,,目錄 Contents,3. CNN實(shí)現(xiàn)(tensorflow) 3.1.主流CNN模型介紹 3.2.使用tensorflow實(shí)現(xiàn)CNN 3.3.使用tensorflow實(shí)現(xiàn)其它模型,,,使用tensorflow搭建CNN,TensorFlow? 是一個(gè)采用數(shù)據(jù)流圖，用于數(shù)值計(jì)算的開(kāi)源軟件庫(kù)。節(jié)點(diǎn)在圖中表示數(shù)學(xué)操作，圖中的線則表示在節(jié)點(diǎn)間相互聯(lián)系的多維數(shù)據(jù)數(shù)組，即張量（tensor）。 什么是數(shù)據(jù)流圖（Data Flow Graph）? 數(shù)據(jù)流圖是一種特定的數(shù)據(jù)結(jié)構(gòu)的表現(xiàn)方式， 它以數(shù)據(jù)為中心，由線傳輸數(shù)據(jù)，由節(jié)點(diǎn)對(duì)數(shù) 據(jù)進(jìn)行操作，很好的對(duì)應(yīng)了神經(jīng)網(wǎng)絡(luò)中的權(quán)值 參數(shù)和神經(jīng)元結(jié)點(diǎn)，是目前各種神經(jīng)網(wǎng)絡(luò)框架 采用的計(jì)算方式．,,,,,tensorflow計(jì)算示例,tensorflow數(shù)據(jù)流圖的核心在于數(shù)據(jù)流圖的搭建．?dāng)?shù)據(jù)流圖搭建完成以后，啟動(dòng)會(huì)話(Session),進(jìn)行計(jì)算和訓(xùn)練．,,,目錄 Contents,3. CNN實(shí)現(xiàn)(tensorflow) 3.1. 主流CNN模型介紹 3.2.使用tensorflow實(shí)現(xiàn)CNN 3.3.使用tensorflow實(shí)現(xiàn)其它模型,,,,,機(jī)器寫(xiě)詩(shī),Poetry: 1.賦詩(shī)何所問(wèn)，我心亦不知．不知一片月，不是一枝花． 2.香徑無(wú)人處，春風(fēng)似水流．不知何處去，不見(jiàn)古人歸． 3.清風(fēng)吹雨夜，一曲一聲中．一片寒光動(dòng)，無(wú)人夜夜吟．,,,,,參考資料,,1.http://ufldl.stanford.edu/wiki/index.php/UFLDL教程 stanford,Andrew Ng 2.http://cs231n.stanford.edu/reports.html 李飛飛 3.http://www.deeplearningbook.org/ Ian Goodfellow and Yoshua Bengio 4.https://www.tensorflow.org/ tensorflow官網(wǎng) 5. tensorflow練習(xí),