《《計(jì)算機(jī)視覺》PPT課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《《計(jì)算機(jī)視覺》PPT課件（45頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、computer vision,1,第七章立體視覺,7.1 立體視覺基礎(chǔ) 7.2 立體成像 7.3 立體匹配 7.4 多基線立體成像 7.5 測(cè)距成像 7.6 物體形狀恢復(fù)方法 7.7 主動(dòng)視覺,computer vision,2,7.1 立體視覺基礎(chǔ),深度圖（Depth Map） 獲取場(chǎng)景中各點(diǎn)的深度信息是計(jì)算機(jī)視覺系統(tǒng)的一個(gè)重要任務(wù)。 場(chǎng)景中的各點(diǎn)相對(duì)于攝像機(jī)的距離形成的一個(gè)二維圖像，此圖像中每一個(gè)像素值表示場(chǎng)景中某一點(diǎn)與攝像機(jī)之間的距離。 計(jì)算機(jī)視覺系統(tǒng)中獲取場(chǎng)景深度圖的技術(shù)可以分為被動(dòng)測(cè)距和主動(dòng)測(cè)距兩大類。,computer vision,3,7.1 立體視覺基礎(chǔ),被動(dòng)測(cè)距傳感 視覺系

2、統(tǒng)接收來自場(chǎng)景中發(fā)射或反射的光能量，形成有關(guān)場(chǎng)景光能量的分布函數(shù)（即灰度圖象），然后在這些圖像的基礎(chǔ)上恢復(fù)場(chǎng)景的深度信息。 實(shí)例：雙目視覺系統(tǒng)，三目視覺系統(tǒng) 主動(dòng)測(cè)距傳感 視覺系統(tǒng)首先向場(chǎng)景中發(fā)射能量，然后接收?qǐng)鼍爸袑?duì)所發(fā)射能量的反射能量。 實(shí)例：雷達(dá)測(cè)距系統(tǒng),computer vision,4,7.1 立體視覺基礎(chǔ),被動(dòng)測(cè)距方法 雙目視覺系統(tǒng)：使用兩個(gè)相隔一定距離的攝像機(jī)同時(shí)獲取場(chǎng)景圖像來生成深度圖。 單目運(yùn)動(dòng)視覺：一個(gè)攝像機(jī)在不同空間位置上獲取兩幅或兩幅以上圖像，通過多幅圖像的灰度信息和成像幾何來生成深度圖 特征深度測(cè)量：使用灰度圖象的明暗特征、紋理特征、運(yùn)動(dòng)特征間接的估算深度信息。,co

3、mputer vision,5,7.1 立體視覺基礎(chǔ),主動(dòng)測(cè)距方法 主動(dòng)測(cè)距傳感系統(tǒng)也稱為測(cè)距成像系統(tǒng)（Range Finder） 雷達(dá)測(cè)距系統(tǒng) 三角測(cè)距系統(tǒng) 激光測(cè)距系統(tǒng) 主動(dòng)測(cè)距傳感和被動(dòng)測(cè)距傳感的主要區(qū)別在于視覺系統(tǒng)是否通過接收自身發(fā)射的能量來測(cè)距。,computer vision,6,7.1 立體視覺基礎(chǔ),主動(dòng)視覺與被動(dòng)視覺 主動(dòng)視覺和主動(dòng)測(cè)距傳感是兩個(gè)概念，主動(dòng)視覺是一種理論框架。 主動(dòng)視覺主要研究的是通過主動(dòng)的控制攝像機(jī)位置、方向、焦距、縮放、光圈、聚散度等參數(shù)；或者說是通過視覺和行為的結(jié)合來獲得穩(wěn)定的、實(shí)時(shí)的感知。,computer vision,7,7.2 立體成像,Figur

4、e The sailor shown in the left picture is, like most people, able to perform stereopsis and gain a sense of depth for the objects within his eld of view. The right photograph is from the 1953 film “The War of the Worlds, and it shows a close-up of the face of a three-eyed Martian warrior. Why such a

5、 configuration may prove beneficial ?,computer vision,8,7.2 立體成像,Figure Mobile robot navigation is a classical application of stereo vision: (a) the Stanford cart sports a single camera moving in discrete increments along a straight line and providing multiple snapshots of outdoor scenes; (b) the IN

6、RIA mobile robot uses three cameras to map its environment.,computer vision,9,7.2 立體成像,基本的雙目立體視覺的幾何關(guān)系是： 有兩個(gè)完全相同的攝像機(jī)構(gòu)成； 兩個(gè)攝像機(jī)構(gòu)成的圖像平面位于一個(gè)平面； 兩個(gè)攝像機(jī)的坐標(biāo)軸相互平行，且x軸重合，攝像機(jī)之間在x方向上的間距稱為基線距離B； 在這個(gè)模型中，場(chǎng)景中同一個(gè)特征點(diǎn)在兩個(gè)攝像機(jī)圖像平面上的成像位置是不同的； 將場(chǎng)景中同一點(diǎn)在兩個(gè)不同圖像中的投影點(diǎn)稱為共軛對(duì)，其中一個(gè)投影點(diǎn)是另一個(gè)投影點(diǎn)的對(duì)應(yīng)（correspondence） 求共軛對(duì)就是求解兩幅圖像中點(diǎn)的對(duì)應(yīng)性問題。,

7、computer vision,10,7.2 立體成像,基本的雙目立體視覺的幾何關(guān)系是： 視差（disparity）：兩幅圖像重疊時(shí)的共軛對(duì)之間的位置之差（共軛對(duì)點(diǎn)之間的距離）。,,,,,攝像機(jī)A平面,攝像機(jī)B平面,重疊,computer vision,11,7.2 立體成像,基本的雙目立體視覺的幾何關(guān)系是： 外極平面（epipolar plans）：通過兩個(gè)攝像機(jī)中心和場(chǎng)景特征點(diǎn)的平面。 外極線（epipolar lines） ：外極平面與圖像平面的交線 外極點(diǎn)（epipoles ）：同一個(gè)圖像平面上的所有外極線交于的同一點(diǎn)。,computer vision,12,7.2 立體成像,,com

8、puter vision,13,7.2 立體成像,依據(jù)雙目立體視覺幾何關(guān)系的深度計(jì)算 假設(shè)場(chǎng)景中的P點(diǎn)在左右攝像機(jī)圖像平面中的投影點(diǎn)分別為Pl和Pr，同時(shí)不失一般性假設(shè)坐標(biāo)系原點(diǎn)與左透鏡中心重合。 比較相似三角形PMCl和PlLCl，可得到： 同理，可從相似三角形PNCr和PrRCr中得到：,computer vision,14,7.2 立體成像,,PMCl和PlLCl,PNCr和PrRCr,computer vision,15,7.2 立體成像,依據(jù)雙目立體視覺幾何關(guān)系的深度計(jì)算 結(jié)合以下公式： 可以得到： 其中F是焦距，B是基線距離， 是視差。 各種場(chǎng)景中的點(diǎn)的深度就可以通過計(jì)算視差來

9、實(shí)現(xiàn)。視差一般是整數(shù)。 對(duì)于一組給定的攝像機(jī)參數(shù)，提高場(chǎng)景點(diǎn)深度計(jì)算的精度有效途徑是增加基線距離B，即增大場(chǎng)景點(diǎn)對(duì)應(yīng)的視差。,computer vision,16,7.2 立體成像,增加基線距離B來提高深度計(jì)算精度的方法存在有以下問題：,隨著基線距離的增加，兩個(gè)攝像機(jī)的共同的可視范圍減小；,場(chǎng)景點(diǎn)對(duì)應(yīng)的視差值增大，則搜索對(duì)應(yīng)點(diǎn)的范圍增大，出現(xiàn)多義性的機(jī)會(huì)就增加；,由于透視投影引起的變形導(dǎo)致兩個(gè)攝像機(jī)獲取的兩幅圖像中不完全相同，這就給確定共軛對(duì)帶來困難。,前面的假設(shè)是兩個(gè)攝像機(jī)光軸平行，但在實(shí)際應(yīng)用中兩個(gè)攝像機(jī)的光軸不平行，光軸在空間上相交于一點(diǎn)。,computer vision,17,7.2

10、立體成像,視差與光軸的交角有關(guān)，對(duì)于任意一個(gè)光軸交角，在空間中總存在一個(gè)視差為零的表面；,computer vision,18,7.2 立體成像,視差與光軸的交角有關(guān)，對(duì)于任意一個(gè)光軸交角，在空間中總存在一個(gè)視差為零的表面； 比這一表面遠(yuǎn)的物體，其視差大于零； 比這一表面近的物體，其視差小于零；,computer vision,19,7.2 立體成像,最一般的立體成像是一個(gè)運(yùn)動(dòng)攝像機(jī)連續(xù)獲取場(chǎng)景中的圖像，形成立體圖像序列，或間隔一定距離的兩個(gè)攝像機(jī)同時(shí)獲取場(chǎng)景圖像，形成立體成像對(duì)。,computer vision,20,7.2 立體成像,上圖是任意位置和方向的兩個(gè)攝像機(jī)，對(duì)應(yīng)于場(chǎng)景點(diǎn)的兩個(gè)圖像

11、點(diǎn)位于外極線上。 這兩幅圖像也可以是一個(gè)攝像機(jī)由一點(diǎn)運(yùn)動(dòng)到另一點(diǎn)獲取的這兩幅圖像； 即使兩個(gè)攝像機(jī)處于一般的位置和方向時(shí)，對(duì)應(yīng)場(chǎng)景點(diǎn)的兩個(gè)圖像點(diǎn)仍然位于圖像平面和外極平面的交線（外極線）上。,computer vision,21,7.3 立體成像,從原理上講根據(jù)“立體圖象對(duì)”抽取深度信息的處理應(yīng)包括以下四部分： 在圖象中尋找在兩幅圖象中都便于區(qū)分的特征或用于匹配的基元（primitive）。 把左、右兩幅圖象中的相關(guān)特征進(jìn)行匹配，即解決特征匹配的方法問題。 確定攝象機(jī)的相對(duì)幾何位置和有關(guān)參數(shù)，即攝象機(jī)的校準(zhǔn)（Calibration），目的是將二維圖像坐標(biāo)空間中的點(diǎn)對(duì)應(yīng)到三維世界坐標(biāo)空間中。 根

12、據(jù)視差計(jì)算成象物體相對(duì)攝象機(jī)的距離。,computer vision,22,7.3 立體匹配,立體匹配的匹配規(guī)則約束 立體匹配：立體成像的深度信息測(cè)量的一個(gè)重要步驟就是尋找立體成像對(duì)中的共軛對(duì)，即求解對(duì)應(yīng)問題。 問題：實(shí)際中求解對(duì)應(yīng)問題是非常困難的，一是計(jì)算量大，二是匹配的準(zhǔn)確度要求高。 解決：為了求解對(duì)應(yīng)，建立了許多約束來減少對(duì)應(yīng)點(diǎn)誤匹配，并最終得到正確的匹配特征點(diǎn)的對(duì)應(yīng)。,computer vision,23,7.3 立體匹配,外極線約束 對(duì)于兩幅從不同角度獲取的同一場(chǎng)景的圖像來說，傳統(tǒng)的特征點(diǎn)搜索方法是首先在一幅圖像中選擇一個(gè)特征點(diǎn)，然后在第二幅圖像上搜索對(duì)應(yīng)的特征點(diǎn)。這是一個(gè)二維搜索問

13、題。 因?yàn)橐环鶊D像上的特征點(diǎn)一定位于一幅圖像上對(duì)應(yīng)的外極線上，因此在匹配的過程中只要求的外極線，則在外極線上而不用在整個(gè)二維圖像平面上求解對(duì)應(yīng)解，從而轉(zhuǎn)化到一維搜索。 如果已知目標(biāo)與攝像機(jī)之間的距離在某一區(qū)間內(nèi)，則搜索范圍還可以限制在外極線上的一個(gè)小區(qū)間內(nèi)。,computer vision,24,7.3 立體匹配,外極線約束,computer vision,25,7.3 立體匹配,一致性約束 立體視覺通常有兩個(gè)或兩個(gè)以上攝像機(jī)組成，各攝像機(jī)的特性一般是不同的，如果場(chǎng)景中對(duì)應(yīng)點(diǎn)處的光強(qiáng)相差很大時(shí)，直接進(jìn)行相似性匹配，得到的匹配值變化也會(huì)很大。 一般在進(jìn)行匹配之前，必須對(duì)圖像進(jìn)行規(guī)范化處理，設(shè)參考

14、攝像機(jī)和其他攝像機(jī)的圖像函數(shù)分別為f0(i,j)和fk(i,j)，在mn圖像窗內(nèi)規(guī)范化圖像函數(shù)為： 其中是圖像窗內(nèi)光強(qiáng)均值，是光強(qiáng)分布參數(shù),computer vision,26,7.3 立體匹配,一致性約束 在mn圖像窗內(nèi)規(guī)范化圖像函數(shù)為： 其中是圖像窗內(nèi)光強(qiáng)均值，是光強(qiáng)分布參數(shù) 相似評(píng)價(jià)函數(shù)為差值絕對(duì)值之和（SAD）,computer vision,27,7.3 立體匹配,唯一性約束 由于在任何時(shí)刻位于某一物質(zhì)表面上的一個(gè)給定點(diǎn)在空間只占有一個(gè)唯一的位置，即一幅圖像上的特征點(diǎn)只能與另一幅圖像上的唯一一個(gè)特征點(diǎn)對(duì)應(yīng)，所以除了極個(gè)別的情況以外，某個(gè)匹配基元只能與另一幅圖象中的一個(gè)匹配基元相匹配。

15、這樣，圖象中的每個(gè)匹配基元最多只能有一個(gè)視差值。,,computer vision,28,7.3 立體匹配,連續(xù)性約束 物體表面一般都是光滑，因此物體表面上各點(diǎn)在圖像上的投影也是連續(xù)的，它們的視差也是連續(xù)的，例如，物體上非常接近的兩點(diǎn)，其視差也十分接近，因?yàn)樗鼈兊纳疃纫膊粫?huì)相差很大。 連續(xù)性約束對(duì)物體邊界不成立，在邊界處兩側(cè)的兩個(gè)點(diǎn)，其視差十分接近，但深度值相差很大。,,computer vision,29,7.3 立體匹配,邊緣匹配算法步驟： 用四個(gè)不同寬度的高斯濾波其對(duì)立體圖像對(duì)中的每一幅圖象進(jìn)行濾波，其中前一次濾波的寬度是下一次濾波寬度的兩倍，這一過程可以反復(fù)通過對(duì)最小的濾波其進(jìn)行不斷的

16、卷積實(shí)現(xiàn)。 在某一行上計(jì)算各邊緣的位置。 通過比較邊緣的方向和強(qiáng)度粗略的進(jìn)行邊緣匹配，顯然，水平邊緣是無法進(jìn)行匹配的。 通過在精細(xì)尺度上進(jìn)行匹配，可以得到精細(xì)的視差估計(jì)。,,computer vision,30,7.3 立體匹配,區(qū)域相關(guān)性： 雖然邊緣特征是圖像的基本特征，但是邊緣特征往往對(duì)應(yīng)著物體的邊界，而物體邊界的深度值一般是不確定的； 物體邊界深度值可以是物體封閉邊緣的深度距離和背景點(diǎn)深度距離之間的任意一個(gè)值。 曲面物體的封閉邊緣時(shí)物體的輪廓影像邊緣，在兩幅圖像平面中觀察到的輪廓影像邊緣與真實(shí)的物體邊緣并不是相對(duì)應(yīng)的。 所以就需要尋找另一種特征進(jìn)行匹配，這里選擇立體圖像對(duì)中識(shí)別興趣點(diǎn)（I

17、nteresting Point），然后使用區(qū)域相關(guān)法進(jìn)行匹配。,,computer vision,31,7.3 立體匹配,區(qū)域相關(guān)性： 候選匹配點(diǎn)要選擇具有很大變化的區(qū)域中的點(diǎn)，一般認(rèn)為圖像中有足夠多相互分離的區(qū)域可以用于候選匹配點(diǎn)的選擇。 在以某一點(diǎn)為中心的窗函數(shù)中，使用窗內(nèi)所有像素來計(jì)算在不同方向上的變化量，是這個(gè)中心點(diǎn)在不同方向上顯著性的一個(gè)好測(cè)度。,computer vision,32,7.3 立體匹配,區(qū)域相關(guān)性： 選擇上述方向變量的最小值為中心像素點(diǎn)(xc,yc)的興趣值 為了避免將多個(gè)相鄰點(diǎn)選為同一個(gè)特征對(duì)應(yīng)的興趣點(diǎn)，可以將特征點(diǎn)選在興趣測(cè)度函數(shù)具有局部最大值的地方。 兩幅圖像

18、中特征確定后，就可以使用許多不同方法進(jìn)行特征匹配。常用的匹配搜索方法是在一個(gè)小的窗函數(shù)內(nèi)搜索匹配，這個(gè)小窗函數(shù)是以滿足外極線約束的。,computer vision,33,7.3 立體匹配,區(qū)域相關(guān)性： 兩幅圖像f1和f2，設(shè)待匹配的候選特征點(diǎn)對(duì)的視差為(dx,dy),則以特征點(diǎn)為中心的區(qū)域之間相似性測(cè)度可以有相關(guān)系數(shù)r(dx,dy)定義為： 在每一個(gè)像素上使用閾值化處理后的具有正負(fù)符號(hào)的梯度值，而不是圖像灰度值，可以改善相關(guān)性的計(jì)算精度。,computer vision,34,7.3 立體匹配,立體匹配的討論 通過基于特征的立體匹配算法產(chǎn)生的對(duì)應(yīng)于圖像特征點(diǎn)的場(chǎng)景稀疏深度圖，即只得到的是特征

19、點(diǎn)的深度而不是整幅圖像上所有像素點(diǎn)的深度，所以是稀疏的。 如果要得到所有像素點(diǎn)的深度，則必須利用表面內(nèi)插算法或逼近算法在特征點(diǎn)深度值之間計(jì)算出特征點(diǎn)之間像素的深度值來。 立體重建過程中的難點(diǎn)在于:(1)特征點(diǎn)的選擇(2)匹配算法的選擇。 參見：Marr-Poggio-Grimson算法 ，Baker-Binford算法 。,,computer vision,35,7.4 多基線立體成像,理想情況下，一幅圖像上的每一個(gè)特征點(diǎn)只能與另一幅圖像上的唯一的一個(gè)特征點(diǎn)相對(duì)應(yīng)，即特征的唯一性約束。 實(shí)際情況下，特征點(diǎn)不明顯會(huì)出現(xiàn)對(duì)應(yīng)的多義性（ambiguity），即一幅圖像上的一個(gè)特征點(diǎn)對(duì)應(yīng)另一幅圖像的若

20、干個(gè)對(duì)應(yīng)點(diǎn)，其中只有一個(gè)是真正的對(duì)應(yīng)點(diǎn)，其它的是假的對(duì)應(yīng)點(diǎn)。 為了消除對(duì)應(yīng)點(diǎn)的多義性，提出了一種基于多基線的立體成像方法。 M. Okutami , T. Kanade, A multiple baselines stereo, IEEE Trans on Pattern Analysis and Machine Intelligence, 15(4):353-363,,computer vision,36,7.4 多基線立體成像,假定n個(gè)攝像機(jī)具有相同的焦距F，其位置分別為P0,P1Pn-1，對(duì)應(yīng)的n-1個(gè)基線用B1,B2Bn-1表示，f0 (x)和fi (x)表示在位置P0和Pi處同步獲取

21、的圖像，組成一個(gè)立體圖像對(duì)。,computer vision,37,7.4 多基線立體成像,已知場(chǎng)景中一點(diǎn)Z的深度值為zr，則f0(x)和fi(x)形成的立體視差dr(i)為： 圖像亮度函數(shù)f0(x)和fi(x)在Z點(diǎn)附近可表示為： 其中，f(x)是理想圖像，n0(x),ni(x)服從正態(tài)分布N(0,2n)的噪聲。 在一定大小窗口W中，立體視差變量d(i),立體圖像的方差之和（SSD）為：,computer vision,38,7.4 多基線立體成像,設(shè)r和分別是真實(shí)和候選場(chǎng)景點(diǎn)深度值的倒數(shù)，即r=1/zr，=1/z，則： 替換的SSD為： 其中ei(x,)成為匹配平價(jià)函數(shù)， ei(x,)的數(shù)

22、學(xué)期望為：,computer vision,39,7.4 多基線立體成像,N個(gè)攝像機(jī)形n-1個(gè)SSD函數(shù)，將所有的SSD函數(shù)相加形成了一個(gè)總的評(píng)價(jià)函數(shù) 假設(shè)亮度函數(shù)f(x)在x和x+a處有相同的模式，即 則它們的匹配評(píng)價(jià)函數(shù)期望關(guān)系是： 在r和f=r+a/(BiF)兩個(gè)地方得到的評(píng)價(jià)函數(shù)最小，但是假的匹配深度值的倒數(shù)f隨著基線的變化而變化，而真的匹配深度值的倒數(shù)r與基線無關(guān)，經(jīng)過累加真的匹配深度成為最小值。,computer vision,40,7.5 從X恢復(fù)形狀的方法,除了立體匹配算方，從灰度圖像提取形狀信息的其它方法都統(tǒng)稱為從X恢復(fù)形狀方法（Shape from X）。 如果物體上至少有

23、一個(gè)點(diǎn)的實(shí)際深度是已知的，那么統(tǒng)一目標(biāo)上的其它點(diǎn)的深度可以通過對(duì)局部表面方向求積分得到。 從X恢復(fù)形狀方法是一種間接的深度計(jì)算方法。 光度立體 從明暗灰度形狀 從紋理恢復(fù)形狀 從運(yùn)動(dòng)恢復(fù)形狀,,computer vision,41,7.5 從X恢復(fù)形狀的方法,光度立體 光度立體：是使用不同方向上的三個(gè)光源來獲取統(tǒng)一場(chǎng)景的三幅圖象，通過場(chǎng)景中物體的表面反射特性計(jì)算由這三個(gè)光源照明的所有點(diǎn)的局部表面方向。 三幅圖象采集的成像系統(tǒng)要求攝像機(jī)和目標(biāo)靜止不動(dòng)。 優(yōu)點(diǎn)：三幅圖像中的所有點(diǎn)完全配準(zhǔn) 缺點(diǎn)：實(shí)際中由于無法精細(xì)控制照明而不能用于實(shí)際的成像系統(tǒng)。,,computer vision,42,7.5 從

24、X恢復(fù)形狀的方法,從明暗恢復(fù)形狀 從明暗恢復(fù)形狀：主要使用圖像灰度（明暗）變化來恢復(fù)物體形狀信息。 通過計(jì)算圖像每一個(gè)點(diǎn)（x,y）對(duì)應(yīng)的場(chǎng)景表面方位來實(shí)現(xiàn)。其間有輻射測(cè)量原理約束、表面光滑約束。 缺點(diǎn)：光滑度約束不是在所有點(diǎn)都能滿足，表面反射特性也不總是精確已知，從而使形狀恢復(fù)不精確。,,computer vision,43,7.5 從X恢復(fù)形狀的方法,從紋理恢復(fù)形狀 從紋理恢復(fù)形狀：是利用圖像的紋理特性如密度、尺寸和方位等構(gòu)造表面方位信息，從而恢復(fù)形狀。 缺點(diǎn)：由于紋理基元的定位和紋理量化不精確引起形狀恢復(fù)的困難 從運(yùn)動(dòng)恢復(fù)形狀 從運(yùn)動(dòng)恢復(fù)形狀：使用一個(gè)運(yùn)動(dòng)攝像機(jī)獲取靜止場(chǎng)景的圖像時(shí)，場(chǎng)景點(diǎn)的圖像平面坐標(biāo)從一幅圖像到另一幅圖像的唯一取決于場(chǎng)景點(diǎn)到攝像機(jī)的距離。 或者通過靜止攝像機(jī)獲取運(yùn)動(dòng)物體的圖像序列。,,computer vision,44,7.6 測(cè)距成像,常用的測(cè)距成像方法有： 結(jié)構(gòu)光測(cè)距：三角測(cè)量原理來計(jì)算深度 激光雷達(dá)測(cè)距：通過比較發(fā)射信號(hào)與接收信號(hào)的延時(shí)、相位、頻差等方法測(cè)量距離。 按波長(zhǎng)分為： 聲雷達(dá) 激光雷達(dá) 毫米波雷達(dá) 變焦測(cè)距,,computer vision,45,7.7 主動(dòng)視覺,,,