《計(jì)算機(jī)視覺單幅圖像深重建 SFTPPT課件》由會(huì)員分享，可在線閱讀，更多相關(guān)《計(jì)算機(jī)視覺單幅圖像深重建 SFTPPT課件（53頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、包含多個(gè)紋理區(qū)域的圖象包含多個(gè)紋理區(qū)域的圖象第1頁/共53頁beerenflowerfoodwater彩色紋理圖像彩色紋理圖像第2頁/共53頁1 1 紋理（紋理（TextureTexture） 目前對(duì)于紋理的精確定義還未形成統(tǒng)一認(rèn)識(shí)，目前對(duì)于紋理的精確定義還未形成統(tǒng)一認(rèn)識(shí)，多根據(jù)應(yīng)用需要做出不同定義多根據(jù)應(yīng)用需要做出不同定義 兩種較常采用的定義：兩種較常采用的定義： 定義定義1 1 按一定規(guī)則對(duì)元素（按一定規(guī)則對(duì)元素（elementselements）或基元（或基元（primitivesprimitives）進(jìn)行排列所形成的重）進(jìn)行排列所形成的重復(fù)模式復(fù)模式. . 定義定義2 2 如果圖像函數(shù)

2、的一組局部屬性是如果圖像函數(shù)的一組局部屬性是恒定的，或者是緩變的，或者是近似周期性恒定的，或者是緩變的，或者是近似周期性的，則圖象中的對(duì)應(yīng)區(qū)域具有恒定的紋理的，則圖象中的對(duì)應(yīng)區(qū)域具有恒定的紋理第3頁/共53頁紋理紋理紋理的基本特征紋理的基本特征 紋理是區(qū)域?qū)傩?，并且與圖像分辨率（或稱尺度，紋理是區(qū)域?qū)傩?，并且與圖像分辨率（或稱尺度，resolution or scaleresolution or scale）密）密切相關(guān)切相關(guān) 重復(fù)性重復(fù)性規(guī)則性規(guī)則性周期性周期性方向性方向性第4頁/共53頁紋理分析與合成紋理分析與合成紋理分析紋理分析(analysis):(analysis): 紋理分類紋理分

3、類(classification)(classification)、紋理分割、紋理分割(segmentation)(segmentation)、從紋理恢復(fù)形、從紋理恢復(fù)形狀狀(shape from texture).(shape from texture).紋理合成紋理合成(synthesis):(synthesis): 由基元合成紋理圖像由基元合成紋理圖像. . 圖形繪制圖形繪制(graph rendering)(graph rendering)、圖像壓縮、圖像壓縮(image compression)(image compression)、紋理、紋理分析分析. . 第5頁/共53頁紋理分割

4、與分類紋理分割與分類紋理分割紋理分割 確定圖像中紋理的邊界。確定圖像中紋理的邊界。 紋理分類紋理分類 確定紋理區(qū)域或圖像的類別確定紋理區(qū)域或圖像的類別. .第6頁/共53頁2 2 紋理分析的方法紋理分析的方法統(tǒng)計(jì)方法（統(tǒng)計(jì)方法（statistical methodsstatistical methods） 利用紋理在空間上的灰度分布特性：利用紋理在空間上的灰度分布特性： 灰度級(jí)同現(xiàn)矩陣，自相關(guān)函數(shù)灰度級(jí)同現(xiàn)矩陣，自相關(guān)函數(shù)結(jié)構(gòu)方法（結(jié)構(gòu)方法（structural methodsstructural methods） 利用基元排列成紋理的規(guī)則性：利用基元排列成紋理的規(guī)則性： 基元特征，基元組合規(guī)

5、則基元特征，基元組合規(guī)則第7頁/共53頁紋理分析的方法紋理分析的方法 基于模型的方法基于模型的方法(modal based methods)(modal based methods) 一幅紋理圖像是一類參數(shù)模型的實(shí)例：一幅紋理圖像是一類參數(shù)模型的實(shí)例： Markov (Gibbs) Markov (Gibbs) 隨機(jī)場，分形隨機(jī)場，分形(fractal)(fractal) 信號(hào)處理方法信號(hào)處理方法(signal processing methods)(signal processing methods) 根據(jù)紋理的周期性，采用濾波方法處理：根據(jù)紋理的周期性，采用濾波方法處理： 空域?yàn)V波、頻域?yàn)V

6、波（空域?yàn)V波、頻域?yàn)V波（FourierFourier變換，變換，GaborGabor變換，小波變換）變換，小波變換）第8頁/共53頁3 3 統(tǒng)計(jì)方法統(tǒng)計(jì)方法研究紋理在空間上的灰度分布特征研究紋理在空間上的灰度分布特征 灰度級(jí)同現(xiàn)矩陣（灰度級(jí)同現(xiàn)矩陣（grey level co-occurrence matricesgrey level co-occurrence matrices，GLCMGLCM） 自相關(guān)性函數(shù)（自相關(guān)性函數(shù)（autocorrelation functionautocorrelation function） 用下式表示一幅用下式表示一幅 圖像圖像第9頁/共53頁3.1 3.1

7、 灰度級(jí)同現(xiàn)矩陣灰度級(jí)同現(xiàn)矩陣對(duì)于具有對(duì)于具有G G個(gè)灰度級(jí)的圖像，受位移矢量個(gè)灰度級(jí)的圖像，受位移矢量控制的灰度級(jí)同現(xiàn)矩陣控制的灰度級(jí)同現(xiàn)矩陣 是一個(gè)是一個(gè) 的矩陣，的矩陣，矩陣行列表示各個(gè)灰度級(jí)，矩陣元素反映兩種灰矩陣行列表示各個(gè)灰度級(jí)，矩陣元素反映兩種灰度在相距一定距離的位置上同時(shí)出現(xiàn)的次數(shù)，具度在相距一定距離的位置上同時(shí)出現(xiàn)的次數(shù)，具體按下式計(jì)算：體按下式計(jì)算：(Haralick, 1979)(Haralick, 1979)第10頁/共53頁灰度級(jí)同現(xiàn)矩陣灰度級(jí)同現(xiàn)矩陣?yán)? 1 2 1 2 0 1 0 2 1 1 2 i 0 2 2 0 1 2 2 0 j 2 1 2 1 2 2 0

8、 1 2 3 2 2 0 1 0 1左邊為一幅左邊為一幅5 55 5的圖象，具有三個(gè)灰度級(jí)，的圖象，具有三個(gè)灰度級(jí)，右邊為灰度級(jí)同現(xiàn)矩陣，位移矢量右邊為灰度級(jí)同現(xiàn)矩陣，位移矢量d=(1,1)d=(1,1)0 01 12 20 0 1 1 2 2第11頁/共53頁灰度級(jí)同現(xiàn)矩陣灰度級(jí)同現(xiàn)矩陣?yán)? 21 0 1 0 1 0 1 00 1 0 1 0 1 0 11 0 1 0 1 0 1 00 1 0 1 0 1 0 11 0 1 0 1 0 1 00 1 0 1 0 1 0 11 0 1 0 1 0 1 00 1 0 1 0 1 0 1 i i j j 1 24 0 0 i 1 0 28 0 i

9、49 56 0 25 1 28 0 1 0 1 0 1 j jd=(1,1)時(shí)的Pi,j d=(1,0) 時(shí)的Pi,j左邊為棋格圖像，中間為位移矢量為d=(1,1)的灰度級(jí)同現(xiàn)矩陣，右邊為位移矢量為d=(1,0)的灰度級(jí)同現(xiàn)矩陣。第12頁/共53頁灰度級(jí)同現(xiàn)矩陣灰度級(jí)同現(xiàn)矩陣請(qǐng)計(jì)算請(qǐng)計(jì)算 位移矢量位移矢量d=(1,1)d=(1,1)灰度級(jí)同現(xiàn)矩陣？灰度級(jí)同現(xiàn)矩陣？第13頁/共53頁基于灰度級(jí)同現(xiàn)矩陣的紋理特征基于灰度級(jí)同現(xiàn)矩陣的紋理特征 灰度級(jí)同現(xiàn)矩陣在一定程度上反映了紋理圖像中各灰度級(jí)在空間上的分布灰度級(jí)同現(xiàn)矩陣在一定程度上反映了紋理圖像中各灰度級(jí)在空間上的分布特性特性 如果灰度級(jí)同現(xiàn)矩陣集

10、中于對(duì)角線上，則對(duì)應(yīng)位移矢量接近于該紋理中基如果灰度級(jí)同現(xiàn)矩陣集中于對(duì)角線上，則對(duì)應(yīng)位移矢量接近于該紋理中基元的排列規(guī)則元的排列規(guī)則 在灰度級(jí)同現(xiàn)矩陣的基礎(chǔ)上，可定義多種紋理特征在灰度級(jí)同現(xiàn)矩陣的基礎(chǔ)上，可定義多種紋理特征. . 紋理分析領(lǐng)域中廣為人知和最經(jīng)常采用的特征之一紋理分析領(lǐng)域中廣為人知和最經(jīng)常采用的特征之一. .第14頁/共53頁紋理特征紋理特征公式公式墑墑 (entropy)(entropy)能量能量 (energy)(energy)對(duì)比度對(duì)比度 (contrast)(contrast)均勻度均勻度 (homegeneity)(homegeneity)相關(guān)性相關(guān)性 (correla

11、tion)(correlation)第15頁/共53頁灰度級(jí)同現(xiàn)矩陣的問題與發(fā)展灰度級(jí)同現(xiàn)矩陣的問題與發(fā)展問題問題 缺乏選擇位移矢量的有效方法缺乏選擇位移矢量的有效方法. . 發(fā)展發(fā)展 自適應(yīng)多尺度灰度級(jí)同現(xiàn)矩陣自適應(yīng)多尺度灰度級(jí)同現(xiàn)矩陣 (adaptive multi-scale GLCM)(adaptive multi-scale GLCM)：種子區(qū)：種子區(qū)域增長域增長 基于遺傳算法的基于遺傳算法的GLCGLC特征提取特征提取 (genetic algorithm based GLC (genetic algorithm based GLC feature extraction): fea

12、ture extraction): 用遺傳算法實(shí)現(xiàn)高斯加權(quán)優(yōu)化用遺傳算法實(shí)現(xiàn)高斯加權(quán)優(yōu)化第16頁/共53頁3.2 3.2 自相關(guān)函數(shù)自相關(guān)函數(shù)圖像自相關(guān)圖像自相關(guān)(autocorrelation)(autocorrelation)函函數(shù)數(shù) ： NuNvxNuyNvvuINyvxuIvuIyNxNyxp112211,1,1, 自相關(guān)函數(shù)的周期性反映紋理基元重復(fù)出現(xiàn)自相關(guān)函數(shù)的周期性反映紋理基元重復(fù)出現(xiàn)的周期性；其下降速度反映紋理基元的粗細(xì)的周期性；其下降速度反映紋理基元的粗細(xì)度度(coarseness)(coarseness)：紋理粗，則緩降；紋理細(xì)，：紋理粗，則緩降；紋理細(xì)，則速降則速降. .

13、 規(guī)則紋理的自相關(guān)函數(shù)具有峰值和規(guī)則紋理的自相關(guān)函數(shù)具有峰值和谷值，可用于檢測紋理基元的排列情況谷值，可用于檢測紋理基元的排列情況. .第17頁/共53頁紋理粗細(xì)度與自相關(guān)函數(shù)的關(guān)系示意圖第18頁/共53頁自相關(guān)函數(shù)自相關(guān)函數(shù)自相關(guān)函數(shù)與自相關(guān)函數(shù)與FourierFourier變換存在聯(lián)變換存在聯(lián)系系自相關(guān)函數(shù)可在頻域中計(jì)算，而且自相關(guān)函數(shù)可在頻域中計(jì)算，而且效率更高效率更高. .規(guī)則紋理的規(guī)則紋理的FourierFourier對(duì)數(shù)譜對(duì)數(shù)譜同一紋理的自相關(guān)函數(shù)同一紋理的自相關(guān)函數(shù)第19頁/共53頁4 4 結(jié)構(gòu)方法結(jié)構(gòu)方法 認(rèn)為紋理基元的規(guī)則排列構(gòu)成紋理，認(rèn)為紋理基元的規(guī)則排列構(gòu)成紋理，根據(jù)基元

14、來分析與合成紋理根據(jù)基元來分析與合成紋理 三個(gè)步驟：三個(gè)步驟：1.1.圖像增強(qiáng)圖像增強(qiáng) 多尺度多尺度LoGLoG濾波濾波2.2.計(jì)算各個(gè)基元的統(tǒng)計(jì)特征，作為紋理特征，如平均強(qiáng)度、面積、周長、方計(jì)算各個(gè)基元的統(tǒng)計(jì)特征，作為紋理特征，如平均強(qiáng)度、面積、周長、方向、離心率向、離心率3.3. 基于基元組合規(guī)則分析與合成紋理：圖模型、樹文法等等基于基元組合規(guī)則分析與合成紋理：圖模型、樹文法等等 第20頁/共53頁5 5 基于模型的方法基于模型的方法建立紋理圖像的參數(shù)模型，用于表建立紋理圖像的參數(shù)模型，用于表示與合成紋理示與合成紋理紋理合成主要采用基于模型的方紋理合成主要采用基于模型的方法法主要問題是估計(jì)

15、模型參數(shù)，使根據(jù)主要問題是估計(jì)模型參數(shù)，使根據(jù)模型合成的紋理圖像逼近原紋理圖模型合成的紋理圖像逼近原紋理圖像像. .兩種模型兩種模型 MarkovMarkov隨機(jī)場（隨機(jī)場（Markov random field, or Gibbs random field Markov random field, or Gibbs random field ） 分形（分形（fractalfractal）第21頁/共53頁6.1 6.1 空域?yàn)V波空域?yàn)V波局部模板法局部模板法 設(shè)計(jì)一組具有頻率選擇性的模板，與圖像做卷積設(shè)計(jì)一組具有頻率選擇性的模板，與圖像做卷積. .局部矩法局部矩法 以每一個(gè)像素為中心，計(jì)算局部

16、窗口內(nèi)的矩特征值，形成特征圖象以每一個(gè)像素為中心，計(jì)算局部窗口內(nèi)的矩特征值，形成特征圖象. . 相相當(dāng)于用一組模板對(duì)圖像進(jìn)行濾波當(dāng)于用一組模板對(duì)圖像進(jìn)行濾波. .第22頁/共53頁空域?yàn)V波空域?yàn)V波 The filter bank used in texture analysis. Total of 48 filters: 36 oriented filters, with 6 orientations, 3 scales, and 2 phases, 8 center-surround derivative filters and 4 low-pass Gaussian filters.第23

17、頁/共53頁6.2 Fourier6.2 Fourier變換特征變換特征對(duì)圖像做對(duì)圖像做FourierFourier變換，根據(jù)能量譜和變換，根據(jù)能量譜和相位譜定義紋理特征相位譜定義紋理特征. .紋理圖像及其紋理圖像及其FourierFourier變換變換第24頁/共53頁各個(gè)環(huán)各個(gè)環(huán)(ring)區(qū)域和劈區(qū)域和劈(wedge)區(qū)域內(nèi)的總能量區(qū)域內(nèi)的總能量組成紋理特征矢量組成紋理特征矢量.反映紋理方向反映紋理方向反映紋理尺寸反映紋理尺寸第25頁/共53頁6.3 Gabor6.3 Gabor變換與小波變換變換與小波變換GaborGabor變換（高斯窗口）變換（高斯窗口） dxebxwxfbuFuxj

18、w2, 小波變換：小波變換： 窗口寬度隨頻率變化而變化窗口寬度隨頻率變化而變化 dxabxhxfabuWaf1,(D. Gabor, 1946)(D. Gabor, 1946)第26頁/共53頁GaborGabor變換紋理特征變換紋理特征二維二維GaborGabor濾波器具有頻率和方向選濾波器具有頻率和方向選擇性擇性GaborGabor紋理特征提取的一般步驟：紋理特征提取的一般步驟： 1. 1. 用不同尺度和方向的用不同尺度和方向的GaborGabor濾波器對(duì)圖像進(jìn)行濾波，得到一組子圖象；濾波器對(duì)圖像進(jìn)行濾波，得到一組子圖象； 2. 2. 對(duì)各個(gè)子圖象做一定處理；對(duì)各個(gè)子圖象做一定處理； 3.

19、 3. 根據(jù)子圖象計(jì)算相應(yīng)特征，形成特征矢量或特征圖象，比如子圖象窗根據(jù)子圖象計(jì)算相應(yīng)特征，形成特征矢量或特征圖象，比如子圖象窗口內(nèi)的標(biāo)準(zhǔn)差口內(nèi)的標(biāo)準(zhǔn)差. .第27頁/共53頁GaborGabor變換紋變換紋理特征示例：理特征示例：(a) (a) 紋紋理圖象理圖象(b) (b) 濾波圖象濾波圖象 (16,135(16,135度度) )(c) (c) 濾波圖象濾波圖象 (32,0(32,0度度) )(d) (d) 特征圖象特征圖象(b)(b)(e) (e) 特征圖象特征圖象(c)(c)第28頁/共53頁小波變換紋理特征小波變換紋理特征 對(duì)圖像作小波變換，對(duì)圖像作小波變換， 分別得到水平和垂直方分

20、別得到水平和垂直方向上的高頻和低頻子圖向上的高頻和低頻子圖象，可以對(duì)低頻子圖象象，可以對(duì)低頻子圖象或每個(gè)子圖象再作同樣或每個(gè)子圖象再作同樣的變換的變換. . 根據(jù)最后得到根據(jù)最后得到的每個(gè)子圖象計(jì)算一個(gè)的每個(gè)子圖象計(jì)算一個(gè)特征，如能量，墑等，特征，如能量，墑等，形成紋理特征矢量形成紋理特征矢量. .第29頁/共53頁7 7 從紋理恢復(fù)形狀從紋理恢復(fù)形狀根據(jù)紋理屬性變化與表面形狀的根據(jù)紋理屬性變化與表面形狀的關(guān)系恢復(fù)表面形狀關(guān)系恢復(fù)表面形狀. . 三種效應(yīng)：三種效應(yīng)： 透視縮小透視縮小( (與表面方向有關(guān)與表面方向有關(guān)) ) 縮放和密度變化縮放和密度變化( (與觀察者與觀察者 和紋理基元的距離有

21、關(guān)和紋理基元的距離有關(guān)) )基準(zhǔn)維基準(zhǔn)維(characteristic (characteristic dimension)dimension)： 沒有發(fā)生透視縮小的方向沒有發(fā)生透視縮小的方向第30頁/共53頁從紋理恢復(fù)形狀從紋理恢復(fù)形狀幾種方法幾種方法 Bajcsy-LiebermanBajcsy-Lieberman方法：利用基元尺寸梯度，求相對(duì)深度方法：利用基元尺寸梯度，求相對(duì)深度; ; Witken Witken方法：利用邊緣方向分布，估計(jì)表面方向方法：利用邊緣方向分布，估計(jì)表面方向; ; Blostein-Ahuja Blostein-Ahuja方法：利用基元面積梯度，估計(jì)表面方向方法

22、：利用基元面積梯度，估計(jì)表面方向. .第31頁/共53頁橢圓長短軸在縮?。s放效應(yīng)）橢圓長短軸在縮?。s放效應(yīng)）縮小速度長軸為線性，短軸為二次（透視縮小效縮小速度長軸為線性，短軸為二次（透視縮小效應(yīng)，長軸方向?yàn)榛鶞?zhǔn)維）應(yīng)，長軸方向?yàn)榛鶞?zhǔn)維）第32頁/共53頁Blostein-AhujaBlostein-Ahuja方法方法假設(shè)表面為平面，紋理基元單一且假設(shè)表面為平面，紋理基元單一且無深度差無深度差恢復(fù)公式（依據(jù)）的推導(dǎo)恢復(fù)公式（依據(jù)）的推導(dǎo) 1. 1. 為簡化推導(dǎo)，將坐標(biāo)系統(tǒng)轉(zhuǎn)換到為簡化推導(dǎo)，將坐標(biāo)系統(tǒng)轉(zhuǎn)換到tilttilt方向方向 2. 2. 根據(jù)透視投影模型，建立任意基元長短軸與中心基元長短

23、軸的長度關(guān)根據(jù)透視投影模型，建立任意基元長短軸與中心基元長短軸的長度關(guān)系；系； 3. 3. 將上述關(guān)系轉(zhuǎn)化為任意基元與中心基元的面積關(guān)系將上述關(guān)系轉(zhuǎn)化為任意基元與中心基元的面積關(guān)系. .第33頁/共53頁坐標(biāo)系統(tǒng)變換坐標(biāo)系統(tǒng)變換第34頁/共53頁透視投影模型透視投影模型第35頁/共53頁Blostein-AhujaBlostein-Ahuja方法方法形成表面方向估計(jì)依據(jù)形成表面方向估計(jì)依據(jù) 為未知參數(shù)空間，根據(jù)紋理圖象為未知參數(shù)空間，根據(jù)紋理圖象從中搜索最佳結(jié)果：從中搜索最佳結(jié)果： 將該空間離散化，對(duì)于每組值，計(jì)算圖象中將該空間離散化，對(duì)于每組值，計(jì)算圖象中各個(gè)位置上的紋理基元面積，與實(shí)際面積

24、比較，各個(gè)位置上的紋理基元面積，與實(shí)際面積比較，獲得擬合度，取最佳擬合度對(duì)應(yīng)的結(jié)果獲得擬合度，取最佳擬合度對(duì)應(yīng)的結(jié)果. (. (表面擬表面擬合合) )第36頁/共53頁Blostein-AhujaBlostein-Ahuja方法結(jié)果示例方法結(jié)果示例第37頁/共53頁基于基于3D3D紋理信息的深度估計(jì)算法紋理信息的深度估計(jì)算法 SFTSFT的傳統(tǒng)方法是通過建立一個(gè)隨機(jī)場模型描述圖像中的傳統(tǒng)方法是通過建立一個(gè)隨機(jī)場模型描述圖像中紋理信息，通過學(xué)習(xí)得到模型參數(shù)，實(shí)現(xiàn)場景深度重紋理信息，通過學(xué)習(xí)得到模型參數(shù)，實(shí)現(xiàn)場景深度重建，但由于此類方法使用的是局部的、二維紋理信息，建，但由于此類方法使用的是局部的

25、、二維紋理信息，因此所建立的模型中無法完全反映出場景中各目標(biāo)間因此所建立的模型中無法完全反映出場景中各目標(biāo)間的空間關(guān)系。近幾年來，針對(duì)此類問題的研究逐漸向的空間關(guān)系。近幾年來，針對(duì)此類問題的研究逐漸向使用全局的、多尺度的、分層次的紋理信息方向發(fā)展，使用全局的、多尺度的、分層次的紋理信息方向發(fā)展，并已經(jīng)開始應(yīng)用于實(shí)際系統(tǒng)中。并已經(jīng)開始應(yīng)用于實(shí)際系統(tǒng)中。 20062006年，斯坦福大學(xué)的年，斯坦福大學(xué)的AndrewAndrew教授等人應(yīng)用機(jī)器學(xué)習(xí)教授等人應(yīng)用機(jī)器學(xué)習(xí)的方法，采用分層的多尺度馬爾科夫隨機(jī)場模型，通的方法，采用分層的多尺度馬爾科夫隨機(jī)場模型，通過對(duì)大量的訓(xùn)練集數(shù)據(jù)的學(xué)習(xí)，建立室外場景圖

26、像中過對(duì)大量的訓(xùn)練集數(shù)據(jù)的學(xué)習(xí)，建立室外場景圖像中各目標(biāo)間的空間關(guān)系模型，并將取得的結(jié)果應(yīng)用在無各目標(biāo)間的空間關(guān)系模型，并將取得的結(jié)果應(yīng)用在無人汽車的自主導(dǎo)航中。人汽車的自主導(dǎo)航中。 這種利用全局的三維幾何紋理信息的方法，實(shí)際上就這種利用全局的三維幾何紋理信息的方法，實(shí)際上就是在利用了圖像是在利用了圖像“質(zhì)地變化率質(zhì)地變化率”的同時(shí)也利用了圖像的同時(shí)也利用了圖像中的遮擋信息（空間關(guān)系）。中的遮擋信息（空間關(guān)系）。3-D Depth Reconstruction from a Single Still ImageAshutosh Saxena, Sung H. Chung, Andrew Y.

27、Ng ,2007第38頁/共53頁1.Visual Cues for Depth Perception Monocular Cues texture variations, texture gradients, interposition, occlusion, known object sizes, light and shading, haze, defocus, etc. global information, local information. Stereo Cues Motion Parallax and Focus Cues第39頁/共53頁2.Feature Vector Th

28、e image is divided into small rectangular patches, and estimate a single depth value for each patch. Two types of features: absolute depth featuresused to estimate the absolute depth at a particular patchand relative features, used to estimate relative depths. 第40頁/共53頁Feature Vector three types of

29、local cues: texture variations, texture gradients, color. Capture cues Laws masks(3*3)- texture variations Oriented edge filters(6)- texture variations Color channel(2)- color第41頁/共53頁2.1 Features for absolute depth第42頁/共53頁Features for absolute depth initial feature vector-sum absolute energy and s

30、um squared energy, multiple spatial scales-capture more global properties of the image, immediate neighbors-capture occlusion relationships, vertically column-show vertical structure. absolute depth feature vector x is 19 34 = 646 dimensional.第43頁/共53頁2.2 Features for relative depth A different feat

31、ure vector is used to learn the dependencies between two neighboring patches. a 10-bin histogram of each of the 17 filter outputs |I Fn|, giving us a total of 170 features yis for each patch i at scale s. relative depth features yijs for two neighboring patches i and j at scale s will be the differe

32、nces between their histograms.第44頁/共53頁3. Probabilistic ModelHierarchical Multi-scale MRF Model第45頁/共53頁P(yáng)robabilistic Model Gaussian Model Laplacian model第46頁/共53頁Gaussian Model di(s) depths for multiple scales s = 1, 2, 3. enforce a hard constraint that depths at a higher scale are the average of t

33、he depths at the lower scale. Ns(i) are the 4 neighbors of patch i at scale s.M is the total number of patches in the image (at the lowest scale); Z is the normalization constant for the model; xi is the absolute depth feature vector for patch i; and and are parameters of the model.第47頁/共53頁Gaussian

34、 Model (r,1r,2r) is the different parameters for each row r in the image The model is a conditionally trained MRF, in that its model of the depths d is always conditioned on the imagefeatures X; i.e., it models only P(d|X). 第48頁/共53頁Laplacian model第49頁/共53頁Experiments Data collection, using a 3-d laser scanner to collect images and their corresponding depthmaps第50頁/共53頁Experiments第51頁/共53頁Experiments(a) original image, (b) ground truth depthmap, (c)predicted depthmap by Gaussian model, (d) predicted depthmap by Laplacian model.第52頁/共53頁感謝您的觀看。第53頁/共53頁