《北理工賈云德《計(jì)算機(jī)視覺》chapter09明暗分析》由會員分享，可在線閱讀，更多相關(guān)《北理工賈云德《計(jì)算機(jī)視覺》chapter09明暗分析（10頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

1、精選優(yōu)質(zhì)文檔-----傾情為你奉上 第九章 明暗分析 本章將介紹光在物體表面的反射物理特性以及利用反射特性估計(jì)表面形狀的方法，即光度立體法（Photometric Stereo）．在討論光度立體法及從明暗恢復(fù)形狀(Shape from Shading)之前，我們將首先介紹成象物理學(xué)，即場景中各點(diǎn)的光強(qiáng)度在圖象平面上的映射過程（通常將這一過程稱為成像）．本章將按照[Horn 1986]所做的開創(chuàng)性工作對有關(guān)的理論和算法展開討論． 9．1 圖象輻照度 我們知道，通過投影原理可以確定場景中的點(diǎn)在圖象平面中的位置，但并不能確定該點(diǎn)的圖象強(qiáng)度．圖象強(qiáng)度可用本節(jié)將要介紹的成

2、象物理學(xué)來確定，其中用于描述圖象強(qiáng)度的一個術(shù)語是圖象輻照度（Irradiance）．由于強(qiáng)度、亮度或灰度等術(shù)語使用的十分普遍，因此本書通篇將這些術(shù)語視為圖象輻照度的同義詞． 圖象平面中一點(diǎn)的圖象輻照度是指圖象平面點(diǎn)單位面積接收的輻射（radiance）功率。輻射為輸出能量，輻照為輸入能量．對圖像來說，圖像的輻照源對應(yīng)景物對光源的反射，即場景的輻射。也就是說，圖象平面上一點(diǎn)的輻照度對應(yīng)于圖象點(diǎn)到場景點(diǎn)方向的場景輻射能量： (9．1) 場景點(diǎn)位于從投影中心到圖象點(diǎn)的射線上．為了找到圖象的輻照源，我們必須沿這條射線返回到發(fā)射射線的表

3、面片上，并且弄清楚場景照明光是如何被表面片反射的． 決定場景表面片輻射的因素有兩個：一個是投在場景表面片上的照明，另一個是表面片反射的入射照明部分． 　　投在某一特定表面片上的照明量取決于該表面片在場景中相對于光源的分布位置．在某一特定方向上被表面片反射的入射照明部分取決于表面材料的光學(xué)特性． 圖9．1在一個無限小的表面片上建立極坐標(biāo)系，用來描述表面片 可視半球方向的照明和輻射方向 考慮場景中一個無窮小的表面片被一個單獨(dú)的點(diǎn)光源照明．在表面片上建立一個坐標(biāo)系，如圖9．1所示．此坐標(biāo)系表示能量可以到達(dá)或離開該表面所有可能的方向半球．設(shè)表示在極坐標(biāo)中相對于表面

4、片的場景照明點(diǎn)光源的方向，設(shè)表示能量從表面片中發(fā)射的方向．從某一方向到達(dá)該表面片的能量為，從表面片向某一方向輻射的能量為．從表面片往某一方向輻射的能量與表面片從某一方向接收的能量的比值定義為雙向反射分布函數(shù)（Bidirectional Reflectance Distribution Function，BRDF），用表示．雙向反射分布函數(shù)取決于表面材料的光學(xué)特性．輻射量與輻照量的關(guān)系式為： 　　 (9．2) 這可能是一個一般的公式，可能是一個很復(fù)雜的式子，但在計(jì)算機(jī)視覺的大多數(shù)感興趣的場合中，可能相當(dāng)?shù)睾唵危畬Υ蠖鄶?shù)材料來說，BRDF只取決于入射和發(fā)射角之差：

5、 (9．3) 圖9.2 半球上某一表面片和其對應(yīng)的角增量和組成的立體角示意圖． 9．1．1照明 　　給定表面材料的BRDF和光源的分布，就可以計(jì)算一個表面片發(fā)出的光量．下面介紹兩種類型的照明：點(diǎn)光源和均勻光源 首先介紹計(jì)算一般分布光源射到一個表面片的總輻照公式．坐標(biāo)系就是在圖9．1中描繪的可能方向半球極坐標(biāo)，如圖9.2所示．表面片上的全部輻照就是從半球中所有方向上照到表面片上的輻照總和．將通過單位半球（半徑為1）上每一個小片面積上的輻照累加起來，直到計(jì)算完半球的全部面積．由半球上某一表面片和其對應(yīng)的角增量和組成的錐形空間，稱為

6、立體角： (9．4) 式中的是考慮到越接近半球頂部，半球面積越小．半徑的球面積為，單位半徑的半球面積為．半球的面積可以由組成半球的立體角加起來得到： 　　　　　　　　　　　　(9．5) 在方程9．4中如果沒有因子，半球面的各個無窮小單元加起來就得不到正確的總面積．穿過球面的總的輻射量是對無窮小表面片加權(quán)穿過每一個表面片對應(yīng)的單位立體角輻射量的積分．讓表示從方向上穿過半球單位立體角上的輻射量，則表面片接收的總輻照量為： (9．6) 式中多了一個附加項(xiàng)，這是因?yàn)橥敢暱s比效應(yīng)（foreshorte

7、ning）造成表面片在照明方向上變?。畯谋砻嫫瓷涑龅妮椛淞繛? (9．7) 基于場景輻射等于圖象輻照假設(shè)，在圖象平面中，位置處的圖象輻照與場景中相對應(yīng)的表面片上的輻射量相等： (9．8) 式中場景輻照的發(fā)射角度由場景表面的幾何性質(zhì)決定．注意：對每一個圖象位置，都可以在相對于表面法線或表面片的極坐標(biāo)中，計(jì)算出對應(yīng)的場景位置、表面片的表面法線以及從表面片到圖象平面點(diǎn)的連線的角度． 為了從場景中的表面幾何和光源的分布確定整幅圖象的輻照量，必須知道場景表面的BRDF．這正是下一節(jié)討論的主題． 9．1．2反射 下面

8、將介紹三種不同類型的反射： Lambertian反射（也叫散光反射）、鏡面反射、 Lambertian反射和鏡面反射組合。 　　(1) Lambertian反射 　　Lambertian 表面是指在一個固定的照明分布下從所有的視場方向上觀測都具有相同亮度的表面，Lambertian 表面不吸收任何入射光．Lambertian反射也叫散光反射，不管照明分布如何，Lambertian 表面在所有的表面方向上接收并發(fā)散所有的入射照明，結(jié)果是每一個方向上都能看到相同數(shù)量的能量．許多無光澤表面都大致屬于Lambertian型的，除了下面將提到的情況以外，許多表面在性質(zhì)上都屬于Lambertian

9、型． Lambertian 表面的BRDF是一個常數(shù)： (9．9) 輻射獨(dú)立于發(fā)射方向，輻射可通過累加來自所有可能方向半球的入射光線上的BRDF效應(yīng)得到： (9．10) 其中是在表面片上的總?cè)肷涔猓? 下面討論在一個遠(yuǎn)距離點(diǎn)光源的照明下，一個Lambertian 表面的可感覺亮度。在相對于表面片法線的一個方向上，一個點(diǎn)表面照明描述如下： (9．11) 式中指的是總照明．本質(zhì)上，-函數(shù)僅限于照明到達(dá)表面片的方向與方向之間．方程9．11分母中有一個正弦項(xiàng)，將其引入方

10、程9．6時，就得到總照明． 將方程9．11中的照明函數(shù)和方程9．9中的BRDF函數(shù)引入表面片輻射方程9．7，得到了感覺亮度方程: (9．12) 這就是Lambert余弦定律，即指由點(diǎn)光源照明的表面片的感覺亮度隨著單元表面法線的入射角度變化而變化．隨入射角變化是由于因?yàn)橄鄬τ谡彰鞣较虮砻嫫耐敢暱s比效應(yīng)．換句話說，一塊給定面積的表面片，當(dāng)它的法線指向照明光線方向時，可以獲取最多的光照．當(dāng)表面法線偏離照明方向時，從照明方向看過去的表面片面積變小了，因此表面片的亮度也降低了．如果你想親自看一看這個效應(yīng)的演示，請拿一個球狀物體，比如一個白球，關(guān)掉房間里的所有燈，只打開一個

11、燈泡，你將會看到球體上最亮的部分是表面法線指向照明方向的部分，并且這與你相對于球所處的位置無關(guān)，球體上的亮度從對應(yīng)于光源最亮的一點(diǎn)出發(fā)，向四周所有方向以相同速率遞減． 假定照明不是一個點(diǎn)光源，而是在所有方向都是均勻的，其發(fā)光總強(qiáng)度為．那么亮度可由下式給出： (9．13) 　　現(xiàn)在，Lambertian 表面的被感覺的亮度在所有方向上都相同，這是因?yàn)椴还鼙砻嫫蚝畏剑寄芙邮盏酵瑯訑?shù)量的照明． (2) 鏡面反射 鏡面在某一方向上反射所有的入射光，反射方向角相對于鏡面法線來說與入射角相等，但在法線的另一側(cè)．換句話說，從方向來的光線的反射方

12、向．鏡面的BRDF為: (9．14) BRDF中需要和因子，以消去方程9．7中由透視縮比和立體角產(chǎn)生的相應(yīng)因子．將式9．14代入式9．7，得到 (9．15) 該方程表明入射光線被表面片反射出去，如同理想的鏡子一樣． 　　(3) Lambertian反射和鏡面反射組合 　　在計(jì)算機(jī)圖形學(xué)中，通常用鏡面反射和散光反射一起來構(gòu)成物體反射特性模型： (9．16) 式中常量控制著兩個反射函數(shù)的混合度．鏡面反射和散光反射的相對比例隨著物體表面材料的不同而變化．光滑的物體，或者說閃亮的物體，其鏡面反射的成分

13、要高于無光澤的物體． 9．2表面方向 上一節(jié)討論了照明與被感覺亮度關(guān)系，該關(guān)系表示在一個設(shè)在假想表面片上的坐標(biāo)系中．為了將這一結(jié)果應(yīng)用到計(jì)算機(jī)視覺中，必須在如圖9．3中的圖象平面坐標(biāo)系中重新討論表面反射和場景照明．表面方向必須在攝象機(jī)坐標(biāo)系中表示． 考慮一個與光軸對準(zhǔn)的球，如圖9．4所示．想象球上的一個點(diǎn)，并假定一個平面在該點(diǎn)與球相切．該平面的法線也是球上對應(yīng)點(diǎn)的表面法線． 圖9．3場景中一點(diǎn)圖象平面上的投影 圖9．4示意表面方向和圖象坐標(biāo)關(guān)系的高斯球 假定這一點(diǎn)到圖象平面的距離是：

14、 (9．17) 對物體上任意一點(diǎn)，它的圖像坐標(biāo)為，在光度立體視覺中，為了簡化問題，一般假定物體表面各點(diǎn)值的變化遠(yuǎn)小于物體到攝象機(jī)的距離，即和是物體表面上的兩個點(diǎn)，。因此常常認(rèn)為物體上的所有點(diǎn)，根據(jù)透視投影公式1.5，并設(shè)，有如下等式： （9.18） 考慮物體表面一點(diǎn)的鄰近點(diǎn)其中點(diǎn)的深度為。為了建立點(diǎn)的深度變化與圖象平面坐標(biāo)變換和之間的聯(lián)系，即而得到和和的關(guān)系，考慮一下函數(shù)在點(diǎn)的Taylor級數(shù)的展開就可得到答案： (9．18)

15、 對和的偏微分與場景表面上點(diǎn)處的正切平面傾斜角有關(guān)． 在點(diǎn)處的表面梯度是一個矢量記為： (9．19) 深度值和比例系數(shù)皆為未知數(shù)，為了減少未知參數(shù)，可令：，于是上式為： （9.20） 由于和只差一個比例因子，因此，如果能夠根據(jù)上式求出，就能求出關(guān)于一個常數(shù)因子的物體形狀。這樣問題就歸結(jié)為求取表面梯度矢量。 表面片的法線與梯度的關(guān)系如下： (9．21) 該式子簡單地表明對應(yīng)于深度的單位變化，在和的相

16、應(yīng)位移量分別為和．單位表面法線可以通過表面法線除以它的長度得到： 　 (9．22) 9．3 反射圖 將場景照明、表面反射和（在以觀察者為中心的坐標(biāo)系中）表面方向表示的組合稱為反射圖．它確定了在給定照明分布和表面材料的情況下，一個表面片在特定方向上的亮度．在本節(jié)中，假設(shè)使用平行投影，所以圖象平面坐標(biāo)將由表示，略去了上標(biāo)撇． 考慮場景中的一個表面片，它對應(yīng)于圖象平面坐標(biāo)軸和的表面方向是和．假設(shè)該表面片具有Lambertian反射特性，并且由一個點(diǎn)光源照明．在9．1．2節(jié)中，已計(jì)算出表面片的輻射為

17、 (9．23) 式中，是表面片的法線與光源方向矢量間的夾角．下面討論在以觀察者為中心的坐標(biāo)系中對應(yīng)的表示方法。在9．2節(jié)中講述的以觀察者為中心的坐標(biāo)系中，表面法線僅是，光源的方向?yàn)椋畠蓚€矢量間夾角的余弦是兩矢量的點(diǎn)積除以每個矢量的長度，所以表面法線和光源方向之間的夾角的余弦是： (9．24) 對于一個給定的光源分布和一個給定的表面材料，所有表面方向和的反射都能從表中查到或是計(jì)算出來，由此得到反射圖．圖象輻照度的精確值取決于各種因素，比如光源強(qiáng)度、光學(xué)系統(tǒng)的集光性能以及很多其它不影響反射的因素．因此，反射圖可以歸一化，其最大值為1．利

18、用這個歸一化圖，再假設(shè)場景的輻射與圖象的輻照相等，就得出圖象輻照方程： (9．25) 該式表明在圖象平面中的點(diǎn)處的輻照（亮度）等于場景表面對應(yīng)點(diǎn)的表面方向和的反射圖值．對于Lambertian反射面和點(diǎn)光源，反射圖由方程9．24 給出，如圖9．5所示[Jain 1995]． 圖9．5 Lambertian表面是由點(diǎn)光源照明的一個典型反射圖， 其中．，左：灰度圖象；右：輪廓圖線． 9．4 從圖象明暗恢復(fù)形狀 在一個象素點(diǎn)處的圖象強(qiáng)度是對應(yīng)于場景點(diǎn)的表面方向的函數(shù)，該強(qiáng)度值可在反射圖中獲?。@樣，對于一個固定照明和成象

19、條件，以及對于一個已知反射特性的表面，表面方向的變化可轉(zhuǎn)換成圖象強(qiáng)度的相應(yīng)變化．反過來，由圖象強(qiáng)度的變化可以恢復(fù)表面形狀的問題，即所謂從明暗恢復(fù)形狀的問題．現(xiàn)在我們簡單介紹一下利用表面光滑度約束來求解此問題的步驟． 從前一節(jié)已知，圖象輻照與表面上對應(yīng)點(diǎn)方向的關(guān)系是： (9．26) 式中是表面的反射圖．我們的目的是通過計(jì)算圖象中每一點(diǎn)處的表面方向來恢復(fù)表面形狀．注意我們只有一個方程，但是有兩個未知數(shù)和．因此，必須附加額外的限制條件才有可能求解方程．一個常用的附加約束是表面光滑性．我們假定物體是由逐段光滑的表面組成，只在邊緣處才不受光滑

20、約束的限制． 一個光滑表面是以其梯度和緩慢變化為特征的．因此，如果，，和表示和在和方向上的偏微分，我們規(guī)定光滑性約束是這些偏微分平方和的積分最?。? (9．27) 嚴(yán)格地說，我們必須在方程9．26給定的約束下求這個積分的最小極值．但是，考慮到噪聲使所求的值偏離了理想值，問題就變?yōu)榍蠼饪偲畹臉O小值： (9．28) 式中，l是一個光滑度約束誤差的加權(quán)參數(shù)，是圖象輻照方程誤差： (9．29) 這是一個變積分問題．在第次迭代中，更新值的迭代結(jié)果由下式給出：

21、 　 (9．30) 式中*表示在鄰域中計(jì)算出的均值．注意，雖然對一個給定迭代的計(jì)算是局部的，通過多次迭代中的約束傳播可以得到全局的一致． 上面所述的基本步驟已經(jīng)通過許多途徑得到了證明．具體的內(nèi)容可在本章末所附的參考書中找到．雖然從明暗恢復(fù)形狀的基本原理很簡單，但是卻有很多實(shí)踐上的困難，特別是表面的反射特性并不總是知道得很精確，也不容易控制場景中的照明，這些都限制了其應(yīng)用． 9．5 光度立體 我們知道，圖像輻照方程包含有兩個未知數(shù)，表面方向和。在由圖象明暗恢復(fù)形狀方法中，為了能求解這兩個參數(shù)，增加了一個光滑連續(xù)約束。本節(jié)將介紹另一種方法，稱為光度立體視覺。其

22、基本思想是通過不同的光源產(chǎn)生不同的圖像輻射方程來增加方程數(shù)目，以求解表面方向和。 假定獲取兩幅采用不同照明圖像，如圖9.6所示。這樣，對于圖像中的每一點(diǎn)，將產(chǎn)生兩個圖像輻照方程： 圖9.6 在兩個不同光源照射下，同一物體表面將產(chǎn)生不同的亮度 圖9.7 在兩個不同光源照射下的兩個反射圖迭加示意圖 如果這些方程是線性的，而且是線性無關(guān)，則和具有唯一解。如果方程是非線性的，則方程無解或無唯一解，如圖9.7所示。例如，兩個圖像輻射方程為： 可以驗(yàn)證，當(dāng)和分別取不同值時，上述方程將會有一個解、兩個解、或無解，當(dāng)，將有無窮解。 實(shí)際上，當(dāng)假定場景中所

23、有表面都具有Lambertian反射時，對于一個特定方向的點(diǎn)光源，可用二階多項(xiàng)式來描述恒值反射（見方程9．24）．圖象中每一點(diǎn)都有一個亮度函數(shù)，所有可能的表面方向?qū)⒈幌拗圃谟啥A多項(xiàng)式定義的反射圖中的一條曲線上．因?yàn)榧s束方程是二次多項(xiàng)式，如上所述，含有兩個未知數(shù)的兩個二次方程是沒有唯一解的，因此必須使用三個方程，即三種不同的照明．如圖9．8 所示． 圖9．8立體光度原理示意圖．圖象輻照測量值被歸一化成單位間隔 到目前為止，我們的討論都略去了輻射度效應(yīng)，即所有的入射光線都不是從一個表面發(fā)射的．這種效應(yīng)可以很容易地通過一個Albedo因子加入到圖象輻照方程：

24、 (9．31) 其中albedo因子的取值范圍是．術(shù)語albedo來源于拉丁語，意思是白色． 對于一個albedo變化的Lambertian表面，表面方向和albedo可同時得到恢復(fù)．設(shè)表面法線的表示式如下： (9．32) 假設(shè)有三個照明點(diǎn)光源．點(diǎn)光源的方向由單位矢量表示： (9．33) 從前面已知，由一個點(diǎn)光源照明的散射表面的亮度取決于表面法線和照明方向間的夾角的余弦值，因此，亮度就與這兩個矢量的點(diǎn)積有關(guān)．對每一個照明的點(diǎn)光源，因?yàn)橛胁?/p>

25、同的反射圖，所以就有不同的圖象輻照方程．對點(diǎn)光源，圖象輻照方程是： (9．34) 由點(diǎn)光源的方向矢量形成一個3×3矩陣： (9．35) 在圖象中的每一點(diǎn)得到三個圖象輻照測值的一個矢量： (9．36) 圖象中每一點(diǎn)的圖象輻照方程組可重新表示為： (9．37) 注意：，和取決于圖象平面中的位置，但不取決于圖象平面中的位置，對于一個給定排列位置的光源組，是一個常值．對

26、于圖象中的每個點(diǎn)，求解表示albedo和表面方向的矢量： (9．38) albedo是矢量的幅值．表面方向的單位法線可通過除以albedo得到． 對于一個給定分布的光源組，矩陣的逆可以通過使用上下三角形矩陣分解（LU分解）求得，不必對圖象中每個點(diǎn)重新計(jì)算來求得逆矩陣．實(shí)際上，對每一個應(yīng)用，只計(jì)算一次矩陣的逆，并存貯起來以便在后續(xù)的表面方向計(jì)算中重復(fù)使用．使用向后置換法[197, pp．39-45]，從圖象輻照矢量計(jì)算值．使用一個查找表可以迅速求解圖象輻照方程組，查找表圖象輻照三元組映射到albedo和表面方向．

27、 練習(xí) 9．1 考慮一個Lambertian表面反射圖。設(shè)表面方向?yàn)?，光源的方向?yàn)椋? a. 推導(dǎo)該Lambertian表面反射圖， b. 在梯度空間中求最亮的點(diǎn)， c. 在梯度空間中求的輪廓線， d. 證明：對于球面物體，當(dāng)光源位于觀察者所在方向時，的等亮度線輪廓為同心圓。 9．2 方程9．7將一個特定方向放射的能量與入射的能量相聯(lián)系．證明這種關(guān)系是線性系統(tǒng)．線性系統(tǒng)有同一性和疊加性的性質(zhì)．假定入射照明和BRDF是任意的． 　 a． 證明：如果對一個常數(shù)a，入射光線是，那么輻射就是，式中是對應(yīng)于照明時的輻射．這種性質(zhì)就是同一性． 　 b．證明：如果照明是，那么輻

28、射就是．式中和分別是照明和時的輻射．這些性質(zhì)表明對任意線性組合的光源產(chǎn)生的輻射是每個單獨(dú)光源產(chǎn)生輻射的線性組合． 計(jì)算機(jī)作業(yè) 9．1假設(shè)有一個攝象機(jī)，圖象平面的初始位置是(0, 1, 0)，透鏡中心位于(0, 0, 4)．假定遠(yuǎn)處有一個Lambertian物體，其中心位于正z軸上．圖象平面在，y軸方向上僅限于(-1, -1)，而一個位于點(diǎn)光源照明物體． a．寫一個程序，從鍵盤上獲取的值，計(jì)算出反射圖，并作圖顯示．將的值標(biāo)準(zhǔn)化，使其最大值相當(dāng)于255（顯示為白色）．讓位于顯示器的中心．注意都是無限的．但圖圖象是256×256．為從背景中分辨出物體，將背景圖象素設(shè)置為強(qiáng)度值64． b．假設(shè)物體是一個球，其半徑為3，中心位于(0, 0, 20)．計(jì)算并顯示由攝像機(jī)獲取的物體圖象．歸一化強(qiáng)度值使得圖象強(qiáng)度值分布在0和255之間．為了將物體同背景分開，將所有背景象素值設(shè)置成64． 專心---專注---專業(yè)