《北理工賈云德《計算機(jī)視覺》第九章彩色感知》由會員分享，可在線閱讀，更多相關(guān)《北理工賈云德《計算機(jī)視覺》第九章彩色感知（81頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、第九章彩色感知 Chapter 9 Color Perception Computer Vision Department of Computer Science @BIT 顏色 ?顏色是一種隨處可見的視覺感受，通常認(rèn)為是 由于不同波長的光作用于視覺系統(tǒng)，并引起不 同刺激的結(jié)果. III ?光是由不同波段的光譜組成的，每個波段稱為 一個通道，各種波長的光的量的不同比例，形 成不同的顏色，如短波光能量較大時呈現(xiàn)藍(lán) 色，相反呈現(xiàn)紅色. 顏色 ?對應(yīng)多個光譜的圖像稱為多光譜(multi- spectral image)圖象. ?顏色是一種令人感興趣的圖像特征，但由于 其所具有

2、的豐富性和復(fù)雜性，目前在機(jī)器視 覺中應(yīng)用顏色進(jìn)行圖像分析與理解還很困難. 9.1 人類顏色感知(Human Color Perception) ?內(nèi)了產(chǎn)生、處理和分析顏色，需要了解人對顏 色的反應(yīng)過程. ?可見光的波長分布在380nm到780nm之間，人 的顏色感覺是不同波長的可見光刺激人的視覺 器官的結(jié)果. ?人類視網(wǎng)膜上有兩類細(xì)胞：桿體細(xì)胞(rods)和 錐體細(xì)胞(cones).對顏色的區(qū)分主要由錐體細(xì) 胞完成? Y oung-Helmholtz 三色假說(Trichromacy) ?存在三種具有不同響應(yīng)的錐體感受器?當(dāng)光線 同時作用于這三種感受器時，三者產(chǎn)生的刺激 不同，

3、不同刺激的組合形成不同的顏色感覺. (Young-Helmholtz, 1891) ?三色假說得到了現(xiàn)代技術(shù)發(fā)展的證明: 在人類視網(wǎng)膜中確實(shí)含有三種不同的光敏感 性視色素，它們對光譜不同部位的敏感性是 不同的. 400 SOO 600 700 波長 O 8 O 6 4 2 O.0O. O 三種錐體感受器的光譜敏感示意圖 (Wald, 1964) RGB模型 用紅(Red, R) > 綠(Green, G) > 藍(lán)(Blue, B)三種 顏色作為三基色，通過三基色的加權(quán)混合形成 各種顏色. ? RGB模型構(gòu)成顏色表示的基礎(chǔ)，其他顏色表示 方

4、法可以通過對RGB模型的變換得到. 9.2 顏色表示(Color Representation) ?不同的顏色表示方法(或稱顏色模型，顏色系 統(tǒng)等等)都對應(yīng)一個顏色空間(color space), 一 種顏色是相應(yīng)顏色空間中的一個點(diǎn)或矢量. ?線性顏色空間(RGB模型的線性變換) RGB, CMY, XYZ, YIQ, YUV ?非線性顏色空間(RGB模型的非線性變換) Nrgb, Nxyz, L*a*b*, L*u*v*, HSV(HSI) ?各種顏色空間各有其特點(diǎn)和應(yīng)用場合. RGB顏色空間 ?選擇具有確定光通量的紅、綠、藍(lán)三基色作 為三維空間的基，組成RGB顏色空間，

5、可以 表示為單位立方體： . 灰度 .藍(lán) 青 RGB顏色空間 ?紅、綠、藍(lán)三基色光的波長國際標(biāo)準(zhǔn)分別 為：700nm，546. lnm，435.8nm ?標(biāo)準(zhǔn)白光的RGB光通量按以下比例混合而成: ①廠：① & :①b = 1: 4.5907 : 0.0601 相應(yīng)的紅、綠、藍(lán)光作為單位基色量 ?任意一種彩色光的光通量為: (C) = R(R) + G(G) + B(B) (C) = 0.06(7?) + 0.31(G) + 0.63(B)表示一種藍(lán)綠色 規(guī)范化RGB顏色空間(Nrgb ) ?三基色的加權(quán)混合，不僅反映了彩色的色度， 而且反映了彩色的亮度.

6、?如果只對色度感興趣，希望彩色不依賴于亮度 變忌I,則只需考慮R，G,B之間的比例關(guān)系： R G 7 B r = , g = , b = R + G + B R + G + B R + G + B r + g +Z? = 1 ? r, g,b稱為色度坐標(biāo)，只有兩個坐標(biāo)是獨(dú)立 的，形成二維色度空間. Computer Vision Department of Computer Science @BIT Computer Vision -2.5 -L5 6 5 1 L5 弐度圖 Department of Computer Science @BIT C

7、MY顏色空間 ?以青(Cyan),品紅(Magenta),黃 (Yellow)為三基色，其余同RGB顏色空間. RGB空間與CMY空間的關(guān)系 ?在RGB顏色空間中，顏色的形成是由黑到白的 增色處理過程，用于屏幕的彩色輸出. an ?在CMY顏色空間中，顏色的形成是由白到黑 的減色處理過程，用于繪圖和打印的彩色輸出. ? CMY和RGB的關(guān)系： c 1 R M — 1 — G Y 1 B CIE XYZ顏色空間 ?使用RGB模型產(chǎn)生顏色時，原基色比例系數(shù)可 能出現(xiàn)負(fù)數(shù)，使用起來不方便?同時，不同研 究者使用的三基色和標(biāo)準(zhǔn)白光不同，使

8、研究結(jié) 果難以比較. 國際照明委員會：CIE(Commission International de FEcairage-the International Commionsion on Illumination）定義了 XYZ顏色 模型. XYZ顏色空間 定義顏色是三基色X, Y, Z的加權(quán)組合: c = x(x)+ y(y)+ z(z) (X),(Y),(Z)是基色量，X,Y,Z是比例系數(shù) 滿足以下條件： 1.三色比例系數(shù)X,Y,Z大于零; 2. Y的數(shù)值等于彩色光的亮度; 3.當(dāng)X=Y=Z時表示標(biāo)準(zhǔn)白光. XYZ顏色空間 ?根據(jù)上述條件，可以得到XYZ與RG

9、B之間 的關(guān)系： Computer Vision Department of Computer Science @BIT Computer Vision Department of Computer Science @BIT (X) (Y) (Z) 2.7689 1.0000 0.0000 1.7517 4.5907 0.0565 1.1302T/? 0.0601 G 5.5943 B Computer Vision Department of Computer Science @BIT 規(guī)范化XYZ顏

10、色空間 ?對X,Y,Z三基色規(guī)范化： X Y X ~ X+Y + Z，y _ X+Y + Z ?只需考慮兩個獨(dú)立分量. Computer Vision Department of Computer Science @BIT 純彩色 Computer Vision Department of Computer Science @BIT Computer Vision Department of Computer Science @BIT CIE

11、 1931年x?y色度圖 規(guī)范化XYZ顏色空間(Nxyz) 色度圖中的顏色范圍可以表示成直線段或 多邊形. 互補(bǔ)色 主波段 Computer Vision Department of Computer Science @BIT 幾種顏色模型在x?y 色度圖中的位置： R G B NTSC制式 (0.670,0.323) (0.214,0.710) (0.140,0.084) PAL制式 (0.640,0.330) (0.290,0.600,) (0.150,0.060) CIE模型 (0.735,0.265) (0.274,0.7

12、17) (0.167,0.009) 彩色監(jiān)視器 (0.628,0.346) (0.268,0.588) (0.150,0.070) YIQ顏色空間 ?在XYZ顏色空間的基礎(chǔ)上，美國國家電視系統(tǒng) 委員會 (national television system committee, NTSC)制定了YIQ顏色空間： 「0.299 0.587 0.114 _ ~R 0.596 -0.274 -0.322 G 0.211 —0.523 0.312 B Y I Q ?Y表示亮度信息，保證彩色電視與黑白電視 的兼容 YUV顏色空間 ?歐洲電視系統(tǒng)彩

13、色標(biāo)準(zhǔn): Y~ ■ 0.299 0.587 0.114 _ ~R U — -0.147 -0.289 0.437 G V 0.615 -0.515 -0.100 B 線性顏色空間的問題 ?通過基色的比例關(guān)系定義不同色彩，難以用準(zhǔn) 確數(shù)值表示，定量分析比較困難. ?各基色成分的相關(guān)性很高，受亮度變化影響大. ?人眼通過顏色的亮度、色調(diào)以及飽和度區(qū)分物 體，不能直接感覺基色的比例. ?不是一致的顏色空間，即不能用一致的尺度度 量顏色差異，因此不能有效的比較顏色. ?主要用于顏色顯示，難以進(jìn)行圖像的處理與分 析. 顯示）表示人眼 無法與橢圓中

14、心 1 0.9 橢圓區(qū)域（放大 顏色進(jìn)行區(qū)分的 顏色范圍，橢 的大小、方向隨 著中心位置的變 化而變化，因此 不能用空間中的 歐式距離度量顏 色差異 規(guī)范化XYZ空間非一致性示意圖 顏色的三個基本屬性 ?為了定量描述顏色對人眼的視覺作用，選擇亮 度(brightness) ＞色調(diào)(hue) ＞色飽和度 (saturation)這三個與視覺特征有關(guān)的量來表示 顏色，稱為顏色的三個基本屬性. ?色調(diào)由物體反射光中占優(yōu)勢的波長決定(主波 段)，是顏色的最重要屬性，決定基本的顏色感 覺，如紅、橙、紫等等. ?色飽和度指顏色的鮮明程度，飽和度越高，顏 色越深，如深紅、淺紅等. ?

15、亮度是光波作用于感受器的強(qiáng)度. Computer Vision Department of Computer Science @BIT 色飽和度（白色和色調(diào)的相對比例） Computer Vision Department of Computer Science @BIT 顏色的三個基本屬性 ?人眼大概可識別128種不同的色調(diào)、130種不同 的色澤（色飽和度級），根據(jù)不同的色調(diào)，還 可識別相應(yīng)的亮度（明暗級）?總共可以識辨出大 約2

16、66240種不同的顏色. ?對于機(jī)器視覺來說，128種色調(diào)、8種色飽和度 級和16種明暗級基本夠用. Computer Vision Department of Computer Science @BIT HSV顏色空間 ?將色調(diào)、色飽和度和亮度編碼成RGB彩色值不 利于機(jī)器視覺算法的實(shí)現(xiàn).比如識別不同顏色 物體的簡單方法是設(shè)定色調(diào)閾值，但是在RGB 空間中很難回答以下問題： 這些色調(diào)閾值在RGB空間位于何處？ 在RGB空間中，如何將對應(yīng)于不同色彩物體的 色彩區(qū)域分離，分離曲面的形狀是什么？ 將色調(diào)閾值轉(zhuǎn)換為RGB表示的公式是什么？ 因此需要建立HSV模型. ?根據(jù)色調(diào)(

17、hue)、色飽和度(saturation)和 明度值(value)建立HSV顏色模型?有的用 / intensity, brightness, lightness等代替value,得 到HSI, HSB,HSL等模型. ?從RGB表示可以推導(dǎo)出HSV表示. Computer Vision Department of Computer Science @BIT HSV顏色空間 RGB空間到HSV空間的變換 ? r, g,b的所有可能值形成的軌跡是RGB空間 正像限的三角形：  ?明度值： 宀扣+ G + B） ?色調(diào): 顏色矢量與參考矢量的夾角 Com

18、puter Vision Department of Computer Science @BIT HSV顏色空間 cosH 二 （P — W）?（巧-W） Computer Vision Department of Computer Science @BIT ?色調(diào)： 2（r- （卩一 一 w）二 3 Department of Computer Science @BIT HSV顏色空間 ?色調(diào): cosH = 2R_G_B 2』(R _ Gf + (R — B)(G — B) ?色飽和度：

19、相對于全飽和色的比例 Computer Vision Department of Computer Science @BIT HSV顏色空間 Computer Vision Department of Computer Science @BIT HSV顏色空間 5=1 — Computer Vision Department of Computer Science @BIT CIE L*a*b*與L*u*v*顏色空間 ? CIE在XYZ顏色空間的基礎(chǔ)上，定義了兩種一致 顏色空間：L*a*b*空間，L*u*v*空間，有效

20、 的用于度量顏色之間的微小差異. ? L*a*b* 空間： 如r0?z0）是標(biāo)準(zhǔn)白光對應(yīng)的x，y，z值 Computer Vision Department of Computer Science @BIT L*u*v*顏色空間 Computer Vision =13L — Vo). 6Y ：X+ \5Y + 3Z' Department of Computer Science @BIT 色差(Color Difference) ?用(L*,a*,b*)或(L*,u*,v*)空間中的歐氏 距離度量色差. AEiib = .X/(A

21、L:S)2 + (△盧尸 + (Ab *)2. AEut? = X,/(AL;S)2 + (Aw*)2 +(4瀘). ? (L*，a*,b*)和(L*,u*，v*)是一致顏色空間 (uniform color spaces),距離度量不受空間 位置的影響?當(dāng)兩種顏色的距離低于所設(shè)定的 閾值時，人眼無法區(qū)分. HSV 與 L*a*b*(L*u*v*)的關(guān)系 ?可以很方便的從L*a*b*(L*u*v*)空間變換到 HSV空間. ? L*a*b*空間到HSV空間： H = arctan((2 */Z? *), 5 = *尸 + (b *尸,V 二厶 * ? L*u*v*空間到HSV空間

22、： H = arctan(w */u *), s = J (% + © *F, V =厶 * 9.3顏色特征 ?顏色直方圖 通過對圖象中的象素進(jìn)行遍歷即可建立; 對圖象檢索和物體識別有重要作用； 對于平移，繞光軸的旋轉(zhuǎn)，尺度的變化和部分 遮擋情況具有不變性. ?顏色矩特征 顏色直方圖 ? 一般直方圖： H(P)= \h(xx), h(x2),A , h(xn)] /z(x )= S(：J —某1特征對應(yīng)像素數(shù) "DC)—總像素數(shù) J n為特征個數(shù) 反映了特征的概率分布情況 顏色直方圖 ?累加直方圖： 設(shè)一般直方圖為：H（P）= \h（xx）

23、,h（x2）,A ,h（xn）］ 令久（兀）=£力（勺） j=l 則累加直方圖為： 2（P）=［恥1 ），幾（兀2 ），A ，幾（£ ）］ 顏色直方圖 ?二維直方圖： 設(shè)原圖像為X二仏} 對圖像進(jìn)行平滑后得到的圖像為Y= } 二元組(x,y)七,山稱為原圖像的廣義圖像. 廣義圖像的直方圖為二維直方圖. 二維直方圖含有原圖像顏色的空間分布信息， 對于顏色組成接近而空間分布不同的圖像，通 過二維直方圖可以更好的區(qū)分. 基于顏色直方圖的特征 ?基于直方圖可以定義不受特征線性變換影響的 不變特征量. ? 一般直方圖： p（0> 0表示顏色直方圖，J

24、p^dx = 1 X的k階矩定義為：mk=\xkP（x）dx k階中心矩定義為：曲- J （% - mj ）A P（x）dx X的線性變換為：x' - ax+ b 基于一般顏色直方圖的特征 ?則X，的概率密度函數(shù)為: 能）十「 |叫I Q丿 ?進(jìn)而確定X啲1階矩與K階中心矩為: m[ = amx + b，= J 以 的特征: ?由此可以確定幾個對x的線性變換具有不變性 “6 “2“4 “4 “4 r _ ~2，丿2 — “2 基于二維顏色直方圖的特征 P（x, y） > 0表示二維直方圖，JJ戶（兀,y）dxdy = 1 （j,k）矩為 mj

25、k^\\xJyk P（x, y^dxdy （j,k）中心矩為 Pjk 二 JJ（x - 叫0 ）' （y -加0 J 戶（兀，y）dxdy 對于x,y的線性變換：兀'=aix + b],y, = a2x + b2 其聯(lián)合概率密度函數(shù)為: 1 -p xf — b、x1 — Z?2 9 °2 < a\ a2 7 P（Z'） =  基于二維顏色直方圖的特征 ?從而有以下關(guān)系: mi,o 二%“,o+» 加I = a2m0A+b2 ?由此可以構(gòu)造幾個對x，y的線性變換具有不變性 的特征量： “4,4 “6,6

26、As,8 gl = ，&2 = ，&3 = “2,2“2,2 “2,4“4,2 “4,4“4,4 顏色矩 ?顏色矩是一種簡單有效的顏色特征，以HSV空 間中的H分量為例，其前三階顏色矩分別為: 第i個像素的H值 1 n I r 1 n M嚴(yán)2£h(p), m2= n仁 Ln臺 i ■ 1 N I3 m2=註(h(p)-m$ N i=\ ?類似的，可定義HSV空間中另兩個分量的顏 色矩. 9.4 彩色不變性(Color Constancy) 彩色不變性是指對物體顏色的判斷不受照明條 件的影響. 人類視覺具有彩色不變性. ?彩色不變性

27、問題可以認(rèn)為是從圖像顏色中恢復(fù) 表面顏色(surface color from image color)的問 題? 圖像顏色模型 ?圖像中物體的顏色是由照射光源的光譜成分、 光線在物體上反射和吸收的情況，以及攝像機(jī) 的光譜響應(yīng)情況決定的?如藍(lán)色物體在日光下 呈現(xiàn)藍(lán)色，在紅光照射下，呈現(xiàn)紅紫色. 圖像顏色模型 ?在圖像亮度的形成機(jī)制上添加光譜變量. ?光譜輻射度(Spectral Radiance): 乙入(吧,0冷) 0入(碼0,0)4入 ?光譜雙向反射分布函數(shù)(Spectral BRDF): 反射方向上光譜輻射度與入射方向上光譜輻 照度的比例 ?光譜反射率(Spect

28、ral Reflectance) ?光譜反照率(Spectral Albedo) Computer Vision Department of Computer Science @BIT 00 ■ o ■ o ■ o 2 ■ o 5 ■ o 3 ■ o ■ o ① oueQ①一o」 匚？ Computer Vision Department of Computer Science @BIT 圖像

29、顏色模型 ?物體表面一點(diǎn)反射的光譜由物體表面光譜反射 和光源光譜決定: S(X ,2)E(2) ?假設(shè)攝像機(jī)有p個敏感器，每個敏感器的光譜 響應(yīng)為Rk (2),則圖像上一點(diǎn)處該敏感器的 輸出為：“(X) = £X⑷S(X,2)E(/l)d/l ?圖像上一點(diǎn)處的彩色信息為: 0(X ), P2(X Pp(X) 彩色不變性 ?彩色不變性就是根據(jù)這些彩色信息恢復(fù)場景表 面光譜反射S(X,刃,而忽略光源光譜E(九) ?通常用有限維線性模型對表面光譜反射和光 源光譜進(jìn)行建模： S(X,2) =工 k(X)SQ) m E(Q =》£jEj(心 J=1

30、 彩色不變性 ?基于這種有限維線性模型，獲得攝像機(jī)一個光 幾（x） = j\（邛（X,2）E（2）必 敏感器的輸出為: 、 j（X）E;（2）dX 丿 =Z 6(X >7 (x )(J Rk ⑷ sGd ⑷說) #1J=1 =工5(X足(g #1,戶 1 彩色不變性 Gjjk訂彼⑷S,（2）dSW已知 問題轉(zhuǎn)化為根據(jù)上述等式求解6 分為兩種情況： 1 ?環(huán)境照明已知，即力已知 2.環(huán)境照明未知 環(huán)境照明已知 gm n 2>,(x)勺壬 Zik—p ，=1J=1 ，=1 形成線性方程組，可寫成矩陣形式： 當(dāng)p等于n時，求封閉解；p大于n時，求最

31、 小二乘解 環(huán)境照明未知 ?首先恢復(fù)環(huán)境照明，然后求解表面反射 ?假設(shè)環(huán)境照明對所有點(diǎn)一樣，用多個場景點(diǎn)信 息計算環(huán)境照明. ?從S個不同的空間點(diǎn)上，可得到sp個不同的測量 值，對應(yīng)sn個表面反射未知數(shù)和m個環(huán)境光譜 未知數(shù)?這說明只有當(dāng)sp?sn>m時，才能求解. 要求p>n?當(dāng)p=n+l時，要求s>m. ?當(dāng)p=n+l時，根據(jù) Q = n維表面反射空間被映射到n+1維空間 環(huán)境照明未知 ?例如：當(dāng)p=3, n=2時，表面反射空間對應(yīng)于三 維敏感器空間中的一個平面. ?兩步算法: 確定覆蓋敏感器空間中各個測量點(diǎn)的平面, 獲得照明矩陣A&am

32、p; 2?根據(jù)。二A&6求解表面反射矢量cr Computer Vision Department of Computer Science @BIT 重點(diǎn)回顧 ?三基色原理 ?顏色表示方法 ?顏色特征 ?彩色不變性 Computer Vision Department of Computer Science @BIT 補(bǔ)充參考書目 ? Computer Vision: A Modern Approach，D. A. Forsyth and J. Ponce，Pearson Education，2002. ? Color Image Seg

33、mentation: advances and prospects，H. D. Cheng et al.，Pattern Recognition, 2001,34: 2259-2281 ? Color and Texture Descriptors^ B. S. Manjunath et al.，IEEE Trans. Circuits and System for Video Technology, 2001,11(6): 703-715 補(bǔ)充參考書目 ? The Future of Color-Science and Technolgoy， R. W? G. Hunt, 9th Congress of the International Colour Association^ Proceedings of SPIE Vol. 4421，2002 作業(yè) ?思考題 1 ?說明主要的顏色空間及其特點(diǎn)和用途. 書上10?9,10.10 Computer Vision Department of Computer Science @BIT