《北理工賈云德《計算機視覺》chapter14二維運動估計(共25頁)》由會員分享，可在線閱讀，更多相關(guān)《北理工賈云德《計算機視覺》chapter14二維運動估計(共25頁)（25頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、精選優(yōu)質(zhì)文檔-----傾情為你奉上 第十四章 二維運動估計 早期設(shè)計的機器視覺系統(tǒng)主要是針對靜態(tài)場景的，為了滿足更高級的應(yīng)用需求，必須研究用于動態(tài)場景分析的機器視覺系統(tǒng)．動態(tài)場景分析視覺系統(tǒng)一般需要較大的存儲空間和較快的計算速度，因為系統(tǒng)的輸入是反應(yīng)場景動態(tài)變化的圖像序列，其包含的數(shù)據(jù)十分巨大．圖像動態(tài)變化可能由攝象機運動、物體運動或光照改變引起，也可能由物體結(jié)構(gòu)、大小或形狀變化引起．為了簡化分析，通常我們假設(shè)場景變化是由攝象機運動和物體運動引起的，并假設(shè)物體是剛性的． 根據(jù)攝象機和場景是否運動將運動分析劃分為四種模式：攝象機靜止－物體靜止，攝象機靜止－物體運動，攝象機運動－物體靜止，

2、攝象機運動－物體運動，每一種模式需要不同的分析方法和算法。攝象機靜止－物體靜止模式屬于簡單的靜態(tài)場景分析．攝像機靜止－場景運動是一類非常重要的動態(tài)場景分析，包括運動目標檢測、目標運動特性估計等，主要用于預(yù)警、監(jiān)視、目標跟蹤等場合。攝象機運動—物體靜止是另一類非常重要的動態(tài)場景分析，包括基于運動的場景分析、理解，三維運動分析等，主要用于移動機器人視覺導(dǎo)航、目標自動鎖定與識別等．在動態(tài)場景分析中，攝象機運動—物體運動是最一般的情況，也是最難的問題，目前對該問題研究的還很少． 圖像運動估計是動態(tài)場景分析的基礎(chǔ)，現(xiàn)在已經(jīng)成為計算機視覺新的研究熱點。根據(jù)所涉及的空間，將圖像運動估計分為二維運動估計和三

3、維運動估計，顯然，這種劃分不是十分嚴格，因為二維運動參數(shù)的求解有時需要三維空間的有關(guān)參數(shù)引導(dǎo)，而許多三維參數(shù)的求解需要以二維參數(shù)為基礎(chǔ)。本章主要討論二維運動估計，三維運動估計和分析將在第十五章討論。 14.1圖像運動特征檢測 　　對許多應(yīng)用來說，檢測圖像序列中相鄰兩幀圖像的差異是非常重要的步驟．場景中任何可察覺的運動都會體現(xiàn)在場景圖像序列的變化上，如能檢測這種變化，就可以分析其運動特性．如果物體的運動限制在平行于圖像平面的一個平面上，則可以得到物體運動特性定量參數(shù)的很好估計．對于三維運動，則只能得到物體空間運動的定性參數(shù)估計．場景中光照的變化也會引圖像強度值的變化，有時會引起較大的變化．動

4、態(tài)場景分析的許多技術(shù)都是基于對圖像序列變化的檢測．檢測圖像變化可以在不同的層次上進行，如像素、邊緣或區(qū)域．在像素層次上要對所有可能的變化進行檢測，以便在后處理階段或更高層次上使用． 14.1.1差分圖像 檢測圖像序列相鄰兩幀之間變化的最簡單方法是直接比較兩幀圖像對應(yīng)像素點的灰度值．在這種最簡單的形式下，幀與幀之間的變化可用一個二值差分圖像表示： (14.1) 式中是閾值． 在差分圖像中，取值為1的像素點被認為是物體運動或光照變化的結(jié)果．這里假設(shè)幀與幀之間配準或套準得很好．圖14.1和14.2示意了兩種圖像變化情況，一種是由于光照變化造成的圖像變化，另一

5、種是由于物體的運動產(chǎn)生的圖像變化．需要指出，閾值在這里起著非常重要的作用．對于緩慢運動的物體和緩慢光強變化引起的圖像變化，在一個給定的閾值下可能檢測不到． (a) (b) (c) 圖14.1 (a)和(b)是取自一個運動攝象機獲取的靜態(tài)場景圖像序列的兩幀圖像， (c)是它們的差分圖像(T=40) (a) (b) (c) 圖14.2 (a)和(b)是取自光照變化的圖像序列的兩幀圖像

6、， (c)是它們的差分圖像(T=80) 　　(1) 尺度濾波器 　　在實際中，使用上述差分方法計算的差分圖像經(jīng)常會含有許多噪聲．一個簡單噪聲消除方法是使用尺度濾波器，濾掉小于某一尺度的連通成分，因為這些像素常常是由噪聲產(chǎn)生的，留下大于某一尺度閾值的4-連通或8-連通成分，以便作進一步的分析．對于運動檢測，這個濾波器非常有效．但也會將一些有用的信號濾掉，比如那些來自于緩慢運動或微小運動物體的信號．在圖14.3中，我們給出了圖14.1、14.2圖像差分圖像的尺度濾波結(jié)果． (a) (b) 圖14.3 (a)圖14.1

7、差分圖像的尺度濾波結(jié)果 (b)圖14.2差分圖像的尺度濾波結(jié)果 　　(2) 魯棒檢測方法 為了使圖象變化檢測更魯棒，可以使用統(tǒng)計方法或基于強度分布的局部逼近方法來比較兩幀圖像之間的光強特性，比如使用第三章討論過的似然比 (14.2) 來進行兩幀圖像之間的比較，(式中m和s表示區(qū)域的平均灰度和方差)，然后計算差分圖像： 　 (14.3) 式中是閾值．對于許多真實場景，將似然比和尺度濾波組合起來使用是非常有效的． 　　上面討論的似然比測試是基于區(qū)域服從

8、均勻二階統(tǒng)計的假設(shè)．如果使用小平面和二次平面來近似這些區(qū)域，似然比測試方法的性能還能有顯著的提高．注意，似然比測試是在像素層次上檢測相似度,，因此只能確定所考察的區(qū)域是否有同樣的灰度特征；有關(guān)區(qū)域的相對強度信息則沒有得到保留．使用似然比方法檢測圖像序列中的運動部分可能增加計算量。 　　(3) 累積差分圖像 緩慢運動物體在圖像中的變化量是一個很小的量，尺度濾波器可能會將這些微小量當作噪聲濾掉．當使用魯棒檢測方法時，因為是基于區(qū)域的變化檢測，因此會使得檢測小位移或緩慢運動物體的問題變得更加嚴重． 　　解決這一問題的一種方法是累積差分圖像方法(accumulative differ

9、ence picture, )，其基本思想是通過分析整個圖像序列的變化(而不是僅僅分析兩幀之間的變化)來檢測小位移或緩慢運動物體．這種方法不僅能用來可靠檢測微小運動或緩慢運動的物體，也可用來估計物體移動速度的大小和方向以及物體尺度的大?。鄯e差分圖像可分為一階累積差分圖像()和二階累積差分圖像()。 一階累積差分圖像的形成過程如下：將圖像序列的每一幀圖像與一幅參考圖像進行比較，當差值大于某一閾值時，就在累積差分圖像中加1．通常將圖像序列的第一幀作為參考圖像，并且置累積差分圖像的初始值為0．這樣，在第幀圖像上的累積差分圖像為： (14.4) 圖14.4是利

10、用累積差分圖像檢測的結(jié)果示意圖． 二階差分圖像的構(gòu)造為：對應(yīng)于第幀的二階差分圖像在位置的值為“1”，表明在這個位置上第幀和第幀的一階差分圖像具有不同的符號． (14.5) 累積差分圖像具有許多性質(zhì)，可以用于描述物體運動的總體參數(shù)[Jain] (a) (b) (c) 圖14.4 (a) 第一幀圖像（參考圖像），(b) 第三幀后的累積差分圖像， (c) 最后一幀后的累積差分圖像 用于運動檢測的差分圖像的最大特點是它的簡單性，但差分圖像極易受噪

11、聲污染．照明和攝象機位置的改變，以及攝象機的電子噪聲，都會產(chǎn)生很多錯誤數(shù)據(jù)．將似然比和尺度濾波器組合起來能消除大部分攝象機噪聲．照明的改變會給所有基于光強的運動檢測方法帶來問題，這些問題有可能在后期的分析和理解層次上得以解決．圖像序列各幀之間的錯誤套準也會導(dǎo)致錯誤數(shù)據(jù)，如果套準錯誤不十分嚴重，則累積差分圖像還是可以消除這些錯誤數(shù)據(jù)的． 必須強調(diào)，在像素層次上檢測不相似度只能通過檢測光強變化來實現(xiàn)．在動態(tài)場景分析中，這是最低層次的分析．在檢測完像素變化以后，還需要通過其它的處理過程來解釋這些變化．經(jīng)驗表明，差分圖像最有效的應(yīng)用是對圖像進行概略處理，以便將解釋的注意力引向場景中出現(xiàn)“活動

12、”的區(qū)域．場景中事件的粗略信息也可由差分圖像中的某些特征來提?。? 14.1.2　時變邊緣檢測 我們知道，邊緣在靜態(tài)場景圖像分析中起著十分重要的作用，因此有理由推測時變邊緣在動態(tài)場景圖像分析中也是非常重要的．在進行圖像分割與匹配方法中，人們將精力主要集中在靜態(tài)特征與運動特征之間的匹配．實際上，這些靜態(tài)特征是運動信息提取的最大障礙．如果直接檢測運動特征，那么完成匹配所需的計算量可以根本上大大減?。? 一條邊緣運動后仍然是一條邊緣．運動邊緣是通過邏輯“與”算子對時間和空間梯度進行組合來實現(xiàn)，其中的“與”算子可以由乘法來完成．這樣，圖像中一點的時變邊緣由下式給出：

13、 (14.6) 式中和分別是點的光強在空間和時間上的梯度值． 各種傳統(tǒng)的邊緣檢測方法可用于計算空間梯度，而簡單的差分方法可用于計算時間梯度．在大多數(shù)情況下，邊緣算法很有效．為了克服遺漏緩慢運動邊緣和弱邊緣的問題，可將一個閾值作用于上式的乘積，而不是一階差分，然后使用邊緣檢測器或一階檢測邊緣器算出它們的時間梯度[Jain]，如圖14.5和14.6所示．由圖14.6可見，這種邊緣檢測方法將對有清晰邊緣的緩慢運動和以適當速度運動的弱邊緣響應(yīng)．這種檢測方法的另一個重要特點是不需要對任何位移大小作出假設(shè)．當邊緣的運動非常大時，檢測器的性能也是十分滿意的． (

14、a) (b) (c) 圖14.5 時變邊緣檢測器運行結(jié)果示意圖 圖14.6 邊緣檢測器的性能曲線 14.1.3　運動對應(yīng)性 　　已知一個圖像序列，我們可以分析并確定序列中每一幀圖像上的特征點．為估計圖像運動特性，必須在圖像各幀之間建立這些特征點的對應(yīng)關(guān)系．運動圖像的對應(yīng)問題與立體視覺中的對應(yīng)問題相似，不過立體視覺使用的約束主要是外極線約束，運動圖像對應(yīng)問題使用的是其它類型的約束．下面討論一種約束傳播方法來解決對應(yīng)問題． 　　(1) 松弛標記 標記(labelin

15、g)是指將一組已知標記分配給場景中對應(yīng)的各個物體。標記問題可以表示為如圖14.7所示的形式．每一個節(jié)點表示一個標記區(qū)域（或物體），連結(jié)節(jié)點的弧線表示區(qū)域間的關(guān)系．假定每一個節(jié)點上有一個處理器，在每一個節(jié)點上定義集合，，和．集合包含節(jié)點間所有可能的關(guān)系（relation）；集合表示這些關(guān)系的相容性（compatibility），相容性將有助于對關(guān)系進行約束以及對圖像中每個區(qū)域的標記進行約束；集合包含所有指定給該節(jié)點的標記；集合表示計算過程中賦予節(jié)點的所有可能的層次．假定在第一次迭代中，節(jié)點的可能的標記集合對所有的來說都是，換句話說，所有節(jié)點的初始標記是所有可能的標記．在第k次迭代過程中，標記算法

16、將從“”中除去無效標記，得到．去除標記的依據(jù)建立在節(jié)點當前標記、該節(jié)點與其它節(jié)點的關(guān)系、各種約束等基礎(chǔ)上，因此，每一個處理器都有足夠的信息來獨立地對其標記集合進行細化．這樣，所有的處理器就有可能同步工作．需要指出，在任一時刻，處理器只使用能直接可得到的信息，這就是說，只使用從屬于該節(jié)點對應(yīng)區(qū)域的信息．但是，每一次迭代都通過它的鄰節(jié)點或關(guān)聯(lián)節(jié)點把效應(yīng)傳播給其它沒有直接關(guān)系的節(jié)點，即每一次迭代都會增加節(jié)點的影響圈． 圖14.7 并行傳播示意圖 　　 對大多數(shù)應(yīng)用來說，在標記過程開始前，有關(guān)物體的一些知識是可以得到的．分割或標記前進行的其它處理過程又常常可以提供用于細化節(jié)點初始集合的知

17、識．標記過程可以進一步細化這些標記集合，以使得每一個區(qū)域?qū)?yīng)唯一的標記．下面考慮一種與上面所述的標記問題稍微不同的標記問題．基于某種酉關(guān)系，標記集合 可以分配給一個區(qū)域。為了確定標記分配正確與否，給每個標記 確定一個置信度．這個置信度和概率一樣，表示了一種信任度，即基于圖像提供的證據(jù)給某個區(qū)域分配某個標記的置信度．因此，對每個元素，一個非負概率表示標記是節(jié)點的正確標記的置信度． 標記過程實際上是使用約束來細化每個標記的置信度．置信度受連通節(jié)點標記的置信度影響，這樣，在第次迭代中，節(jié)點的標記的置信度是置信度和所有直接有關(guān)的節(jié)點標記的置信度函數(shù)．在每一次迭代中，一個節(jié)點受制于其它所有有關(guān)節(jié)點的標

18、記，然后使用已知約束來更新該標記的置信度．標記過程的結(jié)束有兩種情況，一種是當每個節(jié)點都有一個唯一的標記，另一種是置信度達到一個穩(wěn)定的狀態(tài)． 　　上面的過程通常稱為松弛標記過程，即依據(jù)局部的證據(jù)決定哪一種可能的解釋是正確的．盡管使用的證據(jù)是局部的，但最終的解釋結(jié)果在全局范圍內(nèi)是正確的．在每次迭代中，一個標記的置信度只受直接關(guān)聯(lián)的節(jié)點的影響．但是，這種影響在后面的迭代中會傳播給其它的節(jié)點，并且，隨著迭代的深入，影響的范圍也增大．在松弛標記中，約束是通過相容性函數(shù)來確定的．假設(shè)區(qū)域?qū)?yīng)的物體和由相聯(lián)系，并在這種聯(lián)系下標記和分配給和的可能性最大．此時，對應(yīng)將增大對應(yīng)的可能性．同樣也有可能利用某些標記

19、的不相容性來降低一個標記的置信度． 　　下面，我們討論使用松弛標記技術(shù)來確定圖像中視差值的一個算法．在本章后面要討論的確定光流的算法，也是松弛標記方法的一個例子． 　　(2) 視差計算松弛標記法 匹配問題就是把第一幅圖像中的點與第二幅圖像上的點對應(yīng)起來．這兩點之間的視差是兩點之間的位移矢量： 　　　 (14.7) 匹配的兩個點稱為共軛對． 　　在匹配過程中可能用到如下三個性質(zhì)： 離散性：各點之間明顯區(qū)別的測度． 相似性：兩個點之間相似程度的測度． 一致性：一個匹配點與鄰近其它匹配點變化一致程度的測度．

20、 離散性是指特征必須是一個個孤立的點．例如，線段就不是一個好的特征，因為一個點能匹配線段上的許多點．離散性將圖像視差分析問題退化成有限數(shù)量點的匹配問題，因此，離散性把搜索的成本降到了最低程度． 潛在匹配點的集合可以形成一個雙向聯(lián)接圖，匹配問題就是從中選擇一種聯(lián)接圖．最初每個節(jié)點都可認為與其它每個節(jié)點都有一個匹配聯(lián)接，如圖14.8 所示．使用某一判據(jù)，對應(yīng)問題的目標就是求每一個節(jié)點對應(yīng)的一個匹配而去除所有其它的聯(lián)系．相似特性是指兩個潛在的匹配點相互接近的程度，這是一個關(guān)聯(lián)性的測度．相似性可以在所選離散特征點的任何性質(zhì)基礎(chǔ)上進行測量． 圖14.8 (a)圖是一個完全的雙向圖

21、．A組的每一個節(jié)點與B組的每一個節(jié)點相聯(lián)接．使用節(jié)點(點)的特征和其它一些知識，對應(yīng)性算法將給每一個節(jié)點只保留一個聯(lián)接，而消除所有其它的節(jié)點，如圖(b)所示 　　假設(shè)物體的運動特性良好，則一致性意味著場景中表面的空間連續(xù)性．一致性判據(jù)可以實現(xiàn)顯而易見的匹配，改善了對復(fù)雜匹配的分析．一些點之間有著足夠的分類特征和相似特征，很容易對其進行匹配；這樣的匹配在鄰近點匹配過程中是十分有用的． 　　使用角點檢測器或特征檢測器可以從圖像中檢測出離散特征點．Moravec興趣算子就是這樣一種特征檢測器．這個算子可以檢測那些至少在一個方向上光強值迅速改變的點．算子執(zhí)行的步驟如下： 1. 用一個5× 5

22、的窗口計算四個方向(水平、垂直和兩個對角線方向)上像素差平方和． 2. 計算出這些方差的最大值． 3. 抑制所有非局部最大值的點． 4. 用一個閾值來去除弱特征點． 　　任何特征檢測器都可用來取代上面的算子．如計算每一點的曲率值并選擇高曲率值作為特征． 接下來的工作是對第一幅圖像中的每個特征點與第二幅圖像中的所有特征點在最大距離范圍內(nèi)進行配對．這將消除完全雙向圖中的許多聯(lián)接．那些消除掉的是兩圖像中差別很大的點之間的聯(lián)接，因為，它們不可能成為候選匹配點．每一個節(jié)點包含第一幅圖像中的一個位置和一組可能的標記(視差矢量)．一組視差標記是一組位移矢量或是未定義的視差．

23、匹配的初始概率通過使用兩圖像特征點之間的相似測度來計算．人們一般使用對應(yīng)窗口中所有像素差的平方和為測度． 下面的步驟可以用來給這些概率賦值．設(shè)是一個點的一個候選標記，表示該點的一個視差向量．我們先計算，即點與其潛在匹配點之間的相似度： (14.8) 式中是對應(yīng)于標記的視差平方和，是一個正的常數(shù)．這個點不足以定義視差的概率是： (14.9) 這個概率值是由與最相似點的相似度來確定的．如果沒有很強的相似點，那么有可能這個點在這圖像中就沒有匹配．各個匹配(標記)點的概率是

24、 (14.10) 式中是條件概率，節(jié)點具有標記，求和是不包含“未定義”標記的所有標記．使用一致性和迭代松弛算法可以使概率估計逐漸精細．在這個算法中，每個節(jié)點上的標記是加強還是減弱，是以本次迭代中相鄰節(jié)點的標記為基礎(chǔ)的．這里使用的最重要的性質(zhì)是在給定的鄰域中，所有的視差都是相似的．這樣，鄰域中具有相似視差的節(jié)點相互加強，而視差不相似的節(jié)點則被減弱了．下面的方法可以來實現(xiàn)這一思想． 讓我們考慮點所有鄰點的視差矢量概率．對每個鄰點，將那些與的視差相近或相似的標記(視差)概率加起來： (14.11) 其

25、中是的所有鄰點的集合，是與視差相似的那些標記的集合．現(xiàn)在使用迭代計算來逐漸精細概率值： (14.12) 其中常量和用來控制算法的收斂速度．通常，只進行幾次迭代就能得到一個好的解．另外，去掉低概率值的匹配點可以有效地提高算法的速度．圖14.9示意的是一個序列中的兩幅圖像，圖14.10是使用上面算法計算視差的迭代過程示意圖．有興趣的讀者可以參見文獻[Barbard 1980]． 圖 14.9 立體圖像對 圖14.10使用松弛算法求匹配特征點視差示意圖，(a) 對圖14.9進行 初始概率分配，(b) 、(c)和(d)是第

26、2、第6和第10次迭代結(jié)果 14.2 光流法 光流法是運動圖像分析的重要方法．本節(jié)首先介紹光流的基本概念和圖像運動估計的基本問題，然后討論光流方程，基于光流方程的一些圖像分析方法和算法見14.3節(jié)。 14.2.1 運動場與光流 　　給圖像中的每一像素點賦予一個速度向量，就形成了圖像運動場(motion field)． 在運動的一個特定時刻，圖像上某一點對應(yīng)三維物體上某一點，這種對應(yīng)關(guān)系可以由投影方程得到．在透視投影情況下，圖像上一點與物體上對應(yīng)一點的連線經(jīng)過光學中心，該連線稱為圖象點連線(Point ray)，如圖14.11所示 圖14.11 三維物體上一點運動的二維投影

27、　　設(shè)物體上一點相對于攝像機具有速度，從而在圖像平面上對應(yīng)的投影點具有速度．在時間間隔時，點運動了，,圖像點運動了．速度可由下式表示： 　　　　　　　　　　(14.13) 式中和之間的關(guān)系為： (14.14) 其中，表示圖像平面到光學中心的距離，表示軸的單位矢量． 式（14.14）只是用來說明三維物體運動與在圖像平面投影之間的關(guān)系，但我們關(guān)心的是圖像亮度的變化，以便從中得到關(guān)于場景的信息。 　　當物體運動時，在圖像上對應(yīng)物體的亮度模式也在運動．光流(optical flow)是指圖像亮度模式的表觀（或視在）運動 (appa

28、rent motion)[Horn 1986]．使用“表觀運動”這個概念的主要原因是光流無法由運動圖像的局部信息唯一地確定，比如，亮度比較均勻的區(qū)域或亮度等值線上的點都無法唯一地確定其點的運動對應(yīng)性，但運動是可以觀察到的．與光流同義的另一個常用術(shù)語是圖像流(image flow)． 在理想情況下，光流對應(yīng)于運動場，但這一命題不總是對的．圖14.12所示的是一個非常均勻的球體，由于球體表面是曲面，因此在某一光源照射下，亮度呈現(xiàn)一定的空間分布或叫明暗模式．當球體在攝像機前面繞中心軸旋轉(zhuǎn)時，明暗模式并不隨著表面運動，所以圖像也沒有變化，此時光流在任意地方都等于零，然而，運動場卻不等于零．如果球體不

29、動，而光源運動，明暗模式運動將隨著光源運動．此時光流不等于零，但運動場為零，因為物體沒有運動．一般情況下可以認為光流與運動場沒有太大的區(qū)別，因此允許我們根據(jù)圖像運動來估計相對運動． 圖14.12 光流與運動場差別示意圖 14.2.2 光流約束方程 　　設(shè) 是圖像點在時刻的照度，如果和是該點光流的和分量，假定點在時運動到時，照度保持不變，其中，，，即 (14.15) 這一約束還不能唯一地求解和，因此還需要其它約束，比如，運動場處處連續(xù)等約束． 如果亮度隨、、光滑變化，則可以將上式的

30、左邊用Taylor級數(shù)展開， (14.16) 其中是關(guān)于、、的二階和二階以上的項．上式兩邊的相互抵消，兩邊除以，并取極限，得到 (14.17) 上式實際上是下式的展開式 (14.18) 設(shè) 則由式(14.17)得到空間和時間梯度與速度分量之間的關(guān)系： 　 　　(14.19) 或 (14.20)

31、上述方程稱為光流約束方程．在上面的方程中，，和可直接從圖像中計算出來． 實際上，上述光流約束方程產(chǎn)生的是恒值亮度輪廓圖像運動的法向分量，其中和分別是法向運動分量的方向和大?。? （14.21） 圖像中的每一點上有兩個未知數(shù)和，但只有一個方程，因此，只使用一個點上的信息是不能確定光流的．人們將這種不確定問題稱為孔徑問題(aperture problem)．理論上分析，我們僅能沿著梯度方向確定圖像點的運動，即法向流(normal flow)．假定物體的運動方向為，如圖14.12所示．如果基于一個局部窗口(即孔徑1)來估計運動，

32、則無法確定圖像是沿著邊緣方向還是垂直邊緣方向運動，其中沿著垂直邊緣方向的運動就是法向流．但是，如果我們再來觀察孔徑2，就有可能確定正確的運動，這是由于圖像在孔徑2中的兩個垂直邊緣方向上都有梯度變化．這樣，在一個包含有足夠灰度變化的像素塊上有可能估計圖像運動．當然，這里隱含著一個假設(shè)，那就是像素塊里的所有像素都具有相同的運動矢量． 圖14.13 孔徑問題示意圖 14.3光流計算 由上節(jié)討論可知，由于孔徑問題的存在，僅通過光流約束方程而不使用其它信息是無法計算圖像平面中某一點處的圖像流速度，本節(jié)將討論如何克服孔徑問題，并求出圖像流的幾種方法。 14.3.1 Horn-Schunck

33、法 Horn和Schunck[Horn]使用光流在整個圖像上光滑變化的假設(shè)來求解光流，即運動場既滿足光流約束方程又滿足全局平滑性．根據(jù)光流約束方程，光流誤差為 (14.22) 其中。對于光滑變化的光流，其速度分量平方和積分為 (14.23) 將光滑性測度同加權(quán)微分約束測量組合起來，其中加權(quán)參數(shù)控制圖像流約束微分和光滑性微分之間的平衡： (14.24) 其中是控制平滑度的參數(shù)，越大，則平滑度就越高，則估計的精度也越高．使用變分法將上式轉(zhuǎn)化為一對偏微分方程：

34、 (14.25) 用有限差分方法將每個方程中的拉普拉斯算子換成局部鄰域圖像流矢量的加權(quán)和，并使用迭代方法求解這兩個差分方程． 下面只考慮離散的情況．在一點及其4鄰域上，根據(jù)光流約束方程，光流誤差的離散量表示式為： (14.26) 光流的平滑量也可由點與它的4鄰域點的光流值差分來計算： (14.27) 則極小化函數(shù)為： (14.28) 關(guān)于和的微分是： (14.29) 其中和分別是和在點處的平均值．當上式為零時

35、，則式14.28取極小值，因此得到： (14.30) 從上面兩個方程可以求出和．實際中，經(jīng)常將求解和表示成迭代方程： (14．31) 其中是迭代次數(shù)，和是光流的初始估值，一般取為零．當相鄰兩次迭代結(jié)果的距離小于預(yù)定的公差值，迭代過程終止． Horn-Schunck光流法實驗結(jié)果見圖14.15。 14.3.2 Lucas-Kanade方法 Lucas和Kanade[Lucas 1981] 假設(shè)在一個小的空間鄰域上運動矢量保持恒定，然后使用加權(quán)最小二乘方( weighted least-squares)估計光流。在一個小的空

36、間鄰域上， 光流估計誤差定義為 (14.32) 其中表示窗口權(quán)重函數(shù)，它使鄰域中心部分對約束產(chǎn)生的影響比外圍部分更大。設(shè)，式(14.32)的解由下式給出： (14.33) 其中，在時刻t的n個點， 式(14.33)的解為，其中當為非奇異時可得到解析解 ，因為它是一個的矩陣： (14.34) 其中所有的和都是在鄰域上的點得到的。 等式(14.32)和(14.33)也可認為是從法向速度(normal velocities)得到的估計的加權(quán)最小二乘估計(weighted least-squares estimates)；即(14.32)等于：

37、 (14.35) 我們的實現(xiàn)首先用標準差為1.5像素/幀的時空高斯濾波器平滑圖象序列。 這有助與削弱時間噪聲(temporal aliasing)和輸入中的量化效應(yīng)(quantization effects)。梯度的計算使用了4點中心差，其系數(shù)模板為?？臻g鄰域為像素大小，窗口權(quán)重函數(shù) 為可分離的和各向同性的 ；在[Simoncelli 1991]中的有效的一維權(quán)為。在整個處理中需要15幀圖象。Fleet and Langley [Fleet 1993]已經(jīng)用IIR遞歸濾波器和時間上的遞歸估計替代了FIR濾波器。這種方法只需存儲3幀圖象 (即只有2到3幀的延遲)就可產(chǎn)生相似的結(jié)果。

38、 Simoncelli等在[Simoncelli 1991]中提出了一個(14.32)的貝葉斯透視圖(Bayesian perspective)。他們在梯度測量中使用高斯分布誤差(Gaussian distributed errors)和高斯分布的先驗速度V來模擬光流約束方程(14.17)。 最大化一個后驗解的結(jié)果與式(14.33)相似 ，并且產(chǎn)生一個速度估計的協(xié)方差矩陣。 我們發(fā)現(xiàn)這種修改不會明顯的改變準確性，但它提出了使用()的特征值來鑒別不可靠的估計，該值依賴于空間梯度的數(shù)量和方向的范圍。雖然Simoncelli等建議使用特征值的和，但我們發(fā)現(xiàn)單個的最小特征值更加可靠一些。因此在我們的實

39、現(xiàn)中，如果和都大于一個閾值，V用(14.33)計算；如果而，計算法向速度估計；如果，不計算速度。 14.3.3 Nagel方法 Nagel使用二階導(dǎo)數(shù)(second-order derivatives)來估計光流[Nagel 1983, 1987, 1989]。和Horn-Schunck法一樣，Nagel也使用了全局平滑約束來建立光流誤差測度函數(shù)，與Horn-Schunck 測度函數(shù)(14.24)不同，Nagel提出的一種面向平滑的約束（oriented-smoothness constraint），并不是強加在亮度梯度變化最劇烈的方向（即邊緣方向）上，這樣做的目的是為了處理遮擋(occl

40、usion)問題[Nagel 1986]。 該方法的誤差測度函數(shù)為 (14.36) 相對于求上式的極小化會削弱垂直于梯度方向上的光流變化。[Nagel 1987]建議取=1.0，=0.5。 使用Gauss-Seidel迭代，(14.36)的解可表示為： (14.37) 其中，k表示迭代次數(shù)，和由下式給出： (14.38) 其中： 和表示的偏導(dǎo)數(shù)的估計，和是和的局部鄰域的平均，加權(quán)矩陣： 在實現(xiàn)中，所有的速度初值都可設(shè)為0。圖象序列使用了一個在時空上標準差均為1.5像素的高斯核進行

41、濾波預(yù)處理。亮度導(dǎo)數(shù)使用4點中心差算子計算，在不同的方向上層疊以得到另一個導(dǎo)數(shù)(second derivatives)。一階速度導(dǎo)數(shù)用2點中心差核計算，而二階導(dǎo)數(shù)通過層疊一階導(dǎo)數(shù)計算而得。圖14.15所示的是使用了100次迭代得到的光流結(jié)果結(jié)果。關(guān)于實現(xiàn)的細節(jié)可參考[Barron 1993]。 (a) 第一幀 (b)第二十幀 圖14.14 兵馬俑模型圖像序列 圖14.15 光流實驗結(jié)果, (a) Horn-Shrunck法, (b) Lucas-Kanade法,(c) Nagel法 14.3.4魯棒計算方法 　　顯然，光流

42、約束方程14.21不適用遮擋背景的運動過程，也就是說，在運動邊界處的運動信息是不可靠的，即可能產(chǎn)生不正確的運動點或局外點．魯棒計算方法可以避免邊界處不正確運動約束帶來的問題． 　　圖像流可用最小中值二乘回歸法這一魯棒回歸算法來計算．將最小中值二乘法作用于連接的各個鄰域．在每一個鄰域里，該算法將盡可能找出所有可能的約束線對．計算每一對約束線的交點，并計算殘差平方的中值，以便給每一個估計值指定一個權(quán)值．然后，將每一個交點及其權(quán)值都存儲起來．在試過所有的約束線對以后，對應(yīng)于最小權(quán)值的交點作為鄰域中心圖像流速度的估計． 　　使用約束線在速度空間的距離和圖像梯度角，可將約束線表示為極坐標形式：

43、 (14．39) 式中和分別表示運動的速度大小和方向．設(shè)第一條約束線的坐標為和，第二條約束線的坐標為和．在直角坐標系中交點的位置是 (14．40) 該模型對約束線的擬合度是殘差平方的中值： (14．41) 運動估計和每條約束線之間的殘差是約束線與估值點(x,y)間的垂直距離．殘差由下式給出 (14．42) 由方程(14.40) 給出的約束線對的交點位置是一個候選解．計算并存儲相對于候選解的約束線

44、殘差平方的中值，連同候選解一起作為一個潛在解．殘差平方的中值是鄰域中每一條線與候選交點間垂直距離的平方中值． 典型的鄰域尺寸是5× 5．一個n×n的鄰域包含了條約束線．那么n×n鄰域里可能的約束線對數(shù)是 (14.43) 一個鄰域會產(chǎn)生300對線．如果計算時間有限，則沒有必要試驗所有的線對．Rousseeuw和Leroy [Rousseeuw 1987, p198]提供了一個試驗次數(shù)表，給出在95%置信度下，用個參數(shù)的模型擬合含有不同比例局外點的數(shù)據(jù)集的最小實驗次數(shù)，其中假定鄰域里至多有

45、50%的局外點．圖像流速度場的局部估計僅需要兩條約束線．從Rousseeuw和Leroy給出的表中可以看到，只需要試驗11對約束線就能提供具有95％置信度的一致性估計．使用更多的線對可能會給計算一致性估計的增加麻煩．如果使用的線對數(shù)量少于所有可能的線對，則必須對線對進行挑選，以使每對線中的約束離的越遠越好．這就減少了因求解相近方向約束線交點帶來的病態(tài)問題．在每一個鄰域里應(yīng)該使用一個預(yù)編程方案，以便選擇約束線對．這種方法的實驗結(jié)果如圖14.16所示． 圖14.16 使用最小中值二乘算法的進行光流計算的實驗結(jié)果 14.4 基于塊的運動分析 　　基于塊(Block-based))

46、的運動分析在圖像運動估計和其它圖像處理和分析中得到了廣泛的應(yīng)用，比如在數(shù)字視頻壓縮技術(shù)中，國際標準MPEG1-2采用了基于塊的運動分析和補償算法．塊運動估計與光流計算不同，它無需計算每一個像素的運動，而只是計算由若干像素組成的像素塊的運動，對于許多圖像分析和估計應(yīng)用來說，塊運動分析是一種很好的近似． 14.4.1 塊運動模型 　　基于塊的運動模型假設(shè)圖像運動可以用塊運動來表征．塊運動通常分為平移、旋轉(zhuǎn)、仿射、透視等運動形式，一般情況下，塊運動是這些運動的組合，稱為變形運動(deformation motion)． (1) 平移運動 假設(shè)圖像中每一個塊都作平移運動．在第幀圖像中

47、選取一個塊B，其中心位于．在第幀時，塊B的所有像素之間的關(guān)系及其灰度值保持不變，但塊中心運動到，將第幀到第幀的平移變換公式表示為 (14.44) 則對塊中所有的像素，有 (14.45) (2)仿射運動 　　將上面的平移變換推廣到包含仿射坐標的變換： (14．46) 該式不僅可以描述塊的平移、旋轉(zhuǎn)運動，還表示塊的變形運動如圖14.17所示．仿射變換表示一個平面的三維運動在圖像平面上的平行投影 ，它有一個重要的性質(zhì)就是平面上任意兩條直線，經(jīng)仿射變換后，仍然保持平行．

48、 (3)透視投影變換 (14.47) (4)二次線性變換形式 (14．48) 這些方法可以解決光流的孔徑問題． 　　塊的平移運動具有廣泛的應(yīng)用，主要原因是它無需向光流那樣，計算每一個像素的運動，而是只計算一個塊的運動，這種計算對于許多應(yīng)用都是一種很好的近似，同時計算極其簡單和有效，非常適合于VLSI并行處理．但這種算法不適合旋轉(zhuǎn)運動、圖像的縮放運動和圖像局部變形運動． 圖14.17 幾種空間變換示意圖 14.4.2 傅里葉方法 采用傅里葉變換可以檢測和估計運動塊的二維平移

49、、旋轉(zhuǎn)和尺度變化． (1)平移運動的檢測 對方程(14.45)的兩邊取傅里葉變換： (14.49) (14.50) 時刻和對應(yīng)的兩幀圖像二維傅里葉相位差為 (14.51) 　　上式實際上是一個由兩個變量定義的一個平面．所以估計塊的運動矢量就是估計該平面的法線方向．下面介紹一種求解的直接方法．由變量的可分離性，和分別表示和在軸的投影，即 　　　 　　　　　(14.52) 和分別為和的傅里葉變換

50、，則它們的相位差為： (14.53) 　　在頻率域，可以得到關(guān)于的，從上式可解得 (14.54) 同理可以求出: (14.55) 這樣就是時刻到圖像塊運動的位移量． 上述直接方法有兩個假設(shè)： 1. 二維相位函數(shù)(14.51)是可以展開的 2. 所選的圖像塊內(nèi)只包含一個物體． 第一個假設(shè)在實際中一般很難做到．對于第二個假設(shè),如果機器自動地在圖像上選擇運動塊，如果塊中包含有兩個物體，則估計結(jié)果將是錯誤的．14.4.3將介紹的相位相關(guān)法

51、可以有效地解決上述兩個問題． (2) 旋轉(zhuǎn)運動和尺度變化的檢測 由傅立葉方法可知，對于圖像的空間域線性模式，如直的邊緣，經(jīng)傅立葉變換后，它的功率譜也呈線性分布，且通過平面的原點，它的方向與圖像空間域上的線性模式方向正交。這樣當線條旋轉(zhuǎn)時，其線性功率譜也做相應(yīng)的旋轉(zhuǎn)，由此求出二維旋轉(zhuǎn)運動。如果物體圖像的尺度變大，反映在傅立葉頻率域上的功率譜的低頻分量增大，反之，若物體區(qū)域尺寸變小，那么頻率域上的功率譜的高頻分量增大。這樣可以根據(jù)功率譜的變化描述物體尺度的變化。 14.4.3 相位相關(guān)法 　　圖像序列中的和時刻的圖像之間互相關(guān)函數(shù)為 (14.56)

52、 　　對上式兩邊做傅里葉變換，得到互功率譜為： (14.57) 上式除以互功率譜幅值得到標準互功率譜 (14.58) 將14.51代入上式，則有 (14.59) 對上式取傅里葉反變換，得到相位相關(guān)函數(shù)表達式： (14.60) 由上式可見，相位相關(guān)函數(shù)是一個脈沖函數(shù)，其脈沖位置就是塊位移矢量． 求解位移矢量算法見算法14．1．用計算機實現(xiàn)上述

53、算法時，要用二維離散傅里葉變換(DFT)替換二維傅里葉變換． 算法14.1 相位相關(guān)法運動矢量算法 1． 計算第和時刻對應(yīng)的圖像中塊的二維DFT． 2． 根據(jù)式(14.58)計算互功率譜相位． 3． 計算的逆的二維DFT，得到． 4． 檢測相位函數(shù)的峰值位置． 　　理想情況下得到的相位相關(guān)函數(shù)只有一個峰值，對應(yīng)著塊在兩幀圖像上的相對位移．但在實際中，許多因素常常會使相位相關(guān)函數(shù)惡化，從而有可能產(chǎn)生多個峰值．這些因素包括使用二維DFT替換二維傅里葉變換，一個塊內(nèi)有兩個運動物體，或圖像噪聲等． 　　用二維DFT替換二維傅里葉變換會產(chǎn)生如下問題： 1. 邊界效應(yīng) 為了

54、得到完整的脈沖函數(shù)，移位必須是周期的．由于在窗口的一端消失的像素在窗口的另一端不會再出現(xiàn)，因此，脈沖函數(shù)將退化為波峰函數(shù)．這就是為什么二維DFT算法假設(shè)在窗口兩端方向上具有周期性．不論是從左到右，還是從上到下，如果存在不連續(xù)的邊界，都會引進假的峰值． 2. 頻譜泄漏： 由于運動矢量為非整數(shù)，因而造成頻譜泄漏．為了得到完成的脈沖函數(shù)，位移矢量的分量必須對應(yīng)一個整數(shù)倍的基頻．否則，脈沖函數(shù)將退還成波峰函數(shù)． 3. 位移估計范圍： 由于二維DFT是塊尺寸大小的周期函數(shù)，因此需要校正位移估計值，以便適合負的位移 　　這樣估計的范圍為由點到點組成的塊，比如估計的位移范圍為(-25，-2

55、5)到(25，25)，則塊的尺寸至少為(51，51)． 　　塊的尺寸選擇對于基于塊的運動算法是非常重要的．選擇較大的塊尺寸，可以跟蹤大位移的運動．但塊尺寸選得太大，塊內(nèi)的所有運動矢量很難保證完全一樣，造成估計誤差太大．因此在選擇窗口尺寸上有一個最佳的折衷方案．使用多分辨率圖像結(jié)構(gòu)可以在一定程度上解決這一問題． 14.4.4塊匹配方法 　　塊匹配算法的基本思想如圖14.18所示．在第幀中選擇以為中心、大小為的塊，然后在第幀中的一個較大的搜索窗口內(nèi)尋找與塊尺寸相同的最佳匹配塊的中心的位移矢量．搜索窗口一般是以第幀中的塊為中心的一個對稱窗口，其大小常常根據(jù)先驗知識或經(jīng)驗來確定．各種

56、塊匹配算法的差異主要體現(xiàn)在如下幾個方面： i 匹配準則 i 搜索策略 i 塊尺寸選擇方法 下面介紹幾種方法 　　(1)　匹配準則 　　典型的匹配準則有：最大互相關(guān)準則，最小均方差準則，最小平均絕對值差，最大匹配像素數(shù)量準則等． 其中最大互相關(guān)準則見14.4.3節(jié)． 圖14 .18 塊匹配示意圖 　　最小均方差準則(mean square error，MSE)定義如下： (14.61) 通過求上式的極小化可以估計出位移矢量，即 (14.62) 對MSE求極小化的準則可以認為是給窗口內(nèi)的所有象素強加一個光流約束。最小均方差準則很

57、少通過超大規(guī)模集成電路(VLSI)來實現(xiàn)，主要原因是用硬件實現(xiàn)平方運算有相當?shù)睦щy。通過超大規(guī)模集成電路(VLSI)來實現(xiàn)的準則是最小平均絕對差． 　　最小平均絕對差準則(mean absolute difference，MAD)定義如下 　　　(14.63) 位移矢量的估計值為 (16.64) 眾所周知，隨著搜索區(qū)域的擴大，出現(xiàn)多個局部極小值的可能性也增大，此時，MAD準則性能將惡化． 　　還有一種匹配準則是最大匹配像素數(shù)量準則(matching pel count，MPC)，這種方法是將窗口內(nèi)的匹配象素和非匹配象素根據(jù)下式分類： (16.65)

58、 是預(yù)先確定的閾值．這樣，最大匹配像素數(shù)量準則為 　　　　　　　(16.66) (16.67) 運動估計值對應(yīng)匹配象素的最大數(shù)量MPC準則需要一個閾值比較器和計數(shù)器［Gha90］． 　　(2) 搜索策略 為了求得最佳位移估計，可以計算所有可能的位移矢量對應(yīng)的匹配誤差，然后選擇最小匹配誤差對應(yīng)的矢量就是最佳位移估計值，這就是全搜索策略．這種策略的最大優(yōu)點是可以找到全局最優(yōu)值，但十分浪費時間，因此，人們提出了各種快速搜索策略．盡管快速搜索策略得到的可能是局部最優(yōu)值，但由于其快速計算的實用性，在實際中得到了廣泛的應(yīng)用．下面討論一種快速搜索方法：步搜索或

59、對數(shù)搜索． 設(shè)窗口大小為，當前象素值位于窗口中心，用來標記，如圖14.18(a)所示．第一步，選擇標記為和的9個象素計算匹配準則函數(shù)，如果最佳匹配仍在處，則無運動．第二步，以第一步最佳匹配對應(yīng)的象素點為中心選擇8個點（圖中用標記表示），計算這８個點的匹配準則函數(shù)值．第三步，以第二步最佳匹配對應(yīng)的象素點為中心選擇8個點（圖中用標記表示），計算這８個點的匹配準則函數(shù)值，最佳匹配值即為最后的最佳運動估計．由圖14.19(a)可見，每進行一步，搜索距離減小一半，并且愈來愈接近精確解．人們將上述搜索過程稱為3步搜索．當然可以繼續(xù)在子象素級上進行搜索，以得到更精確的估計值，這樣就需要大于3步的搜索，稱之

60、為步搜索，由于搜索步數(shù)與窗口內(nèi)象素個數(shù)是對數(shù)關(guān)系，因此，常將這種搜索稱為對數(shù)搜索．另一種對數(shù)搜索策略是在每一步有4個搜索位置，它們以十字形或交叉形布置，如圖16.19(b)所示． （a） （b） 圖 14.19 對數(shù)搜索示意圖 *14.4.5 廣義圖像運動估計 雖然基于平移的塊模型的運動估計是簡單的，但處理旋轉(zhuǎn)、變形運動和不連續(xù)運動場時，效果不是很好。下面介紹處理一般運動的廣義圖像運動分析。 在廣義塊運動匹配中，首先將當前幀分解成三角片、矩形片和任意四邊形片。然后在給定的空間變換下，在另一幀中找到最佳匹配的三角片或四邊形片，如

61、圖14.20所示。空間變換與分解片的形狀有關(guān)， 三角片提供了足夠的自由度使用仿射變換，因為每一個頂點提供兩個方程，而仿射變換有六個參數(shù)。透視變換和二次線性變換包含有八個參數(shù)，非常適合用四邊形片。如果對四邊形作仿射變換，將產(chǎn)生超定方程，即平行線經(jīng)變換后仍然是平行線。 使用仿射變換、透視變換或二次線性變換比使用平移運動變換逼近旋轉(zhuǎn)、變形以及縮放運動的效果更好，然而運動估計的復(fù)雜度也隨之增大。如果采納搜索策略進行運動估計，則需要搜索的空間由平移運動的二維搜索空間增加到六維或八維搜索空間。全搜索方法[sef93]，快速六邊形搜索方法[Nak94]，全局樣條曲面擬合方法[Flu92]。全搜索方法可以歸

62、納為如下幾步： I. 將圖像分割成矩形片（三角形片） II. 從圖像的初始估計值開始，攝動匹配矩形片（三角片）的頂點坐標 III. 對于每一個矩形片（三角形片），求預(yù)定的空間變換參數(shù)，使得通過四個（三個）匹配頂點將上一幀的矩形片（三角形片）映射成當前幀的矩形片（三角形片）。 IV. 使用空間變換求矩形片（三角形片）內(nèi)對應(yīng)象素的坐標，然后求解待匹配片之間的MSE或MAD準則函數(shù)。 V. 選擇MSE或MAD最小值對應(yīng)的空間變化。 上面的算法實際上隱含了這樣一個假設(shè)：矩形片（三角形片）內(nèi)的象素應(yīng)屬于同一個運動的物體，否則，無法用一個運動模型來描述圖像運動。對于圖像中包含有多個運動物體時，

63、應(yīng)該使用自適應(yīng)矩形片或三角形片，如圖14.21。 圖14.20 廣義運動匹配示意圖 圖14.21 （a）規(guī)則三角形片劃分，(b)自適應(yīng)三角形片劃分 思考題 14.1 什么是累積差分圖像？它與差分圖像有何不同？ 14.2 時變邊緣和運動邊緣的不同之處是什么？在動態(tài)場景中你如何檢測運動邊緣？ 14.3 為得到亞像素分辨率的特征點位置．計算從Moravet興趣算子第2步中得到的最小變化的中繼圖像中計算x和y要素. 14.4 什么是光流？它與速度場有何區(qū)別? 14.5請討論孔徑問題，（1） 單一象素匹配，（2） 線條匹配，（3）曲線匹配，（4）角點匹配.

64、 14.6 一個6×8像素的左上角最初置于(0，0)，在以勻速經(jīng)過四圖像后，它運動至(4，8)，找出絕對、累積、正、負差分圖像. 14.7 比較全搜索和步搜索的復(fù)雜度. 計算機練習題 14.1 布置一個場景，場景內(nèi)有兩個朋友相互走近，并握手寒暄。獲取該場景的一個灰度圖像序列，并設(shè)計一個基于圖像累積差分方法的程序提取圖像序列的目標. 14.2 設(shè)計一個求解對應(yīng)點的程序，其中圖像中至少包含三個物體，并且物體以不同的方向運動. 14.3 設(shè)計一個跟蹤人的頭部運動的跟蹤程序. 14.4 一個移動機器人上裝有一個攝象機，設(shè)計一個程序，使得機器人能夠跟蹤一個特定的運動物體. 專心---專注---專業(yè)