視覺傳感器在爬壁清洗機器人中的應用,視覺,傳感器,清洗,機器人,中的,應用,利用,運用 視覺傳感器在爬壁清洗機器人中的應用 摘要 本論文描述了視覺傳感器在高樓幕墻清洗機器人中的應用。該機器人利用真空吸盤吸附移動與于玻璃表面，并通過轉動機器人靈活的關節(jié)以調(diào)整機器人的方向。由一個CCD相機和兩個激光二極管組成的視覺傳感器通常是來測量機器人相對的窗框玻璃表面位置和方向。視覺傳感器也用于要定位的清洗位置。本文還討論了視覺傳感器中的數(shù)學模型和評價方法。通過實驗校準的傳感器用于測量機器人的位置和方向，并且測量需要定位清洗的位置。實驗結果證明了該方法的有效性。 關鍵字：爬壁機器人；視覺傳感； 玻璃清洗； 激光二極管 1.引言 為減輕人類從事危險的工作,如清潔高樓大廈的玻璃表面、消防搶救、及檢查高木板及墻壁等，研發(fā)各種服務機器人的需求不斷增加。 圖1可以表明我們最近開發(fā)的攀登機器人系統(tǒng)其目的是利用吸力杯和一個移動轉換機制來清潔高樓大廈玻璃。這種機器人最快速度能達到300米/分鐘，并有能力跨越裂縫和繞過小于35毫米高80毫米寬的障礙.機器人利用其靈活的腰部可輕易調(diào)整自己的方向。 要做好玻璃表面上的清潔工作，清掃機器人必須知道什么時候開始或停止的清潔工作， 如何控制方向(或移動方向),及如何越過窗框。因此，有必測量機器人的方向， 機器人和窗框之間的距離, 機器人與污垢處的距離。 最近在[7.8]中報道了一些關于工程傳感系統(tǒng)清洗機器人的文章。在[7]中，超聲波聲納被應用于自動定位。在[8]中，所謂的‘合作定位系統(tǒng)’提出了重復搜索過程，直至達到目標位置。然而，在玻璃表面爬墻機器人中，許多利用激光和超聲波傳感器等傳統(tǒng)的探測方法，不適用于測量機器人和窗戶框的距離。 這是因為窗框的高度通常較低而傳感器發(fā)出的光柱是難以達到這一高度的，除非架梁正平行于玻璃表面。 由于難以避免的安裝錯誤，傳感器通常是很難確保光束平行于玻璃表面。因此，在機器人清洗玻璃表面的應用中，這一問題需要得到解決。 1. X向氣缸 2. 清洗刷 3. 視覺傳感器 4. Y向氣缸 5. 吸盤 6. Z向氣缸 7. CPU 8. 旋轉氣缸 圖1. 爬壁機器人的主體結構 攝像機常常用于機器人的定位，視覺伺服及視覺引導 [9-15]。Malis [9]使用兩部相機來進行2-D及5/2-D的視覺伺服且提出了多攝像機視覺伺服方法。不過，使用的一些鏡頭可能不適合的爬墻機器人，這是因為（1）當使用幾個鏡頭時，很難建立一個大區(qū)的交匯點，（2）使用一些相機增加了爬墻機器人的負荷重量,從而影響其安全?；谔卣骺臻g分析， 可以用一個相機從一個位置的多方向來確定機器人的位置。這種方法的缺點是測量結果可能隨環(huán)境變化而變化。 此外，深入的資料可能會遺失并且照相機和目標物體的距離不能用傳統(tǒng)的相機測出。 在這項研究中,視覺傳感系統(tǒng)已成功地應用于爬墻機器人，它是由一個能夠被定位的CCD相機和兩個固定在攝影機上的激光二極管組成。 使用單一相機有助于簡化安裝和減輕整個系統(tǒng)的重量。兩架輕型激光器則固定在相機上，是視覺傳感器的‘眼睛' 。相機可以調(diào)整,以確保發(fā)現(xiàn)窗框或污垢處。 有了一只這樣的‘眼睛',機器人和窗框及污垢處的距離就可以測量出來。 有兩只的話,就可確定玻璃表面機器人的位置.擬議視覺傳感系統(tǒng)有三重優(yōu)點：第一，視覺傳感器可以根據(jù)三角理論，輕易而有效地測量出機器人的位置和方向。第二，有兩束激光二極管固定其上的照相機使機器人重量增加不及10克，因為圖像處理系統(tǒng)安裝在地面上的主電腦上 。第三，它提供了電腦視頻,操作人可以直接監(jiān)督機器人的運動。 2.機器人系統(tǒng)的結構 清洗機器人系統(tǒng)包括一個移動式爬壁機器人,輔助車輛,壓縮機和一臺電腦,如圖2所示。攀登機器人貼在玻璃表面進行清潔工作， 配套機車為其提供電力及清洗液，壓縮機當作氣源.由于機器人和電腦相聯(lián)結,操作人可以檢查和控制機器人的運作。 圖2. 清洗機器人系統(tǒng) 圖3. 爬壁機器人的主要結構 先進的爬墻機器人長1220毫米,寬1340毫米, 高370毫米,重量為30公斤. 機器人的身體主要是由兩個相互垂直桿缸組成, 如圖2所示。水平桿缸長400毫米，垂直的是500毫米。交替發(fā)動這兩個桿缸 ，機器人就會沿X或Y方向的運動 。如圖3所示，有四個較短z桿缸安裝在各桿缸兩端。伸縮或后退這四個桿缸的橫梁, 機器人就可以在z方向運動. 在兩桿缸交叉處, 安裝了一個轉動圓柱，被稱為機器人的腰，有了這個機器人就可繞Z支點左右旋轉。在水平桿缸的兩端安裝了兩個專門設計的刷子，它們都由一個擦吸系統(tǒng)構成。 該擦拭裝置通過配套機車提供的清洗液擦洗臟黑的玻璃表面。吸收系統(tǒng)搜集污水并把它們返回至配套機車進行回收。 機器人用吸管袋進行粘連。在機器人的每只腳下都安裝了四個直徑為100毫米的吸管袋。這16個吸管袋足以承受15公斤的負荷。該機器人采用了平移機制的運動。 隨著運作模式的粘,機器人可以完成一系列的提案,包括移動,旋轉及穿越障礙。旋轉機器人受可調(diào)旋轉桿缸的控制。機器人每步可繞z支點轉動1.6度左右，直到達到預期的態(tài)勢。 該機器人的控制系統(tǒng)的基礎是一個主輔電腦。 主計算機(見圖 2)總部設在地面并直接受人操縱。 輔計算機嵌于在機器體中如圖3所示。 利用安裝在機器人上的信號傳感器發(fā)出的反饋信息，輔助計算機控制機器人的移動和姿態(tài)來實現(xiàn)在玻璃表面上的自動導航。通過視覺傳感系統(tǒng)及主輔計算機與RS422的連接，主電腦可獲取信息，查明機器人的位置。 在緊急情況下,操作員可根據(jù)實際情況直接控制機器人。 圖4. 攀登機器人在商業(yè)大廈外的現(xiàn)場演示 機器人通過交替吸吮及釋放安裝在縱橫交叉桿缸上的吸管杯來實現(xiàn)移動的。輔助電腦打開或關閉信號來連接或拔下真空發(fā)生器的氣源, 實現(xiàn)吸吮或釋放相應的吸管杯。真空公尺可衡量相關的真空吸管杯和檢查機器人的安全性。如果真空吸管杯指數(shù)少于40kpa, 主計算機 就收到一條警報信號。圖 4描繪了一架先進的清洗機器人攀爬坐落在香港城市廣場的一棟商業(yè)大廈。 3. 視覺傳感技術 3.1視覺傳感硬件系統(tǒng) 視覺傳感硬件系統(tǒng)包括一個型號為索尼EVI-d30(j)面向CCD相機, 兩根激光二極管及捕獲卡,如圖5所示. 照相機的控制弦接收來自計算機的指令。 照相機的視頻輸出舷將視頻信號發(fā)送到采集卡然后是顯示在電腦屏幕上,使操作人可以關注玻璃表面上機器人周圍的情況。固定在相機上的兩束激光二極管作為傳感系統(tǒng)的'眼睛', 會釋放出兩束激光以找到窗框并產(chǎn)生兩個激光點。相機和激光二極管的擺放姿態(tài)要隨電腦改變，確保光源能到達窗框。激光器的發(fā)射點是機器人的參考點。參考點到窗框的距離及機器人相對窗框的位置可以通過分析兩激光點在平面圖上的像素坐標U和V來確定。 3.2 位置測量 測量中將會運用到三角理論。 圖6（左視圖）說明了如何利用視覺傳感系統(tǒng)測量機器人的位置。 L表示激光器的發(fā)射點，L1是激光射在窗框的點， L2是L1在圖像平面上的對應點, 此處就是I表示的中央圖形。把相機的焦點看作起點并用F表示，建立一個用F-xbybzb表示的基地坐標，此處xb坐標軸平行于玻璃表面，垂直于窗框, yb坐標軸則與玻璃表面和窗框都平行，zb坐標軸垂直于xb-yb平面，如圖6所示。把F為同一起點,可建立另一個被命名為照相機坐標的框架，用F-xyz表示,此處的x軸平行與直線I-F即相機的主要輕支點，y同yb一樣都是坐標框架的基礎，z垂直于x-y平面。 [x0,y0, z0]T、[x1,y1, z1]T [ x2,y2, z2]T分別表示點L, L1 L2的坐標。用U和V表示坐標在圖象平面上的坐標，u0,v0為像素中央點I的坐標。 因為焦點F位于線L1–L2上，則線L1–L2可用下式表示： （1） 定義為激光器相對照相機的傾斜角（繞y軸，逆時針）C為泛角（繞z軸，逆時針）。則線L–L1就可這樣表示： （2） 圖5 視覺傳感硬件系統(tǒng) 圖6 機器人位置的測量 從(1)和(2)中我們可以得出的坐標點L1像素坐標u, i.e。 [x1,y1, z1]T= +[x0,y0, z0]T （3） 其中 ， 其中dx和dy是兩個相鄰像素在兩個方向的圖像平面距離, 而F表示焦距。 L和L1的距離用|LL1|表示， （4） 定義a為相機在基地坐標框架上的傾斜角度。L–L1與L–L3（平行與xb軸）之間的角度為 （5） 那么,點L和窗戶框的距離為： （6） 把(3)–(5)代入(6)中得出像素坐標u,i.e中的d （7） 圖7. 機器人在玻璃面上 同樣的，如果機器人與兩窗框的距離d1和d2能用擬議視覺傳感方法測出，則d也可求出。值得注意是在測量距離時只需要一個激光二極管。 3.3 定位測量 圖8（視圖）描述了利用視覺傳感系統(tǒng)測量機器人的位置,此時需要兩個激光二極管。點A、B分別是激光二級光的發(fā)射點1和2。點A1和B1是窗框上相應激光點。 C1和C2是激光二極管1和2相對相機的泛角。分別用[xL,yL, zL]T和[ xR,yR, zR]T表示左點A與右點B在相機坐標框架中的位置。在x–y平面上，A–A1可以用表示為： （8） 注意像素坐標的激光點A2在圖像平面上是ul和vl。在x-y平面, A2的坐標是(f,dx(u0-ul))。那么 ，線F–A1可表示為： （9） 結合(8)和(9),可導出點A1的坐標： （10） （11） 圖8. 機器人定位測量 圖9. 污垢位置的測量 同樣，假設xB1和 yB1,，可以推導出點B1的坐標。最后，機器人相對窗框的泛角可得為： （12） 圖8所示，h表示機器人在玻璃上的位置，基于此機器人才可轉動其腰部,以達成預期的態(tài)勢。 3.4 污垢位置的測量 圖 9(視圖)說明如何運用定位傳感系統(tǒng)確定污垢處。 首先,激光二極管掃描整個窗戶玻璃面。然后,利用相機和兩臺激光二極管找到污垢并記錄起圖象。不需要太多時間去完成這些步驟,因為操作人員可以幫助機器人很快找到污垢,然后向機器人發(fā)出進測量指令。二極管是固定在相機上的，它們的相對位置和姿態(tài)在獲取污垢位置的過程中不能改變。 用3.2部分的同樣方法，通過分析激光點在圖像平面上的U或V坐標可測出機器人和污垢處的距離。在得出機器人與污垢間距離及相機泛角的基礎上，就可確定污垢位置。 4.試驗 室內(nèi)實驗是測量機器人和窗框的距離，確定機器人位置；測量機器人相對窗框的泛角,以確定該機器人方向；確定污垢位置。在實驗中,相機的姿勢，泛度(-100度到100度)和傾斜角(-25度到25度),受主計算機的調(diào)控。用模式識別技術來確定是否光源到達了窗框以獲得對激光點在窗框的圖象。 4.1機器人位置的測量 首先，通過獲取機器人在玻璃表面不同標定位置的圖象及分析激光點U或V的座標可以標定視覺傳感系統(tǒng)。用最小二乘擬合 距離這次機器人和窗框可從刻度為2293mm u坐標左邊的激光點ul(像素)和傾斜角度的相機(deg)。 詳細的程序標定列在以下方面: 1. 讓機器人向任意位置移動，并測量機器人與窗框之間的距離 （例如距離D為100毫米) 然后用相機記錄下傾斜角a和像素坐標ur(和UL)。 2. 讓機器人移動到其他位置,并且并取得了一系列的校驗數(shù)據(jù)。 3. 從等式(7)中用最小二乘擬合方法得到系數(shù)a1、a2、a3和b 通過以上校準程序,我們得到a1=16.67、a2=185839.97和a3 = 1286.21。 （13） 用類似的方法, 距離D可轉換成激光點u坐標的功能，比如： （14） 兩束激光點v坐標的距離功能在不斷變化。通過對比，我們發(fā)現(xiàn)在這個實驗中用u坐標測出的距離比用更精確V坐標測出的更精確. 圖10 和11分別描述了等式(13)及(14)的 關系。 在隨后的實驗 ，等式 (13)被用來測量機器人在玻璃表面上的位置. 實驗結果即測量誤差與測量距離之間的關系如圖 12中所示，此處平方點代表不同距離的測量誤差, 而固體線指的是一種隨距離增加而產(chǎn)生的測量誤差趨勢. 當照相機逆時針轉動90度時,機器人與左窗框之間的距離及像機傾角就可以測量出來。 為了解決這個測量距離誤差累積的問題，視覺傳感器在一系列測量后需要復位。值得注意的是相機畸變可能會影響測量d。從圖12可以看到當距離不是很大(即<1000毫米)是測量誤差是很小的。在發(fā)生大的距離，鏡頭畸變就應該加以考慮。 圖10 機器人與窗框距離---左側激光點u坐標及相機傾角 圖11 機器人與窗框距離---右側激光點u坐標及相機傾角 圖12 機器人測量誤差趨勢 4.2　機器人方向的測量 通過找到機器人方向和圖象中左右激光點的U坐標之間的關系，視覺傳感系統(tǒng)可得到進一步標定 。用最小二乘法,可以從標定中得出以下關系： ,　　　　 （15）　 圖13說明了泛角h與ul和ur坐標之間的關系，泛角與測量誤差之間的關系已在圖14中顯示。此處平方點代表不同距離的測量誤差, 而固體線指的是一種隨距離增加而產(chǎn)生的測量誤差趨勢。應該注意泛角誤差對整個測量誤差可能會產(chǎn)生影響。然而在某些應用方面，泛角誤差對距離測量誤差的影響不是很大。在我們的實驗中，發(fā)現(xiàn)當機器人在玻璃表面爬行超過水平方向2米時，機器人的泛角將會小于6度。 重力的作用將會影響機器人的位置，尤其是當這個機器人在水平方向爬行時，在我們的實驗中，發(fā)現(xiàn)當機器人在玻璃表面爬行超過水平方向2米時，機器人的泛角將會小于6度。當這個泛角按順時針測量時，機器人就會順時針旋轉它的腰，以達到預期的水平或垂直的位置。當這個泛角按逆時針測量時，機器人就會逆時針旋轉它的腰，以達到預期的位置。 圖13 基于機器人位置的測量 圖14 位置測量誤差趨向 4．3 污垢位置的測量 模式識別技術用于找出污垢進行清理,然后獲取激光點的圖象。圖15描繪了圖象定位污垢處。等式（14)被用來測量機器人和污垢處的距離。在測量了距離及相機泛角度的基礎上, 才能確定污垢的位置。定位污垢處的實驗結果見表1 圖15 用于定位污垢的圖象 (deg) 傾斜角度 像素坐標u（piexl） D（mm） 測量錯誤（mm） 1 37 11 1364 798．2 （2.6,3.7） 2 65 17 1400 633.3 (3.2,1.6) 3 52 22 1410 577.0 (2.5,2.1) 4 53 11.6 1370 768.6 (3.5,2.6) 5 54 5 1325 1066.1 (7.1,3.4) 6 75 2.4 1311 1205.6 (10.3,2.0) 7 67 9 1348 890.3 (6.1,2.0) 8 65 5 1327 1050.1 (7.7,2.6) 9 78 10.4 1358 830.0 (5.9,1.4) 表一 用于定位污垢的試驗結果 5.結論 本文描述了視覺傳感應用的爬墻機器人清洗玻璃的高樓大廈。機器人以黏附的方式吸附在墻面上，并可以方便地移動和轉動。在機器人上安裝的視覺傳感系統(tǒng)是由一臺已經(jīng)定位的CCD照相機，二個激光二極管和其他輔助部分組成?；谛蕦嶒灒呀?jīng)定位的機器人有其位置定向之間的關系， 在這幅圖像內(nèi)可以知道的兩個激光點的同等物，和照相機的傾斜角度。使用這些關系，可以方便地測量出機器人的位置和方向，并且要被清潔的臟的地方也可以找到。實驗結果證明這個視覺傳感系統(tǒng)應用在爬壁機器人是有效的。