《機(jī)器人手眼協(xié)調(diào)研究讀書(shū)報(bào)告.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《機(jī)器人手眼協(xié)調(diào)研究讀書(shū)報(bào)告.ppt（26頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、機(jī)器人手眼協(xié)調(diào)研究讀書(shū)報(bào)告,指導(dǎo)老師：張明路教授教授,匯報(bào)人: 鄧潔平,報(bào)告內(nèi)容,,,手眼協(xié)調(diào)系統(tǒng)的發(fā)展,手眼協(xié)調(diào)系統(tǒng)的發(fā)展：,,利用視覺(jué)信息控制機(jī)器人的歷史可以追溯到1963年由Stanford大學(xué)wichman提出的以獲得視頻流作為輸入信息對(duì)機(jī)器人進(jìn)行運(yùn)動(dòng)控制的方 法,他的這個(gè)思想后來(lái)被認(rèn)為是機(jī)器人視覺(jué)控制的雛形。,,開(kāi)環(huán)：look then move 視覺(jué)信息處理和機(jī)器人的運(yùn)動(dòng) 是獨(dú)立分開(kāi)的兩個(gè)串行的任務(wù)。,閉環(huán)：利用視覺(jué)信息反饋控制機(jī)器人的研究模型,成功 的以視覺(jué)反饋引導(dǎo)機(jī)器人,開(kāi)環(huán)與閉環(huán)的比較,,,比較,,開(kāi)環(huán)：精度難以控制，且對(duì)先驗(yàn)知識(shí) 依賴度高,閉環(huán)：克服了開(kāi)環(huán)的缺點(diǎn) 但是要求機(jī)

2、器人末端 操作器始終可以在視覺(jué)場(chǎng)景中觀測(cè)到,視覺(jué)伺服控制方法,基于位置的視覺(jué)伺服控制（三維視覺(jué)） 利用攝像機(jī)的參數(shù)來(lái)建立圖像信號(hào)與機(jī)器人的位置/姿態(tài)信息之間的映射,然后在伺服過(guò)程中,借助于圖像信號(hào)來(lái)提取機(jī)器人的位置/姿態(tài)信息,并將它們與給定位姿進(jìn)行比較,形成閉環(huán)反饋控制。,視覺(jué)伺服控制方法,給定 位姿,,,,三維視覺(jué) 控制器,,機(jī)器人 對(duì)象,,照相機(jī),,,,圖像處 理環(huán)節(jié),,照相機(jī) 逆映射,,,控制信號(hào),位姿信號(hào),圖像信號(hào),二維信號(hào),當(dāng)前位姿,基于位置的視覺(jué)伺服基本結(jié)構(gòu),視覺(jué)伺服控制方法,基于圖像的視覺(jué)伺服控制（二維視覺(jué)） 與三維視覺(jué)伺服不同,基于圖像的視覺(jué)伺服將 實(shí)時(shí)測(cè)量得到的圖像

3、信號(hào)與給定圖像信號(hào)直接進(jìn)行 在線比較,然后利用所獲得的圖像誤差進(jìn)行反饋來(lái) 形成閉環(huán)控制。,視覺(jué)伺服控制方法,給定 圖像,,,,二維視覺(jué) 控制器,,機(jī)器人 對(duì)象,,照相機(jī),,,,圖像處 理環(huán)節(jié),,,控制信號(hào),位姿信號(hào),圖像信號(hào),當(dāng)前圖像,基于圖像的視覺(jué)伺服基本結(jié)構(gòu),,視覺(jué)伺服系統(tǒng)方法,1.基于位置的視覺(jué)伺服控制 精度取決于攝像機(jī)的參數(shù)準(zhǔn)確性以及圖像的噪聲，無(wú)法保證機(jī)器 人或者參考物體始終位于攝像機(jī)的視野之內(nèi) 2.基于圖像的視覺(jué)伺服控制 對(duì)于攝像機(jī)模型的偏差具有較強(qiáng)的魯棒性,通常也能較好地保證機(jī)器人或參考物體位于攝像機(jī)的視野之內(nèi),但是在設(shè)計(jì)視覺(jué)伺服控制器時(shí),這種方法又不可避免地遇到了圖像雅可

4、比矩陣Js的奇異性以及局部極小等問(wèn)題 T=Js(s-s*),視覺(jué)伺服系統(tǒng)方法,3. 2.5維視覺(jué)伺服控制 考慮到以上2種視覺(jué)伺服方法的局限性,法國(guó)機(jī)器人視覺(jué)控制專家 F. Chaumette等人提出了2.5維視覺(jué)伺服。 它將攝像機(jī)平動(dòng)位移(V)與旋轉(zhuǎn)(O)的閉環(huán)控制解耦,根據(jù)從圖像中提取出來(lái)的特征點(diǎn),重構(gòu)物體3D空間中的方位及成像深度比率,平動(dòng)部分用圖像平面上的特征點(diǎn)坐標(biāo)表示。,視覺(jué)伺服系統(tǒng)方法,,位置控制律,旋轉(zhuǎn)控制律,關(guān)節(jié)控制器,機(jī)器人,攝像機(jī),特征提取,單應(yīng)性矩 陣分解,,,,,,,,,,,,,,,,,,,,,,旋轉(zhuǎn)分量,位置分量,期望位置,期望轉(zhuǎn)角,視覺(jué)伺服過(guò)程,機(jī)器人執(zhí)行伸手抓

5、取操作的視覺(jué)伺服過(guò)程被分成5步: 搜索 接近目標(biāo) 粗對(duì)準(zhǔn) 精對(duì)準(zhǔn) 抓取,,視覺(jué)伺服過(guò)程,搜索.頭部左右和上下轉(zhuǎn)動(dòng)來(lái)搜索定位目 標(biāo)物體,攝像頭獲取物體的位置信息. 接近目標(biāo). 控制本體從遠(yuǎn)處步行靠 近目標(biāo)物體,然后靜止站立在物體前面.,視覺(jué)伺服過(guò)程,粗對(duì)準(zhǔn).利用視覺(jué)前饋和基于表格的逆運(yùn)動(dòng)學(xué)算法控制機(jī)器人手運(yùn)動(dòng)到視覺(jué)區(qū)域內(nèi),3維位置估計(jì),特征提取,觀測(cè)目標(biāo),基于表格 的機(jī)器人 運(yùn)動(dòng)求解,路徑規(guī)劃,,關(guān)節(jié)傳感器,機(jī)器人,控制關(guān)節(jié)器,,,,,,,,,,關(guān)節(jié)空間坐標(biāo),關(guān)節(jié)運(yùn)動(dòng)軌跡,關(guān)節(jié) 位置,直角坐標(biāo)系,基于視覺(jué)前饋的視覺(jué)伺服控制流程,視覺(jué)伺服過(guò)程,神經(jīng)網(wǎng)絡(luò)中機(jī)器人視覺(jué)前饋控制,機(jī)器人視覺(jué)前饋控制主

6、要包括視覺(jué)深度估計(jì)和基于內(nèi)部模型學(xué)習(xí)的前饋控制等過(guò)程。 建立基于神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)的視覺(jué)一運(yùn)動(dòng)映射學(xué)習(xí)模型,將視覺(jué)信息和機(jī)器人動(dòng)作對(duì)應(yīng)起來(lái),通過(guò)在線學(xué)習(xí)來(lái)逼近這個(gè)非線性映射,將機(jī)器人速度輸出作為前饋控制發(fā)送的運(yùn)動(dòng)指令“,視覺(jué)伺服過(guò)程,精對(duì)準(zhǔn)：同時(shí)測(cè)量機(jī)器人的手部和目標(biāo)物體的三維信息,以手部mark中心和目標(biāo)質(zhì)心之間的距離作為控制量,利用PD算法采用視覺(jué)反饋實(shí)現(xiàn)末端執(zhí)行器和目標(biāo)物體的精對(duì)準(zhǔn).,笛卡爾空間 控制策略,雅克比 逆矩陣,關(guān)節(jié) 控制器,機(jī)器人,圖像特征提取,位姿估計(jì),,,,,,,,,,,,,目標(biāo)位置,攝像機(jī),基于位置的視覺(jué)伺服過(guò)程,,視覺(jué)伺服過(guò)程,機(jī)器人視覺(jué)反饋控制,視覺(jué)反饋控制的必

7、要條件就是目標(biāo)物體和機(jī)器人本體特征同時(shí)存在于視 覺(jué)范圍之內(nèi) 雙目視差的機(jī)械手平移型視覺(jué)反饋控制,雙目視覺(jué)控制,研究目標(biāo),目標(biāo)選擇,,位置估計(jì),內(nèi)部模型,視覺(jué)前饋,,,,,期望 軌跡,視覺(jué)前饋控制,視差估計(jì),選擇器LS,輸入,,,,,,視覺(jué)反饋,機(jī)器人,,本體感知 處理,視覺(jué)信 息處理,腹側(cè)通路,,,,,,,,,,,,,,連續(xù),間斷,高,低,攝像機(jī),關(guān)鍵問(wèn)題,目標(biāo)物體的識(shí)別 邊緣提取算子的研究與選擇,1.利用圖像中目標(biāo)物體邊緣輪廓與背景色彩上的突變。可以根據(jù)laplace算子 ，sobel算子，canny算子提取圖像的輪廓信息。 2.利用特征幾何形狀模板對(duì)機(jī)器人本體進(jìn)行描述,關(guān)鍵問(wèn)題,視覺(jué)

8、測(cè)量,主要途徑包括: 1)直接在圖像平面上進(jìn)行測(cè)量,利用光流檢測(cè)和圖像 差分等技術(shù); 2)利用攝像機(jī)參數(shù)和其它先驗(yàn)知識(shí)(例如物體的幾何模型) 對(duì)物體的姿態(tài)進(jìn)行計(jì)算,所采用的技術(shù)主要取決于攝像機(jī)數(shù)目!機(jī)械手一 攝像機(jī)配置情況!標(biāo)定的精確程度和場(chǎng)景先驗(yàn)知識(shí)的多寡等因素,視覺(jué)深度信息,為了通過(guò)二維像平面上一點(diǎn)來(lái)確定物體在三維空間中的關(guān)系必須有附加的信息，主要包括：多個(gè)視圖，目標(biāo)物體上多個(gè)特征點(diǎn)之間的幾何關(guān)系。,關(guān)鍵問(wèn)題,視覺(jué)控制 經(jīng)典控制方法有PID方法、極點(diǎn)配置方法。 現(xiàn)代控制方法有最優(yōu)控制方法、自適應(yīng)控制方法等。 模糊邏輯和神經(jīng)網(wǎng)絡(luò)為代表的智能控制方法也廣泛應(yīng)用于機(jī)器人視覺(jué)伺服控制。,關(guān)鍵問(wèn)題,視覺(jué)運(yùn)動(dòng)規(guī)劃 勢(shì)場(chǎng) 導(dǎo)航函數(shù),關(guān)鍵問(wèn)題,視覺(jué)伺服系統(tǒng)的穩(wěn)定性,將非線性控制理論應(yīng)用于機(jī)器人視覺(jué)伺服系統(tǒng),分別采用自應(yīng)控制和魯棒控制等方法來(lái)提高機(jī)器人視覺(jué)伺服系統(tǒng)對(duì)于這些不確定因素的適應(yīng)能力.,敬請(qǐng)老師們批評(píng)指正！,