基于視覺的工業(yè)機械手定位抓取系統(tǒng)虛擬實驗開發(fā)帶開題報告.zip,基于,視覺,工業(yè),機械手,定位,抓取,系統(tǒng),虛擬,實驗,開發(fā),開題,報告 一、選題依據(jù) 1．論文（設(shè)計）題目 基于視覺的工業(yè)機械手定位抓取控制系統(tǒng)設(shè)計及研究 2．研究領(lǐng)域 工業(yè)機器人 機電控制系統(tǒng) 理論基礎(chǔ)研究 3．論文（設(shè)計）工作的理論意義和應(yīng)用價值 機器人技術(shù)的發(fā)展為制造業(yè)企業(yè)帶來了新活，解決了人力資源短缺問題并提高了產(chǎn)品質(zhì)量和工作效率，單純的機器人技術(shù)在一些高端應(yīng)用場合受到限制，而引入視覺系統(tǒng)可滿足柔性化生要求，推進了人工智能的進程。 機器人對環(huán)境目標(biāo)具備一定的認知能力，通過感知環(huán)境目標(biāo)確定自身的行動，使其不需運動接觸即可對環(huán)境目標(biāo)實現(xiàn)抓取等動作，因此視覺圖像系統(tǒng)已成為提高機器人智能化的一個較為熱門的方向。將計算機視覺和圖像處理技術(shù)應(yīng)用于機器人本體系統(tǒng)，可以提高機器人的工作效率和對環(huán)境的適應(yīng)能力，并進一步拓展機器人的受固定環(huán)境限制的應(yīng)用范圍。從機器人本體所在的工作場景中準確認知并對目標(biāo)進行抓取， 是機器人尤其是工業(yè)機器人的基本實際問題，機器視覺技術(shù)與工業(yè)機器人的結(jié)合，除了最為關(guān)鍵的圖像處理以及目標(biāo)檢測定位等相關(guān)技術(shù)以外，還有工業(yè)機器人運動控制中位姿表示和圖像坐標(biāo)系與機器人世界坐標(biāo)系之間的轉(zhuǎn)換問題。該類問題是制約機器人在排爆、搬運、組裝和焊接等領(lǐng)域應(yīng)用的技術(shù)水平的主要因素，研究意義重大。 4．目前研究的概況和發(fā)展趨勢 工業(yè)機器人又稱工業(yè)機械手、機械操縱臂等，是適用于工業(yè)自動化生產(chǎn)的機電一體化設(shè)備。自第一臺工業(yè)機器人在美國誕生以來，工業(yè)機器人得到了迅速的發(fā)展，它是集控制工程、電子技術(shù)、機械制造、傳感器、計算機科學(xué)、仿生學(xué)、人工智能等多學(xué)科為一體的總和性前沿技術(shù)。工業(yè)機器人能模仿人類手臂的工作和運動方式可以實現(xiàn)對目標(biāo)物體的抓取、加工、裝配、檢測蹤等工序。 機器人的研發(fā)及生產(chǎn)制造能力是衡量一個國家科技創(chuàng)新能力和生產(chǎn)制造先進水平的重要標(biāo)志，目前世界各國都在加快推進機器人的研發(fā)和應(yīng)用，工業(yè)機器人的發(fā)展趨勢是 (1)集成化、網(wǎng)絡(luò)化和開放化發(fā)展，隨著 PC 技術(shù)和集成電路設(shè)計水平的發(fā)展，機器人控制系統(tǒng)由原來的封閉式控制轉(zhuǎn)變?yōu)槊嫦蛴脩舻拈_放式和網(wǎng)絡(luò)化的控制系統(tǒng)，實現(xiàn)遠程實時控制和多臺設(shè)備協(xié)同操作完成任務(wù)。 (2)多傳感器的融合的智能化發(fā)展，高度智能化的機器人集視覺、力、位移等多種傳感器于一體，能實時檢測周圍環(huán)境并進行分析、推理和判斷執(zhí)行相應(yīng)操作，具有獨立工作的能力。 (3)模塊化、標(biāo)準化各部件實行標(biāo)準化和模塊化生產(chǎn)，不同型號的機器人之間可相互更換模塊重構(gòu)組成具有新結(jié)構(gòu)和新功能的機器人，模塊化還能夠減少研發(fā)周期和降低成本。 (4)重型化、高速化和微型化發(fā)展，面向于工業(yè)生產(chǎn)的重型化機器人面對大型工件 能夠高效率、高精度的執(zhí)行搬運、加工等任務(wù)，微型化機器人適用于需要精細化操作的任務(wù)。 在機器視覺方面最早出現(xiàn)在制造業(yè)，通過機器視覺系統(tǒng)來完成生產(chǎn)線上高重復(fù)度的作業(yè)，因為精度高、重復(fù)動作、Ｗ及成本低等優(yōu)點被運用多種場合。視覺系統(tǒng)將攝像機拍攝的工件目標(biāo)信息轉(zhuǎn)換為圖像信息，圖像信息經(jīng)過圖像采集卡轉(zhuǎn)成數(shù)字信號， 計算機分析數(shù)字信息并提取目標(biāo)特征值反饋給機器人，控制機器人的動作。在工業(yè)生產(chǎn)過程中，采集產(chǎn)品數(shù)據(jù)，有效的保證系統(tǒng)穩(wěn)定運行。 機器視覺技術(shù)經(jīng)過長期的發(fā)展，滿足柔性化生產(chǎn)要求叫廣泛運用于工業(yè)控制領(lǐng)域如汽車行業(yè)、飲料行業(yè)、電子行業(yè)、太陽能斤業(yè)、食品行業(yè)、制藥與化妝品行業(yè)、倉儲和輸送行業(yè)、交通運輸行業(yè)等。機器視覺技術(shù)與工業(yè)機器人的結(jié)合，除了最為關(guān)鍵的圖像處理以及目標(biāo)檢測定位等相關(guān)技術(shù)以外，還有工業(yè)機器人運動控制中位姿表示和圖像坐標(biāo)系與機器人世界坐標(biāo)系之間的轉(zhuǎn)換。 二、論文（設(shè)計）研究的內(nèi)容 1.重點解決的問題 視覺特征模型的建立 控制系統(tǒng)設(shè)計及虛擬仿真。 2.擬開展研究的幾個主要方面（論文寫作大綱或設(shè)計思路） （1）.工業(yè)機器人相關(guān)理論研究主要研究內(nèi)容有 u 視覺特征提取模型的建立 u 機械手雅克比矩陣及機械臂運動學(xué)及關(guān)節(jié)控制 u 控制系統(tǒng)設(shè)計方案 u 控制系統(tǒng)流程圖 u 控制系統(tǒng)硬件選擇 u 基于深度學(xué)習(xí)的定位目標(biāo)預(yù)測優(yōu)化 (2) 軟件系統(tǒng)的開發(fā)： u 控制系統(tǒng)設(shè)計及虛擬仿真 u Matlab 對視覺的預(yù)處理 u 神經(jīng)網(wǎng)絡(luò)對抓取過程的訓(xùn)練優(yōu)化 3.本論文（設(shè)計）預(yù)期取得的成果 了解工業(yè)機器人的結(jié)構(gòu)及其性能參數(shù)，并優(yōu)化機械手定位抓取過程，在基于視覺特征模型的理論基礎(chǔ)上完成機械手坐標(biāo)系和視覺系統(tǒng)坐標(biāo)系的統(tǒng)一，最后能用 matlab 對整個抓取定位過程的優(yōu)化和仿真，并完成控制系統(tǒng)的開發(fā)。 三、論文（設(shè)計）工作安排 1.擬采用的主要研究方法（技術(shù)路線或設(shè)計參數(shù)） 首先根據(jù) CCD 提取工件的特征參數(shù)信息，進行理論研究，建立該位置的幾何建模，確定該位置在相機中機器視覺的坐標(biāo)和機器人的坐標(biāo)對應(yīng)關(guān)系。接著利用深度對圖像特征提取過程進行預(yù)測優(yōu)化。然后建立機器人運動的坐標(biāo)原點，通過對機械臂關(guān)節(jié)控制的研究(為了讓機器人末端驅(qū)動器沿期望的笛卡爾軌跡運動，它的每一個關(guān)節(jié)必須跟隨特定的關(guān)節(jié)空間軌跡，在本次畢業(yè)設(shè)計中主要討論機器人關(guān)節(jié)控制方法：獨立控制和基于模型的控制)以及對機械手雅可比矩陣(考慮關(guān)節(jié)坐標(biāo)變化率與末端執(zhí)行器速度之間的相關(guān)性可通過機械臂的雅可比矩陣體現(xiàn))的分析完成一個簡單的抓取過程。其次利用深度學(xué)習(xí)方法訓(xùn)練這一過程達到快捷準確這一目標(biāo)。再者搭建控制系統(tǒng)，并完成控制系統(tǒng)的控制系統(tǒng)硬件選擇，控制系統(tǒng)設(shè)計方案及控制系統(tǒng)流程圖，控制系統(tǒng)設(shè)計及虛擬仿真。最后完成控制系統(tǒng)的優(yōu)化設(shè)計。 2.論文（設(shè)計）進度計劃 第一周:機器視覺相關(guān)知識 第二周:查閱相關(guān)的參考文獻第三周:完成開題報告 第四周:撰寫文獻綜述 第五周:了解機器視覺的工作原理第六周:了解控制系統(tǒng)的設(shè)計 第七周:視覺特征提取模型的建立第八周:控制系統(tǒng)硬件選擇 第九周; 控制系統(tǒng)設(shè)計方案及控制系統(tǒng)流程圖第十周:基于深度學(xué)習(xí)的定位目標(biāo)預(yù)測優(yōu)化 第十一周:控制系統(tǒng)設(shè)計及虛擬仿真第十二周:控制系統(tǒng)設(shè)計及虛擬仿真第十三周:畢業(yè)論文的撰寫與修改 第十四周:評閱，準備畢業(yè)答辯 四、需要閱讀的參考文獻 [1] 李傳朋. 基于機器視覺和深度學(xué)習(xí)的目標(biāo)識別與抓取定位研究 [D]. 中北大學(xué), 2017. [2] 盧冠男. 基于機器視覺的工業(yè)機器人抓取系統(tǒng)的研究[D]. 合肥工業(yè)大學(xué),2017. [3] 廖毅洲. 視覺引導(dǎo)工業(yè)機器人定位抓取系統(tǒng)設(shè)計 [J]. 電子世界, 2017,No.511 77-78+88. [4] 夏菠. 基于雙目視覺的動態(tài)目標(biāo)定位與抓取研究 [D]. 西南科技大學(xué), 2016. [5] 劉念. 基于視覺機器人的目標(biāo)定位技術(shù)研究 [D]. 華南農(nóng)業(yè)大學(xué), 2016. [6] 忽正熙. 基于模式識別與機器視覺工件的識別及分揀 [D]. 昆明理工大學(xué), 2016. [7] 周衍超. 基于視覺引導(dǎo)的機器人智能抓取技術(shù)研究 [D]. 廣東工業(yè)大學(xué), 2015. [8] 翟敬梅, 董鵬飛, 張鐵. 基于視覺引導(dǎo)的工業(yè)機器人定位抓取系統(tǒng)設(shè)計 [J]. 機械設(shè)計與研究, 2014,30(153), 05 53-57. [9] 夏群峰,彭勇剛. 基于視覺的機器人抓取系統(tǒng)應(yīng)用研究綜述 [J]. 機電工程, 2014,31(232), 06 25-29+38. [10] 許凡. 視覺引導(dǎo)的抓取機器人控制技術(shù)的研究與開發(fā) [D]. 江南大學(xué), 2014. [11] 周中偉. 機器人智能抓取的視覺引導(dǎo)技術(shù)研究 [D]. 江西理工大學(xué), 2014. [12] 楊揚. 基于機器視覺的服務(wù)機器人智能抓取研究 [D]. 上海交通大學(xué), 2014. [13] 黃浩乾. 采摘機械手的設(shè)計及其控制研究 [D]. 南京農(nóng)業(yè)大學(xué), 2010. [14] 鄒月偉. 基于機器視覺的目標(biāo)識別及其路徑優(yōu)化的研究 [D]. 西安理工大學(xué), 2009. [15] 王紅濤. 基于視覺的工業(yè)機器人目標(biāo)識別定位方法的研究 [D]. 西安理工大學(xué), 2007. [16] 黨薛夢霞, 劉士榮, 王堅. 基于機器視覺的動態(tài)多目標(biāo)識別[J]. 上海交通大學(xué)學(xué)報, 2017, 51(6):727-733. [17] Peter Findlay. Intelligent System for Automated Components Recognition and Handling[D].Johannesburg: Mechanical and Manufacturing Engineering Department， Rand Afrikaans University，2002. [18] Hager G D, HutchinsonS，Corke P I. A tutorial on visual servo control[J].IEEE Transaction on Robotics and Automation，2007，12 (5):651-670. [19] Chaumette F, Malis E.A possible solution to image-based and position-based and position-based visual servoings by 2D 1/2 visual servoing [C〕.San Francisco: IEEE International Conference on Robotics and Automation，2000. 附：文獻綜述 1 引言 工業(yè)機器人能模仿人類手臂的工作和運動方式可以實現(xiàn)對目標(biāo)物體的抓取、加工、裝配、檢測蹤等工序。機器人可以替代部分甚至全部的人力操作，極大的減輕工人的勞動強度并促進生產(chǎn)的自動化，還可以在高溫、高壓、放射性、污染性等惡劣環(huán)境下工作，并能保證高精度、高質(zhì)量、高效率的完成工作任務(wù)。工業(yè)機器人已經(jīng)在機械、汽車、船舶、電子、航空航天等領(lǐng)域內(nèi)得到廣泛的應(yīng)用，工業(yè)機器人的人均使用率體現(xiàn)了一個國家的自動化生產(chǎn)程度和工業(yè)發(fā)展的技術(shù)能力,而控制系統(tǒng)是決定機器人功能和性能的主要因素，在一定程度上制約著機器人技術(shù)的發(fā)展，它的主要任務(wù)就是控制機器人在工作空間中的運動位置、姿態(tài)和軌跡、操作順序及動作的時間等。模塊化、層次化的控制器軟件系統(tǒng)、網(wǎng)絡(luò)化機器人控制器技術(shù)等關(guān)鍵技術(shù)直接影響到機器人的速度、控制精度與可靠性。而近年來，隨著機器視覺的發(fā)展與研究，越來越多的機器人配備了視覺圖像系統(tǒng)，各樣的視覺圖像為機器人提供了十分需要的外界信息，明顯推動了機器人在自主移動和機械臂準確定位技術(shù)方面的實質(zhì)性提高。同時，許多視覺和圖像算法的成功應(yīng)用也顯著提升了機器人的智能水平，而機器人本身對目標(biāo)物進行抓取的實時性、準確性和穩(wěn)定性，也是機器采用視覺引導(dǎo)進行智能抓取的智能水平的標(biāo)準體現(xiàn)。要提高機器人所作的一系列動作的智能水平，使其具備智能化移動和抓取的功能，關(guān)鍵是使機器人對環(huán)境目標(biāo)具備一定的認知能力，通過感知環(huán)境目標(biāo)確定自身的行動，使其不需運動接觸即可對環(huán)境目標(biāo)實現(xiàn)抓取等動作，因此視覺圖像系統(tǒng)已成為提高機器人智能化的一個較為熱門的方向。將計算機視覺和圖像處理技術(shù)應(yīng)用于機器人本體系統(tǒng)，可以提高機器人的工作效率和對環(huán)境的適應(yīng)能 力，并進一步拓展機器人的受固定環(huán)境限制的應(yīng)用范圍。從機器人本體所在的工 作場景中準確認知并對目標(biāo)進行抓取，是機器人尤其是工業(yè)機器人的基本實際問題，該類問題是制約機器人在排爆、搬運、組裝和焊接等領(lǐng)域應(yīng)用的技術(shù)水平的主要因素，研究意義重大。 為了更好的完成本次論文，在寫作前從近些年的期刊雜志、學(xué)位論文及相關(guān)書籍中收集了大量的關(guān)于機器視覺以及機器人抓取定位的參考文獻，其中不乏 《基于末端開環(huán)視覺系統(tǒng)的機器人目標(biāo)抓取研究》 、《基于機器視覺的離散傅里葉變換目標(biāo)識別方法》 、《基于機器視覺的動態(tài)多目標(biāo)識別》 等期刊文獻。 本文以被廣泛應(yīng)用于工業(yè)機械中工件產(chǎn)品等定位抓取的機器人為研究對象， 研究基于視覺的定位，設(shè)計抓取機器人控制系統(tǒng)設(shè)計開發(fā)及理論支撐，并應(yīng)用深度學(xué)習(xí)方法對機器人進行優(yōu)化，最后得到一個優(yōu)化之后的控制系統(tǒng)。 2 國外研究狀況 機器人控制技術(shù)的發(fā)展，針對結(jié)構(gòu)封閉的機器人控制器的缺陷，開發(fā)“具有開放式結(jié)構(gòu)的模塊化、標(biāo)準化機器人控制器”是當(dāng)前機器人控制器的一個發(fā)展方 向。近幾年，日本、美國和歐洲一些國家都在開發(fā)具有開放式結(jié)構(gòu)的機器人控制器，如日本安川公司基于 P C 開發(fā)的具有開放式結(jié)構(gòu)、網(wǎng)絡(luò)功能的機器人控制器。我國 863 計劃智能機器人主題也已對這方面的研究立項。 由于適用于機器人控制的軟、硬件種類繁多和現(xiàn)代技術(shù)的飛速發(fā)展，開發(fā)一個結(jié)構(gòu)完全開放的標(biāo)準化機器人控制器存在一定困難，但應(yīng)用現(xiàn)有技術(shù)，如工業(yè) PC 良好的開放性、安全性和聯(lián)網(wǎng)性，標(biāo)準的實時多任務(wù)操作系統(tǒng)，標(biāo)準的總線結(jié)構(gòu)，標(biāo)準接口等，打破現(xiàn)有機器人控制結(jié)構(gòu)封閉的局面，開發(fā)結(jié)構(gòu)開放性、功能模塊化的標(biāo)準化機器人控制器是完全可行的。由于機器人性能的不同，對運動控制板的要求也不同。美國 De1taTau 公司推出的 PMAC(Programinable Multi-axies Controller)在國內(nèi)外引起重視。PMAC 是一種功能強大的運動控制器，它全面地開發(fā)了 DSP 技術(shù)的強大功能，為用戶提供了很強的功能和很大的靈活性。借助于 Motorola 公司的 DSP56001 數(shù)字信號處理器，PMAC 可以同時操縱 1-8 軸，比起其他運動控制板來說，有很多可取之處。由于適用于機器人控制的軟、硬件種類繁多和現(xiàn)代技術(shù)的飛速發(fā)展，開發(fā)-個結(jié)構(gòu)完全開放的標(biāo)準化機器人控制器存在一定困難，但應(yīng)用現(xiàn)有技術(shù)，如工業(yè) PC 良好的開放性、安全性和聯(lián)網(wǎng)性，標(biāo)準的實時多任務(wù)操作系統(tǒng)，標(biāo)準的總線結(jié)構(gòu)，標(biāo)準接口等，打破現(xiàn)有機器人控制器結(jié)構(gòu)封閉的局面， 開發(fā)結(jié)構(gòu)開放性、功能模塊化的標(biāo)準化機器人控制器是完全可行的。 另外機器視覺技術(shù)自上世紀六、七十年代被提出，經(jīng)過不斷地發(fā)展，在上世紀九十年代被廣泛應(yīng)用到工業(yè)環(huán)境中。從機器視覺的底層開發(fā)到機器視覺應(yīng)用， 積累了大量的技術(shù)基礎(chǔ)，成熟的技術(shù)將機器人視覺系統(tǒng)應(yīng)用在半導(dǎo)體和電子行業(yè)。20 世紀 5 年代機器視覺主要用于二維圖像的研巧，60 年代 MIT 的 ROBERTS 70 年代提出了較為完整的機器視覺理論：Marr 視覺理論，20 世紀 80 年代視覺技術(shù)快速發(fā)展，進入發(fā)展正軌，90 年代至今進入最活躍的階段，廣泛應(yīng)用于多個領(lǐng)域。 目前，歐美、日本等國家在機器視覺領(lǐng)域的研究處于領(lǐng)先地位，相應(yīng)的應(yīng)用也比較成熟。國外機器視覺技術(shù)的研究團隊主要有：伯克利大學(xué)機器視覺小組， 瑪麗女王大學(xué)機器視覺小組，南加利福尼亞大學(xué)機器視覺小組，劍橋大學(xué)視覺與機器人研究小組，卡耐基梅隆大學(xué)機器人學(xué)院，阿姆斯特丹大學(xué)智能系統(tǒng)實驗室， MIT 計算機科學(xué)與人工智能實驗室，MIT 機器視覺實驗室等。 3.國內(nèi)研究狀況 工業(yè)機器人運行穩(wěn)定、速度快、精度高、適應(yīng)環(huán)境能力強，市場前景十分廣闊， 也是目前技術(shù)最成熟，應(yīng)用最廣的一類機器人。機器人控制系統(tǒng)是機器人系統(tǒng)中的指揮中樞，因此機器人控制系統(tǒng)必須可靠性高、功能全面、響應(yīng)速度快。 哈爾濱工程大學(xué)設(shè)計的基于 PMAC 運動控制工業(yè)機器人控制系統(tǒng)是一種典型控制系統(tǒng)。采用開放式硬件和軟件結(jié)構(gòu)，方便功能擴展適和各種用途的工業(yè)機器人， 并且設(shè)計控制系統(tǒng)時考慮了從控制角度降低系統(tǒng)運行誤差。 焊接機器人的作為工業(yè)生產(chǎn)機器人，應(yīng)用十分廣泛。尤其是對于我國南方的集中化生產(chǎn)工廠，對于自動化生產(chǎn)機器人的需求十分強烈，同時，對于通過視覺輔助機器人運動進行視 覺伺服的功能研發(fā)也是今后長時間的研究熱點以及對于進一步通過機器人減少人工工作的重要突破口。針對以上問題，浙江大學(xué)基于數(shù)字圖像處理，軟件研發(fā)的知識，研究了一般的焊接機器人研發(fā)方式，通過設(shè)計，編程以及驗證，研發(fā)了焊接機器人的控制軟件，并同時對于焊接的相關(guān)視覺技術(shù)進行了研發(fā)。 北京石油化工學(xué)院基于 PMAC 設(shè)計了管道缺陷檢測機器人的控制系統(tǒng)，采用 PC 機和 PMAC 運動控制卡組合的控制模式。PC 機控制云臺的轉(zhuǎn)動，實現(xiàn)管道缺陷圖像的采；PMAC 控制機器人本體的運動。實驗證明，該控制系統(tǒng)能夠?qū)艿廊毕輽z測機器人進行精確控制，使之準確檢測到管道的缺陷。 物流產(chǎn)業(yè)對經(jīng)濟發(fā)展的貢獻日益突出。碼垛是提高物流系統(tǒng)中物資搬運效率和存儲利用率的重要手段， 使用碼垛機器人代替人工碼垛已經(jīng)成為物流行業(yè)發(fā)展的趨勢。碼垛機器人可以提高生產(chǎn)效率和產(chǎn)品質(zhì)量，并提高系統(tǒng)應(yīng)對新的物流需求的能力。上海交通大學(xué)[4] 探討了基于 Windows/RTX 的碼垛機器人控制系統(tǒng)軟件設(shè)計。結(jié)合碼垛機器人是一個實時多任務(wù)系統(tǒng)的特點，搭建了 Windows/RTX 的軟件平臺，在能夠繼續(xù)利用 Windows 操作系統(tǒng)原有豐富資源的前提下，通過擴展 RTX 實時模塊彌補了 Windows 系統(tǒng)在實時性方面的缺陷，滿足了機器人控制系統(tǒng)的實時性要求。該系統(tǒng)符合機器人控制器開放性設(shè)計的思想，當(dāng)機器人功能要求變化時，只需要在體系結(jié)構(gòu)中添加或刪除相應(yīng)的模塊，而不需要修改軟件體系結(jié)構(gòu)將機器人的任務(wù)， 提高了機器人的柔性，降低了機器人維護和升級的成本，為開發(fā)更多功能的機器人控制系統(tǒng)奠定了基礎(chǔ)。 柔索牽引攝像機器人系統(tǒng)有著廣泛的應(yīng)用前景，由于其自身的運動特性能給觀眾帶來前所未有的視覺體驗，目前許多大型賽事的實況轉(zhuǎn)播和綜藝廣播電視節(jié)目的錄制都采用了該設(shè)備。國內(nèi)學(xué)者對柔索牽引并聯(lián)機器人的理論研究成果已經(jīng)很豐富，但是柔索牽引攝像機器人控制系統(tǒng)的成品設(shè)計卻較少報道。西安電子科技大學(xué)[5]設(shè)計了一種柔索牽引攝像機器人控制系統(tǒng)，能夠?qū)崿F(xiàn)攝像機器人在三維工作空間內(nèi)任意運動，并且運動速度平穩(wěn)可控。 4.發(fā)展趨勢及展望 機器人的研發(fā)及生產(chǎn)制造能力是衡量一個國家科技創(chuàng)新能力和生產(chǎn)制造先進水平的重要標(biāo)志，目前世界各國都在加快推進機器人的研發(fā)和應(yīng)用，工業(yè)機器人的發(fā)展趨勢是 (1) 集成化、網(wǎng)絡(luò)化和開放化發(fā)展，隨著 PC 技術(shù)和集成電路設(shè)計水平的發(fā)展，機器人控制系統(tǒng)由原來的封閉式控制轉(zhuǎn)變?yōu)槊嫦蛴脩舻拈_放式和網(wǎng)絡(luò)化的控制系統(tǒng)，實現(xiàn)遠程實時控制和多臺設(shè)備協(xié)同操作完成任務(wù)。 (2) 多傳感器的融合的智能化發(fā)展，高度智能化的機器人集視覺、力、位移等多種傳感器于一體，能實時檢測周圍環(huán)境并進行分析、推理和判斷執(zhí)行相應(yīng)操作，具有獨立工作的能力。 (3) 模塊化、標(biāo)準化各部件實行標(biāo)準化和模塊化生產(chǎn)，不同型號的機器人之間可相互更換模塊重構(gòu)組成具有新結(jié)構(gòu)和新功能的機器人，模塊化還能夠減少研發(fā)周期和降低成本。 (4) 重型化、高速化和微型化發(fā)展，面向于工業(yè)生產(chǎn)的重型化機器人面對 大型工件能夠高效率、高精度的執(zhí)行搬運、加工等任務(wù)，微型化機器人適用于需要精細化操作的任務(wù)。 5.本文開展的工作 (1) 利用 matlab 對視覺特征提取完成定位模型的建立 (2)根據(jù)收集資料及相關(guān)分析完成控制系統(tǒng)設(shè)計方案，控制系統(tǒng)流程圖及控制系統(tǒng)硬件選取。 (3) 根據(jù)理論基礎(chǔ)研究完成控制系統(tǒng)設(shè)計開發(fā) 任務(wù)書 論文(設(shè)計)題目：基于視覺的工業(yè)機械手定位抓取系統(tǒng)虛擬實驗開發(fā) 工作日期：2017年12月18日 ~ 2018年05月25日 1.選題依據(jù): 本課題源自教師科研課題，主要完成典型機械手定位抓取系統(tǒng)設(shè)計及視覺定位研究 ，可培養(yǎng)學(xué)生綜合運用機電理論知識解決實際課題的開發(fā)設(shè)計能力，也可培養(yǎng)學(xué)生的學(xué)習(xí)能力和理論研究能力，具有較好的創(chuàng)新性和設(shè)計實踐意義。 2.論文要求(設(shè)計參數(shù)): 基于工業(yè)應(yīng)用的典型機械手，完成： 1.工業(yè)機械手基本理論研究； 2.定位抓取系統(tǒng)方案和硬件設(shè)計； 3.基于matlab系統(tǒng)開發(fā)； 4.視覺定位理論研究； 5.編寫設(shè)計說明書（大于6000字）； 6.外文翻譯一篇（大于2000字） 3.個人工作重點: 1.工業(yè)機械手定位抓取系統(tǒng)方案和硬件設(shè)計； 2.應(yīng)用matlab軟件進行定位抓取功能系統(tǒng)開發(fā)及虛擬仿真； 3.視覺識別理論研究。 4.時間安排及應(yīng)完成的工作: 第1周：下達設(shè)計任務(wù)，介紹設(shè)計內(nèi)容和具體要求。查閱文獻，了解課題。 第2周：撰寫開題報告和文獻綜述。 第3周：修改完善開題報告和文獻綜述。確定外文翻譯文章。 第4周：完成外文翻譯。開題答辯。 第5周：了解工業(yè)機械手基礎(chǔ)理論和視覺識別相關(guān)基礎(chǔ)知識。 第6周：定位抓取控制系統(tǒng)方案設(shè)計。 第7周：控制系統(tǒng)硬件系統(tǒng)設(shè)計。 第8周：Matlab 模塊熟悉和基本功能學(xué)習(xí)。第9周：控制系統(tǒng)開發(fā)及虛擬仿真。 第10周：控制系統(tǒng)開發(fā)及虛擬仿真。第11周：視覺識別理論研究。 第12周：視覺識別理論研究。 第13周：整理設(shè)計資料，編寫設(shè)計說明書。第14周：修改完善設(shè)計說明書。準備答辯。 5.應(yīng)閱讀的基本文獻: 1.夏群峰,彭勇剛.基于視覺的機器人抓取系統(tǒng)應(yīng)用研究綜述[J].機電工程,2014,31(232),06 25- 29,38. 2.翟敬梅,董鵬飛,張鐵.基于視覺引導(dǎo)的工業(yè)機器人定位抓取系統(tǒng)設(shè)計[J].機械設(shè)計與研究 ,2014,30(153), 05 53-57. 3.廖毅洲.視覺引導(dǎo)工業(yè)機器人定位抓取系統(tǒng)設(shè)計[J].電子世界,2017,No.511 4.盧冠男.基于機器視覺的工業(yè)機器人抓取系統(tǒng)的研究[D]. 合肥工業(yè)大學(xué),2017. 5.周衍超.基于視覺引導(dǎo)的機器人智能抓取技術(shù)研究[D].廣東工業(yè)大學(xué),2015. 6.許凡.視覺引導(dǎo)的抓取機器人控制技術(shù)的研究與開發(fā)[D].江南大學(xué),2014. 7.楊賀然,張莉彥.基于末端開環(huán)視覺系統(tǒng)的機器人目標(biāo)抓取研究[J].組合機床與自動化加工 技術(shù), 2012(12):37-40. 8.黃浩乾.采摘機械手的設(shè)計及其控制研究[D].南京農(nóng)業(yè)大學(xué),2010. 9.劉念.基于視覺機器人的目標(biāo)定位技術(shù)研究[D].華南農(nóng)業(yè)大學(xué),2016. 10.忽正熙. 基于模式識別與機器視覺工件的識別及分揀[D].昆明理工大學(xué),2016. 11.希超.基于視覺導(dǎo)向的機械手抓取定位技術(shù)研究[D]. 華南理工大學(xué), 2013. 指導(dǎo)教師簽字： XX 教研室主任意見： 同意 簽字：XX 2017年12月14日 教學(xué)指導(dǎo)分委會意見： 同意 簽字：XX 2017年12月15日 學(xué)院公章 進度檢查表 第 -4 周 工作進展情況 接受設(shè)計任務(wù)，熟悉設(shè)計內(nèi)容和具體要求。查閱文獻，了解課題。 2018年04月10日 指導(dǎo)教師意見 講解畢業(yè)設(shè)計任務(wù)書、工作要求、各節(jié)點工作安排。講解開題報告撰寫內(nèi)容和要求，查閱文獻方法，確定外文翻譯文章要求。 指導(dǎo)教師(簽字)：XX 2018年04月14日 第 -2 周 工作進展情況 撰寫開題報告和文獻綜述。準備閱讀大量文獻，并進行總結(jié) 2018年04月10日 指導(dǎo)教師意見 提交了開題報告第一稿。主要問題：對畢業(yè)設(shè)計工作重點理解有偏離 ，視覺方面的研究是難點，而工作重點和工作主要內(nèi)容應(yīng)為機械手虛擬實驗開發(fā)，完成機械手模型和虛擬實驗。重新修改。 指導(dǎo)教師(簽字)：XX 2018年04月14日 第 -1 周 工作進展情況 修改完善開題報告和文獻綜述。確定外文翻譯文章。開始翻譯 2018年04月10日 指導(dǎo)教師意見 修改了開題報告，重新調(diào)整工作內(nèi)容和工作重點。修改后思路較清楚 ，論述較充分，格式基本規(guī)范。開題答辯自述比較清楚，同意開題。 指導(dǎo)教師(簽字)：XX 2018年04月14日 第 1 周 工作進展情況 完成外文翻譯。明白文獻要闡述的問題，并結(jié)合自己的課題。 2018年04月10日 指導(dǎo)教師意見 完成外文翻譯，注意外文翻譯語句通順和專業(yè)角度表達、格式規(guī)范進行調(diào)整。 指導(dǎo)教師(簽字)：XX 2018年04月23日 第 3 周 工作進展情況 了解工業(yè)機械手基礎(chǔ)理論和學(xué)習(xí)視覺識別相關(guān)基礎(chǔ)知識。 2018年04月10日 指導(dǎo)教師意見 進度稍慢。確定設(shè)計方案、所用開發(fā)語言和開發(fā)平臺。建議采用 Labview進行虛擬開發(fā)。 指導(dǎo)教師(簽字)：XX 2018年04月23日 第 5 周 工作進展情況 定位抓取控制系統(tǒng)方案設(shè)計，零部件選取，機械手三維圖紙制作。 2018年04月10日 指導(dǎo)教師意見 完成機械手三維設(shè)計，細節(jié)部分需要完善。另外，三維設(shè)計結(jié)構(gòu)應(yīng)置于虛擬開發(fā)系統(tǒng)之中，利用進行視覺識別以控制。 指導(dǎo)教師(簽字)：XX 2018年04月23日 第 7 周 工作進展情況 控制系統(tǒng)硬件系統(tǒng)設(shè)計，硬件性能評估及其選取。繪制流程圖。 2018年04月10日 指導(dǎo)教師意見 內(nèi)容不全，控制系統(tǒng)設(shè)計再補充完整。最好給出相應(yīng)的硬件器件。 指導(dǎo)教師(簽字)：XX 2018年04月23日 第 8 周 工作進展情況 Matlab 及l(fā)abview 模塊熟悉和基本功能學(xué)習(xí)。構(gòu)建基本模型 2018年04月10日 指導(dǎo)教師意見 用Labview構(gòu)建了機械手仿真基本模塊，完成動手仿真控制；應(yīng)用Matlab完成了物體模型建立。 指導(dǎo)教師(簽字)：XX 2018年05月13日 第 9 周 工作進展情況 控制系統(tǒng)開發(fā)及虛擬仿真，完成SolidWorks圖。以及機械臂的labview控值仿真和控制流程圖，畢業(yè)設(shè)計說明書編寫。 2018年04月10日 指導(dǎo)教師意見 基于Labview進行工業(yè)機械手虛擬仿真開發(fā)，整理設(shè)計資料，撰寫設(shè)計 說明書。 指導(dǎo)教師(簽字)：XX 2018年05月18日 第 10 周 工作進展情況 控制系統(tǒng)開發(fā)及虛擬仿真。完成機械手的labview控值仿真和控制流程圖 ，畢業(yè)設(shè)計說明書編寫。 2018年04月10日 指導(dǎo)教師意見 設(shè)計說明書整體結(jié)構(gòu)需要調(diào)整，層次不夠清晰。進一步修改完善設(shè)計說明書。 指導(dǎo)教師(簽字)：XX 2018年05月18日 過程管理評價表 評價內(nèi)容 具體要求 總分 評分 工作態(tài)度 態(tài)度認真，刻苦努力，作風(fēng)嚴謹 3 2 遵守紀律 自覺遵守學(xué)校有關(guān)規(guī)定，主動聯(lián)系指導(dǎo)教師,接受指導(dǎo) 3 3 開題報告 內(nèi)容詳實，符合規(guī)范要求 5 4 任務(wù)完成 按時、圓滿完成各項工作任務(wù) 4 3 過程管理評分合計 12 過程管 理評語 該同學(xué)工作態(tài)度認真、工作比較刻苦努力，工作作風(fēng)較為嚴謹 。前中期受到考研影響，開題報告和設(shè)計方案部分較為滯后；中后期能較合理安排畢業(yè)實習(xí)和畢業(yè)設(shè)計關(guān)系，基本上按進度開展各項工作。雖兼顧畢業(yè)實習(xí)，但能遵守學(xué)校規(guī)定和指導(dǎo)教師要求，通過網(wǎng)絡(luò)及時與老師溝通，進行工作匯報和接受指導(dǎo)，并且能獨立地開展畢業(yè)設(shè)計，根據(jù)老師意見及時進行修改和完善。開題報告經(jīng)幾次修改后，能圍繞設(shè)計主題進行論述，內(nèi)容較為詳實，格式經(jīng)修改后符合規(guī)范要求。能按時完成設(shè)計任務(wù)書的各項任務(wù)。 指導(dǎo)教師簽字:XX 日期:2018-05-20 指導(dǎo)教師評價表 評價內(nèi)容 具體要求 總分 評分 選題質(zhì)量 符合培養(yǎng)目標(biāo)要求,有一定的研究價值和實踐意義,有一定的開拓性、創(chuàng)新性,深度、難度適宜,工作量飽滿 5 4 能力水平 有較強的綜合運用知識能力、科研方法運用能力、中文表達與外語能力、文獻資料檢索能力、計算機應(yīng)用能力 5 4 完成質(zhì)量 文題相符,概念準確,分析、論證、計算、設(shè)計、實驗等正確合理,結(jié)論明確；論文結(jié)構(gòu)、撰寫格式、圖表等符合基本規(guī) 10 8 指導(dǎo)教師評分合計 16 指導(dǎo)教 師評語 畢業(yè)設(shè)計題目源自實驗室建設(shè)項目內(nèi)容，主要完成機械結(jié)構(gòu)建模和仿真實驗系統(tǒng)開發(fā)，為綜合類設(shè)計題目，工作量適中，稍有難度，有一定的創(chuàng)新性和研究價值。該同學(xué)數(shù)學(xué)分析能力和專業(yè)基礎(chǔ)知識羅扎實，具備較強的學(xué)習(xí)能力、文獻檢索能力，計算機文檔能力和專業(yè)專業(yè)軟件應(yīng)用能力較強，也具備一定的研究能力，但在中文表達和外能力方面一般，在計劃上稍為薄弱。整套畢業(yè)設(shè)計，完成了工業(yè)機械手和抓緊系統(tǒng)三維建模，以及完成基于Labview的機 械手虛擬實驗開發(fā)，并且初步進行了視覺定位的理論研究和數(shù)值分析。設(shè)計說明書整體框架完整，層次清楚，但在表達自己設(shè)計內(nèi)容尚不夠充分，外文翻譯基本與原文相符，格式經(jīng)多次修改后符合規(guī)范要求。完成了任務(wù)書要求，同意答辯。 指導(dǎo)教師簽字:XX 日期:2018-05-20 評閱人評價表 評價內(nèi)容 具體要求 總分 評分 選題質(zhì)量 符合培養(yǎng)目標(biāo)要求,有一定的研究價值和實踐意義,有一定的 開拓性、創(chuàng)新性,深度、難度適宜,工作量飽滿 5 3 能力水平 有較強的綜合運用知識能力、科研方法運用能力、中文表 達與外語能力、文獻資料檢索能力、計算機應(yīng)用能力 5 4 完成質(zhì)量 文題相符,概念準確,分析、論證、計算、設(shè)計、實驗等正確 合理,結(jié)論明確；論文結(jié)構(gòu)、撰寫格式、圖表等符合基本規(guī) 10 8 評閱人評分合計 15 評閱人 評語 本研究基于視覺的機械手定位抓取研究虛擬實驗開發(fā)，采用solidworks軟件進行機械結(jié)構(gòu)設(shè)計建模，應(yīng)用Labview進行虛擬實驗系統(tǒng)開發(fā)，采用matlab軟件對位姿進行了數(shù)學(xué)分析。選題基本符合 培養(yǎng)目標(biāo)要求，有一定的研究價值和實踐意義，有一定的開拓性、創(chuàng)新性，深度、難度適宜，工作量基本飽滿。從論文完成情況看 ，該生具備一定的綜合運用知識能力、科研方法運用能力、中文表達與外語能力、文獻資料檢索能力、計算機應(yīng)用能力；具有一定的綜合運用知識能力、科研方法運用能力、中文表達與外語能力、文獻資料檢索能力、計算機應(yīng)用能力；文題相符，概念準確，分析、論證、計算、設(shè)計、實驗等基本正確合理，結(jié)論基本明確；論文結(jié)構(gòu)、撰寫格式、圖表等基本符合規(guī)范要求。建議參加答辯。 評閱人簽字：XX 評閱人工作單位：XX日期：2018-05-23 答辯紀錄 學(xué)生姓名：XX 專業(yè)班級：XX 畢業(yè)論文(設(shè)計)題目： 基于視覺的工業(yè)機械手定位抓取系統(tǒng)虛擬實驗開答辯時間：2018年05月 日 時 分 ~ 時 分 答辯委員會(答 主任委員(組長)： XX 辯小組)成員 委 員(組 員)：XX XX 答辯委員會(答辯小組)提出的問題和答辯情況 問題1：二值化邊緣處理方法 回 答： 波處理、信號變換方法，波是處理復(fù)雜的。問題2：坐標(biāo)系提取完后定位中用圖片定位 回 答： 圖片是無法定位的，平面位置定位，垂直距離是一定的。問題3：濾波用的什么濾波 回 答： 濾波用SMOOTH。問題4：矩形定位法作用 回 答： 找到物體坐標(biāo)值。 問題5：夾爪設(shè)計中怎樣保證同步回 答： 齒輪傳動比1：1. 問題6：怎樣同時運動？ 回 答： 用同一個電機同時驅(qū)動。 問題7：用matlab做空間運動角中，能將數(shù)值轉(zhuǎn)到2aboview 回 答： 可以動，但需要實驗。 問題8：濾波方法有幾種？ 回 答： 未回答上來。 記錄人： 2018年05月24日 答辯委員會評價表 評價內(nèi)容 具體要求 總分 評分 自述總結(jié) 思路清晰,語言表達準確,概念清楚,論點正確,分析歸納合理 10 9 答辯過程 能夠正確回答所提出的問題,基本概念清楚,有理論根據(jù) 10 8 選題質(zhì)量 符合培養(yǎng)目標(biāo)要求,有一定的研究價值和實踐意義,有一定的 開拓性、創(chuàng)新性,深度、難度適宜,工作量飽滿 5 4 完成質(zhì)量 文題相符,概念準確,分析、論證、計算、設(shè)計、實驗等正確 合理,結(jié)論明確；論文結(jié)構(gòu)、撰寫格式、圖表等符合基本規(guī) 10 8 能力水平 有較強的綜合運用知識能力、科研方法運用能力、中文表 達與外語應(yīng)用能力、文獻資料檢索能力、計算機應(yīng)用能力 10 8 答辯委員會評分合計 37 答辯委員會評語 XX同學(xué)在畢業(yè)設(shè)計工作期間，工作努力，態(tài)度認真，能遵守各項紀律 ，表現(xiàn)良好。 能按時、全面、獨立地完成與畢業(yè)設(shè)計有關(guān)的各環(huán)節(jié)工作，具有一定的綜合分析問題和解決問題的能力。 論文立論正確，理論分析得當(dāng)，解決問題方案實用，結(jié)論正確。 論文使用的概念正確，語言表達準確，結(jié)構(gòu)嚴謹，條理清楚。 論文中使用的圖表，設(shè)計中的圖紙在書寫和制作時，能夠執(zhí)行國家相關(guān)標(biāo)準，規(guī)范化較好。 具有一定的獨立查閱文獻資料及外語應(yīng)用能力，原始數(shù)據(jù)搜集得當(dāng)，實驗或計算結(jié)論準確。 答辯過程中，能夠簡明和正確地闡述論文的主要內(nèi)容，思路清晰，論點基本正確；回答問題準確，有應(yīng)變力；有較好的語言表達能力。 答辯成績： 37 答辯委員會主任： XX 2018年05月29日 成績評定 項目分類 成績評定 過程管理評分 12 指導(dǎo)教師評分 16 評閱人評分 15 答辯委員會評分 37 總分 80 成績等級 B 成績等級按“A、B、C、D、F”記載 成績審核人簽章： XX 學(xué)院審核人簽章： XX 基于視覺的機械手定位抓取研究虛擬實驗開發(fā) 摘要 工業(yè)機器人是面向工業(yè)領(lǐng)域的，集多學(xué)科先進技術(shù)于一體的機電一體化自動化裝備。工業(yè)機器人的設(shè)計與制造是一個非常復(fù)雜的過程，涉及的技術(shù)和領(lǐng)域很多，主要包括系統(tǒng)化、感知技術(shù)、識別處理能力、傳動技術(shù)等。 本文首先介紹國內(nèi)外工業(yè)機器人的發(fā)展過程、現(xiàn)狀及趨勢，簡單介紹機器人仿真系統(tǒng)的應(yīng)用。介紹了六自由度關(guān)節(jié)式機器人組件和結(jié)構(gòu)類型，建立了機器人結(jié)構(gòu)模型，給出設(shè)計方案，以及機械結(jié)構(gòu)三維設(shè)計。其次研究六自由度關(guān)節(jié)式機器人仿真系統(tǒng)的開發(fā)，選擇較優(yōu)的仿真開發(fā)平臺---Labview，并建立工業(yè)機械手模型，完成仿真動作，并舉例實現(xiàn)這一研究。 再者完成視覺技術(shù)的開發(fā)，建立目標(biāo)物的位姿坐標(biāo)系，在 LabVIEW 環(huán)境下搭建模擬仿真機械手定位抓取平臺， 并結(jié)合 LabVIEW 環(huán)境中 mathscript 添加了圖像處理，邊緣檢測，矩形標(biāo)定法以及幾何計算等 MATLAB 算法程序，對于規(guī)則三維物體，根據(jù)識別出的目標(biāo)物的形狀、尺寸和位置信息；搭建工作臺需要一款工業(yè)相機及目標(biāo)物組成的實驗平臺。對該系統(tǒng)建立坐標(biāo)系，進行攝像標(biāo)定、目標(biāo)物形狀尺寸和位姿識別。最后利用 matlab 工具箱求解雅克逆矩陣解，求得各個關(guān)節(jié)的運動角度完成抓取過程。本文研究成果為工業(yè)自動化中應(yīng)用 視覺引導(dǎo)機器人識別抓 取三維物體提供了實踐意義的借鑒。 關(guān)鍵詞： 位置標(biāo)定；圖像處理； 視覺識別；Labview 仿真開發(fā) I ABSTRACT Industrial robots are mechanical and electrical integration automation equipment that is oriented to the industrial field and incorporates multidisciplinary and advanced technologies. The design and manufacture of industrial robots is a very complex process involving many technologies and areas, including systematization, sensing technology, identification processing capabilities, and transmission technologies. This article first introduces the development process, status and trends of industrial robots at home and abroad, and briefly introduces the application of robot simulation systems. The six-degree-of-freedom articulated robot components and structure types are introduced. The robot structure model is established, the design scheme is given, and the three-dimensional design of the mechanical structure is presented. Secondly, the development of the six-degree-of-freedom articulated robot simulation system was studied. Labview, the best simulation development platform, was selected. The industrial manipulator model was established, the simulation was completed, and an example was implemented. In addition, the development of vision technology was completed, the coordinate system of the object's pose was established, and a simulation robot's positioning and grabbing platform was set up in the LabVIEW environment. In addition, image processing, edge detection, rectangular calibration method, and geometric calculation were added to mathscript in the LabVIEW environment. Such as MATLAB algorithm program, for the regular three-dimensional objects, according to the shape, size and position information of the identified target object; to build a work table requires an experimental platform composed of an industrial camera and a target object. A coordinate system is established for the system to perform camera calibration, object shape size and pose recognition. Finally, using the Matlab toolbox to solve Jaco's inverse matrix solution, the motion angle of each joint is completed. The research results of this paper provide a practical reference for the application of vision guided robots in industrial automation to capture three-dimensional objects. Keywords: 3D simulation; position calibration; image processing; industrial robot II 目錄 摘要 I ABSTRACT II 1. 緒論 1 1.1 概述 1 1.2 發(fā)展前景及方向 1 1.3 機器人的視覺引導(dǎo)控制 3 1.4 本文設(shè)計內(nèi)容 3 2. 2 抓取機器人設(shè)計 1 2.1 控制系統(tǒng)構(gòu)成 2 2.2 機械結(jié)構(gòu)三維設(shè)計 3 2.3 定位抓取結(jié)構(gòu)設(shè)計 3 2.4 機械手視覺抓取系統(tǒng)原理 4 2.5 基于視覺抓取硬件選型 5 3. 3 仿真系統(tǒng)開發(fā) 9 3.1 開發(fā)平臺選擇 9 3.2 工業(yè)機械手模型的建立 9 3.3 動作控制的實現(xiàn) 10 4. 4 視覺識別技術(shù)的開發(fā) 14 4.1 視覺識別技術(shù)理論研究 14 4.2 位置坐標(biāo)系的建立 18 4.3 基于 Matlab 的開發(fā)技術(shù) 20 5. 5 結(jié)論 23 參考文獻 24 致謝 42 I 基于視覺的機械手定位抓取研究虛擬實驗開發(fā) 1. 緒論 1.1 概述 機械手是一種模擬人手操作的自動機械。它可按固定程序抓取、搬運物件或操持工具完成某些特定操作。應(yīng)用機械手可以代替人從事單調(diào)、重復(fù)或繁重的體力勞動，實現(xiàn)生產(chǎn)的機械化和自動化，代替人在有害環(huán)境下的手工操作，改善勞動條件，保證人身安全，因而廣泛應(yīng)用于機械制造、冶金、電子、輕工和原子能等部門。 20 世紀 40 年代后期，美國在原子能實驗中，首先采用機械手搬運放射性材料，人在安全間操縱機械手進行各種操作和實驗。50 年代以后，機械手逐步推廣到工業(yè)生產(chǎn)部門，用于在高溫、污染嚴重的地方取放工件和裝卸材料，也作為機床的輔助裝置在自動機床、自動生產(chǎn)線和加工中心中應(yīng)用，完成上下料或從刀庫中取放刀具并按固定程序更換刀具等操作。 機械手主要由手部和運動機構(gòu)組成。手部是用來抓持工件（或工具）的部件， 根據(jù)被抓持物件的形狀、尺寸、重量、材料和作業(yè)要求而有多種結(jié)構(gòu)形式，如夾持型、托持型和吸附型等。運動機構(gòu)，使手部完成各種轉(zhuǎn)動（擺動）、移動或復(fù)合運動來實現(xiàn)規(guī)定的動作，改變被抓持物件的位置和姿勢。運動機構(gòu)的升降、伸縮、旋轉(zhuǎn)等獨立運動方式，稱為機械手的自由度。為了抓取空間中任意位置和方位的物體，需有 6 個自由度 。自由度是機械手設(shè)計的關(guān)鍵參數(shù) 。自由 度越多， 機械手的靈活性越大，通用性越廣，其結(jié)構(gòu)也越復(fù)雜。一般專用機械手有 2～3 個自由度。 機械手的種類，按驅(qū)動方式可分為液壓式、氣動式、電動式、機械式機械手； 按適用范圍可分為專用機械手和通用機械手兩種；按運動軌跡控制方式可分為點位控制和連續(xù)軌跡控制機械手等。 機械手通常用作機床或其他機器的附加裝置，如在自動機床或自動生產(chǎn)線上裝卸和傳遞工件，在加工中心中更換刀具等，一般沒有獨立的控制裝置。有些操作裝置需要由人直接操縱，如用于原子能部門操持危險物品的主從式操作手也常稱為機械手。 1.2 發(fā)展前景及方向 工業(yè)機器人已廣泛應(yīng)用于汽車及汽車零部件制造業(yè)、機械加工行業(yè)、電子電氣行業(yè)、橡膠及塑料工業(yè)、食品工業(yè)、木材與家具制造業(yè)等領(lǐng)域中;并開始擴大 4 到國防軍事、醫(yī)療衛(wèi)生、生活服務(wù)等領(lǐng)域，如無人偵察機、警備機器人、醫(yī)療機器人、家政服務(wù)機器人等均有應(yīng)用實例，當(dāng)前我國工業(yè)機器人產(chǎn)業(yè)已初具規(guī)模。其主要發(fā)展方向： 1 重復(fù)高精度 精度是指機器人、機械手到達指定點的精確程度, 它與驅(qū)動器的分辨率以及反饋裝置有關(guān)。重復(fù)精度是指如果動作重復(fù)多次, 機械手到達同樣位置的精確程度。重復(fù)精度比精度更重要, 如果一個機器人定位不夠精確, 通常會顯示一個固定的誤差, 這個誤差是可以預(yù)測的, 因此可以通過編程予以校正。重復(fù)精度限定的是一個隨機誤差的范圍, 它通過一定次數(shù)地重復(fù)運行機器人來測定。隨著微電子技術(shù)和現(xiàn)代控制技術(shù)的發(fā)展,機械手的重復(fù)精度將越來越高, 它的應(yīng)用領(lǐng)域也將更廣闊, 如核工業(yè)和軍事工業(yè)等。 2 模塊化 有的公司把帶有系列導(dǎo)向驅(qū)動裝置的機械手稱為簡單的傳輸技術(shù), 而把模塊化拼裝的機械手稱為現(xiàn)代傳輸技術(shù)。模塊化拼裝的機械手比組合導(dǎo)向驅(qū)動裝置更具靈活的安裝體系。它集成電接口和帶電纜及油管的導(dǎo)向系統(tǒng)裝置, 使機械手運動自如。模塊化機械手使同一機械手可能由于應(yīng)用不同的模塊而具有不同的功能, 擴大了機械手的應(yīng)用范圍, 是機械手的一個重要的發(fā)展方向。 3 機電一體化 由“可編程序控制器- 傳感器- 液壓元件”組成的典型的控制系統(tǒng)仍然是自動化技術(shù)的重要方面;發(fā)展與電子技術(shù)相結(jié)合的自適應(yīng)控制液壓元件, 使液壓技術(shù)從“開關(guān)控制”進入到高精度的“反饋控制”; 省配線的復(fù)合集成系統(tǒng), 不僅減少配線、配管和元件, 而且拆裝簡單, 大大提高了系統(tǒng)的可靠性。而今, 電磁閥的線圈功率越來越小, 而 PLC 的輸出功率在增大, 由 PLC 直接控制線圈變得越來越可能。 隨著科學(xué)與技術(shù)的發(fā)展, 機械手的應(yīng)用領(lǐng)域也不斷擴大.目前, 機械手不僅應(yīng)用于傳統(tǒng)制造業(yè)如采礦,冶金,石油,化學(xué),船舶等領(lǐng)域,同時也已開始擴大到核能, 航空,航天,醫(yī)藥,生化等高科技領(lǐng)域以及家庭清潔,醫(yī)療康復(fù)等服務(wù)業(yè)領(lǐng)域中.如,水下機器人,拋光機器人,打毛刺機器人,擦玻璃機器人,高壓線作業(yè)機器人,服裝裁剪機器人,制衣機器人,管道機器人等特種機器人以及掃雷機器人,作戰(zhàn)機器人,偵察機器人,哨兵機器人,排雷機器人,布雷機器人等軍用機器人都是機械手應(yīng)用的典型。機械手廣泛應(yīng)用于各行各業(yè).而且,隨著人類生活水平的提高及文化生活的日益豐富多彩,未來各種專業(yè)服務(wù)機器人和家庭用消費機器人將不斷貼近人類生活, 其市場將繁榮興旺 1.3 機器人的視覺引導(dǎo)控制 工業(yè)機器人產(chǎn)品，由于其成熟的設(shè)計理論，各種機器人的優(yōu)劣就取決于各自的硬件控制。而相關(guān)的控制器在目前的技術(shù)理論條件下已經(jīng)能夠提供各種安全有保證的控制策略，比如直線插補、關(guān)節(jié)插補、圓弧插補等運動，這類運動可以使我們更好的規(guī)劃機器人的動作軌跡，使其在運動過程中更加美觀。只要給定執(zhí)行件需要的運動方位及其相關(guān)參數(shù)，如速度，時間等信息，控制器就能夠相應(yīng)的控制機器人做出我們預(yù)期的目標(biāo)動作。因而在設(shè)計機器人的動作抓取時，研究者不用擔(dān)心如何改進和調(diào)整這些成熟的運動控制技術(shù)。主要的研究難點集中于以下三個方面: （1）如何從攝像機捕獲的圖像中分辨出我們需要獲得的被檢測物的三維 信息; （2）如何快速的確定被抓取物與機械手之間的相互位置以及被抓取物的 位姿狀態(tài); （3）如何規(guī)劃機械手手爪的抓取動作，保證其穩(wěn)定性和可靠性。 簡單地講，第一點就是需要設(shè)計如何讓機器人知道將要抓取的是何種形狀的物體， 第二點就是需要讓機器人知道將要抓取的物體在何種位置，第三點就是控制機器人如何穩(wěn)定地抓取物件。計算機視覺具有可以處理大量信息，可以實現(xiàn)無損檢測，檢測范圍廣，精度高等特點，隨著近年來其在工業(yè)機器人領(lǐng)域的廣泛應(yīng)用， 較大地推動了機械生產(chǎn)的自動化、智能化。目前的檢測手段有很多種，機器視覺以其接近人類觀察特性的特點，被研究者廣為青睞，尤其是在識別、檢測領(lǐng)域更是發(fā)展迅速。 1.4 本文設(shè)計內(nèi)容 首先，了解國內(nèi)外工業(yè)機器人的發(fā)展過程、現(xiàn)狀及趨勢，簡單介紹機器人仿真系統(tǒng)的應(yīng)用。了解六自由度關(guān)節(jié)式機器人組件和結(jié)構(gòu)類型，建立了機器人結(jié)構(gòu)模型，給出設(shè)計方案，以及機械結(jié)構(gòu)三維設(shè)計。并研究六自由度關(guān)節(jié)式機器人仿真系統(tǒng)開發(fā)， 選擇較優(yōu)的仿真開發(fā)平臺，建立工業(yè)機械手模型，完成仿真動作，并舉例實現(xiàn)這一研究。然后完成視覺技術(shù)的開發(fā)，建立目標(biāo)物的位姿坐標(biāo)系，利用 MATLAB 完成對圖像的采集和特征提取處理。 最后完成對本次論文內(nèi)容的總結(jié) （1）機器人設(shè)計 u 完成機械手結(jié)構(gòu)設(shè)計，了解其工作原理，畫出 SolidWorks 圖。 u 完成機械手控制系統(tǒng)設(shè)計，利用 Labview 完成仿真。 （2）工業(yè)機器人相關(guān)理論研究 u 完成視覺特征提取模型 u 控制系統(tǒng)流程圖 u 控制系統(tǒng)硬件選擇 (3) 軟件系統(tǒng)的開發(fā)： u 控制系統(tǒng)設(shè)計及虛擬仿真 u Matlab 對視覺的預(yù)處理 u MATLAB 程序編寫 基于視覺的工業(yè)機械手定位抓取系統(tǒng)虛擬實驗開發(fā) 2. 抓取機器人設(shè)計 本文設(shè)計的工業(yè)器人應(yīng)用于抓取工業(yè)零件來增加效率，機器人在工作時需要滿足在其活動范圍內(nèi)能達到任意的位姿，通過收集各種類型抓取機器人的資料并分享比較的其優(yōu)缺點后，確定選擇六自由度關(guān)節(jié)型機器人，其機械結(jié)構(gòu)如圖 2.1 所機器人具有六個自由度。 ? 圖 2.1 六自由度機器人 其中自由度分別是腰關(guān)節(jié)的移動和轉(zhuǎn)動、大臂的擺動、小臂的擺動和腕部的轉(zhuǎn)動，都為關(guān)節(jié)連接，采用六自由度串聯(lián)關(guān)節(jié)式結(jié)構(gòu)，其結(jié)構(gòu)如圖 2.2 所示。機器人的六個關(guān)節(jié)均為轉(zhuǎn)動關(guān)節(jié)，第二、三、五關(guān)節(jié)作俯仰運動，第一、四、六關(guān)節(jié)作回轉(zhuǎn)運動。機器人后三個關(guān)節(jié)軸線相交與一點，為腕關(guān)節(jié)的原點，前 3 個關(guān)節(jié)可以確 定腕關(guān)節(jié)原點的位置，后 3 個關(guān)節(jié)可以確定末端執(zhí)行器的位姿。第 6 關(guān)節(jié)預(yù)留適配接口，用來安裝不同的工具或接頭(如手爪)以適應(yīng)不同的工業(yè)需求和任務(wù)。 圖 2.2 六自由度機器人機構(gòu) 43 2.1 控制系統(tǒng)構(gòu)成 完整的機器人結(jié)構(gòu)由三大部分和六個子系統(tǒng)組成如 2.3 所示。三大部分分別是機械、傳感和控制部分。六個子系統(tǒng)是驅(qū)動、機械結(jié)構(gòu)、感受、機器人環(huán)境交換、人機交換和控制系統(tǒng)。驅(qū)動系統(tǒng)，主要功能要機器人運作起來，各需各個關(guān)節(jié)即每個運動自由度安置傳動裝置。 圖 2.3 機器人構(gòu)成 控制系統(tǒng)的任務(wù)是根據(jù)機器人的作業(yè)指令程序以及傳感器反饋回來的信號支配機器人的執(zhí)行機構(gòu)去完成規(guī)定的運動和功能。其組成為 CPU、示教盒:、操作面板、硬盤和軟盤存儲存 、數(shù)字和模擬量輸入輸出、打印機接口 、傳感器接口、軸控制器 、輔助設(shè)備。機器人控制系統(tǒng)多采用分布式結(jié)構(gòu)，即上一級主控計算機負責(zé)整個系統(tǒng)管理以及坐標(biāo)變換和軌跡插補運算等;下一級由許多微處理器組成，每一個微處理器控制一個關(guān)節(jié)運動，它們并行地完成控制任務(wù)。因而能提高整個控制系統(tǒng)的工作速度和處理能力。分布式控制系統(tǒng)具有開放性特點，可以根據(jù)需要增加更多的處理器，以滿足傳感器處理和通信的需要。如圖 2.4 所示。 圖 2.4 總控制流程圖 2.2 機械結(jié)構(gòu)三維設(shè)計 機器人型號選擇是實現(xiàn)機器人完成任務(wù)準確定位的重要因素之一，由實際的工業(yè)生產(chǎn)效況中抓取零件的幾何尺寸和物理化學(xué)性能以及抓取的速率和效果來選取較優(yōu)的機械臂和機械手。其中按機器人結(jié)構(gòu)形式一般工業(yè)機器人為 6 個自由度前三個稱為手臂機構(gòu),后三個稱為手腕機構(gòu)。根據(jù)手臂機構(gòu)的運動不同形式的組合得到不同的機器人機構(gòu)形式?？煞譃椋褐苯亲鴺?biāo)式(PPP)，圓柱坐標(biāo)式(RPP），球坐標(biāo)式(RRP)。根據(jù)實際零件大小以及抓取條件。本系統(tǒng)使用的是六自由度關(guān)節(jié)機器人如SolidWorks 圖 2.5 所示。 圖 2.5 SolidWorks 三維圖 其中機械臂的運動性能如下: S 旋轉(zhuǎn)軸 動作范圍 -90°到 +90°最大速度 185°/秒 L 下臂軸 動作范圍 +50°到 -100°最大速度 185°/秒 U 上臂軸 動作范圍 +5°到 +163°最大速度 185°/秒 R 手腕旋轉(zhuǎn)軸動作范圍 -360°到 +360°最大速度 360°/秒 B 手腕擺動軸動作范圍 -360°到 +360°最大速度 410°/秒T 手腕回轉(zhuǎn)軸動作范圍 -360°到 +360°最大速度 500°/秒 2.3 定位抓取結(jié)構(gòu)設(shè)計 執(zhí)行機構(gòu)的設(shè)計。執(zhí)行機構(gòu)是機器人完成工作任務(wù)的機械實體。機械手臂：由桿件機構(gòu)和關(guān)節(jié)機構(gòu)組成空間開鏈機構(gòu)，又可以分為機座腰部臂部肩和肘腕部。機器人末端執(zhí)行器的種類有很多, 以適應(yīng)機器人的不同作業(yè)及操作要求。 在 設(shè)計末端執(zhí)行器時,應(yīng)注意如下幾點: 1) 機械爪是根據(jù)機器人作業(yè)要求來設(shè)計的。新的機械爪的出現(xiàn)可以增加一種機 器人新的應(yīng)用場所，可以拾取不同種目標(biāo)物。 2)要求機械爪重量輕結(jié)構(gòu)緊湊，滿足工作強度需求。 3) 要求在夾持工件時，應(yīng)有一定的形狀約束，保證工件在夾緊過程中停止和加載且不改變姿態(tài)。當(dāng)松開工件時，應(yīng)完全松開。機械爪可分為圓弧開口式 圓弧平行開閉式和直線平行開閉式。本設(shè)計選用弧形開閉型。這種類型是由傳動機構(gòu)驅(qū)動的。指尖的運動軌跡是圓弧，兩只手是圓弧圍繞分支點移動。這種夾持器對工件夾持部的尺寸有嚴格的要求，否則會使工件處于無序狀態(tài)。其結(jié)構(gòu)如圖 2.6 所示。 圖 2.1 雙齒輪爪 2.4 機械手視覺抓取系統(tǒng)原理 機械手視覺抓取系統(tǒng)是指利用動態(tài)視頻每一幀獲取圖像信息，在將獲取的每一幀圖像經(jīng)過系統(tǒng)的處理，提取有用的特征，同時完成對這些特征信息的分析處理， 并根據(jù)最終的結(jié)果來控制外界機械動作。本文設(shè)計的機器視覺的工作原理為:首先通過照明系統(tǒng)將目標(biāo)物成像到攝像機上;然后將像機將圖像傳感器接收到的光學(xué)圖像轉(zhuǎn)化為計算機能夠處理的電信號，并整合給圖像處理系統(tǒng);接著系統(tǒng)對這些電信號進行處理得到特征信息;最后將得到的電信號輸出給計算機。具體見圖 2.7。 圖 2.7 總流程圖 由機械手視覺抓取系統(tǒng)的工作原理知，典型的基于視覺的機器人應(yīng)用系統(tǒng)如下圖 2.8 所示：1 光源 2 TS、3 像機、4 HDMI、5 處理系統(tǒng)、6 控制單元、7 執(zhí)行機構(gòu)、 8 光電傳感器（觸發(fā)圖像采集器）,9 物件。其中圖 2.8 為總流程框架。 圖 2.8 機械手系統(tǒng)原理圖 2.5 基于視覺抓取硬件選型 在經(jīng)典的基于視覺的機械手抓取系統(tǒng)中，關(guān)鍵技術(shù)包括光源照明技術(shù)，相機， TS，圖像處理算法和執(zhí)行系統(tǒng)。光源照明技術(shù)在 機器視覺產(chǎn)品中，優(yōu)良的照明方案是整個系統(tǒng)完成既定任務(wù)的關(guān)鍵因素。優(yōu)良的光源和照明解決方案都具有以下特點： 盡可能地突出物體的特征。 （1）照明方案影響機器視覺系統(tǒng)采集的輸入數(shù)據(jù)的質(zhì)量。由于目前沒有通用 的機器視覺照明設(shè)備，所以對每個應(yīng)用都有不同的照明方案。光源可分為可見光和不可見光，常見的幾種可見光源有白熾燈、水銀燈和鈉光燈等。從表 1 可以看出， LED：良好的顯色性，光譜范圍寬，穩(wěn)定時間長，光強度高。另外，高頻熒光燈具有高發(fā)光強度和良好的性價比，并且經(jīng)常用于某些特殊場合。見表 2.1 光源特點比較。 表 2.1 光源對比 種類 顏色 壽命/h 亮度 特點 鹵素?zé)?白色/淺黃 熒光燈 白色/淺綠 LED燈 紅 / 黃 / 綠， HID燈 白色/淺藍 5000~7000 很亮 發(fā)熱多 5000~7000 亮 便宜 60000~100000 較亮 發(fā)熱少 3000~7000 亮 持續(xù)光 2） 攝 像 機 CCD 技術(shù)具有體積小、重量輕、壽命長且抗沖擊、清晰度高等特點，在機器視 覺中得到廣泛應(yīng)用。見圖 2,9. 圖 2.9 CCD 攝像機 本文使用的是大華公司的 A5131CG75 工業(yè)相機，如圖 2.2 所示，其性能參數(shù)， 如表 2.2 所示。 表 2.2 CCD 工業(yè)相機參數(shù) 性能指標(biāo) 參數(shù) 芯片 PYTHON 400 像素數(shù) 250萬 分辨率 1280*1024 幀率 100幀/秒 拉伸 7/10 顏色 彩色 供電方式 直流6-24V 尺寸 30mm*30mm*30mm 3）光學(xué)鏡頭 本文選取 Pomeas 公司的特寫變倍鏡頭，如圖 2.10 所示，其參數(shù)如表 2.3 所示。 圖 2.10 特寫變倍鏡頭 表 2.3 鏡頭參數(shù)表 性能指標(biāo) 參數(shù) 靶面尺寸 2/3 焦距(mm) 12 接口 C-接口 光圈 手動 變焦 手動 尺寸 33.5*28.2 4）圖像采集卡 圖像采集卡是把攝像頭、VHS、DVD 機等模擬設(shè)備的信號導(dǎo)入的計算機內(nèi)；電腦攝像頭一般是 USB 接口，像素、線數(shù)、照度等參數(shù)達不到監(jiān)控級別，所以采集卡與監(jiān)控攝像頭做監(jiān)控；采集卡除了保存圖像信號，主要還是不同的采集卡有不同的壓縮算法，配合軟件，可以在保持高分辨率的前提下，壓縮數(shù)據(jù)料。使用圖像采集卡的原因是由于圖像信號數(shù)據(jù)量大，傳輸速度非常高，通用傳輸接口難以滿足要求。 其功能主要有:圖像信號接 收和 A / D 轉(zhuǎn)換模塊主要放大和數(shù)字化圖像信號主要是控制攝像頭實現(xiàn)同步或?qū)崿F(xiàn)異步復(fù)位拍照時等;總線接口主要通過 PC 的內(nèi)部總線， 高速傳輸數(shù)字數(shù)據(jù),并占用較少的 CPU 時間;實時顯示高質(zhì)量圖像的顯示模塊;通信接口完成相機和 PC 之間的通信。采集卡還有一個 DSP 數(shù)字處理模塊，可以進行高速圖像預(yù)處理。 3. 仿真系統(tǒng)開發(fā) 3.1 開發(fā)平臺選擇 隨著科技力量的壯大現(xiàn)階段的設(shè)計項目以及科學(xué)實驗的都需要借助虛擬儀器， 來減少實驗成本和準確性。虛擬儀器是軟件將計算機硬件資源與儀器硬件有機的融合為一體實現(xiàn)對數(shù)據(jù)的顯示、存儲以及分析處理。其特點具有開放性、靈活，可與計算機技術(shù)保持同步發(fā)展。本文開發(fā)的實驗平臺需要完成與 MATLAB 交互以及可以利用 SolidWorks 三維圖完成三維運動仿真。經(jīng)選擇比較后，本文選用 Labview 仿真平臺。LabVIEW 軟件是一種程序開發(fā)環(huán)境，由美國國家儀器公司研制開發(fā)，使用的是圖形化編輯語言 G 編寫程序，產(chǎn)生的程序是框圖的形式，系統(tǒng)性能升級方便，通過網(wǎng)絡(luò)下載升級程序既可，用戶可定義儀器功能。其簡潔的圖形化開發(fā)環(huán)境以及高可靠性和時間確定性等優(yōu)點得到了廣泛的應(yīng)用。圖 3.1 為啟動界面 圖 3.1 啟動界面 3.2 工業(yè)機械手模型的建立 （1）在運用 Labview 建立仿真平臺，需要將設(shè)計出來的機械手的零件圖：大臂，底板，底座，關(guān)節(jié) 1,2，小臂，爪頭，爪頭座：然后在 SolidWorks 形式下的文件另存為.wrl 形式如圖 3.2 轉(zhuǎn)為圖 3.3，并且儲存在開發(fā)的控制平臺之下。 圖 3.2 機械臂 SolidWorks 版 圖 3.3 wrl 版 （2）將 wrl 文件放入 labview 中仿真?zhèn)溆萌鐖D 3.4 （3）從文件導(dǎo)入模型見圖 3.5 圖 3.4 導(dǎo)入后 圖 3.5 導(dǎo)入摸型 3.3 動作控制的實現(xiàn) （1）添加各個 3D 控件從屬關(guān)系見下圖 3.6. 圖 3.6 從屬關(guān)系部件 （2）添加各個 3D 控件位置關(guān)系關(guān)系，見下圖 3.7。 圖 3.7 空間位置控件 （3）確定關(guān)節(jié)的各種運動，見下圖 3.8 圖 3.8 運動控件 （4）添加角度控制控制旋鈕，見下圖 3.9 圖 3.9 角度數(shù)值控制按鈕 （5）或者將第四章的 MATLAB 程序計算的結(jié)果，直接連接利用 LabVIEW MathScript 接口，完成對位置角度的確定。見下圖 3.10 (6)仿真系統(tǒng)實例，見圖 3.11 圖 3.10 圖 3.11 labview 仿真圖 （7）鏈接好控制線路見圖 3.12. 圖 3.12 總控制圖 （8）運動測試，見下圖 3.13. 圖 60 度 圖 90 度 圖 270 度 圖 330 度 圖 3.13 運動測試圖 （9）機械手控制系統(tǒng)總綱，見下圖 3.14 機械手控制系統(tǒng) 移動系統(tǒng) 視覺系統(tǒng) 夾取系統(tǒng) 其它 照明控制 電源控制 圖像采集處理 電機控制器1 伺服驅(qū)動器 電機控制器2 電機控制器3 圖 3.14 機械手控制系統(tǒng) 4. 視覺識別技術(shù)的開發(fā) 4.1 視覺識別技術(shù)理論研究 本文選用 LabVIEW 作為核心的開發(fā)軟件進行三維運動的仿真，同時利用 Matlab 強大的運算能力完成復(fù)雜的運算和圖像處理。為驗證機器人運動學(xué)、軌跡規(guī)劃算法的正確性，首先解決圖像處理，通常的原圖像受現(xiàn)場環(huán)境的隨機干擾，需要對圖像進行二值化、濾波處理、提取邊緣等圖像處理。預(yù)處理后的圖像是為了便于計算機對圖像的分析和處理。流程圖見下圖 4.1 圖 4.1 流程圖 1）二值化:圖像的像素由 0（白）—255（黑）組成，將圖像上的像素點的值設(shè)置為 0 或 255，黑白化后圖像減少不必要的干擾數(shù)據(jù)，使圖像呈現(xiàn)出明顯的黑白效果，凸顯出目標(biāo)物的形狀。原圖與處理結(jié)果見下圖 26-27 圖 4.2 原圖 圖 4.3 二值化圖 （2）濾波平滑: 能夠抑制圖像中的噪聲或失真，抽出對象的特征，有效的克服波動干擾，當(dāng)參數(shù)變量變化時將不適用。 （3）邊緣提取: 基于邊緣灰度變分析，過濾掉不需要的信息，優(yōu)化圖像信息， 簡化處理工作。缺點是圖像上提取的邊緣易被破壞理想的目標(biāo)圖像特征。而每一種傳統(tǒng)檢測算子在特定的環(huán)境下都有其獨特的優(yōu)點，因為攝像機拍攝的圖像為黑白， 不需要灰度處理，但檢側(cè)算子的微分計算處理易受噪聲等外界因素影響。圖像像素會有突變，提取邊緣與實際邊界不等同。，三維圖像到二維圖像可能會丟失部分重要信息。常用方法處理結(jié)果見圖 4.4，方法對比圖見表 4.1 所示。 圖 4.4 各種檢測算法對比 表 4.1 各種邊緣檢測算法對比表 算子 特點 適用范圍 Robert 定位精度高，對噪聲敏感 低噪聲 Prewitt 采用均值濾波，邊緣較寬 弧度漸變，低噪聲 Sobel 加權(quán)濾波，邊緣較寬 灰度漸變，低噪聲 LOG 各向同性，線性，位移不變 屋頂型邊緣檢測 Canny 小波邊緣檢測 高定位精度，低誤判斷高定位精度，低誤判斷 高噪聲圖像高噪聲圖像 (4) 矩形現(xiàn)實標(biāo)定 中心點定位:圖像的矩是通過一定的公式計算出來的，一個矩除以其零階矩稱為中心矩。利用工具箱中的一個高級函數(shù) iblobs（Center）求最小外接矩形方法，可以 得到外接矩形在原坐標(biāo)系下四個坐標(biāo)點 P0 ,?P1,?P2 ,?P3 如圖 4.5 所示。類比質(zhì)心法，由 公式 1 可求得工件質(zhì)心 Center(X, Y) 。其中，n 表示坐標(biāo)總數(shù)，x 表示第 i 個坐標(biāo)點在 x 軸上的值，p 表示第 i 個坐標(biāo)點在 y 軸上的值。 n ? Pi x X= i=0 n  n （4.1） ? Pi y X= i=0 n 圖 4.5 原圖標(biāo)記 （5）MATLAB 程序求解并且標(biāo)定矩形，見圖 4.6 圖 4.6 最小外接矩形 首先介紹圖像矩概念，圖像矩是一個內(nèi)涵豐富且可減少計算量的圖像特征類， 用它可以描述圖像區(qū)域的大小，形狀，和位置。圖像 I 的矩是一個標(biāo)量。 mpq = ? (u,v)?I u pvq I[u, v]  （4.2） m10 其中，（p+q）是矩的階數(shù) 如果把一個函數(shù)圖像看成一個質(zhì)量分布體，則可以給圖像矩一個物理解釋。 假想圖像區(qū)域是一片金屬箔制作，其每一個元素都具有單位面積和單位質(zhì)量。區(qū)域的總質(zhì)量是質(zhì)量中心或區(qū)域形心是 uc = m10 m , vc = m01 m 00 00 其中m01 和m10 是一階矩。 利用上文處理后的圖像，結(jié)合本小節(jié)理論介紹，編寫 MATLAB 程序如下： Clear；clc [filename,pathname]=uigetfile({'*.jpg';'*bmp';'*gif';'*png'},'5.png'); I = imread([pathname,filename]); I=rgb2gray(I); I(I>200)=255; I(I~=255)=0; figure(1); subplot(121); imshow(I); title('原圖') [r c]=find(I==255); [rectx,recty,area,perimeter] = minboundrect(c,r,'a'); % 'a'是按面積算的最小矩形， 如果按邊長用'p' subplot(122) imshow(I);hold on; line(rectx,recty); title('二值化后畫最小外接矩形') (5)結(jié)合本文研究的具體內(nèi)容，首先將獲取的圖像進行二值化處理，其次用濾波平滑過濾掉圖中噪點，再選擇合適的算子提取出圖像邊緣，最后通過圖像矩找出圖像中心點完成定位。對得到的數(shù)據(jù)進一步處理加工獲取符合實際生產(chǎn)需要的工件位置矢量信息。 4.2 位置坐標(biāo)系的建立 抓取系統(tǒng)的設(shè)計以及任務(wù)的實現(xiàn)離不開位置的確定和坐標(biāo)系的建立。其中坐標(biāo)系中的位置和方向總稱為位姿，圖形上表示為一組坐標(biāo)軸。位姿表示一個非常有用的屬性是其代數(shù)運算能力。本文采用文獻[3]方式建立相機坐標(biāo)系、圖像坐標(biāo)系、現(xiàn)實坐標(biāo)系這三個坐標(biāo)系且位置關(guān)系如圖 32 所示。我們的最終目的是要實現(xiàn)圖像坐標(biāo)系和世界坐標(biāo)系之間的轉(zhuǎn)換，將目標(biāo)在圖像坐標(biāo)系中的位置，轉(zhuǎn)換為目標(biāo)在世界坐標(biāo)系中的位置，見圖 4.7 圖 4.7 坐標(biāo)系建立 為實現(xiàn)機器人的抓取操作，需要將圖像的像素坐標(biāo)與物理坐標(biāo)進行轉(zhuǎn)化。兩個 坐標(biāo)軸 X 軸、Y 軸分別與 U 軸、V 軸平行，圖像中的任一像素點在圖像坐標(biāo)系和物理坐標(biāo)系下的變換關(guān)系方程如公式(4-4>所示 ìu = ? í x + u ü dx 0 ? y y  （4.5） ?v = + v0 ? ?? dy ?t ? 1 0 u ? éuù ? dx 0 ÷ éxù ? ÷ êv ú = ? 0 1 v ÷ êyú （4.6） ê ú ? dy 0 ÷ ê ú ê?1 ú? ? 0 0 1 ÷ ê?1 ú? ? ÷ è ? 本文研究建立的機器人的坐標(biāo)系，分為以下四種: 1 機械手坐標(biāo)系 以機械手為參考的坐標(biāo)系，也稱機器人位姿坐標(biāo)系，用來描述機器人抓手的位姿。 2.機座坐標(biāo)系：以機座為參考的坐標(biāo)系 3.桿件坐標(biāo)系；以指定桿件為參考的坐標(biāo)系，如圖 4.8. 圖 4.8 桿 件 坐 標(biāo) 系 4. 實際坐標(biāo)系：以實際工作環(huán)境為參考的坐標(biāo)系，整個系統(tǒng)的絕對坐標(biāo)系。 除了各個坐標(biāo)系的表示方法，還需要有坐標(biāo)系中各個分量的表示。本文研究平 臺工業(yè)機器人的直角坐標(biāo)系 P(x, y, z, a, b, c, d)的各個分量的表示如下: x: X 軸距離((P 點 X 軸分量); y: Y 軸距離((P 點 Y 軸分量); z: Z 軸距離((P 點 Z 軸分量); 4.3 基于 Matlab 的開發(fā)技術(shù) 根據(jù) D-H 參數(shù)法 確定六自由度機械臂的 運動學(xué)方程，結(jié)合平面幾何法和歐拉角變換法將機械臂的逆運動學(xué)求解問題分為兩部分，一通過平面幾何法確定機械臂腕部點的坐標(biāo)與前三個關(guān)節(jié)角的關(guān)系，二通過歐拉角變換法確定機械臂末端姿態(tài)與后三個關(guān)節(jié)角的關(guān)系，根據(jù)逆運動解的選取原則從八組解中選取最優(yōu)解；利用 MATLAB 中的 Robotics 建立機械臂的正運動學(xué)模型，通過多組位姿下的正逆運動解對比驗證逆運動學(xué)求解算法的準確性；常用逆運動算法比較見表 4.2 表 4.2 逆運動學(xué)算法對比 NO 算法 計算速度 解的數(shù)量 實時性 精確性 對機械結(jié) 構(gòu)的要求 編程角度 1 幾何法 快 多解 差 精確 滿足Piper 準 則 難 2 代數(shù)法 快 多解 差 精確 滿足 Piper 準則 難 3 雅可比迭 代法 較快 唯一解 好 有誤差 無 容易 其中實現(xiàn)上述內(nèi)容的 Matlab 程序如下： function p = axis6_fkine3(theta0,theta1,theta2,theta3,theta4,theta5,x,y,z)%T1 t1 = [ cosd(theta0) -sind(theta0) 0 0; sind(theta0) cosd(theta0) 0 0; 0 0 1 0; 0 0 0 1 ];%T2 t2 = [0 0 1 0; -sind(theta1) -cosd(theta1) 0 0; cosd(theta1) -sind(theta1) 0 0.178;0 0 0 1 ]; %T3 t3 = [ cosd(theta2) -sind(theta2) 0 0.205; sind(theta2) cosd(theta2) 0 0; 0 0 1 0; 0 0 0 1 ]; %T4 t4 = [ 0, 0, 1, 0.105; -cosd(theta3) sind(theta3) 0 0.000; -sind(theta3) -cosd(theta3) 0 0; 0 0 0 1 ];%T5 t5 = [ sind(theta4) cosd(theta4) 0 0; 0 0 1 0; cosd(theta4) -sind(theta4) 0 0.105; 0 0 0 1];%T6 t6 = [ 0 0 1 0.1315; cosd(theta5) -sind(theta5) 0 0; sind(theta5) cosd(theta5) 0 0; 0 0 0 1 ];temp = t1*t2*t3*t4*t5*t6; P1 = [0 0 0]; %關(guān)節(jié) 1 位置 P2 = [0 0 0.178]; %關(guān)節(jié) 2 位置 P3 = t1*t2*[0.205;0;0;1]; %關(guān)節(jié) 3 位置 P4 = t1*t2*t3*[0.105;0.00;0;1]; %關(guān)節(jié) 4 位置 P5 = t1*t2*t3*t4*[0;0;0.105;1]; %關(guān)節(jié) 5 位置 P6 = t1*t2*t3*t4*t5*[0.1315;0;0;1]; %關(guān)節(jié) 6 位置 P7 = t1*t2*t3*t4*t5*t6*[0;0;0;1]; %關(guān)節(jié) 7 夾具位置plot3([P1(1) P2(1)],[P1(2) P2(2)],[P1(3) P2(3)],'b','LineWidth',3); axis([-0.8 0.8 -0.8 0.8 0 0.8]);hold on; plot3([P2(1) P3(1)],[P2(2) P3(2)],[P2(3) P3(3)],'b','LineWidth',3); plot3([P3(1) P4(1)],[P3(2) P4(2)],[P3(3) P4(3)],'b','LineWidth',3); plot3([P4(1) P5(1)],[P4(2) P5(2)],[P4(3) P5(3)],'b','LineWidth',3); plot3([P5(1) P6(1)],[P5(2) P6(2)],[P5(3) P6(3)],'b','LineWidth',3); plot3([P6(1) P7(1)],[P6(2) P7(2)],[P6(3) P7(3)],'b','LineWidth',3); plot3(P1(1),P1(2),P1(3),'r+','markersize',20); plot3(P2(1),P2(2),P2(3),'r+','markersize',20); plot3(P3(1),P3(2),P3(3),'r+','markersize',20); plot3(P4(1),P4(2),P4(3),'r+','markersize',20); plot3(P5(1),P5(2),P5(3),'r+','markersize',20); plot3(P6(1),P6(2),P6(3),'r+','markersize',20); plot3(P7(1),P7(2),P7(3),'r.','markersize',20); plot3([0 0.6],[0 0],[0 0],'--b'); plot3([0 0],[0 0.6],[0 0],'--r'); plot3([0 0],[0 0],[0 0.6],'--g'); plot3([P6(1) P6(1)+0.2*temp(1,1)],[P6(2) P6(2)+0.2*temp(2,1)],[P6(3) P6(3)+0.2*temp(3,1)],'--b','LineWidth',2); plot3([P6(1) P6(1)+0.2*temp(1,2)],[P6(2) P6(2)+0.2*temp(2,2)],[P6(3) P6(3)+0.2*temp(3,2)],'--r','LineWidth',2); plot3([P6(1) P6(1)+0.2*temp(1,3)],[P6(2) P6(2)+0.2*temp(2,3)],[P6(3) P6(3)+0.2*temp(3,3)],'--g','LineWidth',2); Pm = t1*[0;-0.15;0;1]; plot3([P1(1) Pm(1)],[P1(2) Pm(2)],[P1(3) Pm(3)],'k','LineWidth',3); hold off; grid on; 運行結(jié)果圖見圖 33. 圖 4.8 運行結(jié)果圖 求得各關(guān)節(jié)旋轉(zhuǎn)弧度為： -0.641383877391340 -0.187692611953257 0.743907390231213 .424233567703187 -0.687906911880818 -0.288653461910877-0.665930371370357 -0.342589086649037 0.339721654312831 -0.9388560392014470.0560226315512221 0.203233903312256 基于視覺的工業(yè)機械手定位抓取系統(tǒng)虛擬實驗開發(fā) 5. 結(jié)論 在了解工業(yè)機械手和定位很工業(yè)不系統(tǒng)結(jié)構(gòu)的基礎(chǔ)上，對工業(yè)機械手進行了系統(tǒng)設(shè)計，主要由三部分組成：機械結(jié)構(gòu)、傳感系統(tǒng)和控制系統(tǒng)。在機械結(jié)構(gòu)設(shè)計中，應(yīng)用 SolidWorks 軟件，建立本次設(shè)計的研究對象，工業(yè)機械手三維模型。該機械手主要由三個部分組成，有六個自由度，能夠完成抓取任務(wù)。設(shè)計的抓取系統(tǒng)機械結(jié)構(gòu)為串聯(lián)式。在選取仿真的工具過程中經(jīng)比較分析，選用了 Labview 軟件進行虛擬實驗開發(fā)平臺。利用該軟件的 3D 控件仿真功能，將已建好的工業(yè)機械手導(dǎo)入該實驗平臺中。又利用 其中 3D 控件組功能，開發(fā)了使工業(yè)機械手各關(guān)節(jié)運動的仿真功能，進行了虛擬實驗開發(fā)。 視覺定位對于工業(yè)機械手的任務(wù)具有重要的作用，本設(shè)計對工業(yè)機械零件定位抓取系統(tǒng)進行了研究，首先建立了機械手坐標(biāo)系，機座坐標(biāo)系，桿件坐標(biāo)系， 實際坐標(biāo)系，再用 Matlab 對位姿進行了數(shù)學(xué)分析， 求的各個關(guān)節(jié)轉(zhuǎn)動角度。 本次畢業(yè)設(shè)計建立的工業(yè)機械手定位虛擬實驗平臺，可用于對工業(yè)機械手的運動情況進行模擬仿真，了解其工作空間和自由度等，有助于較全面的了解工業(yè)機械手整體系統(tǒng)。 參考文獻 [1] 李傳朋. 基于機器視覺和深度學(xué)習(xí)的目標(biāo)識別與抓取定位研究 [D]. 中北大學(xué), 2017. [2] 盧冠男. 基于機器視覺的工業(yè)機器人抓取系統(tǒng)的研究[D]. 合肥工業(yè)大學(xué),2017. [3] 廖毅洲. 視覺引導(dǎo)工業(yè)機器人定位抓取系統(tǒng)設(shè)計 [J]. 電子世界, 2017,No.511 77-78+88. [4] 夏菠. 基于雙目視覺的動態(tài)目標(biāo)定位與抓取研究 [D]. 西南科技大學(xué), 2016. [5] 劉念. 基于視覺機器人的目標(biāo)定位技術(shù)研究 [D]. 華南農(nóng)業(yè)大學(xué), 2016. [6] 忽正熙. 基于模式識別與機器視覺工件的識別及分揀 [D]. 昆明理工大學(xué), 2016. [7] 周衍超. 基于視覺引導(dǎo)的機器人智能抓取技術(shù)研究 [D]. 廣東工業(yè)大學(xué), 2015. [8] 翟敬梅, 董鵬飛, 張鐵. 基于視覺引導(dǎo)的工業(yè)機器人定位抓取系統(tǒng)設(shè)計 [J]. 機械設(shè)計與研究, 2014,30(153), 05 53-57. [9] 夏群峰,彭勇剛. 基于視覺的機器人抓取系統(tǒng)應(yīng)用研究綜述 [J]. 機電工程, 2014,31(232), 06 25-29+38. [10] 許凡. 視覺引導(dǎo)的抓取機器人控制技術(shù)的研究與開發(fā) [D]. 江南大學(xué), 2014. [11] 周中偉. 機器人智能抓取的視覺引導(dǎo)技術(shù)研究 [D]. 江西理工大學(xué), 2014. [12] 楊揚. 基于機器視覺的服務(wù)機器人智能抓取研究 [D]. 上海交通大學(xué), 2014. [13] 黃浩乾. 采摘機械手的設(shè)計及其控制研究 [D]. 南京農(nóng)業(yè)大學(xué), 2010. [14] 鄒月偉. 基于機器視覺的目標(biāo)識別及其路徑優(yōu)化的研究 [D]. 西安理工大學(xué), 2009. [15] 王紅濤. 基于視覺的工業(yè)機器人目標(biāo)識別定位方法的研究 [D]. 西安理工大學(xué), 2007. [16] 黨薛夢霞, 劉士榮, 王堅. 基于機器視覺的動態(tài)多目標(biāo)識別[J]. 上海交通大學(xué)學(xué)報, 2017, 51(6):727-733. [17] Peter Findlay. Intelligent System for Automated Components Recognition and Handling[D].Johannesburg: Mechanical and Manufacturing Engineering Department， Rand Afrikaans University，2002. [18] Hager G D, HutchinsonS，Corke P I. A tutorial on visual servo control[J].IEEE Transaction on Robotics and Automation，2007，12 (5):651-670. [19] Chaumette F, Malis E.A possible solution to image-based and position-based and position-based visual servoings by 2D 1/2 visual servoing [C〕.San Francisco: IEEE International Conference on Robotics and Automation，2000. 附錄 1：外文翻譯 摘要 本文介紹了機器人視覺伺服控制的入門教程，由于該課題涉及許多學(xué)科，我們的目標(biāo)僅限于提供一個基本的概念框架工作。首先，我們從機器人學(xué)和計算機視覺的前提條件，包括坐標(biāo)變換，速度表示，以及圖像形成過程的幾何方面的描述進行簡要回顧。然后，我們提出了視覺伺服控制系統(tǒng)的分類。然后詳細討論了基于位置和基于圖像的系統(tǒng)的兩大類。由于任何視覺伺服系統(tǒng)必須能夠跟蹤圖像序列中的圖像特征，所以我們還包括基于特征和基于相關(guān)性的跟蹤方法的概述。我們結(jié)束了教程與一些服務(wù)的當(dāng)前方向的研究領(lǐng)域的視覺伺服控制 當(dāng)今絕大多數(shù)增長的機器人人口都在工廠里工作，在那里工廠可以制造出適合機器人的環(huán)境。在工作環(huán)境和物體放置不能精確控制的應(yīng)用中，機器人的影響要小得多。這種局限性很大程度上是由于現(xiàn)代商業(yè)機器人系統(tǒng)固有的感覺能力不足。人們早已認識到，傳感器集成是提高機器人的通用性和應(yīng)用領(lǐng)域的基礎(chǔ)，但迄今為止，這還沒有證明在制造業(yè)中大量的機器人應(yīng)用是有效的。 機器人在日常生活中的“前沿”為這項研究提供了新的動力。與制造業(yè)的應(yīng)用不同，重新設(shè)計“我們的世界”并不適合于機器人。視覺是一種有用的機器人傳感器，因為它模仿人類的視覺，并允許對環(huán)境進行非接觸測量。自從 Shirai 和伊努埃（1）的早期工作（誰描述了如何使用視覺反饋回路來校正機器人的位置以提高任務(wù)精度），大量的 EORT 一直致力于機器人的視覺控制。機器人控制器完全集成的視覺系統(tǒng)現(xiàn)在可以從多個供應(yīng)商獲得。通常，視覺感知和操作以開環(huán)的方式組合，“看”然后“移動”。所得到的操作的精度直接取決于視覺傳感器和機器人末端 Ecter 的精度。增加這些子系統(tǒng)的精度的一個替代方法是使用視覺反饋控制回路，這將增加系統(tǒng)的整體精度，這是大多數(shù)應(yīng)用中的一個主要問題。極端地，機器視覺可以為機器人端部控制器提供閉環(huán)位置控制。這被稱為視覺伺服。這個詞似乎已經(jīng)被 RHT 和 Park（2）在 1979 中介紹了，以區(qū)別他們的方法與先前的“塊世界”實驗，其中系統(tǒng)在拍照和移動之間交替。在引入這個術(shù)