《基于雙目視覺的機(jī)器人抓取系統(tǒng)》由會(huì)員分享,可在線閱讀,更多相關(guān)《基于雙目視覺的機(jī)器人抓取系統(tǒng)(3頁珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、基于雙目視覺的機(jī)器人抓取系統(tǒng)
摘要:基于機(jī)器視覺系統(tǒng)引導(dǎo)的機(jī)器人抓取技術(shù)是當(dāng)前機(jī)器人技術(shù)研究的熱點(diǎn),如何對(duì)機(jī)器人與攝像機(jī)進(jìn)行精準(zhǔn)的手眼標(biāo)定是實(shí)現(xiàn)機(jī)器人精準(zhǔn)抓取的前提和根底。本文通過雙目攝像機(jī)和四軸機(jī)器人建立了基于雙目視覺的機(jī)器人抓取系統(tǒng),采用張正友標(biāo)定法對(duì)雙目攝像機(jī)的內(nèi)外參數(shù)進(jìn)行標(biāo)定,對(duì)眼在手外的抓取系統(tǒng)進(jìn)行手眼標(biāo)定,并將抓取目標(biāo)物體空間坐標(biāo)信息轉(zhuǎn)化為機(jī)器人控制信息,完成目標(biāo)抓取。
關(guān)鍵詞:雙目視覺;機(jī)器人;手眼標(biāo)定;物體抓取
中圖分類號(hào):TP242文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1003-5168〔2021〕35-0004-04
Abstract:Robotgraspingtechnolo
2、gyguidedbythemachinevisionsystemisahotspotinthecurrentroboticsresearch,andhowtoperformaccuratehand-eyecalibrationofrobotsandcamerasistheprerequisiteandbasisforachievingaccuraterobotgrasping.Arobotgraspingsystembasedonbinocularvisionthroughbinocularcamerasandfour-axisrobotswasestablishedinthispaper,w
3、hichusedZhangZhengyoucalibrationmethodtocalibratetheinternalandexternalparametersofthebinocularcameras,andperformedhand-eyecalibrationonthegraspingsystemwitheye-to-hand,andthespacecoordinateinformationofthecapturedtargetobjectwastransformedintorobotcontrolinformationtocompletethetargetcapture.
Keyw
4、ords:binocularvision;robot;hand-eyecalibration;objectgrasping
?中國(guó)制造2025?的核心目標(biāo)是裝備生產(chǎn)的信息化與智能化,而智能機(jī)器人恰好是實(shí)現(xiàn)這一目標(biāo)的重要執(zhí)行者。傳統(tǒng)的工業(yè)機(jī)器人通常以在線教學(xué)或離線編程等方法實(shí)現(xiàn)其自動(dòng)化工作。機(jī)器人按照特定的工位和工序來完成抓取任務(wù),缺乏柔性和適應(yīng)性【1】。隨著視覺技術(shù)的開展,視覺感應(yīng)被引入工業(yè)機(jī)器人領(lǐng)域,讓攝像機(jī)變?yōu)楣I(yè)機(jī)器人的“眼睛〞,通過攝像機(jī)來實(shí)現(xiàn)對(duì)外部世界的有效感知,增強(qiáng)其柔性,使其能夠更加高效、更加智能地完成工作任務(wù)。本文以雙目立體視覺攝像機(jī)獲得目標(biāo)物體的空間位置信息,從而引導(dǎo)機(jī)器人
5、抓取目標(biāo)物體。
1雙目視覺測(cè)距原理
雙目視覺測(cè)量是基于視差原理,通過左右兩個(gè)攝像機(jī)從不同的角度對(duì)物體進(jìn)行拍攝,然后對(duì)獲取的數(shù)字圖像進(jìn)行視差計(jì)算,從而得到前方物體距離。其原理與人眼感知相似,人眼能夠感知物體的遠(yuǎn)近,是由于兩只眼睛對(duì)同一個(gè)物體呈現(xiàn)的圖像存在差異,這也被稱為“視差〞。視差是同一個(gè)空間點(diǎn)在兩個(gè)攝像機(jī)成像中對(duì)應(yīng)的
如圖1所示,[O1]、[O2]為平行的左右兩個(gè)攝像機(jī),基線[T]表示兩個(gè)攝像機(jī)投影中心連線距離,攝像機(jī)焦距為[f],空間觀察點(diǎn)的坐標(biāo)為[P〔x,y,z〕],系統(tǒng)分別在左攝像頭[O1]和右攝像頭[O2]上獲取了空間點(diǎn)[P]的圖像,[P]點(diǎn)在左、右圖像的坐標(biāo)系為[pc1〔xc
6、1,yc1〕]、[pc2〔xc2,yc2〕]。由于兩攝像機(jī)平行,左、右成像在同一個(gè)平面上,即[yc1=yc2=yc],那么根據(jù)相似三角形原理[Δpc1Ppc2~ΔO1PO2],可以得出:
結(jié)合坐標(biāo)系之間的變化關(guān)系、幾何關(guān)系,人們可以計(jì)算出圖像中目標(biāo)點(diǎn)的景深,同時(shí)可以確定目標(biāo)點(diǎn)的三維空間位置信息【2】。
2機(jī)器人手眼標(biāo)定方法
將雙目系統(tǒng)測(cè)出的物體三維坐標(biāo)引入機(jī)器人系統(tǒng),通過視覺引導(dǎo)機(jī)器人抓取物體是系統(tǒng)的目的。在常見的視覺引導(dǎo)機(jī)器人抓取系統(tǒng)中,根據(jù)視覺相機(jī)安裝方式的不同,機(jī)器人手眼標(biāo)定方法可以分為兩大類。
2.1眼在手上〔Eye-in-Hand〕
眼在手上示意圖如圖2所示。從圖2可知,該
7、種方式將攝像頭安裝在機(jī)器手臂上,即攝像頭隨著機(jī)器手臂運(yùn)動(dòng)而運(yùn)動(dòng)。
2.2眼在手外〔Eye-to-Hand〕
眼在手外模型如圖3所示。從圖3可知,該種方式將攝像頭安裝在機(jī)器手臂之外的局部,與機(jī)器人的底座〔世界坐標(biāo)系〕相對(duì)位置固定,攝像頭不隨著機(jī)器手臂運(yùn)動(dòng)而運(yùn)動(dòng)【3】。
本文采用的是眼在手外的方式,如圖3所示,{B}為機(jī)器人根底坐標(biāo)系,{F}為機(jī)器人末端連桿坐標(biāo)系,{T}為標(biāo)定板坐標(biāo)系,{C}為雙目攝像頭坐標(biāo)系。其中,[K1]表示機(jī)器人基坐標(biāo)系與機(jī)器人連桿末端{(lán)F}坐標(biāo)系轉(zhuǎn)換矩陣,該矩陣可以通過機(jī)器人運(yùn)動(dòng)學(xué)正解計(jì)算得出;[K2]表示標(biāo)定板坐標(biāo)系{T}與機(jī)器人連桿末端{(lán)F}坐標(biāo)系轉(zhuǎn)換矩陣,由于
8、安裝問題,該轉(zhuǎn)換矩陣在標(biāo)定前未知;[K3]為雙目攝像頭在標(biāo)定板坐標(biāo)系下的位姿,即為雙目攝像頭的外部參數(shù)矩陣,該矩陣可以通過雙目攝像頭標(biāo)定獲得。[D]為雙目攝像頭在機(jī)器人基坐標(biāo)系下的位姿,[D=K1K2K3],因此,只需要計(jì)算出[K2]即解出雙目攝像頭在機(jī)器人基坐標(biāo)系下的三維信息。
通過變換機(jī)器人末端位姿,如圖4所示,可以得出:
由于標(biāo)定板安裝在機(jī)器臂上,所以標(biāo)定板與機(jī)器臂末端相對(duì)位姿是固定的,即[K2]=[K5],令[K]=[K2]=[K5],得:
這就是關(guān)于K分量的線性方程組求解,本文采用學(xué)者Tasi和Lenz提出的輾轉(zhuǎn)求解方法【4】,得到[K1]、[K2]、[K3],從而得到雙目攝像
9、頭在機(jī)器人基坐標(biāo)系下的位姿信息。
3基于雙目視覺的機(jī)器人物體抓取試驗(yàn)
試驗(yàn)平臺(tái)硬件局部由越疆DOBOT魔術(shù)師四軸機(jī)器人、小覓D1000雙目攝像頭和計(jì)算機(jī)三局部組成。越疆DOBOT魔術(shù)師四軸機(jī)器人實(shí)物圖如圖5所示,小覓雙目攝像機(jī)實(shí)物圖如圖6所示。具體來說,試驗(yàn)包括以下兩大步驟。
本文采用小覓雙目攝像頭D1000作為雙目立體視覺系統(tǒng)。該設(shè)備左、右相機(jī)拍攝分辨率均為1280720。采用張正友標(biāo)定法【5】,標(biāo)定板為711張氏棋盤標(biāo)定板〔見圖7〕,正方形邊長(zhǎng)為28mm。小覓雙目攝像機(jī)拍攝的標(biāo)定圖片如圖8所示,采用MATLAB相機(jī)標(biāo)定工具箱對(duì)雙目攝像機(jī)進(jìn)行標(biāo)定。
在進(jìn)行小覓雙目攝像頭標(biāo)定后,為
10、了進(jìn)一步驗(yàn)證目標(biāo)空間坐標(biāo)計(jì)算的準(zhǔn)確性,將兩個(gè)小球放置在試驗(yàn)臺(tái)上,如圖9所示,對(duì)雙目視覺計(jì)算距離與實(shí)際距離進(jìn)行比較。首先,采用OpenCV的Canny目標(biāo)邊緣檢測(cè)方法來定位圖像中的目標(biāo)并計(jì)算中心點(diǎn),獲得左、右相機(jī)圖像坐標(biāo)系中的每個(gè)目標(biāo)的坐標(biāo)。然后,根據(jù)兩個(gè)攝像機(jī)坐標(biāo)系下的坐標(biāo)關(guān)系,從圖像坐標(biāo)到世界坐標(biāo),可以獲得兩個(gè)目標(biāo)的坐標(biāo)。因此,可以計(jì)算兩個(gè)目標(biāo)球體之間的距離,并且將間距與實(shí)際測(cè)量值進(jìn)行比較,距離誤差用于表示三維坐標(biāo)解的精度。
雙目攝像頭標(biāo)定測(cè)量結(jié)果如表1所示。由5組試驗(yàn)數(shù)據(jù)可以看出,計(jì)算間距和實(shí)際距離存在誤差,最大誤差為4.80%,最小誤差為0.70%,平均誤差為2.35%,可以滿足機(jī)器人
11、抓取精度要求。
機(jī)器人抓取試驗(yàn)平臺(tái)如圖10所示。本研究采用越疆DOBOT魔術(shù)師四軸機(jī)器人作為抓取設(shè)備。為降低抓取環(huán)境顏色對(duì)試驗(yàn)的影響,選用白色作為抓取試驗(yàn)臺(tái)背景,并在保證光線充足的情況下進(jìn)行抓取試驗(yàn)【6】,分別在4個(gè)不同位置抓取5種物體,每種物體被抓取10次,試驗(yàn)總次數(shù)為5410=200次,試驗(yàn)結(jié)果如表2、表3所示。
4結(jié)語
本文設(shè)計(jì)了一種基于雙目視覺引導(dǎo)的機(jī)器人抓取系統(tǒng),利用雙目視覺技術(shù)完成對(duì)抓取目標(biāo)的三維空間位置信息獲取,再將位置信息傳遞給機(jī)器人控制系統(tǒng),從而完成目標(biāo)抓取任務(wù)。通過系統(tǒng)測(cè)試,該系統(tǒng)定位誤差較小,能夠滿足機(jī)器人抓取的定位精度要求,可以針對(duì)不同目標(biāo)物體完成實(shí)時(shí)抓取任務(wù)
12、,具有可靠性高、適應(yīng)性強(qiáng)的特點(diǎn)。
參考文獻(xiàn):
【1】朱良,林滸,吳文江.基于機(jī)器視覺的工業(yè)機(jī)器人工件定位[J].小型微型計(jì)算機(jī)系統(tǒng),2021〔8〕:1873-1877.
【2】夏茂盛,孟祥磊,宋占偉,等.基于雙目視覺的嵌入式三維坐標(biāo)提取系統(tǒng)[J].吉林大學(xué)學(xué)報(bào)〔信息科學(xué)版〕,2021〔1〕:61-66.
方法[J].應(yīng)用光學(xué),2021〔2〕:250-255.
【4】TsaiRY,LenzRK.Anewtechniqueforfullyautonomousandefficient3Droboticshand/eyecalibration[J].IEEETransactionsonRobotics&Automation,1989〔3〕:345-358.
【5】于勇,張暉,林茂松.基于雙目立體視覺三維重建系統(tǒng)的研究與設(shè)計(jì)[J].計(jì)算機(jī)技術(shù)與開展,2021〔6〕:127-130.
【6】傅華強(qiáng),房芳.工業(yè)機(jī)器人視覺定位技術(shù)研究與應(yīng)用[J].工業(yè)控制計(jì)算機(jī),2021〔3〕:1-3.