基于機(jī)器視覺的工件智能抓取技術(shù)研究薈萃資料

《基于機(jī)器視覺的工件智能抓取技術(shù)研究薈萃資料》由會員分享，可在線閱讀，更多相關(guān)《基于機(jī)器視覺的工件智能抓取技術(shù)研究薈萃資料（20頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、 基于機(jī)器視覺的工業(yè)機(jī)器人工件搬運(yùn)技術(shù)研究 1.1研究背景 自 19 世紀(jì) 60 年代問世以來，工業(yè)機(jī)器人不斷發(fā)展和完善，現(xiàn)已得到廣泛應(yīng)用，機(jī)器人產(chǎn)業(yè)也逐漸成熟。目前，全世界已擁有 100 多萬臺工業(yè)機(jī)器人廣泛應(yīng)用在焊接、搬運(yùn)、裝配、噴涂、修邊、拾料、包裝、堆垛和上下料等單調(diào)或復(fù)雜的作業(yè)中，為企業(yè)節(jié)約了大量的勞動成本，大大提高了勞動生產(chǎn)率。工業(yè)機(jī)器人是面向工業(yè)領(lǐng)域的多關(guān)節(jié)機(jī)械手或多自由度的機(jī)器人，它在穩(wěn)定產(chǎn)品品質(zhì)、提高生產(chǎn)效率和改善勞動條件等方面有著十分重要的作用，它的應(yīng)用能夠使企業(yè)大大縮短新產(chǎn)品的換產(chǎn)周期和節(jié)約勞動成本，從而提高了產(chǎn)品的市場競爭力。 隨著當(dāng)代工業(yè)革命深入發(fā)展，工業(yè)生產(chǎn)

2、日益趨向自動化，工業(yè)機(jī)器人技術(shù)也正朝著智能、柔性的方向發(fā)展。許多發(fā)達(dá)國家對于智能工業(yè)機(jī)器人的研究都較為重視，我國也早已將其納入國家高科技發(fā)展規(guī)劃。國家層面的重視也必將給工業(yè)機(jī)器人技術(shù)帶來新的跨越式發(fā)展，機(jī)器人的發(fā)展也必將對社會經(jīng)濟(jì)和生產(chǎn)力的發(fā)產(chǎn)生更加深遠(yuǎn)的影響 1.2 研究目的和意義 對于工作在自動化生產(chǎn)線上或柔性制造系統(tǒng)中的工業(yè)機(jī)器人來說，其完成最多的一類操作是“抓取—放置”動作，比如流水線上的工件搬運(yùn)、裝配以及各工位之間的工件轉(zhuǎn)移和上下料。機(jī)器人要完成這類操作是經(jīng)過復(fù)雜計算的：首先，機(jī)器人必須知道怎么抓，其次機(jī)器人應(yīng)該知道怎么放；同時在這個過程還要伴隨著機(jī)器人運(yùn)動學(xué)分析的過程。傳統(tǒng)的工

3、業(yè)機(jī)器人完成這類操作，必須經(jīng)過精確的逐點(diǎn)示教后，才能一步一步的按照固定程序執(zhí)行。在這個過程中，工件相對于機(jī)器人的初始位姿（位置和姿態(tài)）和終止位姿是事先規(guī)定的，但很多情況下，特別是流水線場合，工件的位姿常常是不固定的。這就導(dǎo)致實(shí)際目標(biāo)工件的位姿與理想工件位姿總是有偏差的，這種偏差哪怕很小都會導(dǎo)致機(jī)器人操作任務(wù)的失敗。這種由于環(huán)境的變化而導(dǎo)致機(jī)器人不能很好地完成任務(wù)的情況極大地限制了機(jī)器人的實(shí)際應(yīng)用。這就要求工業(yè)機(jī)器人具備一定的環(huán)境適應(yīng)能力，即工業(yè)機(jī)器人智能化。智能工業(yè)機(jī)器人的智能特征在于它具有與外部世界、對象、環(huán)境和人相互協(xié)調(diào)的工作機(jī)能，具體表現(xiàn)在機(jī)器視覺、接近覺、觸覺和力覺等方面。機(jī)器視覺是用

4、機(jī)器代替人眼來做測量和判斷的，其本質(zhì)是使計算機(jī)具有認(rèn)知周圍環(huán)境信息的能力。這種能力不僅使機(jī)器能感知周圍物體的形狀、位置、姿態(tài)、運(yùn)動等等信息，而且能相應(yīng)地對這些信息進(jìn)行描述、理解和識別。將機(jī)器視覺與機(jī)器人結(jié)合到一起，也就產(chǎn)生了機(jī)器人視覺。機(jī)器人視覺技術(shù)是用來模擬人類視覺，使機(jī)器人通過獲取視覺信息從而對操作環(huán)境進(jìn)行判別，給機(jī)器人賦予更強(qiáng)大的應(yīng)對能力，大大增強(qiáng)了機(jī)器人的柔性。因而基于視覺引導(dǎo)的機(jī)器人擁有著廣闊的發(fā)展空間，具有重要的科研和應(yīng)用價值。 1.3 國內(nèi)外現(xiàn)狀 目前，機(jī)器視覺技術(shù)已經(jīng)從最初的實(shí)驗(yàn)室階段逐漸走向成熟，并且在工業(yè)生產(chǎn)線上已經(jīng)有實(shí)際應(yīng)用。德國、日本、美國和韓國處在智能工業(yè)機(jī)器人領(lǐng)

5、域應(yīng)用研究的前沿。日本從最初的模仿到現(xiàn)在的獨(dú)創(chuàng)，找到了自己的技術(shù)創(chuàng)新之路。德國西門子公司也緊跟著時代的步伐，將機(jī)器視覺滲透到各個領(lǐng)域，應(yīng)用到汽車發(fā)動機(jī)裝配，生產(chǎn)線工件分揀等領(lǐng)域。美國更是機(jī)器人技術(shù)的創(chuàng)新發(fā)源地，其機(jī)器視覺廣泛應(yīng)用在工業(yè)和軍事上，機(jī)械手經(jīng)銷商，包括 Fanuc 公司，Motman 公司和 Staubli 公司都推出了“揀選”系統(tǒng)。 如圖 1.1 所示，日本川崎設(shè)計的工業(yè)機(jī)器人主要應(yīng)用在基于視覺系統(tǒng)的大型物品裝卸、樹脂成形機(jī)械抓取和汽車車門的邊角打磨工程等領(lǐng)域。這種機(jī)器人可以結(jié)合具體的實(shí)際應(yīng)用和目標(biāo)方法，配置不同的選裝件和相關(guān)參數(shù)，能夠適應(yīng)各種應(yīng)用場合。通過使用機(jī)器人內(nèi)部搭載標(biāo)準(zhǔn)

6、的機(jī)器人語言，它還可以實(shí)現(xiàn)高性能的動作控制和時序控制。 圖 1.1基于視覺系統(tǒng)的大型物品裝卸 圖 1.2所示的是美國普渡大學(xué)研究的一種基于視覺控制的 Bin-picking 系統(tǒng)，該系統(tǒng)可以從多種零件中分揀出圓形零件，它是通過簡單的圓弧邊界特征來識別圓形零件的。圖 1.3 所示的是瑞典 ABB 公司最新推出的第二代拾取機(jī)器人 FlexPicker IRB360，該機(jī)器人擁有有效載荷大、操作速度快、簡單有效等優(yōu)點(diǎn)，能夠在 2D 視覺的幫助下，以高達(dá) 2 次/秒的速度撿取傳送帶上的物品?？偟膩碚f，美國、日本、歐洲一些發(fā)達(dá)國家在機(jī)器人視覺技術(shù)有著豐富的經(jīng)驗(yàn)，已經(jīng)開發(fā)出多款成熟產(chǎn)品，廣泛應(yīng)

7、用在微裝配、空間和軍事領(lǐng)域。 圖1.2 Bin-Picking機(jī)器人 圖1.3 ABB Flex-Picker機(jī)器人 我國對工業(yè)機(jī)器人的研究起步較晚，從 90 年代初期起，我國在工業(yè)機(jī)器人領(lǐng)域才取得一定的進(jìn)展。隨著近幾年科技的進(jìn)步，我國在這方面發(fā)展迅速，取得了不少科研成果，機(jī)器人的結(jié)構(gòu)和控制理論不斷得到創(chuàng)新，生產(chǎn)制造工藝也逐漸成熟，不斷有自主知識產(chǎn)權(quán)的機(jī)器人產(chǎn)品相繼問世，此外還相繼建立了 20 多個機(jī)器人產(chǎn)業(yè)化基地，實(shí)施了 100 多項(xiàng)機(jī)器人應(yīng)用工程，機(jī)器人產(chǎn)業(yè)不斷壯大和發(fā)展。 新松機(jī)器人自動化股份有限公司研制機(jī)器人是擁有自主

8、知識產(chǎn)權(quán)和核心技術(shù)的工業(yè)搬運(yùn)機(jī)器人，它可用于鍛造生產(chǎn)和鑄件落砂等工作條件惡劣的場合，降低工人的勞動強(qiáng)度。北京航空航天大學(xué)于 1994 年成功研制了七自由度機(jī)器人操作臂，并且研制出一系列改進(jìn)型的冗余自由度機(jī)器人實(shí)驗(yàn)樣機(jī)。方躍提出了采用靈活角來度量操作器靈活程度，將機(jī)器人的工作空間根據(jù)靈活程度的不同劃分為相應(yīng)的有限靈活工作空間，高同以梯度投影法為基礎(chǔ)，采用線性加權(quán)法，研究冗余度機(jī)器人的多指標(biāo)融合優(yōu)化問題。冗余自由度機(jī)器人另一個研究重點(diǎn)是運(yùn)動學(xué)逆解，如圖 1.5所示，為深圳眾為興技術(shù)股份有限公司生產(chǎn)的四自由度分揀機(jī)器人。該機(jī)器人在分類分揀的應(yīng)用中具有視覺導(dǎo)引功能，重點(diǎn)介紹了眾為興 SCARA 機(jī)器人

9、及視覺系統(tǒng)，并在現(xiàn)場用實(shí)物生動展示了具有視覺功能的眾為興機(jī)器人在分類分揀的應(yīng) 用。眾為興公司開發(fā)研制的 SCARA 機(jī)器人，可應(yīng)用在搬運(yùn)、分揀一些較小的規(guī)則工件。 圖1.5眾為興展出的SCARA機(jī)器人 1.4 本課題的研究內(nèi)容 本文是針對基于視覺引導(dǎo)的工業(yè)機(jī)器人工件搬運(yùn)技術(shù)進(jìn)行的研究，簡單的講，就是在一臺 6 軸的工業(yè)機(jī)器人的基礎(chǔ)上引入機(jī)器視覺，利用機(jī)器人對視覺的理解，完成工業(yè)生產(chǎn)中工件的抓取和放置操作。在這個操作過程中，工件識別與定位和機(jī)器人運(yùn)動學(xué)反解是兩個關(guān)鍵環(huán)節(jié)。工件識別與定位是為機(jī)器人提供操作和如何操作的信息，而機(jī)器人運(yùn)動學(xué)反解的準(zhǔn)確性直接影響到操作能否完成和相應(yīng)的操作精度

10、。整個工件搬運(yùn)的具體流程是：在機(jī)器人工作之前，先通過上方攝像機(jī)實(shí)時地采集工件圖像，并送到圖像處理系統(tǒng)，以便確定所感興趣的工件以及該工件相對于機(jī)器人的位姿，最后將位姿信息反解成工業(yè)機(jī)器人熟悉的關(guān)節(jié)角度和角度控制信息，從而實(shí)現(xiàn)利用視覺引導(dǎo)機(jī)器人準(zhǔn)確地抓取工件。同時根據(jù)已抓取工件的放置要求，進(jìn)一步引導(dǎo)機(jī)器人完成工件的定點(diǎn)放置，從而實(shí)現(xiàn)機(jī)器人搬運(yùn)操作。 本課題的研究內(nèi)容圍繞物體識別這個中心展開，主要包括以下幾個方面： 1. 如何獲取圖像 獲取圖像是進(jìn)行本課題研究的前提，順利的通過攝像頭設(shè)備獲取到原始圖像是一切研究的根本 2. 如何對圖像進(jìn)行預(yù)處理 視覺系統(tǒng)中直接使用的圖像，必須在進(jìn)行

11、灰度校正、噪聲過濾等圖像預(yù)處理。將圖像中感興趣的特征有選擇地突出，衰減其不需要的特征，預(yù)處理后的輸出圖像并不需要去逼近原圖像。 3. 如何對預(yù)處理以后的圖像進(jìn)行特征識別和特征提取 已經(jīng)把待測目標(biāo)工件進(jìn)行過圖像預(yù)處理，接下來要針對靜態(tài)工件的特征提取，最后要根據(jù)已經(jīng)提取的目標(biāo)工件的特征進(jìn)行分類。特征提取的意義于要區(qū)分不同種類的工件就要把它們之間不同的信息提取出來，作為識別的前提條件。一般來說，提取普通特征包括周長、邊緣、面積、曲率、角度和物體質(zhì)心等 4. 如何根據(jù)提取的特征對目標(biāo)進(jìn)行分類和目標(biāo)定位 目標(biāo)分類是指對得到的不同目標(biāo)進(jìn)行區(qū)分并將其歸為某一已知類的過程。對于圖像目標(biāo)來說通常利用圖像

12、特征來對目標(biāo)進(jìn)行描述，然后對其分類。通過模版匹配計算目標(biāo)上空間點(diǎn)和像素點(diǎn)之間的對應(yīng)關(guān)系。然后創(chuàng)建模版，對后續(xù)的圖像進(jìn)行目標(biāo)定位。 5. 如何跟蹤目標(biāo) 對于運(yùn)動的目標(biāo)，通過跟蹤能夠得到目標(biāo)的速度和加速度，并可以對將來目標(biāo)出現(xiàn)的位置進(jìn)行預(yù)測 6.如何將目標(biāo)在圖像中的位置轉(zhuǎn)化到機(jī)器人基坐標(biāo)系中并進(jìn)行機(jī)器人運(yùn)動學(xué)反解 通過相機(jī)標(biāo)定得到圖像坐標(biāo)與機(jī)器人基坐標(biāo)之間的轉(zhuǎn)換關(guān)系，將目標(biāo)在圖像中的位置信息轉(zhuǎn)化為機(jī)器人基坐標(biāo)系中的具體坐標(biāo)，并通過該坐標(biāo)進(jìn)行機(jī)器人運(yùn)動學(xué)逆解，得到關(guān)節(jié)運(yùn)動信息 7. 如何規(guī)劃路徑并控制機(jī)器人進(jìn)行目標(biāo)抓取 通過前面得到的運(yùn)動學(xué)逆解，合理的設(shè)置機(jī)器人抓取運(yùn)動規(guī)劃，包括路徑規(guī)劃

13、和手部抓取規(guī)劃，路徑規(guī)劃是研究按照何種路徑，將機(jī)器人手部坐標(biāo)系的原點(diǎn)和目標(biāo)抓取坐標(biāo)系的原點(diǎn)重合的問題，抓取點(diǎn)規(guī)劃是針對不同形狀的物體，如何選擇合適夾持點(diǎn)位置的問題。 1.5本課題的研究方法 1.5.1獲取圖像 1)硬件介紹 一個穩(wěn)定的視覺系統(tǒng)的構(gòu)建需要根據(jù)任務(wù)的特點(diǎn)和現(xiàn)場環(huán)境的特點(diǎn)進(jìn)行，例如精度，目標(biāo)尺寸，檢測速度，安裝空間大小等要求，都將影響系統(tǒng)硬、軟件的選擇。典型的視覺系統(tǒng)包括的硬件很多，但最重要的最基本的三件設(shè)備是：光源、鏡頭和相機(jī)。本節(jié)主要給出本系統(tǒng)所用硬件的參數(shù)并對其進(jìn)行簡單介紹 1.光源 由于所有非發(fā)光物體都是通過反射光才能在傳感器上留下影像，所以光源的正確選擇是保證視

14、覺系統(tǒng)正常工作的基礎(chǔ)。在選擇視覺系統(tǒng)光源時要注意，使用的光源要把感興趣目標(biāo)和背景區(qū)分開來，削減非關(guān)心目標(biāo)或噪聲的干擾，并且光源本身不會帶來額外的干擾， 2. 鏡頭 鏡頭與人眼的晶狀體具有類似的功能，如果沒有安裝鏡頭進(jìn)行拍攝，得到的圖像將是花白色，不包含任何場景信息。所以鏡頭的作用是匯聚目標(biāo)反射回的光，在感光原件上產(chǎn)生細(xì)節(jié)豐富，銳利的圖像。鏡頭的參數(shù)選擇一般是根據(jù)配用的攝像機(jī)感光原件的大小來進(jìn)行的，如果二者的參數(shù)不合適，將出現(xiàn)圖像記錄不完整，視場角不符合要求或者畫面在焦點(diǎn)外的問題本文選擇的是COMUPTAR公司的M0814-MP2型號的鏡頭，參數(shù)如表所示： 性能指標(biāo) 參數(shù) 靶面尺寸

15、2/3’’ 焦距 8 最大成像尺寸 8.8*6.6 控制 光圈 手動 聚焦 手動 變焦 手動 接口 C-接口 尺寸 33.5*28.2 3. 攝像機(jī) 本系統(tǒng)使用的是Basler公司的acA2500-14gm型號的工業(yè)相機(jī)，如圖所示，該相機(jī)的性能指標(biāo)和參數(shù)如表所示： 圖3 Basler acA2500-14gm型號工業(yè)相機(jī) 性能指標(biāo) 參數(shù) 傳感器類型 Aptina MT9P CMOS, rolling shutter 有效圖像元素 2592*1944 像素尺寸 2.2 x 2.2 數(shù)據(jù)位數(shù) 12 鏡頭接口 C-mount, CS

16、-mount 傳輸方式 Gigabit Ethernet 幀率 14 供電要求 Via Power over Ethernet (802.3af) or + 12VDC (± 10%) via the camera′s 6-pin Hirose connector 外形尺寸 42 x 29 x 29 表1 Basler acA2500-14gm型號工業(yè)相機(jī)參數(shù) 5. 拍攝參數(shù)設(shè)定 為了提高圖像處理速度并兼顧分辨率，選擇的拍攝參數(shù)如下表： 圖像尺寸 待定 色彩 待定 ISO速度 待定 幀頻 待定 記錄頻率 待定 2）軟件介紹 OpenCV的全稱是

17、：Open Source Computer Vision Library。OpenCV是一個基于（開源）發(fā)行的跨平臺計算機(jī)視覺庫，可以運(yùn)行在Linux、Windows和Mac OS操作系統(tǒng)上。它輕量級而且高效——由一系列 C 函數(shù)和少量 C++ 類構(gòu)成，同時提供了Python、Ruby、MATLAB等語言的接口，實(shí)現(xiàn)了圖像處理和計算機(jī)視覺方面的很多通用算法，它可以完成以下工作： 1.圖像數(shù)據(jù)操作（內(nèi)存分配與釋放，圖像復(fù)制、設(shè)定和轉(zhuǎn)換） 2.圖像/視頻的輸入輸出（支持文件或攝像頭的輸入，圖像/視頻文件的輸出） 3.矩陣/向量數(shù)據(jù)操作及線性代數(shù)運(yùn)算（矩陣乘積、矩陣方程求解、特征值、奇異值分解

18、） 支持多種動態(tài)數(shù)據(jù)結(jié)構(gòu)（鏈表、隊(duì)列、數(shù)據(jù)集、樹、圖） 4.基本圖像處理（去噪、邊緣檢測、角點(diǎn)檢測、采樣與插值、色彩變換、形態(tài)學(xué)處理、直方圖、圖像金字塔結(jié)構(gòu)） 5.結(jié)構(gòu)分析（連通域/分支、輪廓處理、距離轉(zhuǎn)換、圖像矩、模板匹配、霍夫變換、多項(xiàng)式逼近、曲線擬合、橢圓擬合、狄勞尼三角化） 6.攝像頭定標(biāo)（尋找和跟蹤定標(biāo)模式、參數(shù)定標(biāo)、基本矩陣估計、單應(yīng)矩陣估計、立體視覺匹配） 7.運(yùn)動分析（光流、動作分割、目標(biāo)跟蹤） 8.目標(biāo)識別（特征方法、HMM模型） HALCON軟件介紹 HALCON是一款來自德國慕尼黑的世界頂級機(jī)器視覺編程環(huán)境，該軟件以面向問題為基礎(chǔ)，涉及工業(yè)領(lǐng)域中光學(xué)工

19、程、精密制造、包裝、半導(dǎo)體、印刷、機(jī)械等行業(yè)。使用它可以迅速構(gòu)建一個準(zhǔn)確、穩(wěn)定、高效率的視覺解決方案。該軟件具有強(qiáng)大的函數(shù)庫，能導(dǎo)出C++、C、VB等語言，縮短了代碼編寫時間，為構(gòu)建獨(dú)立的視覺系統(tǒng)提供了方便。利用HALCON軟件構(gòu)建一個獨(dú)立視覺系統(tǒng)分為三個步驟： 該軟件最大特點(diǎn)是模范化和模塊化，所有的算子都具有同一的輸入輸出格式，下面是一個典型的算子結(jié)構(gòu)：Operator(iconic input:iconic output:control input:control output) HALCON語言的數(shù)據(jù)有兩種：一種是控制參數(shù)，包含數(shù)字、數(shù)組，字符串等；另一種是圖形參數(shù)，包含圖像，區(qū)

20、域和邊緣數(shù)據(jù)等。從典型算子結(jié)構(gòu)可以看出，圖形參數(shù)首先輸入的參數(shù)，然后是控制參數(shù)，并且順序是輸入數(shù)據(jù)和輸出數(shù)據(jù)相間隔，也即是：Operator(輸入圖形參數(shù)：輸出圖形參數(shù)：輸入控制參數(shù)：輸出控制參數(shù)）。 1.5.2圖像預(yù)處理 1） 圖像灰度化 將RGB彩色圖像轉(zhuǎn)化為單通道圖像，灰度范圍為0-255，可以很大程度上提高運(yùn)算的速度 Image cam_gray=cam.Convert(); Cam是攝像機(jī)采集的彩色圖像 2） 直方圖均衡化 對于工件和背景灰度相差不大的情況，可以通過直方圖均衡化增加圖像的對比度，使工件在背景中更突出

21、cvEqualizeHist函數(shù)可以增大圖像灰度的動態(tài)范圍，從而增加對比度 3） 圖像濾波消除噪聲信息 對于環(huán)境中的各種干擾，相機(jī)的成像噪聲，可以通過預(yù)處理階段消除或者削弱噪聲的影響，具體可以使用各種濾波算子，如中值濾波，高斯平滑濾波，均值濾波，在OpenCV中都有對應(yīng)的函數(shù)可以調(diào)用 1.5.3圖像識別 模式識別應(yīng)用與圖像信號處理領(lǐng)域就成為了圖像識別，它是一種利用計算機(jī)對圖像進(jìn)行描述和分類的技術(shù)，在機(jī)器視覺中具有廣泛的應(yīng)用，涉及文字，條碼，車牌識別，目標(biāo)分類等應(yīng)用場合，識別的過程其實(shí)是一個分類的過程，將滿足判斷條件的對象歸為一類，而不滿足條件的劃分為其他類，首先對目標(biāo)圖像進(jìn)行特征提取，

22、然后將它和已知的模式向量進(jìn)行比較，比較的過程是函數(shù)計算的過程，通過計算得到相似程度值，根據(jù)該值判斷目標(biāo)是否與已知庫中的目標(biāo)相似，從而得到相應(yīng)的識別或者不識別信號，根據(jù)分類標(biāo)準(zhǔn)選擇的不同，可以將識別方法分為：基于概率統(tǒng)計方法的識別，基于模版匹配方法的識別，基于多傳感器信息融合方法的識別等。通常，圖像識別有以下三步，如圖所示 圖3 圖像識別的步驟 主要有三個任務(wù)：圖像分割、目標(biāo)分類、圖像匹配 1） 圖像分割 要將圖像分割為區(qū)域，就要有分割的標(biāo)準(zhǔn)，這個標(biāo)準(zhǔn)就叫做閾值，獲取合適閾值的方法很多，通?？梢苑譃槭謩荧@取和自動獲取，當(dāng)進(jìn)行手動獲取時，通常借鑒圖像灰度直方圖的分布來幫助選擇，最簡

23、單的自動全局閾值的方法是：首先選擇一個初始閾值估計值（ 然后利用該閾值對圖像進(jìn)行初始分割得到G1和G2區(qū)域。對G1和G2區(qū)域中所有像素計算灰度平均值，計算得到的新閾值為T=，利用新閾值對圖像進(jìn)行重新分割，然后重復(fù)前面兩步，直至前后兩次T值之差小于設(shè)定值時停止。然后利用最終得到的最佳閾值將區(qū)域分割為兩部分，從而得到二值圖像： 對于本系統(tǒng)，由于拍攝到的目標(biāo)圖像和背景灰度差別較大，可以直接確定閾值范圍，此方法進(jìn)行分割的結(jié)果如圖所示，從圖中可以看出，目標(biāo)區(qū)域和背景區(qū)域分割的較好，但是有許多非目標(biāo)的區(qū)域也被劃分為一類（主要是傳送帶的邊緣），所以還需要后續(xù)的區(qū)域標(biāo)記方法，利用區(qū)域的連通性將這些目標(biāo)

24、區(qū)域和非目標(biāo)區(qū)域給分開來 區(qū)域聯(lián)通標(biāo)記是建立在像素點(diǎn)鄰接性的基礎(chǔ)之上的，鄰接性是一種相似性的度量方法，常用的類型有4-鄰接、8-鄰接、和對角鄰接 X X P X X 4-鄰接 X X X X P X X X X 8-鄰接 X X P X X 對角鄰接 提取連通成分的過程實(shí)際上也是標(biāo)記連通成分的過程，通常的做法是給圖像中的每個連通區(qū)域分配一個唯一的編號，這樣的圖像成為標(biāo)注圖像。得到各個編號區(qū)域，就能計算區(qū)域的面積，中重心，圓度，外接/內(nèi)切圓半徑等特征參數(shù)，以供所需區(qū)域

25、的選擇，本例采用面積特征進(jìn)行選擇，得到目標(biāo)模版圖像 2. 目標(biāo)分類 目標(biāo)分類是對得到的不同目標(biāo)進(jìn)行區(qū)分并將其歸為某一已知類的過程。對于圖像目標(biāo)來說通常利用圖像特征來對目標(biāo)進(jìn)行描述，然后再對其分類，目標(biāo)分類是目標(biāo)識別過程中的重要步驟目前已經(jīng)廣泛應(yīng)用于圖像分割，目標(biāo)識別，變化檢測，字符識別等場合。 根據(jù)待分類目標(biāo)的外形，可將分類任務(wù)分為兩類。第一類是針對搜索目標(biāo)外形固定，并且不同類型目標(biāo)的特征區(qū)域明顯，這種情況可以采用模版匹配的方法對其進(jìn)行分類，第二類是針對目標(biāo)外形不是特別明顯，人工無法選擇出合適的分類方法對其進(jìn)行分類，這種情況下就需要利用已知類型信息的目標(biāo)圖像對分類器進(jìn)

26、行訓(xùn)練，讓分類器對后續(xù)的圖像進(jìn)行分類。常用的分類器有三種，分別是基于多層感知分類器MLP，基于支持向量機(jī)分類器SVM，基于高斯混合模型分類器GMM，本文采用MLP分類器，具體步驟為： 圖X 目標(biāo)分類的一般步驟 首先創(chuàng)建某一類型的分類器，然后對一直目標(biāo)進(jìn)行分析，得到描述該類型目標(biāo)的特征向量，然后利用特征向量對分類器進(jìn)行訓(xùn)練，得到判別函數(shù)，這時分類器就獲得了分類的原則，然后對后續(xù)的未知目標(biāo)進(jìn)行分類，同樣也需要對目標(biāo)進(jìn)行特征提取得到特征向量，然后利用分類器對向量進(jìn)行計算，得到分類結(jié)果。這里使用的是OpenCV或者Halcon中提供的分類器 3圖像匹配 用創(chuàng)建模版圖像的方法可以

27、用于檢測圖像來確定目標(biāo)的位置，但是通過圖像分割的方法來得到一個穩(wěn)定的目標(biāo)識別系統(tǒng)是非常困難的。例如背景發(fā)生拜年話，目標(biāo)被部分遮擋，目標(biāo)與攝像機(jī)間距離變化，多個目標(biāo)出現(xiàn)等都導(dǎo)致分割的困難，而圖像匹配可以解決這些問題。 圖像匹配是指利用已知的目標(biāo)模式，對不同時刻或視角下拍攝的兩幅圖像間尋找相同或相近的目標(biāo)模式，使期望的目標(biāo)建立起對應(yīng)關(guān)系的過程，圖像匹配算法按照特征選擇層次的不同分為兩大類， 基于灰度值相關(guān)的匹配是利用圖像的直接灰度值特征，其計算過程為：移動模版至待匹配圖像的各個位置，計算每個位置時模版本身與所覆蓋區(qū)域的相似性計算值，將得到的一系列計算值進(jìn)行比較，極值處便是目標(biāo)所

28、在的位置。這種方法計算量大，達(dá)不到實(shí)時性要求，并且不能適應(yīng)光照條件變化、尺度變化，遮擋等情況，為了解決實(shí)時性要求，采用基于圖像特征的匹配方法，這種匹配方法有很好的魯棒性，基于特征的匹配是指，對模版圖像和匹配圖像分別進(jìn)行特征提取，用相似性度量函數(shù)計算對應(yīng)特征之間的相似程度的匹配方法，特征的選擇有很多，一般來說灰度變化大的地方是信息量最豐富的地方，比如，角點(diǎn)，輪廓，邊緣，直線，紋理等。本文采用的是基于形狀匹配的方法，該方法是多種技術(shù)的綜合，既用到了金字塔匹配模型，也用到了圖像的輪廓特征，該方法的一般流程如圖，匹配后得到目標(biāo)在圖像中的位置坐標(biāo)如下表： 序號 目標(biāo)個數(shù) 坐標(biāo) 角度 準(zhǔn)確度

29、1 1 （289.042，311.058） -0.00052 98.365 2 1 （145.325，178.698） 6.32541 99.452 .... ...... ...... ..... ...... 圖X.基于形狀匹配的步驟 4. 目標(biāo)跟蹤 目標(biāo)跟蹤是一個對運(yùn)動目標(biāo)或者運(yùn)動相機(jī)采集到的圖像序列進(jìn)行連續(xù)確定目標(biāo)位置的過程，目標(biāo)定位是目標(biāo)跟蹤的基礎(chǔ)，通過跟蹤能夠得到目標(biāo)的運(yùn)動軌跡從而可以對將來目標(biāo)出現(xiàn)的位置進(jìn)行預(yù)測，通過軌跡能夠得到目標(biāo)的速度和加速度，從而可以為運(yùn)動學(xué)研究提供一種測量手段。此外，通過目標(biāo)跟蹤可以對預(yù)先設(shè)定好出現(xiàn)范圍和形狀的目標(biāo)

30、進(jìn)行監(jiān)視，如果其出現(xiàn)范圍或者形狀發(fā)生變化時，便發(fā)出相應(yīng)的報警信號。 目標(biāo)跟蹤可以分為兩大方法：第一類是基于邊緣特征的方法;第二類是基于目標(biāo)內(nèi)部投影點(diǎn)信息的方法，如光流法，模版匹配法。本位采用第二類中的模版匹配方法，由于匹配計算量較大，可采用以下途徑減少運(yùn)算量：首先計算第一副圖像中目標(biāo)的位姿，由于目標(biāo)運(yùn)動的連續(xù)性，對得到的位姿進(jìn)行限制，定義一個跟蹤范圍圓（下一個目標(biāo)可能出現(xiàn)的區(qū)域），然后在指定范圍內(nèi)對后續(xù)圖像進(jìn)行目標(biāo)匹配。由于本文采用的傳送帶運(yùn)動狀態(tài)為勻速直線運(yùn)動，因此只要計算出目標(biāo)的速度和位置便能寫出軌跡方程來。 定義參考坐標(biāo)系： 在傳送帶上定義參考坐標(biāo)系的目的，是為了將目標(biāo)位姿與機(jī)器人

31、基坐標(biāo)系聯(lián)系起來。參考坐標(biāo)系的X軸與傳送帶中線重合，方向指向目標(biāo)運(yùn)動方向，y軸指向機(jī)器人一側(cè)，Z軸垂直于傳送帶平面向上。 左側(cè)方框區(qū)域代表相機(jī)的視野范圍，右側(cè)外圓區(qū)域?yàn)闄C(jī)器人工作空間范圍，內(nèi)圓區(qū)域代表機(jī)器人工作空間與傳送帶在平面相交區(qū)域。工件從左側(cè)進(jìn)入，在計時起點(diǎn)處開始計時。相機(jī)對經(jīng)過計時起點(diǎn)的目標(biāo)進(jìn)行連續(xù)拍照，估算出目標(biāo)重心在參考坐標(biāo)系中的坐標(biāo)和速度。在進(jìn)行實(shí)驗(yàn)之前通過離線測量的方法，得到參考坐標(biāo)系與機(jī)器人基座之間的相對位姿，同樣可以計算出參考坐標(biāo)系在攝像機(jī)坐標(biāo)系下的位姿 由離線測量得到的位姿關(guān)系和，可以計算出機(jī)器人基座于攝像機(jī)之間的位姿矩陣。 然后通過目標(biāo)定位得到目標(biāo)的位

32、姿，再計算出目標(biāo)重心相對于參考坐標(biāo)系的位姿，由可以得到目標(biāo)重心的坐標(biāo)（），過重心點(diǎn)做一條平行于參考坐標(biāo)系x軸的直線，與機(jī)器人工作空間區(qū)域相交與兩點(diǎn)：，。這兩點(diǎn)便是目標(biāo)進(jìn)出工作空間的坐標(biāo)點(diǎn)。由這兩點(diǎn)結(jié)合運(yùn)動速度就可以計算出目標(biāo)何時進(jìn)入和離開機(jī)器人的工作空間范圍，在這個時間段中選擇任一時刻即可對目標(biāo)進(jìn)行抓取。 目標(biāo)速度V的計算，可以在攝像機(jī)視野內(nèi)，取間隔10張的兩幅圖像，計算目標(biāo)中心在運(yùn)動方向的位移，除以拍攝這10張圖像所經(jīng)歷的時間，即可得到目標(biāo)的速度。 1.5.6IRB120型機(jī)器人控制 工業(yè)機(jī)器人的控制方法分類： 分類依據(jù) 類型 特點(diǎn) 根據(jù)控制量所處空間 關(guān)節(jié)空間 運(yùn)動規(guī)劃和

33、控制對象為各個關(guān)節(jié)角，是其他控制方法的基礎(chǔ) 笛卡爾空間 在關(guān)節(jié)空間控制的基礎(chǔ)上實(shí)現(xiàn)通過給定路徑上各點(diǎn)出的位姿，來保證運(yùn)動的確定性 根據(jù)控制量 位置 以末端執(zhí)行器的位置為被控對象，在三維空間或者關(guān)節(jié)空間對機(jī)器人進(jìn)行控制 速度 使任務(wù)動作以指定的速度進(jìn)行，例如目標(biāo)跟蹤過程 加速度 考慮到機(jī)器人的慣性負(fù)載，對加速段和減速段之間的過度進(jìn)行規(guī)劃，使之運(yùn)行平穩(wěn) 力（力矩） 考慮到目標(biāo)抓取時的握緊力或者使用工具時的力矩等因素 根據(jù)控制算法 PID控制 由比例、積分和微分單元構(gòu)成，理論成熟 自適應(yīng)控制 系統(tǒng)的舒服發(fā)生變化或者收到干擾時，系統(tǒng)通過改變自身參數(shù)來自我調(diào)節(jié)，使輸出仍滿

34、足性能要求 神經(jīng)網(wǎng)絡(luò)控制 屬于黑箱控制，具有較好的學(xué)習(xí)能力 本研究所完成的內(nèi)容屬于較為簡單的抓取任務(wù)，所以使用位置控制方法就能滿足要求 2. 機(jī)器人抓取運(yùn)動規(guī)劃 機(jī)器人抓取運(yùn)動規(guī)劃包括路徑規(guī)劃和手部抓取方式規(guī)劃。路徑規(guī)劃是研究按照何種路徑，將機(jī)器人手部坐標(biāo)系原點(diǎn)與目標(biāo)抓取坐標(biāo)系原點(diǎn)重合的問題；抓去店規(guī)劃是針對不同形狀的物體，如何選擇合適夾持點(diǎn)位置的問題 路徑點(diǎn) 動作 目標(biāo) P0 INIT 初始位置 P1 MOVE 到達(dá) P1 GRASP 抓取 P2 MOVE 提升 P3 MOVE 移至待放置位置上方 P4 MOVE 到達(dá)放置位置

35、 P4 RELEASE 松開 P5 MOVE 提升 P0 MOVE 回位 1.6本課題的重點(diǎn)難點(diǎn) 實(shí)時性是在線抓取的一項(xiàng)重要指標(biāo)，算法的速度是必須考慮的，因?yàn)樵诠I(yè)生產(chǎn)線中，速度性能是最重要的指標(biāo)，工件分揀的要求更是嚴(yán)格，要求算法識別的速度相當(dāng)快，這樣才能帶來經(jīng)濟(jì)效益，所以如何在傳送帶速度比較高的情況下仍然保持識別定位的準(zhǔn)確性是本課題的一個難點(diǎn)，定位精度也是一個重點(diǎn)，這直接關(guān)系到機(jī)械手能否在正確的時間間隔內(nèi)運(yùn)動到指定位置進(jìn)行有效抓取，如何對算法

36、進(jìn)行優(yōu)化從而提高定位算法的定位精度，也是本次研究的一個重點(diǎn)和難點(diǎn) 參考文獻(xiàn) [1] 畢勝.國內(nèi)外工業(yè)機(jī)器人的發(fā)展現(xiàn)狀.機(jī)械工程師，2008，07：5~7. [2] 吳振彪，王正家（第一版）.工業(yè)機(jī)器人.武漢：華中科技大學(xué)出版社，2006.7~9. [3] 蔡鶴皋.機(jī)器人技術(shù)的發(fā)展與在制造業(yè)中的應(yīng)用.機(jī)械制造與自動化，2004，33(1)6~7． [4] 張廣軍.機(jī)器視覺.北京:科學(xué)出版社，2005.1，34~36，38~45 [5] 權(quán)歡歡，張洛平.裝配線零件圖像識別與系統(tǒng)實(shí)現(xiàn)：(碩士學(xué)位論文). 河南：河南科技大學(xué)，20

37、08. [6] Rahardja K. Kosaka A. Vision-based bin-picking: recognition and localization of multiple complex objects using simple visual cues. Robot Vision Lab., Purdue Univ., West Lafayette, IN; [7] 徐方.工業(yè)機(jī)器人產(chǎn)業(yè)現(xiàn)狀與發(fā)展.機(jī)器人技術(shù)與應(yīng)用，2007. 5：2~4. [8] 趙臣，王剛.我國工業(yè)機(jī)器人產(chǎn)業(yè)發(fā)展的現(xiàn)狀調(diào)研報告.機(jī)器人技術(shù)與應(yīng)用，2009，2： 8~13. [9] 徐方，鄒風(fēng)山，鄭春暉.新松機(jī)器人產(chǎn)業(yè)發(fā)展及應(yīng)用.機(jī)器人技術(shù)與應(yīng)用，2011，(5)：14~18. [10] 倪受東，袁祖強(qiáng)，文巨峰.冗余自由度機(jī)器人機(jī)構(gòu)學(xué)研究現(xiàn)狀.南京工業(yè)大學(xué)學(xué)報，2002, 24(4)：107~110. [11]楊賀然.基于機(jī)器視覺的移動目標(biāo)機(jī)器人抓取研究 （碩士學(xué)位論文）北京：北京化工大學(xué)2008 [12]吳源遠(yuǎn).高速分揀機(jī)械手視覺識別技術(shù)研究[D].無錫：江南大學(xué)，2009 20 驕陽書屋#