草莓采摘機器人的草莓識別系統(tǒng)設(shè)計說明書

20、像機作為視覺傳感器基于彩色特征尋找和識別成熟果實,提出了采用立體視覺技術(shù)檢測番茄位置的算法,即根據(jù)左右圖像中心的位置進行匹配。日本的Kondo,N等人<1998>研制的黃瓜采摘機器人,采用三菱MxTsuBIsHIRV一E2自由度工業(yè)機器人,利用CCD攝像機,根據(jù)黃瓜比其葉莖對紅外光的反射率高的原理來識別黃瓜和葉莖,黃瓜果實采用剪斷方法,先把黃瓜抓住,用接觸傳感器找出柄,然后剪斷。由于黃瓜是長條形,識別受到葉莖的影響更大,所以采摘的成功率較低,大約在60%左右,如圖1-5所示。 圖1-4番茄收獲機器人〔日本 1-5黃瓜采摘機器人〔日本 日本中央農(nóng)業(yè)研究中心開發(fā)了甘藍采摘機器人[3

21、][9] <圖1-6>,它以履帶式搬運車為移動機構(gòu),搭載液壓式機械臂,臂上安裝采摘用末端執(zhí)行器。為了防止采摘時影響品質(zhì),夾持葉球時夾持的部位必須合適,為此在視覺傳感器以外,末端執(zhí)行器底部加裝了超聲波傳感器和觸地確認開關(guān)以及確認夾持狀態(tài)的接觸壓力傳感器。該系統(tǒng)釆用神經(jīng)網(wǎng)絡(luò)系統(tǒng)提取甘藍圖像,其方法和直徑與已經(jīng)存儲在處理器中標準模板進行比較判斷。試驗表明:該機從判斷、摘取到移動到指定位置,一顆甘藍需時55s,撿拾成功率約43%。 圖1-6甘藍采摘機器人〔日本 田中芳夫等〔1990在柑橘的識別領(lǐng)域內(nèi),通過 RGB 色彩空間的的顏色信號和色彩之間的差別信號進行柑橘識別,在結(jié)果中,表明了不同光照下,無

22、論是因為非果實物體的遮擋導(dǎo)致果實表面存在陰影和果實表面上存在過強的陽光反射的情況下,均可以正確的識別果實。 1.3.2國內(nèi)研究現(xiàn)狀 國內(nèi)采摘機器人研究起步較晚,處于起步階段。20XX出臺的"十一五"國家高技術(shù) 研究發(fā)展計劃<863計劃>,提出了高技術(shù)項目《果樹采摘機器人關(guān)鍵技術(shù)研究》以后, 近年來國內(nèi)許多知名高校及科研院所積極投入各種釆摘機器人的研究,通過跟蹤國外先 進技術(shù),在機器人采摘領(lǐng)域取得了初步成果且開發(fā)了一些樣機。 中國農(nóng)業(yè)大學(xué)李偉等人以溫室環(huán)境下黃瓜壟間圖像為研究對象,開發(fā)了黃瓜釆摘機器人[10][11]<圖1-7>。硬件系統(tǒng)由自主移動平臺、果實識別定位系統(tǒng)、采摘機械臂、柔性

23、末端執(zhí)行器和能源系統(tǒng)5大模塊組成。采用基于近紅外光譜特征的圖像獲取技術(shù),來有效分離黃瓜果實與蓮葉的信息;提出果實與背景形狀差異結(jié)合局部最大類間方差取閾法對黃瓜圖像進行兩次動態(tài)閾值分割,實現(xiàn)了黃瓜目標的準確識別。通過建立基于灰度相 關(guān)與極線幾何相結(jié)合的匹配策略實現(xiàn)了雙目視覺下的黃瓜抓取點的立體匹配,并根據(jù)視 差原理恢復(fù)出目標三維幾何信息。整機試驗系統(tǒng)各模塊運轉(zhuǎn)良好,采摘成功率達85%, 單根黃瓜采摘耗時28.6s。 圖1-7黃瓜采摘機器人〔中國 周云山<1995>[12]研制了具有計算機視覺的蘑菇采摘機器人,使蘑菇生產(chǎn)從苗床管理到收獲分類實現(xiàn)了全過程自動化,由攝像機采集蘑菇圖像,計算其面積、

24、周長和中心坐標,面積和周長用于蘑菇分類,中心坐標用于引導(dǎo)機械手采摘,但研究只是在二維平面內(nèi)的識別問題,而對3D目標空間定位技術(shù)的研究特別少 俞高紅<2005>[13]以單體蘑菇為研究對象,研究內(nèi)容包括,蘑菇圖像的數(shù)字特征,提取邊界的算法,對蘑菇邊界進行離散傅立葉變化提出僅需利用蘑菇的邊界信息求蘑菇形心坐標的新方法,而且傅立葉描述可以進行蘑菇邊界的平移、旋轉(zhuǎn)和縮放操作,具有很強的邊界形狀重建功能。 XX大學(xué)的蔡健榮等[14]在 2005 年將 RGB 彩色模型轉(zhuǎn)換到 HIS 系統(tǒng),根據(jù)Otsu〔大津法算法自動獲取彩色目標圖像分割閾值。對成熟西紅柿進行測試,根據(jù)西紅柿的顏色和形狀信息,能夠識別

25、出成熟西紅柿,但對果實部分遮擋或重疊的情況缺少研究。 司永勝,喬軍 等[15]〔2010提出了利用歸一化的紅綠色差 /分割蘋果的方法。對不同光照情況下拍攝的蘋果圖像進行了識別,并對識別后的圖像進行預(yù)處理后,獲得蘋果的輪廓圖像。對輪廓圖像采用隨機圓環(huán)法進行果實形心和半徑提取。 1.4課題研究的主要內(nèi)容和論文結(jié)構(gòu) 1.4．1課題研究的主要內(nèi)容 本課題在分析國內(nèi)農(nóng)業(yè)智能化作業(yè)設(shè)備的基礎(chǔ)上,以草莓為研究對象,將成熟的草莓從植株中識別出來。內(nèi)容如下: 研究所拍攝的植株中成熟草莓圖像的圖像特征,選擇適宜的圖像特征,將果實從植株中識別。由于 OpenCV 實現(xiàn)了圖像處理和機器視

26、覺方面的很多通用算法,具有豐富的庫函數(shù),所以成熟草莓識別部分的編程是在 VC++環(huán)境下,基于 OpenCV2.4.4 實現(xiàn)。簡述草莓采摘點確定的方法。 本課題的技術(shù)路線如圖1.4.1所示： 圖1.4.1 技術(shù)路線 論文結(jié)構(gòu) 第一章,緒論。敘述草莓果實目標識別技術(shù)的研究目的和意義,闡述現(xiàn)階段國內(nèi)外的研究現(xiàn)狀,并且通過分析提出本論文的大致內(nèi)容。 第二章,介紹機器視覺系統(tǒng)與常用的圖像處理方法,為第三章草莓圖像識別打下基礎(chǔ)。 第三章,攝像機標定和草莓的識別。如：對圖像的取像、分割、濾波去噪等。 第四章,對全文做了一個簡單總結(jié)以及對進一步工作的展望。 1.5本章小結(jié) 本章闡述了國內(nèi)外農(nóng)

27、業(yè)設(shè)施生產(chǎn)機器人的研究現(xiàn)狀,介紹了成熟草莓識別研究的目的和意義,并提出了本課題研究的主要內(nèi)容,給出了本課題的技術(shù)線圖。 第二章 機器視覺系統(tǒng)與常用的圖像處理方法 機器視覺是科學(xué)領(lǐng)域和工程領(lǐng)域富有挑戰(zhàn)性,應(yīng)用前景廣闊的一門綜合性學(xué)科。作為一門學(xué)科,人們對機器視覺的研究最早開始于 20 世紀 60 年代初,但直到 20世紀 80年代才在機器視覺基礎(chǔ)研究中取得重要進展并建立了機器視覺理論的完整框架?，F(xiàn)在的機器視覺已成為一門不同于圖像處理、模式識別、人工智能等相關(guān)領(lǐng)域的相對獨立的成熟學(xué)科。 機器視覺系統(tǒng)的特點是可以提高生產(chǎn)的安全性、可靠性及智能化程度。在人類肉眼難以滿足要求的場合或不適合人工作業(yè)

28、的惡劣工作環(huán)境,往往選擇機器視覺代替人類視覺。此外在流水線生產(chǎn)過程中,用肉眼檢查產(chǎn)品質(zhì)量,誤差不容易控制且效率不高,用機器視覺檢測可以大幅改善生產(chǎn)效率、生產(chǎn)自動化及智能化程度,同時機器視覺容易實現(xiàn)大規(guī)模信息集成,是實現(xiàn)現(xiàn)代計算機集成制造的基礎(chǔ)技術(shù)。 機器視覺系統(tǒng)利用機器視覺代替人眼來完成各種測量和判斷任務(wù)。圖像處理技術(shù)的進步直接推動著機器視覺的發(fā)展。圖像處理是指運用計算機對圖像數(shù)據(jù)進行各種運算。一般包括圖像壓縮編碼、圖像恢復(fù)、圖像增強、形態(tài)學(xué)處理、圖像分割、采樣量化、圖像分類等。圖像處理的主要功能是將低質(zhì)量圖像〔反差小、噪聲大、畸變等用計算機處理成適合于人眼觀察或機器檢測的圖像。 2.1機

29、器視覺系統(tǒng) 一個典型的機器視覺系統(tǒng)包括：圖像采集〔包括光源、鏡頭、相機；圖像 處理和分析〔包括圖像采集卡和圖像處理軟件；輸出或顯示單元〔包括過程控制器、顯示器和報警裝置等。機器視覺系統(tǒng)基本結(jié)構(gòu)如圖2-1所示： 圖2-1 機器視覺系統(tǒng)基本結(jié)構(gòu) 機器視覺系統(tǒng)的應(yīng)用 機器視覺技術(shù)用計算機來分析圖像,并得出結(jié)論。目前機器視覺在科研和生產(chǎn)上有著廣泛的應(yīng)用。 一般來說機器視覺技術(shù)包括以下幾個過程： 〔1圖像采集：光學(xué)系統(tǒng)采集圖像,并將其轉(zhuǎn)換為相應(yīng)的電信號,進而轉(zhuǎn)換為數(shù)字信號傳入計算機存儲器,完成圖像的輸入。 〔2圖像處理：運用不同的算法突出對結(jié)論有重要影響的圖像要素。 〔3特性提取：將獲

30、取的場景圖像信息進行提取和處理,識別并量化圖像的關(guān)鍵特性。 〔4判決和控制：控制程序根據(jù)收到的數(shù)據(jù)做出結(jié)論,并進行相應(yīng)的操作。 2.2常用的圖像處理方法 圖像處理的主要目的和技術(shù)包括增強圖像以改善圖像視覺效果、恢復(fù)退化圖 像以消除各種干擾的影響[16]。常用的處理方法有：顏色空間轉(zhuǎn)換、灰度化和二值化、圖像分割、濾波、圖像形態(tài)學(xué)處理、邊緣提取和輪廓提取等。 2.2.1 顏色空間 顏色是物體屬性的外在表現(xiàn),具有對物體本身的方向、尺寸、視角等依賴性 小、魯棒性強等優(yōu)點,因此在圖像分割中占有舉足輕重的地位,對彩色圖像的處 理是目前圖像處理領(lǐng)域非常重要的研究課題。在圖像分割時,通常要提取

31、目標對 象的顏色特征在特定的顏色空間與背景進行比較。顏色空間也稱彩色模型,它的 用途是在某些標準下用通?？山邮艿姆绞綄Σ噬右哉f明。本質(zhì)上,彩色模型是 坐標系統(tǒng)和子空間的闡述。每種顏色都用空間單個點表示。在彩色圖像處理中, 選擇合適的彩色模型是很重要的。根據(jù)應(yīng)用對象不同,可將彩色模型分成兩大類。 一類面向硬件設(shè)備比如彩色攝像機和彩色打印機等。另一類面向彩色處理分析或 者視覺感知為目的的應(yīng)用,如圖像處理算法,動畫中的彩色圖形等。對顏色的分 析和描述離不開顏色的定量表示,目前在數(shù)字圖像處理中,最常用的彩色模型有 RGB、HSV 等。 實際中用的最多的面向硬件設(shè)備的彩色模型是 RG

32、B 彩色模型。彩色打印機 和電視攝像機等都是在 RGB 彩色模型下工作的。在人類視覺中,所有顏色都可 以看作是三基色——紅〔Red、綠〔Green、藍〔Blue不同比例的組合。 RGB 彩色模型是笛卡爾三維坐標空間的一個子空間,其中三個坐標軸分別 用 R,G,B 標記。RGB 彩色模型是一個正方體,原點與黑色對應(yīng),離坐標原點 最遠的頂點與白色對應(yīng),在此模型中,從黑色到白色的亮度值分布在從原點到離 原點最遠的頂點的對角線上,而立方體空間內(nèi)其余各點分別對應(yīng)不同的顏色。R、 G、B 三分量的取值范圍都在[0,255]區(qū)間,圖 2-2〔a為 RGB 顏色空間模型。 圖 2-2 顏色空間

33、模型 面向硬設(shè)備的彩色模型與人的視覺感知有一定差距且使用時不太方便,例如 給定一個彩色信號,人很難判斷其中的 R,G,B 分量,這時使用面向視覺感知 的顏色模型比較方便。在面向視覺感知的顏色模型中,HSV 彩色模型與人類對 顏色的感知最接近。 這個顏色模型中的三個參數(shù)分別是：色彩〔H、飽和度〔S和亮度〔V。 HSV 彩色模型是從 RGB 彩色模型演化而來的,如果沿 RGB 立方體對角線的白 色頂點向黑色原點觀察,就會看到立方體的六邊形外形。其中六邊形邊界對應(yīng)色 彩,水平軸對應(yīng)飽和度,亮度沿垂直軸變化。HSV 彩色模型的坐標系統(tǒng)可用六 棱錐來表示,見圖 2-2〔b。在 RGB

34、空間中任一點的 R、G、B〔均在[0,255] 區(qū) 間均可轉(zhuǎn)換到 HSV 空間,得到 H、S、V 值,見式〔3.16。在農(nóng)產(chǎn)品顏色分 類中,RGB 模型與 HSV 模型是用的最多的彩色模型。 物體表面因光照輻射而呈現(xiàn)出顏色。在自然環(huán)境下生長的農(nóng)作物,由于受到 水分、營養(yǎng)、光照及成熟度等諸多因素影響,它們的莖、桿、葉及果實形成了不 同的顏色。因此人們可以通過顏色對果實、樹干等進行識別并評價它們的優(yōu)劣。 2.2.2灰度圖像和二值圖像 通常相機采集的彩色圖像是 RGB 彩色圖像,圖像的每個像素由紅色、綠色、藍色三個分量組成[17]。每個分量的強度等級分為 0～255 共計 256 種。

35、在實際應(yīng)用中,往往需要將 RGB 彩色圖像轉(zhuǎn)換為 256 階的灰度圖像,圖 2-3 給出了示例。 〔a彩色Lena圖像 〔b灰度Lena圖像 圖2-3彩色圖像灰度化 〔a灰度Lena圖像 〔bLena二值圖像 圖2-4灰度圖像二值化 在實際應(yīng)用中,往往還需要將灰度圖像進一步轉(zhuǎn)換成二值圖像,二值化方法包括兩種：固定閾值法和自適應(yīng)閾值法。固定閾值法最常用的方法是設(shè)定一個全局閾值 T,用 T 將圖像數(shù)據(jù)分成兩部分：大于等于 T 的像素集合和小于 T 的像素集合。將大于等于 T 的像素集合的灰度值設(shè)定為黑色〔或者白色,小于 T 的像素集合的灰度值

36、設(shè)定為白色〔或者黑色。在圖像細節(jié)表現(xiàn)方面,固定閾值法存在很大缺點。為了克服這個缺點,出現(xiàn)了自適應(yīng)閾值法。針對有很強照明或反射梯度的圖像,需要根據(jù)梯度進行閾值化時,自適應(yīng)閾值法非常有用。閾值的選擇在每個像素點都可能不同,通過計算像素點鄰域的加權(quán)平均,然后減去一個常數(shù)來確定該像素的閾值。圖 2-4 給出了灰度圖像二值化示例。 2.2.3圖像分割 圖像分割是將圖像中有意義的特征部分提取出來,包括圖像中的邊緣、 區(qū)域等。圖像分割是圖像處理與計算機視覺必不可少的重要環(huán)節(jié),是數(shù)字圖像處理中的關(guān)鍵技術(shù)之一,得到了研究人員的廣泛重視,但是其發(fā)展較慢。 迄今為止,還沒有一種圖像分割方法適用于所有圖像。 圖像

37、分割的技術(shù)和算法種類繁多,是計算機視覺領(lǐng)域的一個經(jīng)典難題,人們至今仍在不斷探索新的分割理論與分割算法。圖像分割算法基本可以分為兩大類:邊緣檢測和閾值分割。 基于邊緣的分割是通過檢測出不同區(qū)域邊緣來進行分割。所謂邊緣是指其周圍像素灰度有階躍變化的那些像素的集合。它存在于目標與背景之間,是圖像分割所依賴的最重要的特征。 因此,邊緣檢測可以看作是處理許多復(fù)雜問題的關(guān)鍵。對于邊緣的檢測常常借助于邊緣檢測算子進行,常用的邊緣檢測算子有：R oberts算子、 Laplace算子、 Sobel算子、 R obinson算子、 K its算子等。 閾值分割法是一種基于區(qū)域的圖像分割技術(shù),其基本原理是通

38、過設(shè)定不同的特征閾值,把圖像像素點分為若干類。閾值法是一種簡單但是非常有效的方法,特別是不同物體或結(jié)構(gòu)之間的有很大的強度對比時,能夠得到很好的效果。閾值分割實現(xiàn)簡單、 計算量小、 性能較穩(wěn)定,已被應(yīng)用于很多的領(lǐng)域。 在O penCV 中實現(xiàn)了三種跟圖像分割相關(guān)的算法,它們分別是：水嶺分割算法、 金字塔分割算法和均值漂移分割算法。 <13.1分水嶺分割算法 它是一種基于數(shù)學(xué)形態(tài)學(xué)的一種圖像分割方法,其基本思想是把圖像看作是測地學(xué)上的拓撲地貌,圖像中每一點像素的灰度值表示該點的海拔高度,每一個局部極小值及其影響區(qū)域稱為集水盆,而集水盆的邊界則形成分水嶺。 分水嶺算法首先計算灰度圖像的梯度,這

39、對山谷或沒有紋理的盆地〔亮度值低的點形成有效,也對山頭或圖像中有主導(dǎo)線段的山脈的形成有效。然后開始從用戶指定點或算法得到點開始持續(xù) "灌注" 盆地直到這些區(qū)域連在一起。合并后的區(qū)域通過聚集的方式進行分割,從而把圖像分割成相應(yīng)的標記區(qū)域[18]。在O penCV 中該算法實現(xiàn)的函數(shù)為cvW atershed<>,其定義如下：void cvW atershed;其中 im age是一個 8 位〔三通道的彩色圖像,而 m arker是單通道整形,具有相同維數(shù)的圖像。經(jīng)過分水嶺算法分割處理后的圖像效果圖如下圖所示: 原圖像

40、 分水嶺分割 圖2-5分水嶺算法分割處理 <2金字塔分割算法 圖像金字塔是一個圖像集合,集合中的所有圖像都源于同一個原始圖像,而且是通過對圖像連續(xù)降采樣獲得,直到達到某個終止條件才停止降采樣。金字塔分割首先建立一個圖像金字塔,然后在G i的像素和G i+1的像素直接依照對應(yīng)關(guān)系,建立起 "父—子" 關(guān)系[17]?，F(xiàn)在金字塔的高層低分辨率圖像上完成,然后逐層對分割加以優(yōu)化。經(jīng)過金字塔算法分割處理后的圖像效果圖如下圖所示: 原圖像 金字塔分割 圖2-6金字塔算法分割處理 <3>均值漂移分割算法

41、 均值漂移分割能找到在空間上顏色分布的峰值。要根據(jù)空間變量設(shè)置一個空間半徑〔spatialRadius,根據(jù)顏色變量設(shè)置一個顏色半徑〔colorR adius 。經(jīng)過均值漂移算法分割處理后的圖像效果圖如下圖所示: 原圖像 均值漂移算法分割 圖 2-7均值漂移算法分割 2.2.4圖像濾波 圖像濾波,即在盡量保留圖像細節(jié)特征的條件下對目標像的噪聲進行抑制,是圖像預(yù)處理中不可缺少的操作,其處理效果的好壞將直接響到后續(xù)圖像處理和分析的有效性和可靠性。 由于成像系統(tǒng)、傳輸介質(zhì)和記錄設(shè)備等的不完善,數(shù)字圖像在其形成、傳輸記錄過程中往往會受到多種噪聲的污

42、染。另外,在圖像處理的某些環(huán)節(jié)當(dāng)輸入的像對象并不如預(yù)想時也會在結(jié)果圖像中引入噪聲。這些噪聲在圖像上常表現(xiàn)為一引起較強視覺效果的孤立象素點或象素塊。一般,噪聲信號與要研究的對象不相關(guān)它以無用的信息形式出現(xiàn),擾亂圖像的可觀測信息。對于數(shù)字圖像信號,噪聲表為或大或小的極值,這些極值通過加減作用于圖像象素的真實灰度值上,在圖像造成亮、暗點干擾,極大降低了圖像質(zhì)量,影響圖像復(fù)原、分割、特征提取、圖識別等后繼工作的進行。要構(gòu)造一種有效抑制噪聲的濾波機必須考慮兩個基本問題能有效地去除目標和背景中的噪聲；同時,能很好地保護圖像目標的形狀、大小及特定的幾何和拓撲結(jié)構(gòu)特征。 〔1中值濾波 中值濾波是基于

43、排序統(tǒng)計理論的一種能有效抑制噪聲的非線性信號處理技術(shù),中值濾波的基本原理是把數(shù)字圖像或數(shù)字序列中一點的值用該點的一個鄰域中各點值的中值代替,讓周圍的像素值接近真實值,從而消除孤立的噪聲點。方法是取某種結(jié)構(gòu)的二維滑動模板,將板內(nèi)像素按照像素值的大小進行排序,生成單調(diào)上升〔或下降的為二維數(shù)據(jù)序列。二維中值濾波輸出為,其中分別為原始圖像和處理后圖像。W為二維模板,通常為2*2,3*3區(qū)域,也可以是不同的的形狀,如線狀,圓形,十字形,圓環(huán)形等。 〔2均值濾波 均值濾波也稱為線性濾波,其采用的主要方法為領(lǐng)域平均法。線性濾波的基本原理是用均值代替原圖像中的各個像素值,即對待處理的當(dāng)前像素點〔x,y,選

44、擇一個模板,該模板由其近鄰的若干像素組成,求模板中所有像素的均值,再把該均值賦予當(dāng)前像素點,作為處理后圖像在該點上的灰度個,即, m為該模板中包含當(dāng)前像素在內(nèi)的像素總個數(shù)。 〔3高斯濾波 高斯濾波是一種線性平滑濾波,適用于消除高斯噪聲,廣泛應(yīng)用于圖像處理的減噪過程。通俗的講,高斯濾波就是對整幅圖像進行加權(quán)平均的過程,每一個像素點的值,都由其本身和鄰域內(nèi)的其他像素值經(jīng)過加權(quán)平均后得到。高斯濾波的具體操作是：用一個模板<或稱卷積、掩模>掃描圖像中的每一個像素,用模板確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代模板中心像素點的值。 若使用3×3模板,則計算公式如下： 其中,為圖像中點的灰度

45、值,為該點經(jīng)過高斯濾波后的值。 〔4最大均勻性平滑濾波 最大均勻性平滑濾波是針對一些濾波方法在消除噪聲時引起邊緣退化的現(xiàn)象而提出的,其基本思想是,若圖像中的一個區(qū)域含有邊緣,它的灰度方差必定較大。該方法采用了9種不同形狀的模板,1個正方形模板,4個對稱的五邊形模板,4個對稱的六邊形模板,用各模板內(nèi)的灰度方差作為各個區(qū)域不均勻性的測試,以最為均勻的區(qū)域灰度均值作為被處理點的像素值。 〔5低通空域濾波 低通空域濾波是一種保留圖像的低頻成分,減少圖像的高頻成分的處理方法,有的稱之為消噪聲掩膜法。因為圖像噪聲常常以高頻、隨機的形式表現(xiàn)出來,大面積的背景區(qū)和亮度漸變區(qū)域則屬低頻成分。低通空域濾波

46、以卷積方法進行。 卷積方法實質(zhì)是一種加權(quán)求和的過程。選擇某種形狀的鄰域,將鄰域中的每個像素與卷積核中的對應(yīng)元素相乘,乘積求和的結(jié)果即為模板中心像素的新值,卷積核中的元素稱為加權(quán)系數(shù)。 〔6高通空域濾波 高通空域濾波可以增強圖像的高頻成分而不改變圖像的低頻成分。這種情況下,相對來說,削弱了圖像的低頻成分。因為圖像的邊緣或線條與圖像中的高頻分量相對應(yīng),高通濾波可以讓高頻分量順利通過,使圖像的邊緣輪廓變得清楚。 2.3本章小結(jié) 本章節(jié)主要介紹機器視覺系統(tǒng)的概念,機器視覺系統(tǒng)作用和常用的圖像處理方法。在此基礎(chǔ)上,通過對理論的研究,找出適合于本次課題研究用的草莓的圖像識別方法,為第三章草莓的識

47、別打下良好的基礎(chǔ)。 第三章攝像機標定和草莓的識別 攝像機標定是機器視覺的首要任務(wù)。如果需要建立二維圖像空間像素點和三維空間物理點之間的關(guān)系,首先必須進行攝像機標定[19],它是攝像機測量與真實世界測量的聯(lián)系橋梁。場景不僅僅是三維的,也是用物理單位度量的空間,因此攝像機的自然單位〔像素和物理世界的長度單位〔米的關(guān)系對三維場景的重構(gòu)至關(guān)重要。攝像機標定需要建立攝像機幾何模型和透鏡畸變〔模型,這兩個模型定義了攝像機的內(nèi)參數(shù),對攝像機得到的每一幅特定物體的圖像,可以在攝像機坐標系統(tǒng)上用旋轉(zhuǎn)矩陣和平移矩陣來描述物體的相對位置,二者構(gòu)成了攝像機外參數(shù)。知道了攝像機內(nèi)外參數(shù)就可以進行投影變換即由物理點三

48、維空間坐標計算出物理點在圖像平面投影點的二維像素坐標。 準確識別成熟油草莓是草莓采摘機器人進行采摘作業(yè)的首要任務(wù)。本章通過對成熟草莓、未成熟草莓及樹葉的色差分量信息進行提取和統(tǒng)計分析,提出一種基于色差分量閾值分割的成熟草莓自動識別算法,并在 VC++ 環(huán)境下基于 OpenCV編程實現(xiàn)。 本文采用的攝像機是微軟公司發(fā)布的。本章簡明扼要地介紹了攝像機標定的基本理論和概念,并通過一種高精度攝像機標定法——張正友的平面模板標定法對相機參數(shù)進行了確認。本章的重點是介紹成熟草莓的識別。 3.1 攝像機標定 機器視覺的研究目的是讓機器人通過二維圖像認知三維世界,從中獲取用于重建和識別對象的信息。攝像

49、機是二維圖像和三維世界的聯(lián)系橋梁,攝像機的幾何模型表征了二者的相互關(guān)系,這種關(guān)系通過攝像機內(nèi)外參數(shù)來描述,攝像機標定過程就是求解攝像機內(nèi)外參數(shù)的過程。 3.1.2攝像機標定方法 依據(jù)是否需要標定參照物,標定方法可分為三種：傳統(tǒng)攝像機標定方法,攝像機自標定方法和主動視覺攝像機標定法[20]。 傳統(tǒng)攝像機標定的基本方法是,在一定的攝像機模型下,基于特定的實驗條件如形狀、尺寸已知的參照物,經(jīng)過圖像處理,利用一系列數(shù)學(xué)變換和計算方法,求取攝像機模型內(nèi)部參數(shù)和外部參數(shù),一般采用標定塊作為參照物。傳統(tǒng)標定方法對于任意的攝像機模型均適用,精度高,但該標定方法的算法復(fù)雜,標定計算的復(fù)雜度與攝像機成像幾何

50、模型的復(fù)雜性有關(guān),而實際應(yīng)用中很多情況下無法使用標定塊。 攝像機自標定方法不依賴于任何特殊標定物或某些三維信息已知的控制點,而僅僅利用了圖像對應(yīng)點的信息,直接通過圖像來完成標定,得到相應(yīng)攝像機的內(nèi)外參數(shù)。這種標定方法僅需要建立圖像之間的對應(yīng),靈活性強,使得機器視覺技術(shù)能夠在更廣闊的范圍使用。但這種方法標定過程復(fù)雜,不能滿足實時性要求較高的場合,主要用在對精度要求不高的場合,如通訊和虛擬現(xiàn)實等場合 基于主動視覺的攝像機標定方法是根據(jù)自主控制攝像機來獲取圖像數(shù)據(jù),線性地求解攝像機的模型參數(shù)。這種標定方法由于在標定過程中已知了關(guān)于攝像機的運動信息<包括諸如攝像機在平臺坐標系下朝某一方向平移某一給

51、定量、攝像機的平移運動相互正交等定量信息,以及攝像機僅作純平移運動或僅作旋轉(zhuǎn)運動等定性信息>,所以一般來說,攝像機的模型參數(shù)可以線性求解且計算簡單、魯棒性較高,缺點是不能用于攝像機運動未知和無法控制的場合,系統(tǒng)的成本較高。 在機器視覺系統(tǒng)中,應(yīng)根據(jù)具體的任務(wù)、綜合考慮速度、精度的要求和復(fù)雜性、價格的因素選擇合適的標定方法。專用的標定塊價格非常昂貴,而傳統(tǒng)攝像機標定方法中的平面模板標定法,其標定物繪制簡單,價格低廉,是一種非常實用、精度較高的標定方法。本文綜合考慮上述因素,選擇平面模板標定法作為草莓機器視覺系統(tǒng)的標定方法。 3.1.3平面模板標定法 1998 年張正友的平面標定法,考慮了徑

52、向畸變,利用多幅平面模板代替?zhèn)鹘y(tǒng)的攝像機標定塊,標定攝像機的內(nèi)外參數(shù)。該方法只需繪制一個具有精確定位點陣的模板,模板用普通的激光打印機打印貼在一個平板上,然后用攝像機在兩個以上不同的方位拍攝模板的圖像,攝像機和模板都可以自由的移動,最后通過確定圖像和模板上的點的匹配關(guān)系,計算出圖像和模板之間的轉(zhuǎn)換矩陣,并利用該矩陣求解出攝像機的內(nèi)外參數(shù),原理圖如圖3-1所示。 圖3-1 張正友平面標定法原理圖 其基本原理是：在這里假定模板平面在世界坐標系的平面上,則模型為 〔3-1 其中

53、,K 為攝像機的內(nèi)參數(shù)矩陣,為模板平面上點的齊次坐標,,為模板平面上點投影到圖象平面上對應(yīng)點的齊次坐標,和t分別是旋轉(zhuǎn)矩陣和平移向量。 〔3-2 根據(jù)旋轉(zhuǎn)矩陣的性質(zhì)如下： 〔3-3 每幅圖像可獲得以下兩個對內(nèi)參數(shù)矩陣的基本約束： <3-4> 由于攝像機有五個未知參數(shù),所以當(dāng)圖像數(shù)目大于等于 3 時就可以線性唯一的解出 K。 利用該方法標定系統(tǒng)時的主要步驟[10]有： 〔1繪制并打印標定模板并貼在一個平板上。 〔2移動標定模板從不同角度拍攝若干張模板圖像作為標定圖

54、像。 〔3檢測出模板圖像中的特征角點。 〔4求出攝像機的內(nèi)參數(shù)和外參數(shù)。 〔5求畸變系數(shù),并進一步優(yōu)化求精,減少標定誤差 相機參數(shù) 平面模板 繪制棋盤角點 圖3-2平面模板標定法 3.2 實驗平臺 3.2.1 硬件設(shè)施 本次研究用的硬件設(shè)備包括HP筆記本電腦、草莓、Gsou攝像頭。 Gsou攝像頭：外觀造型小鋼炮,免驅(qū)動,像素1000萬,感光元件類型CMOS,最大分辨率1024x768.硬件設(shè)施如圖3-3所示： 圖 3-3 硬件設(shè)施 3.2.2 軟件 基于Microsoft Visual Studio 2010開發(fā)環(huán)境,利用OPENCV進行圖像

55、處理。 OPENCV的應(yīng)用領(lǐng)域： 1.人機互動； 7.機器人 2.物體識別； 8.運動分析 3.圖像分割； 9.機器視覺 4.人臉識別； 10.結(jié)構(gòu)分析 5.動作識別； 11.汽車安全駕駛 6.運動跟蹤 OPENCV 編程語言： OPENCV[17]用C++語言編寫,它的主要接口也是C++語言,但是依然保留了大量的C語言接口。該庫也有大量的Python, Java and MATLAB/OCTAVE <版本

56、2.5>的接口。這些語言的API接口函數(shù)可以通過在線文檔獲得。如今也提供對于C#, Ch, Ruby的支持。 3.3 草莓的識別 在農(nóng)業(yè)設(shè)施內(nèi)對作物的果實圖像進行實時、準確地目標識別,是采摘機器人視覺系統(tǒng)的關(guān)鍵技術(shù)之一,而目標識別的實質(zhì)是圖像分割。大部分草莓處于采摘期時,表面顏色與背景顏色存在較大差異,而同一品種果實表面顏色相近。體現(xiàn)在色彩空間中,果實表面顏色和背景顏色存在著不同的分布特性。根據(jù)這一特性,本研究應(yīng)用了一種基于色彩空間,適用于果實目標提取的圖像分割算法。 快速而有效的把水果從背景中提取出來的方法是使用閾值分割方法。本研究的對象為成熟草莓,在圖像上成熟草莓呈現(xiàn)紅色,背景大

57、部分是綠色的枝葉,還有少部分是介于黃色和紅色之間的枯萎枝葉。利用兩者的顏色差異,采用簡單的閾值,就可以把水果從背景中分離出來。 3.3.1 草莓識別處理流程 草莓識別處理流程如圖 3-4所示 圖3-4草莓識別處理流程 3.3.2 采集圖像 通過攝像頭對草莓進行拍攝采集的圖像如圖3-5所示： 圖 3-5采集的草莓圖像 3.3.1 顏色空間轉(zhuǎn)換 本文采用將RGB顏色空間轉(zhuǎn)換為HSV顏色空間,HSV顏色空間在上一章做了介紹。 選擇在HSV顏色空間下進行處理的原因： RGB圖像無法用單一的參數(shù)對圖像進行分割,RGB圖像轉(zhuǎn)換為灰度圖像再進行分割,這樣做的代價就是大大的損失的圖像的色

58、彩特征。但是如果將RGB圖像轉(zhuǎn)化到HSV空間,卻可以直接給綠色劃定一個定義區(qū)間了,即H〔色調(diào)的區(qū)間。在HSV色彩空間內(nèi)進行草木、樹木圖像的分割,通過設(shè)定綠色區(qū)間的H〔色調(diào)的門限值,提取圖像中綠色的像素點,從而實現(xiàn)分割。HSV3分量之間的相關(guān)性遠遠小于RGB色彩空間中3分量的聯(lián)系。顏色作為綠色植物的重要特征可以作為草木、樹木圖像分割的重要依據(jù)。當(dāng)綠色植物所處的周圍環(huán)境的色調(diào)與植物色調(diào)差別較大時,通過把RGB模型轉(zhuǎn)換到HSV模型,經(jīng)H分割,可以得到比較理想的分割圖像和算法,簡單快捷。同時MATLAB圖像處理工具箱提供了大量數(shù)字圖像處理的函數(shù)可供調(diào)用,可以很方便地實現(xiàn)各種分割算法,并進行算法評價。