機器視覺3final

《機器視覺3final》由會員分享，可在線閱讀，更多相關《機器視覺3final（53頁珍藏版）》請在裝配圖網(wǎng)上搜索。

人類視覺 人眼所能看到的光譜范圍 只是電磁輻射波范圍的很小一部分 其波長范圍從380納米到780納米 這段波長稱為可見光譜 在可見光范圍內 不同波長的光給人以不同的色彩感覺 不同強度的光及不同強度分布的光刺激人眼 在人腦中將產生不同的光強 顏色 形狀等視覺信息 人的眼睛是一個前后直徑大約23毫米的近似球狀體 由眼球壁和眼球構成 如圖 眼球壁的正前方 占整個眼球壁面積的1 6是一層彈性的透明組織 叫做角膜 角膜具有屈光功能 光線經角膜發(fā)生屈折進入眼內 眼球壁外層的其余5 6是白色的不透明膜 叫做鞏膜 它主要起鞏固 保護眼球的作用 眼球壁的中層包括虹膜 睫狀體和脈絡膜 脈絡膜含有豐富的色素細胞 呈黑色 起著吸收外來散光的作用 消除光線在眼球內部的亂反射 虹膜在角膜的后面 位于晶體的前面 虹膜中央的圓孔叫做瞳孔 虹膜可以使瞳孔擴大和縮小 睫狀體位于虹膜后面 其內部有睫狀肌 起調節(jié)晶體的作用 眼球壁內層是視網(wǎng)膜 retina 和視神經乳頭 視網(wǎng)膜是一種透明薄膜 是眼球的感光部分 視網(wǎng)膜由錐體細胞 conecell 和桿體細胞 rodcell 兩種感光細胞組成 其中 錐體細胞約有650萬個 桿體細胞約有1億個 視網(wǎng)膜可分為以視軸為中心直徑約6毫米的中央?yún)^(qū)和周邊區(qū) 中央?yún)^(qū)有一直徑約2毫米 折合6度視角 呈黃色區(qū)域 稱為黃斑 黃斑中央有一小凹 叫做中央凹 fovea 面積約1平方毫米 人類視覺的中央凹沒有桿體細胞 只有錐體細胞 其密度高達每平方毫米150 000 離開中央凹 錐體細胞急劇減少 而桿體細胞急劇增多 在離開中央凹20度的地方 桿體細胞最多 中央凹的錐體細胞密度很高 是產生最清晰視覺的地方 桿體細胞主要是在黑暗的條件下起作用 同時還負責察覺物體的運動 因此 常將錐體細胞稱為明視覺細胞 將桿體細胞稱為暗視覺細胞 眼球內包括晶體 房水及玻璃體 它們都是屈光介質 晶體為一扁球形的彈性透明體 位于玻璃體與虹膜之間 睫狀體的收縮可改變晶體的屈光力 使外界的對象能在視網(wǎng)上形成清楚的影像 人眼的構造 基本視覺信息包括 亮度 形狀 運動 顏色 深度知覺等亮度是最基本的視覺信息 因為沒有亮度就談不上什么形狀 運動 顏色等視知覺 亮度是一種外界輻射的物理量在我們視覺中反映出來的心理物理量 視覺信息處理過程 物體的形狀主要是由物體在視覺空間上的亮度分布 顏色分布或運動狀態(tài)不同而顯示出來的 雪地上一張白紙 荒野中潛伏的狼 都比較難以覺察 相反 雪地上一張彩紙 綠草地上等一朵紅花 荒野中奔跑的狼 都比較容易發(fā)現(xiàn) 這是由于物體形狀因亮度 顏色 運動等因素而突顯出來 易于被人眼分辨出來 視覺系統(tǒng)對運動目標十分敏感 特別是低等動物更是如此 如蛙類的視網(wǎng)膜對運動特別敏銳 而對靜止的目標卻視而不見 顏色知覺是一種主觀感覺 目前只在感受器細胞水平和心理物理的宏觀水平上得到了較深入的研究 研究表明 猴和人的視網(wǎng)膜中 含有三種不同的錐體細胞 每一種錐體細胞對不同的光譜 其敏感性也是不同的 三種錐體細胞對光譜的敏感峰值分別在430納米 540納米和570納米 這三個峰值段正對應著光譜中的紅 綠 藍區(qū)域 實驗進一步表明 當三種顏色按一定比例同時刺激人眼時 會產生各種顏色感覺 其中有一種比例會使得顏色感覺完全消失 只有亮度感覺 這就是所謂的色覺三變量性 tri varianceofcolorvision 說明顏色只取決于三個基本的輸入量 這也是色覺三基色原理的基礎 人類的視覺不僅要識別物體的形狀和顏色 而且要隨時地作用于物體 例如 伸手拿一本書 躲開汽車或障礙物 把足球踢入球門等 這一切活動都需要判斷我們與被作用物體的距離 立體知覺就是指這種判斷物體距離或深度的感覺 正常的雙眼視覺都可以提供高度的立體感 外界目標在視網(wǎng)膜上的象是二維的 而且同一物體在左右眼的視網(wǎng)膜上的成像有著微小的差異 比如 用你的手輪流遮擋你的左 右眼 會發(fā)現(xiàn)同一個物體在左右眼中的位置是不同的 實際上 這種不同為立體視覺提供了最基本的信息 視差 disparity Julesz1960 首次使用隨機點立體圖對作為刺激研究了立體視知覺 如圖 這種刺激圖形排除了所有單眼視覺引入的第二視覺線索 而只保留了視差信息 受試者在觀察隨機立體圖對時 用左右眼分別觀看其中一個圖幾秒鐘 當兩個圖融合后 便會感受到有一個方形平面從背景中突顯出來 除了雙眼視差提供深度信息外 還有許多單眼的信息可以產生深度信息的估計 如物體的重疊 透視 近大遠小 近清晰遠模糊 近亮遠暗 明暗 紋理及運動 當然這種深度估計在質量和感覺上仍無法與視差立體知覺的深度相比 機器視覺 顏色感知 圖像的灰度值一般表示光強 光強是兩個空間變量的函數(shù) 實際上 光是由不同波段的光譜組成的 一幅圖像常常對應一個波段或多個波段光譜樣本 因此 圖像灰度值是兩個空間變量和一個光譜變量的函數(shù) 我們稱這樣的圖像為多光譜圖像 multi spectralimage 其中的每一個波段稱為一個通道 比如 氣象衛(wèi)星獲取的云圖 其波段是紅外波段 扇形束 型超聲診斷儀輸出的圖像 其波段是超聲波段 場景或物體的顏色是由照射光源的光譜成分 光線在物體上反射和吸收的情況決定的 比如 一個藍色物體在日光下觀察呈現(xiàn)藍色 是由于這個物體將日光中的藍光反射出來 而吸收了光譜中的其它部分的光譜 而同樣的藍色物體 在紅色的光源照射下 則呈現(xiàn)紅紫色 對于機器視覺系統(tǒng) 彩色圖像還與成象系統(tǒng)敏感器的光譜響應有關 可見光的波長分布在380到780之間 人的顏色感覺是不同波長的可見光刺激人的視覺器官的結果 在可見光的波段內 隨著波長的增長 使人產生紫 藍 青 綠 黃 橙 紅等顏色的感覺 人的視網(wǎng)膜上有兩類細胞 桿體細胞和錐體細胞 桿體細胞靈敏度高 能感受微弱的光 錐體細胞靈敏度低 但能很好地區(qū)分顏色 為了解釋視覺對顏色的感知能力 美國物理學家T Young1801年提出三色假說 后來由Helmholtz加以發(fā)展 形成著名的Young Helmholtz三色學說 三色原理 假設有三種視覺 錐體 感受器 分別對紅 綠 藍三種顏色敏感 當光線同時作用在這三種感受器上時 三個感受器產生的興奮程度不同 不同興奮程度的組合將產生不同的顏色感覺 三種感受器處于等強度興奮時 便產生白色的感覺 三色假說 根據(jù) Wald1964 對人類色彩視覺的研究結果 三種錐體細胞的光譜吸收的峰值分別在430 540和570納米左右 這三個區(qū)間分別對應紅 綠和藍波段 由于這個原因 這三種顏色被稱為人類視覺的三基色 譜上的大多數(shù)顏色都可以用紅 Red 綠 Green 藍 Blue 三種單色加權混合產生 基于RGB三基色的顏色表示稱為RGB顏色模型 RGB顏色模型 RGB和CMY顏色模型 根據(jù)RGB三基色原理 各種顏色的光都可以由紅 綠和藍三種基色加權混合而成 如圖RGB直角坐標定義的單位立方體來說明 坐標原點 0 0 0 表示黑色 坐標點 1 1 1 表示白色 在坐標軸上的三個頂點表示RGB三個基色 因此 彩色空間是三維的線性空間 任意一種具有一定亮度的顏色光都可用空間中的一個點或一個向量表示 因此我們可以選擇具有確定光通量的紅 綠 藍三基色作為這三維空間的基 這樣組成的表色系統(tǒng)稱為RGB表色系統(tǒng) 在RGB表色系統(tǒng)中 標準白光的RGB光通量按以下比例混合而成 通常把光通量為1流明的紅光 4 5907流明的綠光 0 0601流明的藍光作為三基色的 單位基色量 用 R G B 表示 因此 任何一種具有一定亮度的彩色光的光通量為 其中R G B為每種原基色的比例系數(shù) 例如 對某種藍綠色 可以用下式表示 上式表示彩色光的明亮程度 顯然 光的色度只取決于之間的比例關系 如果不考慮光的亮度 只對色度感興趣 則只要知道的相對值即可 因此可以令 r g b稱為色度坐標 由于r g b 因此只有兩個色度坐標是獨立的 這也說明色度空間是二維的 可以用如下色度圖表示 標準白光位于 為了使用RGB三基色有效地描述或混合各種顏色 人們還根據(jù)RGB三基色模型提出了CMY顏色模型 XYZ顏色模型 YIQ顏色模型 HSV顏色模型 HLS顏色模型等 以適應不同應用的需求 顏色模型 從RGB顏色模型可知 在坐標軸上的三個頂點表示RGB三個基色 各種顏色的光都可以由紅 綠和藍三種基色加權混合而成 另外三個頂點 青 Cyan 品紅 Magenta 黃 Yellow 和RGB一樣 也可構成一組基色 稱為CMY顏色模型 各種顏色的光都可以由CMY三種基色加權混合而成 在實際應用中 RGB顏色模型用于磷粉屏幕的顏色生成 是一個由黑到白的過程 稱為增色處理 CMY顏色模型主要用來描述繪圖和打印彩色輸出的顏色 因為這類彩色的形成是在白紙或其它印刷介質上生成的 是一個由白到黑過程 稱之為減色過程 使用CMY的打印處理通常需要四個墨點的集合來產生顏色點 CMY三基色各對應一個墨點 黑色對應第四個墨點 這是因為CMY三基色混合僅能生成深灰色 所以黑色應單獨作為一個墨點 這在某種程度上與RGB監(jiān)視器使用的三個磷粉點的集合是一樣的 顯然 RGB和CMY之間的關系如下 MCY單位立方體 CIE XYZ顏色模型 使用RGB模型生成顏色時 用于產生顏色的原基色比例系數(shù)出現(xiàn)負值 使用起來十分不便 同時 不同研究者所用的三基色和標準白色不同 使得研究結果很難比較 因此 1931年國際照明委員會CIE CommissionInternationaledelElairage theInternationalCommissiononIllumination 規(guī)定了一種新的顏色表示系統(tǒng) 定義為CIE XYZ顏色模型 XYZ顏色模型把彩色光表示為 其中 是XYZ顏色模型的基色量 為三色比例系數(shù) XYZ表色系統(tǒng)須滿足如下三個條件 三色比例系數(shù)皆大于零 Y的數(shù)值正好是彩色光的亮度 當時仍然表示標準白光 根據(jù)以上條件 可以得到RGB顏色模型與XYZ顏色模型的關系式 對XYZ顏色模型的三基色規(guī)范化 得到如下色度坐標 NTSC YIQ表色模型 RGB工業(yè)監(jiān)視器要求一幅彩色圖像由分開的RGB信號組成 而電視監(jiān)視器需要混合信號輸入 為此 美國國家電視系統(tǒng)委員會 NationalTelevisionSystemCommittee NTSC 采用YIQ彩色模型 其主要的優(yōu)點是可以保證彩色電視和黑白電視的兼容 即可以用彩色收看黑白電視圖像 YIQ是以CIE的XYZ顏色模型為基礎 其參數(shù)Y與XYZ中的模型參數(shù)相同 是圖像的亮度信息 在沒有色度的情況下 Y也就對應于黑白圖像 或者說 黑白電視只接收Y信號 由于人眼對顏色的相對視見度不同 所以選擇三色的基色量為 因此亮度信號Y為規(guī)定如下色差信號 由此可見 在色度圖上 參數(shù)I包含有橙 青顏色信息 參數(shù)Q包含有綠 品紅顏色 I和Q混合可以提高顏色的色調和飽和度 將 10 9 和 10 10 結合起來得到YIQ與RGB間的轉換關系為 這里的RGB是NTSC制式RGB Y 0 299R 0 587G 0 114BU 0 147R 0 289G 0 436BV 0 615R 0 515G 0 100BR Y 1 14VG Y 0 39U 0 58VB Y 2 03U YUV 顏色的視覺處理 從視覺的角度來講 顏色可分為彩色和非彩色兩大類 非彩色是指黑色 白色及其兩者之間深淺不同的灰色 稱為非彩色或無色系列 achromaticseries 彩色系列或有色系列 chromaticseries 是指除了白色系列以外的各種顏色 為了定量地描述顏色對人眼的視覺作用 可以選用亮度 brightness 色調 hue 色飽和度 saturation 這三個與視覺特征有關的量來計算描述 這三個量稱為顏色的三個基本屬性 色調是由物體反射光線中占優(yōu)勢的波長來決定的 不同的波長產生不同的顏色感覺 如紅 橙 黃 綠 青 藍 紫等 色調是彩色的最重要的屬性 是決定顏色本質的基本特性 顏色的飽和度是指一個顏色的鮮明程度 飽和度越高 顏色越深 如深紅 深綠 在物體反射光的組成中 白色光愈少 則其色飽和度愈大 在顏色中加上白色或灰色愈多 其飽和度就愈小 亮度是指刺激物的強度作用于感受器所發(fā)生的效應 其大小是由物體反射系數(shù)來決定 反射系數(shù)越大 物體的亮度愈大 反之愈小 人眼大概能識別128不同的色調和130種不同的色澤 色飽和度級 根據(jù)不同的色調 還可以識別若干種明暗 比如對于黃色 可以分辨出23種明暗級 對于藍色 則可分辨出16種明暗級 因此 人眼可以識辨出大約種不同的顏色 對于機器視覺來說 128不同的色調和8種不同的色飽和度級 16種明暗級基本上滿足應用需求 色度表示彩色分量是獨立于光通量的 兩種彩色 比如深綠和淺綠 可能看起來不同 但實際上具有相同的波段相對分布 如果光譜分布按一個比例常數(shù)增減 彩色會變深或變淺 但光譜分布的形狀不變 色調 主波段 和色飽和度 主波段的相對量 也就不變 HSV顏色感知模型 我們來回顧一下圖10 5 感覺意義顯著的色度位于的舌形區(qū)域內 從白光點畫一條線 經過某一彩色點 再到色度圖邊界位置 我們可以認為彩色的色度是由白光和純光譜色調相加混合而成 其中S為長度與的比值 定義為色飽和度 控制白色和色調的相對比例 將色調 色飽和度和亮度編碼成RGB彩色值 不利于在機器視覺算法中使用 比如 識別不同顏色物體的簡單方法是使用物體的色調特征 但是 這些色調在RGB空間位于何處 對應于RGB空間不同區(qū)域的物體表面形狀是什么 將色調閾值應用于圖像RGB空間的公式是什么 這些問題在RGB空間中是很難回答的 但將RGB值轉化為色調 色飽和度和亮度時 問題就變得十分簡單了 按照色調 Hue 色飽和度 Saturation 和明度值 Value 建立的HSV彩色模型就是其中的一種方法 有的書不用明度值 而用光強 Intensity HSV也用HSI來代替 HSV彩色表示 HSV顏色三角形 一個圖像的RGB成分可以轉換為HSV彩色表示 假設RGB成分已經被歸一化為r g b r g b的所有可能值形成的軌跡是RGB空間正象限的三角形 如上頁圖 設三角形上的點P表示rgb空間上的某一顏色的位置 p r g b 是到三角形上P點的向量 w是到表示白色的三角形中心的點的向量 pr是到全色飽和紅色對應的三角形頂點的向量 色調H是向量pr w到向量p w的夾角 從三角形遠離原點的一邊按逆時針方向環(huán)繞三角形 這是右手法則 大拇指沿三角形法線指向遠離原點的方向 色調的余弦值是到三角形中心的向量w的值為w 1 3 1 3 1 3 p w向量的幅值為 因為 因此 pr w的幅值是p w和pr w的點積是 從而可以得到從R G B值得到簡化的計算色調方程 為了在0到360度的范圍內得到色調值 有必要從360中減去H 當 雖然這個推導是從歸一化RGB值開始 但是方程可用于任何尺度的RGB值 這是因為分子和分母中具有相同的尺度因子 可以在計算中消除 色飽和度是指空間三角形到白色的距離相對于白色到具有相同色度的全色飽和色的距離而言的 全色飽色位于三角形的邊上 三角形中點經過彩色點與三角形邊緣的交點為 則色飽和度是一個距離比值 色飽和度方程為 HLS顏色感知模型 彩色圖像獲取系統(tǒng)中的RGB圖像轉化為HSV表示 可以便于進一步的處理 當色飽和度值為零時 色調不需要定義 也就是指沿HSV立體圖的軸心線上的任何彩色 當光強值V 0時 色飽和度值無需定義 使用RGB到HSV的變換來將彩色圖像轉化成適應于機器視覺的形式 灰度算法可以在HSV表示的V分量上來完成 分割可以在H分量上完成 以便用不同的色調區(qū)分不同物體 但是 當色飽和度值很低時 用色度來區(qū)分物體是不可靠的 所以必須修正分割算法以便將低色飽和度值的像素留下 等待進一步處理 區(qū)域生長算法可以利用色調閾值來形成核心區(qū)域 將低色飽和度值或是在閾值邊界外的未定義的像素點留下 通過分配像素來進行區(qū)域增長的算法沒有任何變化 更一般的算法是使用將色調 色飽和度和光強的閾值將HSV立體空間分成若干區(qū)域 這些閾值用HSV表示比成象系統(tǒng)提供的RGB表示更容易公式化和應用 彩色不變性 室外光線的彩色成分變化非常大 但人卻能正確的感知場景中物體的顏色 并且在大部分情況下不依賴于環(huán)境照明的顏色 這種現(xiàn)象叫彩色不變性 colorconstancy 環(huán)境光的光譜分布描述了在每個波段上的能量 假定場景表面是不透明的 場景中的坐標值就能用圖像平面中對應點的坐標來確定 在波段 上的光從表面點 x y 處反射的部分是S x y 到達圖像上每一點的光是由照在場景表面的環(huán)境光的光譜分布和光在不同波段上的反射部分來確定 假設在每個圖像位置 x y 上有p個傳感器 每個傳感器有不同的光譜響應函數(shù) 傳感器k的光譜響應Rk 在 x y 處的每個傳感器采樣不同分布的光譜 對應于圖像平面點的場景表面上一點的彩色 光譜反射 信息由該處p個傳感器編碼 得到p個編碼值 彩色不變性是傳感器響應恢復場景表面光譜反射S x y 的問題 而獨立于環(huán)境照明的光譜分布 原則上 彩色不變性問題可以表示為有限維線性空間中的逆問題 并可通過矩陣方法求解 假定表面反射是基函數(shù)的線性組合 基函數(shù)的數(shù)量是表面反射自由度的數(shù)目 假定基函數(shù)已知 僅用三個基函數(shù)的線性模型足以表示典型的表面反射 m個自由度的線性模型表示環(huán)境照明如下 假定基本光源 basiclight 的光譜分布已知 則只需三個或四個基本光源就可以建立不同氣候條件和不同時間的自然光模型 彩色確定問題可以用矩陣形式表示 m個值組成列向量 個值組成列向量 將這些列向量代入方程10 22 得到圖像中每個像素的矩陣模型 照明矩陣是一個矩陣 第 i j 項的值是 如果環(huán)境照明已知 那么照明矩陣也已知 如果傳感器數(shù)目等于表面反射的自由度數(shù)目 即 那么可以求取照明矩陣的逆 以便得到圖像上每一點的表面光譜反射特性系數(shù) 該系數(shù)表征了場景相應點的色彩 如果環(huán)境照明未知 則需要傳感器數(shù)目多于表面反射自由度數(shù)目才能求解此問題 由于假設環(huán)境照明對場景中所有點都一樣 因此可以用多個場景點上的信息來計算環(huán)境照明 假定 從個不同的空間點上 可得到個不同的測量值 這里有個表面反射未知數(shù)和個環(huán)境光譜未知數(shù) 因此 必須在時取樣才能得到比未知數(shù)更多的數(shù)據(jù) 這一分析意味著如果有個敏感器 就可以在不知道環(huán)境光線的情況下求解彩色不變性問題 矩陣將維的表面空間映射到維的敏感器空間 例如 當 時 子空間就是三維空間中的一個平面 這意味著下面的確定表面反射性的兩步算法不依賴于環(huán)境照明 1 確定覆蓋傳感器空間數(shù)據(jù)點的平面 子空間 以恢復環(huán)境照明向量 2 從環(huán)境照明向量確定照明矩陣 再求的逆來得到表面反射向量