彭湃 張禹
摘要:海洋是地球上重要的資源寶庫(kù)之一,在人類歷史中人們對(duì)海洋資源的利用在不斷深化。隨著現(xiàn)代技術(shù)的發(fā)展,水下機(jī)器人可以代替人類對(duì)海洋進(jìn)行探索,其中水下攝像機(jī)是水下機(jī)器人執(zhí)行水下任務(wù)必不可少的工具。根據(jù)水下視覺(jué)環(huán)境的分析,提出了攝像機(jī)的鏡頭畸變問(wèn)題和水下噪聲干擾問(wèn)題,并分別使用張正友標(biāo)定法和圖像濾波方法來(lái)改善水下視覺(jué)圖像質(zhì)量。
關(guān)鍵詞:水下機(jī)器人;機(jī)器視覺(jué);攝像機(jī)標(biāo)定方法;圖像降噪
中圖分類號(hào):TP242? ? 文獻(xiàn)標(biāo)志碼:A? ? 文章編號(hào):1671-0797(2023)12-0039-03
DOI:10.19514/j.cnki.cn32-1628/tm.2023.12.011
0? ? 引言
水下機(jī)器人對(duì)水下環(huán)境的視覺(jué)感知主要依靠攝像機(jī)設(shè)備,即通過(guò)攝像機(jī)拍攝水下圖像,根據(jù)圖像信息,判斷水下目標(biāo)物的距離和位置[1]。一些水下機(jī)器人如水下機(jī)械臂作業(yè)主要依靠近距離環(huán)境信息,對(duì)水下環(huán)境感知的時(shí)效性和精度要求較高,而水下攝像機(jī)能更好地滿足水下機(jī)器人在水中的近距離、高精度工作要求。所以,搭建水下機(jī)器人的視覺(jué)系統(tǒng)時(shí)大多會(huì)使用專用的防水?dāng)z像機(jī)或經(jīng)防水處理后的攝像機(jī)。
水下環(huán)境復(fù)雜多變,根據(jù)相機(jī)在水中的成像原理和水中環(huán)境進(jìn)行分析,總結(jié)出兩個(gè)問(wèn)題,分別為鏡頭折射畸變和水下噪聲干擾[2]。其中,折射畸變問(wèn)題會(huì)降低水下目標(biāo)位置測(cè)量的精度,同時(shí)還會(huì)縮減攝像機(jī)的有效視野面積;而水下噪聲干擾會(huì)影響圖像細(xì)節(jié)信息,降低圖像質(zhì)量。
1? ? 水下攝像機(jī)的鏡頭折射畸變
本文研究選用放置在防水艙中的光學(xué)攝像機(jī)采集水下圖像,如圖1所示。由于水中的光線穿過(guò)防水材料,再經(jīng)過(guò)防水艙中的空氣,最后射入鏡頭,這一過(guò)程中光線發(fā)生了兩次折射,造成攝像機(jī)拍攝的目標(biāo)圖像發(fā)生形變,如圖2所示。這種現(xiàn)象就是折射畸變,如果依舊使用陸地上的相機(jī)模型會(huì)導(dǎo)致嚴(yán)重的測(cè)量誤差。鏡頭折射畸變問(wèn)題不但會(huì)降低水下目標(biāo)物的測(cè)量精度,而且還會(huì)減小攝像機(jī)的有效視野面積,對(duì)水下目標(biāo)物的測(cè)量和定位等工作產(chǎn)生不良影響。
2? ? 攝像機(jī)的鏡頭畸變
在攝像機(jī)出廠加工過(guò)程中,受現(xiàn)代加工技術(shù)水平限制,加工出的鏡頭跟理想化模型會(huì)有所偏差,產(chǎn)生鏡頭畸變,包括徑向畸變、切向畸變和薄棱鏡畸變[3],其中徑向畸變對(duì)視覺(jué)測(cè)量的準(zhǔn)確度影響較大。
實(shí)踐中攝像機(jī)鏡頭的徑向曲率會(huì)發(fā)生變化,導(dǎo)致鏡頭產(chǎn)生徑向畸變。隨著徑向曲率的變化,圖像中的點(diǎn)會(huì)發(fā)生徑向移動(dòng),使圖像發(fā)生形變。正徑向形變會(huì)導(dǎo)致鏡頭成像平面上的點(diǎn)坐標(biāo)向遠(yuǎn)離成像平面中心移動(dòng),形成枕形畸變;負(fù)徑向形變會(huì)導(dǎo)致鏡頭成像平面上的點(diǎn)坐標(biāo)向靠近成像平面方向移動(dòng),形成桶形畸變。
切向畸變一般是攝像機(jī)鏡頭裝配誤差所引起的,現(xiàn)實(shí)生產(chǎn)中攝像機(jī)的光學(xué)鏡頭安裝時(shí)鏡頭光軸不可能完全和其他光學(xué)系統(tǒng)共線,從而導(dǎo)致鏡頭中心點(diǎn)的偏移。
鏡頭制造誤差和成像系統(tǒng)元器件制造誤差,會(huì)使得鏡頭產(chǎn)生薄棱鏡畸變,導(dǎo)致圖像產(chǎn)生形變,但這種畸變產(chǎn)生的影響較小,在視覺(jué)精度要求不高的環(huán)境中可以忽略不計(jì)。
3? ? 水下攝像機(jī)的標(biāo)定方法
根據(jù)原理不同,攝像機(jī)標(biāo)定方法也不同。例如傳統(tǒng)的標(biāo)定方法是根據(jù)確定的參照物,使用攝像機(jī)對(duì)拍攝的視覺(jué)信息進(jìn)行數(shù)學(xué)計(jì)算,雖然其標(biāo)定數(shù)據(jù)的精度較高,但過(guò)程過(guò)于煩瑣。自主標(biāo)定無(wú)須參照物,可根據(jù)攝像機(jī)拍攝的圖像得到攝像機(jī)的內(nèi)外參數(shù)[3],該方法靈活性高,可應(yīng)用在不同視角場(chǎng)景中,缺點(diǎn)是精度過(guò)低。攝像機(jī)依靠主動(dòng)視覺(jué)的標(biāo)定是依靠攝像機(jī)的運(yùn)動(dòng)信息進(jìn)行標(biāo)定任務(wù),該方法精度和準(zhǔn)確度都很高,但成本昂貴,并且在一些特定視覺(jué)場(chǎng)景無(wú)法適用。
本攝像機(jī)標(biāo)定實(shí)驗(yàn)使用張正友網(wǎng)格標(biāo)定方法,即從不同方位角度拍攝特定的網(wǎng)格標(biāo)定板,不需要知道攝像機(jī)的運(yùn)動(dòng)信息參數(shù),標(biāo)定操作過(guò)程簡(jiǎn)單,并且精確度也高。
4? ? 水下攝像機(jī)的標(biāo)定實(shí)驗(yàn)及分析
實(shí)驗(yàn)分別開展陸地和水下攝像機(jī)標(biāo)定工作,實(shí)驗(yàn)完成后對(duì)比并分析兩種環(huán)境中得到的攝像機(jī)數(shù)據(jù)參數(shù)。
實(shí)驗(yàn)工具使用網(wǎng)格為9×7的矩形標(biāo)定板[4]和ROS功能包,標(biāo)定流程和注意事項(xiàng)如下:
1)啟動(dòng)標(biāo)定程序,拍攝網(wǎng)格標(biāo)定板與攝像機(jī)的圖像,應(yīng)盡量選擇不同角度拍攝;
2)拍攝圖像選擇20張左右,圖幅數(shù)量較少會(huì)導(dǎo)致攝像機(jī)標(biāo)定精度不高,圖幅數(shù)量過(guò)多會(huì)加大攝像機(jī)的標(biāo)定計(jì)算量;
3)避免光線反射影響網(wǎng)格標(biāo)定板的角點(diǎn)檢測(cè);
4)標(biāo)定過(guò)程中確保網(wǎng)格標(biāo)定板占據(jù)攝像機(jī)大部分視野,保證角點(diǎn)檢測(cè)的準(zhǔn)確性。
陸地標(biāo)定實(shí)驗(yàn)結(jié)束后,將攝像機(jī)放到水中進(jìn)行標(biāo)定實(shí)驗(yàn),水下實(shí)驗(yàn)環(huán)境為長(zhǎng)2 m、寬1.3 m、高1 m的水池,水深為0.8 m。水中的標(biāo)定流程與陸地標(biāo)定流程基本相似,與陸地標(biāo)定實(shí)驗(yàn)有所不同的是,水中的視覺(jué)環(huán)境較弱,標(biāo)定板距離攝像機(jī)較遠(yuǎn)會(huì)導(dǎo)致標(biāo)定程序無(wú)法檢測(cè)到網(wǎng)格標(biāo)定板的角點(diǎn)。所以,應(yīng)盡量使得標(biāo)定板完全充滿攝像機(jī)視野,以確保水下標(biāo)定實(shí)驗(yàn)的準(zhǔn)確性。陸地標(biāo)定的鏡頭參數(shù)如表1所示,水下標(biāo)定的鏡頭參數(shù)如表2所示。
從陸地標(biāo)定實(shí)驗(yàn)和水下標(biāo)定實(shí)驗(yàn)的結(jié)果來(lái)看,不同環(huán)境中攝像機(jī)的參數(shù)有一定差異。從呈現(xiàn)的圖像來(lái)看,在陸地上攝像機(jī)鏡頭畸變類型為桶形畸變(圖3),在水中攝像機(jī)畸變類型為枕形畸變(圖4)。分析兩次實(shí)驗(yàn)得到的數(shù)據(jù),相比陸地上的標(biāo)定結(jié)果,水下的標(biāo)定內(nèi)參數(shù)產(chǎn)生了一定變化,但保持在容許范圍內(nèi)。而不同介質(zhì)中光的折射率不同,在水中攝像機(jī)的畸變參數(shù)有所增大,對(duì)水下測(cè)量誤差影響較大。
5? ? 水下圖像濾波
受到攝像機(jī)硬件和水下噪聲的影響,圖像會(huì)出現(xiàn)一些噪點(diǎn)。噪點(diǎn)的干擾會(huì)影響到圖像細(xì)節(jié)信息,對(duì)機(jī)器視覺(jué)的圖像處理如特征點(diǎn)提取、目標(biāo)物識(shí)別等工作帶來(lái)不良影響。圖像處理中的濾波方法可以避免噪聲干擾對(duì)圖像質(zhì)量的影響,均值濾波、高斯濾波、中值濾波等是最為廣泛的圖像濾波降噪方法,最新又提出了雙邊濾波方法,其效果尤為不錯(cuò)。
均值濾波的核心思想就是取均值,求取數(shù)字圖像中像素?cái)?shù)值的平均數(shù)值,將得到的平均數(shù)值作為濾波器中心的像素值[4]。均值濾波的優(yōu)點(diǎn)是可以均勻地處理視覺(jué)圖像上的噪點(diǎn),缺點(diǎn)是均值濾波器去除大部分圖像噪點(diǎn)后,會(huì)使圖像模糊。
高斯濾波的原理是采用高斯濾波器,在濾波器范圍內(nèi)考慮圖像像素坐標(biāo)和中心坐標(biāo)距離的影響,其均值呈高斯分布,計(jì)算像素的數(shù)值。在圖像采集過(guò)程中,拍攝視覺(jué)環(huán)境較差或攝像機(jī)元器件溫度過(guò)高都會(huì)產(chǎn)生高斯噪聲。
中值濾波的核心思想是求取數(shù)字圖像的中值,然后用求得的中值數(shù)據(jù)替換掉圖像中的全部數(shù)字圖像數(shù)據(jù)。前面的兩種濾波方法屬于線性濾波算法,在對(duì)圖形進(jìn)行降噪的過(guò)程中也會(huì)使圖片中的物體模糊,但中值濾波可以最大限度上避免模糊圖像。
上述三種濾波方法原理都是考慮濾波器像素中心點(diǎn)和濾波器范圍內(nèi)的像素點(diǎn)做計(jì)算,這會(huì)導(dǎo)致圖像模糊,還會(huì)造成圖像邊緣信息缺失。雙邊濾波可以最大限度地降低圖像中噪點(diǎn)的干擾,并使圖像中物體邊緣信息的完整性得到保障。
未經(jīng)圖像濾波處理的圖像如圖5所示。使用上述幾種濾波方法對(duì)水下圖像進(jìn)行濾波處理,對(duì)比幾種方法濾波降噪處理后的圖像效果,使用均值和高斯濾波方法的水下圖像邊緣信息較為模糊,圖像質(zhì)量較差,但中值和雙邊濾波方法輸出的水下圖像邊緣信息較為清楚,沒(méi)有過(guò)多地降低原始圖像的質(zhì)量,并且雙邊濾波的圖像更加清晰,如圖6所示。
6? ? 結(jié)束語(yǔ)
隨著機(jī)器人技術(shù)的不斷發(fā)展,機(jī)器視覺(jué)在水下機(jī)器人領(lǐng)域得到了廣泛應(yīng)用。本文對(duì)水下視覺(jué)環(huán)境進(jìn)行了分析,提出了水下鏡頭折射畸變問(wèn)題和水下噪聲干擾問(wèn)題。在水中使用了張正友攝像機(jī)標(biāo)定法解決鏡頭折射畸變問(wèn)題,又使用了圖像濾波的方法減少水下圖像的噪點(diǎn),提升了水下視覺(jué)圖像質(zhì)量。
[參考文獻(xiàn)]
[1] 尚云超.基于單目視覺(jué)的水下目標(biāo)識(shí)別與定位技術(shù)研究[D].哈爾濱:哈爾濱工程大學(xué),2008.
[2] 徐玉如,龐永杰,甘永,等.智能水下機(jī)器人技術(shù)展望[J].智能系統(tǒng)學(xué)報(bào),2006(1):9-16.
[3] 卜令正.基于深度強(qiáng)化學(xué)習(xí)的機(jī)械臂控制研究[D].徐州:中國(guó)礦業(yè)大學(xué),2019.
[4] SIVEV S,COLEMAN J,OMERDICE,et al.Underwater manipulators:A review[J].Ocean Engineering,2018,163:431-450.
收稿日期:2023-03-06
作者簡(jiǎn)介:彭湃(1998—),男,遼寧人,碩士研究生,研究方向:基于機(jī)器視覺(jué)的水下機(jī)械臂抓取技術(shù)。