董 鵬，周 烽，趙悰悰，王亞飛，米澤田，付先平

大連海事大學(xué) 信息科學(xué)技術(shù)學(xué)院，遼寧 大連116026

近年來(lái)，海參養(yǎng)殖產(chǎn)業(yè)在國(guó)內(nèi)發(fā)展迅速，養(yǎng)殖面積超過(guò)100 萬(wàn)畝，產(chǎn)量超過(guò)20 萬(wàn)噸。目前，海參的捕撈主要依靠人工，然而長(zhǎng)期潛水作業(yè)會(huì)對(duì)人的身體造成多種危害，這使得海參捕撈從業(yè)人員逐年減少。因此在海洋牧場(chǎng)選擇水下智能機(jī)器人代替人工來(lái)完成海參捕撈作業(yè)已經(jīng)成為趨勢(shì)。

對(duì)于水下智能機(jī)器人來(lái)說(shuō)，要想代替人工完成海參的捕撈工作，首先要對(duì)海參進(jìn)行辨別并判斷其長(zhǎng)勢(shì)情況，然后才能挑選成熟的海參進(jìn)行捕撈。通常情況下，海參的長(zhǎng)勢(shì)情況可以通過(guò)尺寸進(jìn)行衡量。雙目視覺(jué)系統(tǒng)可以通過(guò)圖像檢測(cè)、立體幾何計(jì)算等一系列操作完成目標(biāo)物尺寸測(cè)量這一任務(wù)，其成本較低、使用便捷，目前廣泛受到研究者的青睞。但是由于水體折射現(xiàn)象的影響，使得水上成像與水下成像存在很大區(qū)別，因此要想通過(guò)視覺(jué)方法完成海參尺寸測(cè)量這一任務(wù)就需要解決水下三維測(cè)量、水下目標(biāo)檢測(cè)、水下圖像分割三個(gè)問(wèn)題。

當(dāng)前，基于光學(xué)的水下三維測(cè)量技術(shù)日趨成熟，其中，以水下雙目相機(jī)最為具有代表，其具有成本較低、精度較高等特點(diǎn)，被廣泛應(yīng)用于水下圖像信息采集。雙目視覺(jué)系統(tǒng)類(lèi)似于人眼，用兩個(gè)攝像頭采集圖像，通過(guò)計(jì)算兩張圖像的視差來(lái)計(jì)算物體的距離。?uczyński 等人[1]在水下成像建模中使用虛擬相機(jī)進(jìn)行分析，提出了一種用于水下相機(jī)標(biāo)定的Pinax 模型。Lee 等人[2]為ROV的兩個(gè)操作手開(kāi)發(fā)了雙目定位視覺(jué)系統(tǒng)。采用兩個(gè)攝像機(jī)對(duì)目標(biāo)進(jìn)行三維定位，協(xié)助兩臺(tái)機(jī)械手協(xié)同工作。李煊等人[3]在機(jī)器人上安裝了一個(gè)雙目視覺(jué)系統(tǒng)，實(shí)現(xiàn)對(duì)目標(biāo)的尺寸估計(jì)和定位。

近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法發(fā)展迅速，這些算法不僅可以區(qū)分目標(biāo)的種類(lèi)，還可以定位到目標(biāo)在圖像上的位置，并畫(huà)出包圍框。因此，其被廣泛應(yīng)用于水下目標(biāo)檢測(cè)[4-6]。當(dāng)前，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法主要分為兩類(lèi)：基于候選區(qū)域的目標(biāo)檢測(cè)算法和基于回歸的目標(biāo)檢測(cè)算法[7]?；诤蜻x區(qū)域的目標(biāo)檢測(cè)算法需要先提取候選區(qū)域，然后再對(duì)候選區(qū)域進(jìn)行檢測(cè)，從而得到檢測(cè)結(jié)果。Girshick 等人[8]率先提出了RCNN 方法，使得檢測(cè)效果明顯提升，為該類(lèi)方法奠定了基石。近年來(lái)，隨著Faster R-CNN[9]、RFCN[10]等的提出，檢測(cè)效果進(jìn)一步提升；基于回歸的目標(biāo)檢測(cè)算法采用端到端的方式，放棄了候選區(qū)域的選擇，使得檢測(cè)速度得以提升，這其中以YOLO[11]、SSD[12]、DSSD[13]為代表，近年來(lái)，YOLO 又提出了改進(jìn)版本YOLOv2[14]和YOLOv3[15]，采用了效果更好的基礎(chǔ)網(wǎng)絡(luò)，并加入了anchorbox機(jī)制，提高了YOLO系列方法檢測(cè)的準(zhǔn)確率，并可以檢測(cè)水下小目標(biāo)。

將目標(biāo)對(duì)象從原圖中分割出來(lái)是測(cè)量的前提。因此，精準(zhǔn)地進(jìn)行圖像分割，具有重要意義。Rother 等人[16]提出了GrabCut 分割算法，采用三維高斯混合模型（GMM）來(lái)表示顏色統(tǒng)計(jì)的分布，以最大流算法求解割邊，通過(guò)迭代的方法達(dá)到最好的分割效果。郭傳鑫等人[17]提出了一種融合顯著圖模型和GrabCut算法得到水下海參圖像分割方法，通過(guò)利用單尺度Retinex 算法進(jìn)行水下圖像增強(qiáng)，結(jié)合基于區(qū)域?qū)Ρ榷鹊娘@著性區(qū)域檢測(cè)方法和直方圖均衡的方法，得到海參區(qū)域圖像的部分前景和可能的背景。李曉陽(yáng)等人[18]將深度引入超像素分割算法，每幅RGBD 圖像變成超像素塊的集合，構(gòu)建超像素塊的圖模型，結(jié)合顯著性檢測(cè)來(lái)擴(kuò)充種子點(diǎn)區(qū)域，基于Biased Normalized Cuts來(lái)實(shí)現(xiàn)共分割，借助深度信息來(lái)優(yōu)化分割結(jié)果。

基于上述研究成果，本文提出了一種基于雙目視覺(jué)的水下海參自動(dòng)檢測(cè)與尺寸測(cè)量方法，實(shí)現(xiàn)水下捕撈機(jī)器人對(duì)海參的智能精選分級(jí)。該方法主要包含四個(gè)步驟：（1）將雙目視覺(jué)系統(tǒng)用于水下，實(shí)現(xiàn)對(duì)于水下環(huán)境的三維重建；（2）將YOLOv3 目標(biāo)檢測(cè)模型應(yīng)用于水下場(chǎng)景，使用水下數(shù)據(jù)集訓(xùn)練了一個(gè)海參檢測(cè)模型，解決了水下海參檢測(cè)問(wèn)題；（3）提出了一種GrabCut-RGBD 目標(biāo)分割算法，在原本的RGB信息中加入了深度信息，構(gòu)建高斯模型，提高了水下圖像分割的準(zhǔn)確度；（4）結(jié)合雙目得到的點(diǎn)云和分割得到的目標(biāo)進(jìn)行映射，得到了水下目標(biāo)的三維坐標(biāo)信息，從而實(shí)現(xiàn)了對(duì)水下海參的檢測(cè)和尺寸測(cè)量。

1 基于雙目視覺(jué)的水下海參尺寸自動(dòng)測(cè)量方法

本文提出的基于雙目視覺(jué)與深度學(xué)習(xí)的水下海參尺寸自動(dòng)測(cè)量方法的基本流程如圖1所示。首先，通過(guò)雙目相機(jī)獲取水下雙目圖像；對(duì)雙目圖像進(jìn)行矯正操作，得到矯正后的水下雙目圖像；然后，在雙目矯正圖像上同時(shí)進(jìn)行下列操作：（1）對(duì)矯正后的雙目圖像進(jìn)行立體匹配，構(gòu)建雙目模型，得到深度圖、三維點(diǎn)云；（2）利用雙目矯正圖像的左圖進(jìn)行海參檢測(cè)，獲取海參的邊界框；在檢測(cè)結(jié)果邊界框里結(jié)合深度圖、原圖進(jìn)行圖像分割，對(duì)邊界框內(nèi)的海參與背景進(jìn)行分離；最后利用凸包與卡殼算法在分割出的海參目標(biāo)上尋找最佳尺寸測(cè)量點(diǎn)，將其映射至三維空間，實(shí)現(xiàn)海參的尺寸測(cè)量。

圖1 本文方法具體流程

1.1 水下雙目成像模型

相機(jī)在水下使用時(shí)，通常需要給相機(jī)加一個(gè)防水罩。根據(jù)光的折射原理，此時(shí)光會(huì)發(fā)生兩次折射，分別是水到防水罩，防水罩到空氣。文獻(xiàn)[19]認(rèn)為，當(dāng)防水罩厚度遠(yuǎn)小于目標(biāo)與相機(jī)的距離時(shí)，光線在玻璃中的傳播過(guò)程可以忽略。因此水下相機(jī)成像的簡(jiǎn)化過(guò)程如圖2所示。

圖2 水下相機(jī)成像模型

圖中P(XW,YW,ZW)為目標(biāo)點(diǎn)，O2為真實(shí)相機(jī)的位置，O1為入射光線延長(zhǎng)線與相機(jī)光軸交點(diǎn)，為方便進(jìn)行相機(jī)成像分析，將此位置作為虛擬相機(jī)的位置，A為相機(jī)光軸與水和空氣相交平面的交點(diǎn)，O為光進(jìn)入空氣的折射點(diǎn)，θ1和θ2分別為入射角和折射角。

根據(jù)折射定律與相似三角形原理可得如下關(guān)系：

式中n1、n2分別為水和空氣的折射率。

由于等效虛擬相機(jī)與真實(shí)相機(jī)具有相同的視場(chǎng)，因此，AO在兩個(gè)相機(jī)上的投影具有相同的長(zhǎng)度，即X1=X2,X1、X2分別為AO在虛擬相機(jī)與實(shí)際相機(jī)所成像的長(zhǎng)度。因此：

根據(jù)式（2）、（3）得：

因此，當(dāng)相機(jī)在水下使用時(shí)，焦距會(huì)因?yàn)檎凵渎实母淖儺a(chǎn)生變化，可以根據(jù)折射率求得虛擬相機(jī)的焦距。

假設(shè)在圖像像素坐標(biāo)系中的點(diǎn)的坐標(biāo)為Pu(u,v)，那么空間中的點(diǎn)P從圖像像素坐標(biāo)系到世界坐標(biāo)系的轉(zhuǎn)換關(guān)系如公式（5）：

式中，(u,v)是點(diǎn)Pu在圖像坐標(biāo)系中的像素坐標(biāo)，dx和dy分別為每個(gè)像素在X軸和Y軸方向上的尺寸，Z為空間點(diǎn)P的深度，P(Xw,Yw,Zw)為Pu點(diǎn)在世界坐標(biāo)系中的坐標(biāo)，圖像左上角為圖像像素坐標(biāo)系原點(diǎn)，(u0,v0)為圖像坐標(biāo)系的原點(diǎn)像素，f為相機(jī)的焦距，R為旋轉(zhuǎn)矩陣，T為平移向量。

相機(jī)成像過(guò)程中本身會(huì)存在切向和徑向畸變，水下相機(jī)在使用過(guò)程中由于跨越介質(zhì)將產(chǎn)生更大的畸變，因此需要引入高階畸變來(lái)補(bǔ)償成像過(guò)程因折射導(dǎo)致的更大程度的畸變。

（1）徑向畸變隨著成像點(diǎn)與中心的距離的增加而增加，因此本文采用與距中心的距離有關(guān)的二次及高次多項(xiàng)式函數(shù)進(jìn)行矯正，公式如下：

式中，(x,y)是畸變點(diǎn)在成像儀上的原始位置，r為該點(diǎn)距離成像儀中心的距離，(xdistorted,ydistorted)是校正后的新位置，k1、k2、k3為徑向畸變系數(shù)。

（2）對(duì)于切向畸變本文使用如下公式進(jìn)行矯正：

式中，p1、p2為切向畸變系數(shù)。

因此，只要獲取到Z的值，就可以獲得空間點(diǎn)P的三維坐標(biāo)(Xw,Yw,Zw)，本文采用雙目視覺(jué)系統(tǒng)獲取Z的值，雙目視覺(jué)系統(tǒng)指有兩個(gè)水平放置相機(jī)構(gòu)成的視覺(jué)系統(tǒng)，一般兩個(gè)相機(jī)為左右放置，通過(guò)一系列的幾何分析，實(shí)現(xiàn)距離測(cè)量。理想的狀態(tài)下，雙目相機(jī)幾何模型如圖3所示，空間中的點(diǎn)P在左右相機(jī)成像平面各有一個(gè)成像點(diǎn)al、ar，根據(jù)三角形的相似關(guān)系有：

整理得：

圖3 雙目相機(jī)幾何模型

式中，dx為相機(jī)的像元尺寸，d就是左右相機(jī)的同一像素成像的橫坐標(biāo)之差，并且基線b已知，因此只需要求得兩個(gè)相機(jī)之間的視差d便可以得到P點(diǎn)的深度Z。

1.2 海參檢測(cè)

對(duì)于矯正之后的圖像，需要迅速找出海參在圖像中的位置。這也就需要一個(gè)快速、精確的目標(biāo)檢測(cè)模型來(lái)實(shí)現(xiàn)對(duì)海參的檢測(cè)，獲取海參邊界框。因此，本文選用了速度較快并且精度較高的YOLOv3 目標(biāo)檢測(cè)模型來(lái)獲取海參的位置信息。

YOLOv3目標(biāo)檢測(cè)模型采取端到端的方式，將整張圖片輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，采用回歸方法得到邊界框，省去了生成候選區(qū)域的步驟，從而加快了目標(biāo)檢測(cè)的速度。該算法將輸入圖片劃分成了S×S個(gè)網(wǎng)格，如果海參的中心落在了某個(gè)網(wǎng)格內(nèi)，這個(gè)網(wǎng)格就負(fù)責(zé)對(duì)這個(gè)目標(biāo)進(jìn)行檢測(cè)，每一個(gè)網(wǎng)格將輸出B個(gè)預(yù)測(cè)的邊界框的位置信息(x,y,w,h)以及置信度。

YOLOv3 借鑒了Faster RCNN 的RPN 中的錨框機(jī)制，卷積神經(jīng)網(wǎng)絡(luò)直接預(yù)測(cè)每個(gè)邊界框的坐標(biāo)信息(tx,ty,tw,th)，x和y為目標(biāo)中心所在單元格相對(duì)于圖像左上角的偏移，pw、ph為錨點(diǎn)框的高度和寬度，根據(jù)表達(dá)式（11）將得到最后修正后的邊界框：

其中，bx、by、bw、bh就是最終得到的預(yù)測(cè)邊界框的坐標(biāo)、寬度和高度。整個(gè)訓(xùn)練過(guò)程使用誤差平方和作為損失函數(shù)。

YOLOv3采用了darknet53作為主干網(wǎng)絡(luò)，整個(gè)網(wǎng)絡(luò)沒(méi)有池化層和全連接層，在前向傳播過(guò)程中，通過(guò)改變卷積核的步長(zhǎng)來(lái)實(shí)現(xiàn)池化層的功能，使用三種尺度的特征圖進(jìn)行檢測(cè)，這使得YOLOv3在檢測(cè)小目標(biāo)時(shí)具有較好的效果。圖4是YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)示意圖，通過(guò)整個(gè)檢測(cè)算法后將得到海參的感興趣區(qū)域和置信度。

本文利用海參數(shù)據(jù)集訓(xùn)練YOLOv3的模型（本文只識(shí)別海參一個(gè)類(lèi)別），經(jīng)過(guò)反復(fù)的迭代，得到了比較穩(wěn)定的檢測(cè)模型，經(jīng)過(guò)實(shí)驗(yàn)得出，該模型可以滿足本文方法中的海參檢測(cè)任務(wù)。

1.3 GrabCut-RGBD目標(biāo)分割算法

對(duì)于海參檢測(cè)結(jié)果，要想知道海參的具體大小，需要進(jìn)行圖像分割去除邊界框中的背景，找出海參在二維圖片坐標(biāo)系中的實(shí)際位置。

圖4 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)示意圖

本文采用GMM（混合高斯模型）來(lái)表示顏色統(tǒng)計(jì)的分布，然后采用圖的最小割方法，實(shí)現(xiàn)海參和背景的分離，改進(jìn)了Graph-Cut 算法[20]中當(dāng)物體和背景的顏色差距較小時(shí)，將很難對(duì)物體進(jìn)行準(zhǔn)確分割的問(wèn)題，將雙目得到的圖像深度信息加入到了GrabCut算法中，提出了GrabCut-RGBD圖像分割算法。

原始的GrabCut 算法只能分割RGB 圖像。在本文中，將深度信息映射到[0～255]，作為第四個(gè)通道，得到RGBD圖像。其中，數(shù)字越小表示距離相機(jī)越近。

本文將具有R、G、B、D 四個(gè)通道的圖像表示為I=(I1,I2,…,IN) ，圖像中的每一個(gè)像素都有一個(gè)標(biāo)記α=(α1,α2,…,αN) ，α=0 代表屬于背景，α=1 代表屬于前景。θ為圖像前景與背景的直方圖分布的參數(shù)，θ={h(I,α),α=0,1}對(duì)于目標(biāo)和背景分別用一個(gè)擁有K個(gè)高斯分量的全協(xié)方差混合高斯模型進(jìn)行建模，k={k1,k2,…,kn,…,kN},kn代表第n個(gè)像素對(duì)應(yīng)的高斯分量。于是，用于整個(gè)圖像的吉布斯能量函數(shù)為：

考慮到顏色和深度的高斯模型，數(shù)據(jù)項(xiàng)U定義如下：

其中：

其中，p(·)是高斯概率分布，π(·)是混合權(quán)重系數(shù)。

平滑項(xiàng)表示如下：

其中，C是相鄰像素對(duì)的集合，BRGB為彩色RGB 空間兩個(gè)像素的歐式距離值，系數(shù)β由圖像的對(duì)比度決定，BD為深度D 空間兩個(gè)像素的差異，參數(shù)μ由深度的差異性決定。

1.4 最佳測(cè)量點(diǎn)選取

對(duì)于分割結(jié)果，本文以距離最遠(yuǎn)的兩個(gè)點(diǎn)作為海參的最佳尺寸測(cè)量點(diǎn)，按照以下三步操作，實(shí)現(xiàn)海參尺寸的測(cè)量：

步驟1對(duì)于分割找到的海參在二維圖像坐標(biāo)系中的實(shí)際位置坐標(biāo)集合，利用凸包算法尋找能將所有點(diǎn)包圍起來(lái)的凸多邊形P=(p1,p2,…,pn)，如圖5（a）所示。

圖5 最佳測(cè)量點(diǎn)尋找示意圖

步驟2利用旋轉(zhuǎn)卡殼算法尋找最遠(yuǎn)對(duì)踵點(diǎn)。如圖5（b）所示，在凸多邊形P上尋找其Y軸方向上兩個(gè)端點(diǎn)，假設(shè)為pi、pj，兩點(diǎn)間距離記為s1，將兩點(diǎn)作為第一對(duì)對(duì)踵點(diǎn)，在兩個(gè)端點(diǎn)處構(gòu)造兩條平行切線。順時(shí)針旋轉(zhuǎn)兩條切線，每當(dāng)其中一條切線與凸多邊形的一邊重合時(shí)，將得到一對(duì)新的對(duì)踵點(diǎn)，此時(shí)新對(duì)踵點(diǎn)之間的距離記為si，直到切線回到原始位置，旋轉(zhuǎn)結(jié)束。得到對(duì)踵點(diǎn)距離集合{s1,s2,…,sn}，在對(duì)踵點(diǎn)距離集合中取最遠(yuǎn)距離：

將最遠(yuǎn)距離所對(duì)應(yīng)的對(duì)踵點(diǎn)作為最佳尺寸測(cè)量點(diǎn)，如圖5（b）中的M、N點(diǎn)所示。

步驟3 根據(jù)1.1 節(jié)所得結(jié)果，同理可推得二維坐標(biāo)到三維坐標(biāo)的轉(zhuǎn)換關(guān)系如式（17），進(jìn)而獲取到最佳測(cè)量點(diǎn)的三維坐標(biāo)M(XM,YM,ZM)、M(XN,YN,ZN)，從而可以根據(jù)最佳測(cè)量點(diǎn)三維坐標(biāo)通過(guò)歐式距離公式計(jì)算海參實(shí)際尺寸S。

式中(ul,vl)為點(diǎn)的像素坐標(biāo)。

2 實(shí)驗(yàn)及結(jié)果分析

實(shí)驗(yàn)硬件平臺(tái)為Nvidia Geforce GTX 1050 GPU、Intel Core i7-7700HQ@3.8 GHz。實(shí)驗(yàn)所使用相機(jī)為C203水下雙目相機(jī)，單目分辨率為640×480，為方便圖像采集，將水下雙目相機(jī)搭載在了水下機(jī)器人上，利用水下機(jī)器人采集水下圖像數(shù)據(jù)。搭載水下雙目相機(jī)的水下機(jī)器人實(shí)物圖如圖6所示。

圖6 水下雙目實(shí)驗(yàn)平臺(tái)實(shí)物圖

實(shí)驗(yàn)采用水下雙目相機(jī)在4 m×2 m×1.5 m 的水池中進(jìn)行圖像采集，在Matlab R2017環(huán)境下，利用張正友標(biāo)定法[21]進(jìn)行水下標(biāo)定實(shí)驗(yàn)，獲取相機(jī)內(nèi)外參。所采用的標(biāo)定板橫縱角點(diǎn)個(gè)數(shù)為11×8，每個(gè)方格的大小為30 mm×30 mm。對(duì)于采集到的標(biāo)定用圖像，將重投影誤差大于0.25個(gè)像素的圖像進(jìn)行了剔除。同時(shí)，由于水下介質(zhì)的影響將導(dǎo)致圖像畸變變大，挑選了其中54 組標(biāo)定用圖像，進(jìn)行標(biāo)定實(shí)驗(yàn)。表1 為水下雙目標(biāo)定參數(shù)，圖7為矯正前后的水下圖像，圖8為得到的水下場(chǎng)景深度圖像。

表1 左右相機(jī)水下標(biāo)定參數(shù)

圖7 矯正前后的水下圖像

圖8 水下場(chǎng)景深度圖

2.1 水下測(cè)量實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文雙目測(cè)量方法在水下不同距離、不同位置、不同姿態(tài)下的有效性，實(shí)驗(yàn)采集了0.5～1.5 m范圍內(nèi)33 組不同姿態(tài)的標(biāo)定板圖像（由于水下相機(jī)采集的圖像分辨率為640×480，當(dāng)距離大于1.5 m 時(shí)，受像素限制，無(wú)法進(jìn)行精準(zhǔn)測(cè)量），對(duì)于同一標(biāo)定板圖像上的每?jī)蓚€(gè)相鄰角點(diǎn)進(jìn)行重建測(cè)距，將重建得到的測(cè)量值d與真實(shí)值30 mm（相鄰角點(diǎn)距離為30 mm）進(jìn)行比較，分別通過(guò)公式（18）、（19）計(jì)算最大誤差和平均誤差圖9為通過(guò)計(jì)算得到的誤差信息。

圖9 誤差測(cè)量結(jié)果

由誤差測(cè)量實(shí)驗(yàn)結(jié)果可以得到，當(dāng)成像距離小于110 cm時(shí)，平均誤差與最大誤差均小于1%，當(dāng)成像距離大于110 cm 時(shí)，誤差隨著距離的增加有逐漸增大的趨勢(shì)，由于水下雙目相機(jī)所采集圖像的分辨率僅為640×480，當(dāng)距離過(guò)大時(shí)，測(cè)量點(diǎn)選取將變得更加困難，這導(dǎo)致誤差會(huì)逐漸增大，但在1.5 m以內(nèi)時(shí)，測(cè)量平均誤差小于1.2%，最大誤差小于1.7%，滿足尺寸測(cè)量需求。

2.2 海參檢測(cè)網(wǎng)絡(luò)訓(xùn)練與性能分析

本文海參檢測(cè)網(wǎng)絡(luò)訓(xùn)練與測(cè)試電腦主要配置為Inter?CoreTMi7-7700K CPU @ 4.20 GHz、Nvidia Geforce GTX 1080 TI GPU和64 GB的運(yùn)行內(nèi)存。

本文標(biāo)注了19 500 張水下包含海參的圖像并制作成數(shù)據(jù)集用于檢測(cè)網(wǎng)絡(luò)的訓(xùn)練與測(cè)試，其中14 000張圖片作為訓(xùn)練集，5 500 張圖片作為測(cè)試集。網(wǎng)絡(luò)訓(xùn)練的主要參數(shù)如表2所示。

表2 模型訓(xùn)練參數(shù)設(shè)置

模型訓(xùn)練Loss變化圖如圖10所示。從圖中可以看出，網(wǎng)絡(luò)在前5 000 次迭代中迅速擬合，之后趨于穩(wěn)定，平均損失在0.2左右浮動(dòng)。

圖11為訓(xùn)練時(shí)平均交并比（IOU）變化曲線，從圖中可以看出，平均交并比隨著迭代次數(shù)的增加在逐漸增大，這說(shuō)明了檢測(cè)的準(zhǔn)確率在不斷提高，當(dāng)?shù)_(dá)到30 000次之后，平均交并比超過(guò)了90%。

使用訓(xùn)練生成的權(quán)重文件對(duì)測(cè)試集圖片進(jìn)行測(cè)試，檢測(cè)效果如圖12所示（標(biāo)記框第一行為目標(biāo)類(lèi)別，O為包圍框左上點(diǎn)坐標(biāo)，W和H為包圍框的寬和高）。

圖10 平均Loss曲線圖

圖11 平均IOU曲線圖

圖12 海參檢測(cè)效果圖

本文使用平均檢測(cè)精度（mAP）與平均檢測(cè)速度對(duì)YOLOv3模型進(jìn)行評(píng)價(jià)，并與目前比較主流的檢測(cè)算法進(jìn)行了對(duì)比，結(jié)果如表3所示。

表3 水下數(shù)據(jù)集檢測(cè)結(jié)果對(duì)比

從表中可以看出本文所使用的YOLOv3 檢測(cè)模型的平均檢測(cè)精度為0.826、平均檢測(cè)速度為57 frame/s，均超過(guò)了其他兩種檢測(cè)算法，可以滿足快速、精準(zhǔn)檢測(cè)的需求。

圖13 本文分割算法與GrabCut分割算法效果對(duì)比圖

2.3 GrabCut-RGBD目標(biāo)分割實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文分割算法的有效性，將本文分割算法從分割效果、分割精度兩方面與傳統(tǒng)的GrabCut算法進(jìn)行了比較。

本文分別采集了水下三個(gè)不同種類(lèi)目標(biāo)的圖像進(jìn)行目標(biāo)分割實(shí)驗(yàn)。圖13為實(shí)驗(yàn)結(jié)果，從（a）～（d）分別對(duì)應(yīng)了左右原圖、實(shí)際分割結(jié)果、GrabCut 分割結(jié)果、本文算法的分割結(jié)果，原圖中的紅色方框內(nèi)部區(qū)域?yàn)樗惴ㄟx取的分割區(qū)域。

本文使用分割精度對(duì)分割結(jié)果進(jìn)行了進(jìn)一步分析[22]。分割精度P為：

式中，CB為正確的背景像素個(gè)數(shù)，CF為正確的前景像素個(gè)數(shù)，N為總像素?cái)?shù)。利用三個(gè)種類(lèi)各十組圖片計(jì)算每個(gè)種類(lèi)的平均分割精度，表4為本文方法與GrabCut分割算法平均分割精度對(duì)比。

表4 本文分割算法與GrabCut分割算法水下實(shí)驗(yàn)結(jié)果對(duì)比%

由表4 可以看出，從分割精度方面來(lái)說(shuō)，本文分割方法相對(duì)于原始的GrabCut算法效果有了一定的提升；根據(jù)圖可以看出，當(dāng)目標(biāo)的色彩與背景顏色較為接近時(shí)，GrabCut算法將不能進(jìn)行準(zhǔn)確的分割，而本文方法很好地彌補(bǔ)了GrabCut 算法的缺陷，使用R、G、B、D 四維信息進(jìn)行圖像分割，使得當(dāng)前、背景顏色相似時(shí)，也能擁有一個(gè)良好的分割效果。

2.4 水下海參尺寸自動(dòng)測(cè)量實(shí)驗(yàn)結(jié)果與分析

本文使用水下雙目相機(jī)采集了15組不同距離下包含海參目標(biāo)的水下雙目圖像，每一個(gè)距離有5 組圖像。利用游標(biāo)卡尺測(cè)量了海參的實(shí)際大小。然后將本文方法檢測(cè)出的海參大小與海參的實(shí)際尺寸進(jìn)行誤差比較。

圖14 為游標(biāo)卡尺測(cè)量出的海參的實(shí)際尺寸，圖15為本文方法在不同成像距離下（50～150 cm）海參檢測(cè)與測(cè)量結(jié)果圖。

圖14 海參尺寸實(shí)際測(cè)量圖

表5 中距離為海參與雙目相機(jī)之間的距離。誤差為每一個(gè)距離下五組測(cè)量結(jié)果誤差值與實(shí)際值之間的比值的平均值。數(shù)據(jù)結(jié)果顯示，本文方法的測(cè)量結(jié)果比海參的實(shí)際尺寸偏大，并且在1.5 m 范圍內(nèi)誤差小于2.03%。因此，本文所提出的方法在一定的距離下對(duì)于海參尺寸的自動(dòng)測(cè)量具有較好的可用性。

表5 不同成像距離下海參測(cè)量結(jié)果誤差

圖15 不同成像距離下（50～150 cm）海參檢測(cè)與測(cè)量結(jié)果圖

3 結(jié)束語(yǔ)

本文提出了一種基于立體視覺(jué)與深度學(xué)習(xí)的水下海參尺寸自動(dòng)測(cè)量方法，使用水下雙目相機(jī)獲取當(dāng)前場(chǎng)景的三維信息，然后利用YOLOv3 算法進(jìn)行目標(biāo)檢測(cè)，獲取目標(biāo)類(lèi)別，提出了一種結(jié)合深度信息的GrabCut-RGBD 目標(biāo)分割方法，進(jìn)行海參與背景的分割，從而獲取到了海參的三維信息，實(shí)現(xiàn)對(duì)于海參大小的測(cè)量。實(shí)驗(yàn)結(jié)果表明，本文提出的方法具有良好的準(zhǔn)確性。盡管實(shí)驗(yàn)結(jié)果滿足了當(dāng)前的需求，但是，該方法有效距離較短并且實(shí)際操作較為繁瑣。未來(lái)的研究中，將著手對(duì)有效測(cè)量距離距離進(jìn)行改善、改進(jìn)標(biāo)定方法，摒棄繁瑣的水下標(biāo)定方法，并考慮如何將本文方法用于水下機(jī)器人，實(shí)現(xiàn)水下機(jī)器人對(duì)于水下海參的精準(zhǔn)抓取。