周華平,汪佳偉

(安徽理工大學(xué) 計(jì)算機(jī)科學(xué)與工程學(xué)院,安徽 淮南 232001)

良好的海洋生態(tài)系統(tǒng)是海洋生物賴以生存的家園,然而塑料、橡膠、重金屬等海洋垃圾的存在嚴(yán)重影響了海洋生態(tài)系統(tǒng)的良性循環(huán)。因此,正確分類及清理海洋垃圾,對(duì)海洋生態(tài)系統(tǒng)的可持續(xù)發(fā)展具有重要的現(xiàn)實(shí)意義。通過應(yīng)用配備目標(biāo)檢測(cè)算法的自主水下探測(cè)器,檢測(cè)和定位海底垃圾,使自動(dòng)或人工垃圾清理成為可能[1]。Kylili[2]使用自主水下航行器從前視聲納圖像中檢測(cè)淹沒的海洋垃圾,訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分類,并將該分類器用作滑動(dòng)窗口方式的對(duì)象檢測(cè)器。Sun等[3]構(gòu)建了一個(gè)Mask-SSD網(wǎng)絡(luò),通過使用上下文信息增強(qiáng)檢測(cè)特征并引入分割掩碼來(lái)消除背景區(qū)域,提高了SSD檢測(cè)小尺寸目標(biāo)對(duì)象的性能。上述方法對(duì)水下垃圾目標(biāo)檢測(cè)有著很重要的現(xiàn)實(shí)意義,但其性能和應(yīng)用仍然受到水下捕獲的圖像質(zhì)量低、小目標(biāo)難以識(shí)別以及水下機(jī)器設(shè)備存儲(chǔ)和算力難以部署等因素的限制。

本文提出一種輕量級(jí)的兩階段海洋垃圾檢測(cè)算法SLD-Net(Seabed Litter Detection Network),預(yù)訓(xùn)練好的增強(qiáng)模塊可以和后面的檢測(cè)模塊進(jìn)行端到端的訓(xùn)練,從而可以聯(lián)合調(diào)優(yōu)增強(qiáng)模塊和檢測(cè)模塊,提高目標(biāo)檢測(cè)精度。同時(shí),采用輕量級(jí)的Mobilenet V2網(wǎng)絡(luò)作為目標(biāo)檢測(cè)的骨干網(wǎng)絡(luò)[4],并引用一種輕量級(jí)的檢測(cè)頭LRPN(Light Region Proposal Network),對(duì)檢測(cè)模塊的網(wǎng)絡(luò)參數(shù)進(jìn)一步壓縮,減少模型參數(shù)。此外,還引入一種雙路FPN(Feature Pyramid Network)結(jié)構(gòu),使用自頂向下和自下而上的雙向路徑進(jìn)行特征增強(qiáng),提高檢測(cè)器對(duì)小尺度海洋垃圾的檢測(cè)能力。

1 相關(guān)工作

1.1 Faster RCNN

Faster RCNN[5]是兩階段目標(biāo)檢測(cè)算法的代表性算法,網(wǎng)絡(luò)框架如圖1所示。對(duì)于輸入的圖像,首先對(duì)候選區(qū)域進(jìn)行特征提取(RPN),接著進(jìn)行分類和邊界框的預(yù)測(cè)。雖然Faster RCNN取得了較高的檢測(cè)精度,但不管是前面的主干網(wǎng)絡(luò),還是RPN機(jī)制,都大大降低了模型的推理速度,而且錨框的設(shè)計(jì)采取了多次的下采樣,使得模型對(duì)小目標(biāo)的檢測(cè)準(zhǔn)確率有所下降。

圖1 Faster RCNN 網(wǎng)絡(luò)框架

1.2 Mobilenet V2

基于深度可分離卷積的思想,MobileNet將標(biāo)準(zhǔn)的3×3卷積層分解為1個(gè)3×3深度卷積和1個(gè)1×1點(diǎn)卷積。在每個(gè)卷積操作之后,還添加了1個(gè)批歸一化(BN)層和ReLU激活函數(shù)。MobileNetV2增加了倒殘差結(jié)構(gòu),即先使用1×1卷積擴(kuò)充通道,以增加網(wǎng)絡(luò)的表達(dá)能力,接著進(jìn)行深度卷積,然后再使用1×1卷積進(jìn)行通道壓縮,進(jìn)一步提升網(wǎng)絡(luò)的提取能力。倒殘差結(jié)構(gòu)的引入使MobileNetV2在保持輕量級(jí)特性和高效性能的同時(shí),能夠更好地提取和學(xué)習(xí)圖像中的重要特征,具備較強(qiáng)的特征提取能力,在有限的計(jì)算資源下實(shí)現(xiàn)較高的準(zhǔn)確性和效率。

2 網(wǎng)絡(luò)結(jié)構(gòu)

SLD-Net網(wǎng)絡(luò)結(jié)構(gòu)框架如圖2所示。整個(gè)算法可以分為圖像增強(qiáng)和目標(biāo)檢測(cè)兩個(gè)部分。預(yù)訓(xùn)練好的增強(qiáng)模塊可以和后面的檢測(cè)模塊進(jìn)行端到端的訓(xùn)練,聯(lián)合調(diào)優(yōu)增強(qiáng)模塊和檢測(cè)模塊,以改善現(xiàn)有的兩階段模型先增強(qiáng)后檢測(cè)導(dǎo)致的信息丟失大的問題。

圖2 SLD-Net網(wǎng)絡(luò)結(jié)構(gòu)框架

2.1 圖像增強(qiáng)模塊MDIE

為了提高水下目標(biāo)檢測(cè)的精度,采用MDIE(Multi-Domain Image Enhancement)圖像增強(qiáng)模塊,引入顏色轉(zhuǎn)換和細(xì)節(jié)增強(qiáng)2個(gè)子模塊,以改善水下圖像的質(zhì)量,減小水下成像質(zhì)量低和高噪聲等因素對(duì)目標(biāo)檢測(cè)的不利影響,提升水下目標(biāo)檢測(cè)系統(tǒng)的性能和準(zhǔn)確度。

2.1.1顏色轉(zhuǎn)換子模塊

圖像顏色子網(wǎng)絡(luò)可以將輸入的彩色圖像轉(zhuǎn)換為相應(yīng)的灰度圖像。顏色轉(zhuǎn)換模塊如圖3所示。該網(wǎng)絡(luò)由10個(gè)卷積層組成,前5個(gè)通過多層卷積從輸入圖像中提取特征,后4個(gè)采用深度可分離卷積,將標(biāo)準(zhǔn)卷積分解為逐通道卷積和1×1的逐點(diǎn)卷積[6]。通過應(yīng)用卷積核大小為3×3的逐通道卷積,特征提取階段可以生成不同顏色通道的變換參數(shù)[6]。這種顏色轉(zhuǎn)換方法有助于消除水下環(huán)境中的色偏和渾濁現(xiàn)象,以此獲得水下灰度圖像中最復(fù)雜且信息量最豐富的表現(xiàn)。

圖3 顏色轉(zhuǎn)換模塊

2.1.2細(xì)節(jié)增強(qiáng)子模塊

因受噪聲的干擾,水下成像處理后往往細(xì)節(jié)模糊。因此,引入了細(xì)節(jié)增強(qiáng)子模塊(如圖4所示)。該模塊由8個(gè)卷積層組成,通過基于特征注意力的殘差網(wǎng)絡(luò),學(xué)習(xí)自動(dòng)識(shí)別每個(gè)特征通道的重要性,改善有用的特征,抑制不太有用的特征,對(duì)灰度圖像的細(xì)節(jié)進(jìn)行校正,從而使目標(biāo)更加清晰和容易分辨。

圖4 細(xì)節(jié)增強(qiáng)子模塊

2.2 目標(biāo)檢測(cè)模塊

2.2.1特征提取

由于受水下光的散射和吸收影響,水下圖像常常具有較差的能見度,導(dǎo)致細(xì)節(jié)特征丟失。鑒于此,采用MobilenetV2作為網(wǎng)絡(luò)的特征提取模塊。使用雙路FPN來(lái)提取多尺度的特征。通過引入更深、更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu),獲得更高的準(zhǔn)確度,并充分利用MobileNetV2內(nèi)部卷積過程中的多尺度特性,通過構(gòu)建額外的跨層連接,使用自頂向下的路徑傳遞高層的強(qiáng)語(yǔ)義特征,并添加自下而上的路徑來(lái)補(bǔ)充特征圖。這樣可以將低層的強(qiáng)定位特征向上傳遞,確保每個(gè)提取的層都具有適當(dāng)?shù)姆直媛屎蛷?qiáng)大的語(yǔ)義特征。雖然這種雙路結(jié)構(gòu)會(huì)稍微增加計(jì)算時(shí)間,但確保了特征圖在多尺度上具有適應(yīng)性和豐富性,能夠有效提高水下圖像處理的效果,恢復(fù)丟失的細(xì)節(jié)特征。

2.2.2輕量級(jí)RPN

考慮到模型使用了輕量級(jí)特征提取網(wǎng)絡(luò),因此引入輕量級(jí)RPN來(lái)進(jìn)一步壓縮RPN網(wǎng)絡(luò)層的計(jì)算量。輕量級(jí)RPN如圖5所示。

圖5 輕量級(jí)RPN

使用5×5的深度卷積層替代原來(lái)的3×3卷積層以減少計(jì)算量,即選擇最深的3層特征進(jìn)行特征融合,并在中間添加1個(gè)CBAM注意力模塊。通過使用不同層的特征,擴(kuò)大感受野,獲取更全局的特征信息。CBAM注意力模塊可以更好地學(xué)習(xí)到有用的特征,實(shí)現(xiàn)全局特征和局部特征的融合。在SAM模塊中,基于RPN特征生成了1個(gè)權(quán)重矩陣,用于表達(dá)特征圖上前景和背景之間的區(qū)域差異。權(quán)重矩陣與原始特征圖相乘即可得到調(diào)整后的特征圖?；谡{(diào)整后的特征圖執(zhí)行RoI特征提取,能達(dá)到強(qiáng)調(diào)前景特征,弱化背景特征的目的。

2.2.3FocalLoss損失函數(shù)

將傳統(tǒng)的交叉熵?fù)p失函數(shù)改為Focal Loss(FL)函數(shù),使用1個(gè)可調(diào)節(jié)的平衡因子,有效地降低易分類樣本對(duì)損失函數(shù)的貢獻(xiàn),抑制大多數(shù)簡(jiǎn)單樣本的干擾,使模型更關(guān)注于難以分類的樣本,從而提高模型的整體性能和魯棒性。對(duì)象分類的損失方程如下：

(1)

表1 不同參數(shù)γ時(shí)的實(shí)驗(yàn)結(jié)果 %

3 實(shí)驗(yàn)與驗(yàn)證

3.1 數(shù)據(jù)集

海洋垃圾檢測(cè)數(shù)據(jù)集J-EDI共有8 452張圖像,尺寸為480×320。該數(shù)據(jù)集的圖像在質(zhì)量、深度、場(chǎng)景中的對(duì)象和使用的攝像機(jī)方面差異很大,包含Plastic(塑料垃圾)、ROV(水下設(shè)備等)、BIO(水下生物)等,通過翻轉(zhuǎn)、裁剪等將數(shù)據(jù)集擴(kuò)充到11 587張。

3.2 實(shí)驗(yàn)環(huán)境與評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)操作系統(tǒng)為Ubuntu18.04,顯卡為NVIDIA GeForce RTX 2080Ti,CUDA為10.0版本。使用深度學(xué)習(xí)框架Pytorch1.3.1對(duì)SLD-Net進(jìn)行訓(xùn)練、測(cè)試以及可視化分析,首先在PASCALVOC上進(jìn)行預(yù)訓(xùn)練,初始學(xué)習(xí)率設(shè)置為0.001,批處理大小為32,每經(jīng)過50個(gè)Epoch將學(xué)習(xí)率降為原來(lái)的10%[7]。

從檢測(cè)精度和速度兩個(gè)方面評(píng)價(jià)目標(biāo)檢測(cè)模型的性能優(yōu)劣。檢測(cè)速度為模型每秒能夠檢測(cè)到的圖像數(shù)。對(duì)于單類檢測(cè),以精準(zhǔn)率(precision)、召回率(recall)作為檢測(cè)精度的評(píng)價(jià)指標(biāo),其中TP、FP、FN分別為準(zhǔn)確檢測(cè)到、錯(cuò)誤檢測(cè)到、未檢測(cè)到的對(duì)象數(shù)[7]。以精準(zhǔn)率和查全率所包圍的圖形區(qū)域作為這類對(duì)象的平均檢測(cè)精度(AP)。在檢測(cè)種類較多的情況下,檢測(cè)精度一般以平均精度均值(mAP)作為評(píng)價(jià)指標(biāo),其中N為數(shù)據(jù)集中的對(duì)象類別個(gè)數(shù)[7]。在考慮精度的同時(shí),模型還要兼顧參數(shù)量,因此計(jì)算量(FLOPs)和參數(shù)量(Parameters)也作為評(píng)價(jià)的重要指標(biāo)。

(2)

(3)

(4)

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證不同子模塊或手段的有效性,設(shè)置4個(gè)模型進(jìn)行消融實(shí)驗(yàn)。其中,Model4使用Faster-RCNN算法的主要框架;Model1在Model4的基礎(chǔ)上增加圖像增強(qiáng)模塊;Model2將兩路FPN模塊加入到Model1的模型;Model3將Model2的RPN結(jié)構(gòu)改為L(zhǎng)RPN結(jié)構(gòu)。消融實(shí)驗(yàn)結(jié)果見表2。從表2可以看出,Model3與Model4相比,前者的參數(shù)量大大降低,僅為5.4 M,速度提升了近6倍,網(wǎng)絡(luò)的參數(shù)量和計(jì)算成本顯著降低。Model4與Model1相比,因?yàn)檫M(jìn)行了水下圖像增強(qiáng),前者的速度下降了2.4 FPS,參數(shù)量?jī)H有少量的增加,精度有了一定的提升。Model3與Model2相比,在使用了LRPN之后,前者的速度和精度都有不同程度的提高。綜上所述,本文方法是有效的,能夠以小的成本實(shí)現(xiàn)大的收益。

表2 消融實(shí)驗(yàn)結(jié)果

3.4 目標(biāo)檢測(cè)實(shí)驗(yàn)

為驗(yàn)證算法的有效性,將PASCAL VOC上預(yù)訓(xùn)練后的模型分別轉(zhuǎn)移到數(shù)據(jù)集上進(jìn)行最終訓(xùn)練,總Epoch設(shè)置為150,其他訓(xùn)練參數(shù)保持不變,訓(xùn)練過程的損失曲線如圖6所示。

圖6 訓(xùn)練過程的損失曲線

目標(biāo)檢測(cè)效果如圖7所示。

(a) 檢測(cè)結(jié)果1 (b) 檢測(cè)結(jié)果2

各算法在J-EDI數(shù)據(jù)集上目標(biāo)檢測(cè)結(jié)果見表3。其中,FasterRCNN、Mobile-Faster、PeleeNet和本文SLD-Net均為兩階段檢測(cè)網(wǎng)絡(luò),Mobile-Faster、PeleeNet、YOLOv5[8]同時(shí)也是輕量級(jí)的檢測(cè)網(wǎng)絡(luò)。

表3 各算法在J-EDI數(shù)據(jù)集上目標(biāo)檢測(cè)結(jié)果

從表3可以看出,本文算法在水下垃圾數(shù)據(jù)集上的各項(xiàng)指標(biāo)均有較好的表現(xiàn),mAP能達(dá)到94.5%,檢測(cè)速度能達(dá)到65 FPS,完全能夠滿足實(shí)時(shí)檢測(cè)的要求。雖然PeleeNet在參數(shù)量和檢測(cè)速度方面有更好的表現(xiàn),但是本文算法與之相差并不大,并不影響模型在嵌入式設(shè)備上的部署使用,且具有更高的檢測(cè)精度。綜上所述,本文方法在保持檢測(cè)模型足夠輕巧的同時(shí),在精度和速度之間取得了平衡,更適合在水下進(jìn)行實(shí)時(shí)垃圾檢測(cè)。

4 結(jié)語(yǔ)

設(shè)計(jì)了一種輕量化海底垃圾檢測(cè)算法SLD-Net。首先,在目標(biāo)檢測(cè)網(wǎng)絡(luò)之前設(shè)計(jì)了一種圖像增強(qiáng)網(wǎng)絡(luò),對(duì)水下低質(zhì)量圖像進(jìn)行顏色轉(zhuǎn)換和去噪,以提高目標(biāo)檢測(cè)的精度;其次,在MobilenetV2中引入雙路FPN機(jī)制,以少量參數(shù)增加的代價(jià)提高了特征圖的語(yǔ)義和邊緣信息;最后使用一種輕量級(jí)的RPN網(wǎng)絡(luò)進(jìn)行后續(xù)的分類和回歸。實(shí)驗(yàn)結(jié)果表明,該模型能夠很好地平衡水下目標(biāo)檢測(cè)的精度與速度。