胡 聰， 何曉暉， 邵發(fā)明， 盧冠林， 王金康

（陸軍工程大學(xué) 野戰(zhàn)工程學(xué)院， 江蘇 南京 210007）

0 引言

未爆彈是軍事活動(dòng)或演習(xí)活動(dòng)的遺留物， 多數(shù)為未引爆的炮彈、地雷等危險(xiǎn)品或武器裝備。未爆彈結(jié)構(gòu)大小不一、分布復(fù)雜，同時(shí)又伴隨著易引發(fā)、高危害等性質(zhì)，極大程度上阻礙了正常的土地資源的開(kāi)發(fā)和利用， 所形成的雷場(chǎng)、雷區(qū)，嚴(yán)重的限制了人們正常的勞動(dòng)活動(dòng)區(qū)域，嚴(yán)重危害到民眾的生命財(cái)產(chǎn)安全。

目前，未爆彈主要依靠人工排除。 人工排除未爆彈的方式不僅效率低，而且危險(xiǎn)性極大，因此，人們將目光投向排爆機(jī)器人[1-2]，希望其能代替人工完成這一危險(xiǎn)性巨大的任務(wù)。目前，國(guó)內(nèi)外都在積極開(kāi)發(fā)排爆機(jī)器人，但目前排爆機(jī)器人多為半自主型，極其依賴(lài)人的操控。

本文的研究?jī)?nèi)容為通過(guò)計(jì)算機(jī)視覺(jué)相關(guān)算法實(shí)現(xiàn)對(duì)未爆彈的圖像檢測(cè)，旨在為排爆機(jī)器人奠定視覺(jué)基礎(chǔ)，使排爆機(jī)器人向自主排爆邁出關(guān)鍵一步。

1 深度學(xué)習(xí)與目標(biāo)檢測(cè)

目標(biāo)檢測(cè)是數(shù)字圖像中對(duì)特定類(lèi)別（如人、動(dòng)物或汽車(chē)）的一項(xiàng)重要計(jì)算機(jī)視覺(jué)任務(wù)。 近年來(lái)，深度學(xué)習(xí)技術(shù)的快速發(fā)展為目標(biāo)檢測(cè)注入了新的血液， 取得了顯著的突破，將其推向了一個(gè)前所未有的研究熱點(diǎn)。 目標(biāo)檢測(cè)現(xiàn)已廣泛應(yīng)用于許多現(xiàn)實(shí)世界的應(yīng)用中， 比如自動(dòng)駕駛技術(shù)，它需要對(duì)交通環(huán)境中多類(lèi)目標(biāo)進(jìn)行檢測(cè)，包括交通標(biāo)志檢測(cè)[3]、車(chē)道檢測(cè)[4]、車(chē)輛檢測(cè)[5]、行人檢測(cè)[6]等。

近二十年來(lái)， 人們普遍認(rèn)為目標(biāo)檢測(cè)的發(fā)展大致經(jīng)歷了兩個(gè)歷史時(shí)期：傳統(tǒng)的目標(biāo)檢測(cè)時(shí)期（2014 年以前）和基于深度學(xué)習(xí)的檢測(cè)時(shí)期（2014 年以后）。 早期的目標(biāo)檢測(cè)算法都是基于手工制作的特征。 由于當(dāng)時(shí)缺乏有效的圖像表示，人們不得不設(shè)計(jì)復(fù)雜的特征表示，以及各種加速技能來(lái)耗盡有限的計(jì)算資源。 而今天的目標(biāo)檢測(cè)則是深度學(xué)習(xí)力量下的技術(shù)美學(xué)。

文獻(xiàn)[7]提出了基于聚類(lèi)生成anchor 方案的Faster RCNN 的零件表面缺陷檢測(cè)算法， 并且建立缺陷零件的圖像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，將缺陷檢測(cè)的均值平均精度mAP 從原算法的54.7%提高到97.9%， 檢測(cè)速度最快達(dá)到4.9 fps。文獻(xiàn)[8]提出了一種基于Faster R-CNN 網(wǎng)絡(luò)模型的鐵路異物侵限檢測(cè)算法， 并對(duì)該模型做適應(yīng)性改進(jìn)以滿(mǎn)足鐵路異物檢測(cè)的現(xiàn)實(shí)需要， 并在鐵路異物侵限視頻數(shù)據(jù)集上進(jìn)行測(cè)試，該算法對(duì)于人、車(chē)及部分動(dòng)物的綜合檢測(cè)精確度達(dá)到了97.81%。文獻(xiàn)[9]提出基于Faster R-CNN 算法的鐵譜磨粒識(shí)別， 該算法采用ResNet-34 網(wǎng)絡(luò)完成鐵譜磨粒特征自動(dòng)提取，并采用RPN 網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)圖像中多個(gè)磨粒的識(shí)別，實(shí)驗(yàn)結(jié)果表明：該方法克服了磨粒交叉引起的識(shí)別難點(diǎn)，能識(shí)別一副圖像中的多個(gè)磨粒，能統(tǒng)計(jì)各類(lèi)磨粒數(shù)量，且準(zhǔn)確率較高。 文獻(xiàn)[10]提出一種基于Faster R-CNN 的鐵路接觸網(wǎng)鳥(niǎo)巢檢測(cè)方法，通過(guò)改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)VGG16 對(duì)目標(biāo)進(jìn)行特征提取，分別在不同分辨率的卷積特征圖上獲取目標(biāo)初始建議區(qū)域， 該算法對(duì)實(shí)際高速鐵路行進(jìn)中拍攝的含有鳥(niǎo)巢的圖像進(jìn)行試驗(yàn)， 結(jié)果表明： 該方法在檢測(cè)精度與速度上， 均優(yōu)于目前主流的Faster R-CNN 算法。

當(dāng)前，目標(biāo)檢測(cè)技術(shù)愈加成熟，其應(yīng)用也越來(lái)越多。

2 Faster R-CNN 的網(wǎng)絡(luò)結(jié)構(gòu)

Faster R-CNN[11]是第一個(gè)端到端，第一個(gè)近實(shí)時(shí)深度學(xué)習(xí)檢測(cè)器。 它的主要貢獻(xiàn)是引入了區(qū)域推薦網(wǎng)絡(luò)（RPN）。 Faster R-CNN 應(yīng)用廣泛，其檢測(cè)精度高，通用性與魯棒性強(qiáng)，在多個(gè)數(shù)據(jù)集及物體任務(wù)上效果都較好，對(duì)于特定的數(shù)據(jù)集， 往往調(diào)參后就能達(dá)到較好的效果。 并且，F(xiàn)aster R-CNN 的整個(gè)算法框架中可以進(jìn)行優(yōu)化的點(diǎn)很多，提供了廣闊的算法優(yōu)化空間。如圖1 所示為Faster R-CNN 算法的基本流程，算法主要分為4 個(gè)部分：骨干網(wǎng)、區(qū)域推薦網(wǎng)、感興趣區(qū)域池化以及R-CNN 模塊。

圖1 Faster R-CNN 算法流程圖

2.1 骨干網(wǎng)

當(dāng)前物體檢測(cè)算法雖然各不相同， 但第一步通常都是利用卷積神經(jīng)網(wǎng)絡(luò)處理輸入圖像，生成深層的特征圖，這部分卷積神經(jīng)網(wǎng)絡(luò)是整個(gè)算法的骨架，也就是骨干網(wǎng)。 目前比較常用的骨干網(wǎng)包括VGGNet[12]、Inception[13]、ResNet[14]等，本 文采 用ResNet101 作 為 我 們 檢測(cè)算法的骨干網(wǎng)。

近年來(lái)， 人們不斷加深卷積神經(jīng)網(wǎng)絡(luò)尋求更好的檢測(cè)效果，但是隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)卻更難以訓(xùn)練，也會(huì)產(chǎn)生梯度消失現(xiàn)象。 ResNet 引入了殘差映射來(lái)解決梯度消失問(wèn)題。 如圖2所示，對(duì)于輸入x，經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)后我們希望輸出為H（x），普通網(wǎng)絡(luò)直接擬合， 而ResNet引入一個(gè)捷徑分支，將需要擬合的這種映射變?yōu)闅埐頕（x）。

圖2 普通網(wǎng)絡(luò)與ResNet 的殘差映射

2.2 區(qū)域推薦網(wǎng)（RPN）

區(qū)域推薦網(wǎng)顧名思義就是用來(lái)提取候選框的網(wǎng)絡(luò)。原圖經(jīng)過(guò)骨干網(wǎng)后，形成特征圖，區(qū)域推薦網(wǎng)在此特征圖上進(jìn)行滑窗（如圖3），每個(gè)錨點(diǎn)產(chǎn)生K 個(gè)錨框，對(duì)所有的錨框打分，篩選出分?jǐn)?shù)較高的部分錨框作為推薦區(qū)域。在此， 我們定義K 值為9， 錨框大小設(shè)置為128×128、256×256、512×512 三種，長(zhǎng)寬比設(shè)置為2：1、1：1、1：2 三種。

圖3 RPN 原理圖

2.3 感興趣區(qū)域池化

感興趣區(qū)域池化（Region of interest pooling）（也 稱(chēng) 為RoI pooling）是卷積神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測(cè)任務(wù)中廣泛使用的操作。例如，在單個(gè)圖像中檢測(cè)多個(gè)汽車(chē)和行人。 其目的是對(duì)非均勻尺寸的輸入執(zhí)行最大池化以獲得固定尺寸的特征圖。

對(duì)于來(lái)自輸入列表的每個(gè)感興趣區(qū)域， 它采用與其對(duì)應(yīng)的輸入特征圖的一部分并將其縮放到某個(gè)預(yù)定義的大小?？s放通過(guò)三種方式完成：①將區(qū)域提案劃分為相等大小的部分（其數(shù)量與輸出的維度相同）；②找到每個(gè)部分的最大值；③將這些最大值復(fù)制到輸出（max pooling）。

2.4 R-CNN 模塊

感興趣區(qū)域池化層輸出固定維度的特征， 接下來(lái)利用R-CNN 全連接網(wǎng)絡(luò)進(jìn)行分類(lèi)和回歸的計(jì)算。

3 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

3.1 實(shí)驗(yàn)環(huán)境配置

本文實(shí)驗(yàn)環(huán)境配置如表1 所示。PyTorch 是一個(gè)集簡(jiǎn)潔與高性能于一身的框架， 相比于TensorFlow 等框架，很多模型在Py-Torch 上的實(shí)現(xiàn)也會(huì)更快， 因此Py-Torch 在計(jì)算機(jī)視覺(jué)領(lǐng)域的應(yīng)用比較廣泛。

表1 實(shí)驗(yàn)環(huán)境配置

3.2 未爆彈數(shù)據(jù)集

我們通過(guò)網(wǎng)絡(luò)搜集的方式來(lái)搜集未爆彈 （主要為迫擊炮彈、航彈以及形狀與其相似的炮彈）圖像，并且通過(guò)翻轉(zhuǎn)、旋轉(zhuǎn)、加入噪聲等方式進(jìn)行數(shù)據(jù)擴(kuò)充，得到2948 張未爆彈圖像（部分圖像如圖4 所示），對(duì)每張圖像進(jìn)行標(biāo)注，最終形成我們的未爆彈數(shù)據(jù)集。

圖4 未爆彈數(shù)據(jù)集圖像樣例

4 實(shí)驗(yàn)結(jié)果與分析

在目標(biāo)檢測(cè)領(lǐng)域，各種各樣的檢測(cè)算法都不盡相同，因此檢測(cè)的精度也有所差異。 本文選擇目標(biāo)檢測(cè)領(lǐng)域兩個(gè)最常用的評(píng)價(jià)指標(biāo)AP 和F1 作為我們衡量未爆彈檢測(cè)效果的評(píng)價(jià)指標(biāo)。

為了計(jì)算AP 值，我們首先計(jì)算出檢測(cè)的召回率（Recall）和精準(zhǔn)率（Precision），以其為坐標(biāo)點(diǎn)形成P-R（精準(zhǔn)率-召回率）曲線（如圖5所示），曲線與坐標(biāo)軸圍成的面積即為AP值， 通常來(lái)說(shuō)一個(gè)越好的分類(lèi)器，AP 值越高。通過(guò)實(shí)驗(yàn)，我們得出未爆彈檢測(cè)的AP 值為0.98。

圖5 P-R 曲線

F1 值可由式（1）計(jì)算得出， 它是精準(zhǔn)率和召回率的調(diào)和平均數(shù)。通過(guò)實(shí)驗(yàn)， 我們得出未爆彈檢測(cè)的F1 曲線見(jiàn)圖6。

圖6 F1 曲線

實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)未爆彈檢測(cè)的精度較高，AP 值達(dá)到了0.98。 圖7 為我們的一個(gè)檢測(cè)結(jié)果圖，從圖中我們可以看出，目標(biāo)與周?chē)h(huán)境顏色接近，但算法還是成功檢測(cè)出了目標(biāo)， 并且算法識(shí)別此目標(biāo)是未爆彈的可能性為0.825，表明算法的魯棒性好，不受復(fù)雜背景環(huán)境的影響。

圖7 檢測(cè)結(jié)果示例

5 結(jié)論

未來(lái)， 排爆無(wú)人車(chē)必定會(huì)向智能化進(jìn)一步發(fā)展。 在這一過(guò)程中， 排爆無(wú)人車(chē)的視覺(jué)技術(shù)就是智能化的先導(dǎo)，它好比是無(wú)人車(chē)的眼睛，能夠?qū)ν饨绛h(huán)境進(jìn)行感知并且自主尋找目標(biāo)， 這是無(wú)人車(chē)智能化作業(yè)的基石。 未爆彈檢測(cè)就是排爆無(wú)人車(chē)視覺(jué)系統(tǒng)的關(guān)鍵任務(wù)之一， 它能夠使無(wú)人車(chē)從獲取的圖像中自主識(shí)別未爆彈等目標(biāo)物體， 并且實(shí)時(shí)獲取目標(biāo)的位置信息， 這種視覺(jué)反饋信息將為排爆無(wú)人車(chē)精準(zhǔn)抓取打下基礎(chǔ)，這對(duì)提升排爆效率具有重大意義。