周志飛，吳金龍，李軼昳，賈力榜，沈玉杰，張 剛，崔 斌

（1.公安部物證鑒定中心，北京 100038；2.北京多維視通技術(shù)有限公司，北京 100070；3.中國(guó)科學(xué)院自動(dòng)化研究所，北京 100190）

0 概述

槍支種屬識(shí)別是涉槍案件物證檢驗(yàn)的基礎(chǔ)，對(duì)涉槍案件的偵查和檢驗(yàn)具有重要意義［1-2］。槍支種屬識(shí)別以外形特征作為主要判定因素，長(zhǎng)期以來(lái)，檢驗(yàn)人員在進(jìn)行識(shí)別時(shí)主要以工作經(jīng)驗(yàn)為主，以查閱書(shū)籍、文獻(xiàn)資料等為輔，導(dǎo)致查詢(xún)效率較低。隨著涉槍案件現(xiàn)場(chǎng)物證勘查勘驗(yàn)對(duì)時(shí)效性的要求越來(lái)越高，槍彈痕跡檢驗(yàn)領(lǐng)域迫切需要一種快速且準(zhǔn)確的槍支識(shí)別技術(shù)。

境外一些國(guó)家和地區(qū)的法庭科學(xué)機(jī)構(gòu)曾對(duì)以圖像識(shí)別為基礎(chǔ)的槍種識(shí)別展開(kāi)研究，多數(shù)通過(guò)傳統(tǒng)圖像識(shí)別技術(shù)進(jìn)行槍支識(shí)別，且大多利用外形特征提取某個(gè)特征點(diǎn)，然后利用特征進(jìn)行匹配以獲取檢索結(jié)果［3-5］。印度法庭科學(xué)實(shí)驗(yàn)室的MURTHY 等［4］創(chuàng)建一個(gè)包含254 張圖像的9 mm 手槍檢索庫(kù)，以槍支整體形狀、握把、扳機(jī)等部位作為人工標(biāo)定的特征點(diǎn)來(lái)進(jìn)行檢索和識(shí)別。中國(guó)臺(tái)灣地區(qū)中央警校法庭科學(xué)部門(mén)的WEN 等［5］對(duì)槍支圖像進(jìn)行外形輪廓特征提取和優(yōu)化，計(jì)算槍支圖像輪廓邊緣到重心的距離分布，以前3 個(gè)峰值點(diǎn)的位置作為對(duì)比特征，構(gòu)建一個(gè)包含300 支手槍庫(kù)容量的檢索庫(kù)。目前，中國(guó)大陸較少有對(duì)以圖像識(shí)別為基礎(chǔ)的槍種識(shí)別展開(kāi)研究，但有研究人員對(duì)槍支圖像的特征提取與識(shí)別進(jìn)行分析，大多利用傳統(tǒng)圖像匹配技術(shù)獲取圖像的特征值以進(jìn)行槍支與非槍支識(shí)別，對(duì)于槍支集合下不同種類(lèi)的槍支識(shí)別沒(méi)有進(jìn)一步研究。例如：馮艷平等［6］在太赫茲（THz）圖像上進(jìn)行閾值分割和邊緣檢測(cè)，計(jì)算槍的面積、長(zhǎng)度、寬度以及槍管與槍托之間的夾角，以區(qū)分槍支與非槍支；和睿等［7］探索結(jié)合Canny 特征和矩陣相似度理論的圖像檢索算法，并在手槍圖像的檢測(cè)和檢索方面進(jìn)行實(shí)驗(yàn)；張樹(shù)江等［8］設(shè)計(jì)一套槍彈痕跡圖像識(shí)別系統(tǒng)，通過(guò)利用基于小波直方圖的圖像檢索方法在數(shù)據(jù)庫(kù)中檢索與目標(biāo)圖像最相似的樣本圖像，從而為槍彈檢驗(yàn)人員提供參考。

上述研究主要采用傳統(tǒng)的模式識(shí)別方法，通常包含特征提取和分類(lèi)器設(shè)計(jì)2 個(gè)步驟。其中，特征提取由人工設(shè)計(jì)特征，需要依靠設(shè)計(jì)者大量的先驗(yàn)知識(shí)，而對(duì)于槍支圖像這類(lèi)特殊的圖像，先驗(yàn)知識(shí)難以挖掘；傳統(tǒng)分類(lèi)器大多結(jié)果較為簡(jiǎn)單，難以通過(guò)多個(gè)簡(jiǎn)單閾值完成復(fù)雜的圖像識(shí)別任務(wù)。上述問(wèn)題導(dǎo)致目前已有的槍支識(shí)別算法大多只能研究單一槍種，特征提取單一，數(shù)據(jù)庫(kù)容量小，無(wú)法滿(mǎn)足實(shí)際應(yīng)用的需求?；谏疃葘W(xué)習(xí)的方法［9］可以更好地處理圖像分類(lèi)任務(wù)，相比于傳統(tǒng)機(jī)器學(xué)習(xí)，深度學(xué)習(xí)方法（如深度卷積神經(jīng)網(wǎng)絡(luò)［10］）采用更深、更多層的卷積結(jié)構(gòu)，利用大規(guī)模的訓(xùn)練數(shù)據(jù)集以端對(duì)端的方式來(lái)訓(xùn)練網(wǎng)絡(luò)中的權(quán)重參數(shù)，從而實(shí)現(xiàn)目標(biāo)特征的自動(dòng)提取和分類(lèi)，克服人工提取設(shè)計(jì)特征的缺陷，且更容易學(xué)習(xí)到深層次的語(yǔ)義特征［10-11］。

一般認(rèn)為，網(wǎng)絡(luò)層數(shù)越深，模型表達(dá)能力越強(qiáng)，但是深層網(wǎng)絡(luò)也帶來(lái)了許多問(wèn)題，如模型過(guò)擬合、梯度消失等。殘差網(wǎng)絡(luò)（ResNet）［12］通過(guò)引入捷徑連接，學(xué)習(xí)信息的差值并增加梯度傳播，從而有效避免網(wǎng)絡(luò)層數(shù)增加導(dǎo)致的訓(xùn)練誤差增大、模型退化問(wèn)題。殘差網(wǎng)絡(luò)被廣泛應(yīng)用于目標(biāo)檢測(cè)、姿態(tài)估計(jì)、圖像識(shí)別等任務(wù)［13］。例如：文獻(xiàn)［14］提出一種改進(jìn)的殘差網(wǎng)絡(luò)，結(jié)合交叉熵?fù)p失函數(shù)與中心損失函數(shù)完成人臉識(shí)別，其在測(cè)試數(shù)據(jù)集上取得了97.46%的準(zhǔn)確率；文獻(xiàn)［15］提出一種基于RestNet101 的頭部姿態(tài)估計(jì)方法，其利用殘差網(wǎng)絡(luò)結(jié)合回歸損失預(yù)測(cè)歐拉角以表示頭部姿態(tài)；文獻(xiàn)［16］采用152 層殘差網(wǎng)絡(luò)架構(gòu)，對(duì)花卉圖像的特征進(jìn)行自動(dòng)提取，實(shí)現(xiàn)了一種基于遷移學(xué)習(xí)的花卉識(shí)別系統(tǒng)。

本文采用基于深度學(xué)習(xí)的方法，通過(guò)改進(jìn)和優(yōu)化深度殘差網(wǎng)絡(luò)模型的訓(xùn)練方式，使之適用于種類(lèi)多、樣本少的大規(guī)模槍支圖像識(shí)別任務(wù)。

1 制式槍支數(shù)據(jù)集構(gòu)建

槍支數(shù)據(jù)集是槍支圖像檢索的基礎(chǔ)，槍支圖像的質(zhì)量影響槍支圖像檢索算法的精度。因此，為了保證槍支圖像數(shù)據(jù)集的圖像質(zhì)量，本文制定槍支圖像數(shù)據(jù)集的圖像采集和圖像增強(qiáng)規(guī)范。

1.1 槍支圖像采集

為了保證槍支圖像數(shù)據(jù)集的圖像質(zhì)量，本文參考《比例照相方法規(guī)則（GA/T 158-1996）》拍攝槍支物證照片的操作原則，制定圖像采集規(guī)范如下：在拍攝前，解除槍支的附件或配件，如瞄準(zhǔn)鏡、消音器等，僅保留槍支本體，并且使槍支處于原始狀態(tài)；在拍攝時(shí)，槍支主體與相機(jī)鏡頭角度垂直，槍支主體應(yīng)位于圖像的中心位置，槍管與水平面平行，槍支的外形特征清晰，光線(xiàn)均勻，背景為純色；一般應(yīng)拍攝左右兩面的槍支照片，并且拍攝槍支標(biāo)識(shí)等細(xì)目照片。

按照?qǐng)D像采集規(guī)范，本文通過(guò)實(shí)物拍攝、圖冊(cè)掃描、互聯(lián)網(wǎng)查詢(xún)下載等方式，采集到國(guó)內(nèi)外54 個(gè)國(guó)家和地區(qū)共7 364 種槍支，38 156 張槍支圖像，其中，槍支整體圖像數(shù)為21 128，槍支細(xì)目圖像數(shù)為17 028，槍支種類(lèi)包括手槍、步槍、獵槍、沖鋒槍、機(jī)槍等，具體情況如表1所示。部分槍支圖像樣本示例如圖1 所示。

表1 槍支圖像數(shù)據(jù)集信息Table 1 Dataset information of firearms images

圖1 槍支圖像數(shù)據(jù)集樣本示例Fig.1 Sample example of the firearms images dataset

1.2 槍支圖像增強(qiáng)擴(kuò)充

由于槍支圖像樣本較少，為了獲取足夠多的數(shù)據(jù)量以學(xué)習(xí)槍支型號(hào)的魯棒信息，本文使用深度學(xué)習(xí)中常用的數(shù)據(jù)增廣方法來(lái)對(duì)槍支圖像進(jìn)行增強(qiáng)［11］：首先，將原始圖像統(tǒng)一調(diào)整到256 像素×256 像素；然后，對(duì)圖像進(jìn)行裁剪，截取主要以中心裁剪為主，取大小為224 像素×224 像素，每張截取的圖像都進(jìn)行左右翻轉(zhuǎn)、上下翻轉(zhuǎn)，調(diào)整圖像亮度，亮度調(diào)整因子設(shè)置為0.2。

2 深度網(wǎng)絡(luò)模型設(shè)計(jì)及檢索系統(tǒng)

本文檢索系統(tǒng)的開(kāi)發(fā)目標(biāo)是在自建的制式槍支圖像數(shù)據(jù)集基礎(chǔ)上，實(shí)現(xiàn)對(duì)涉案制式槍支圖像中槍支種類(lèi)信息的自動(dòng)識(shí)別。一方面，由于制式槍支種類(lèi)多，往往需要層數(shù)較深的卷積神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)分類(lèi)；另一方面，由于每種槍支的圖像樣本數(shù)量非常有限，采用較深層的神經(jīng)網(wǎng)絡(luò)模型極易產(chǎn)生過(guò)擬合問(wèn)題。相比于普通卷積神經(jīng)網(wǎng)絡(luò)，ResNet［13，17］增加了捷徑連接，捷徑連接可以學(xué)習(xí)信號(hào)的差值，從而有效避免網(wǎng)絡(luò)層數(shù)增加導(dǎo)致的訓(xùn)練誤差增大、模型退化問(wèn)題。因此，本文采用殘差網(wǎng)絡(luò)作為槍支圖像識(shí)別的基準(zhǔn)模型。

2.1 深度殘差網(wǎng)絡(luò)基本結(jié)構(gòu)

深度殘差網(wǎng)絡(luò)基本結(jié)構(gòu)如圖2 所示，右側(cè)分支稱(chēng)作殘差分支，左側(cè)部分稱(chēng)作本體分支，x為輸入信號(hào)，H(x)是期望輸出。通過(guò)捷徑連接即殘差分支，將輸入x跳變連接到輸出層，此時(shí)殘差網(wǎng)絡(luò)相當(dāng)于要學(xué)習(xí)目標(biāo)值H(x)和x的差值，即殘差F(x)：=H(x)-x。因此，通過(guò)不斷地訓(xùn)練使殘差結(jié)果逼近0，這樣即使網(wǎng)絡(luò)層數(shù)不斷加深，準(zhǔn)確率也不會(huì)下降，網(wǎng)絡(luò)輸出始終可以很好地表征網(wǎng)絡(luò)輸入的特征信息。殘差的引入使得網(wǎng)絡(luò)的參數(shù)量和計(jì)算復(fù)雜度并未提升，任何已有的網(wǎng)絡(luò)模型都可以在原有框架的基礎(chǔ)上引入殘差模塊。

圖2 深度殘差網(wǎng)絡(luò)基本結(jié)構(gòu)Fig.2 Basic structure of depth residual network

在深度殘差網(wǎng)絡(luò)中，為了保證網(wǎng)絡(luò)的穩(wěn)定性和準(zhǔn)確性，每個(gè)殘差單元都包含3 個(gè)基本算子，分別為批歸一化（Batch Normalization，BN）算子、激活算子、池化（Pooling）算子［18］。BN 算子對(duì)激活函數(shù)的輸入進(jìn)行歸一化，相當(dāng)于增加一個(gè)約束，限定網(wǎng)絡(luò)的配置空間，從而有效解決輸入數(shù)據(jù)發(fā)生偏移和增大的問(wèn)題，避免梯度消失和梯度爆炸現(xiàn)象。對(duì)于輸入的一批（Batch）樣本x=[x1，x2，…，xn]，BN 算子的操作如式（1）所示：

其中：μB=為均值；為方差；ε為一個(gè)極小值；為歸一化后的激活值。結(jié)合槍支圖像種類(lèi)多、樣本少的特點(diǎn)，本文采用最常用的線(xiàn)性修正（Rectified Linear Unit，ReLU）激活算子。

對(duì)于池化算子，針對(duì)槍支識(shí)別問(wèn)題，本文在初始輸入特征時(shí)采用最大池化（Max Pooling），可以更好地保留圖像紋理特征；在最后一個(gè)卷積層的特征圖上，采用全局平均池化（Average Pooling），這樣更有利于保留整體數(shù)據(jù)信息，得到用于槍支檢索的高級(jí)特征。

2.2 槍支圖像識(shí)別網(wǎng)絡(luò)模型設(shè)計(jì)

槍支圖像數(shù)據(jù)集中槍支類(lèi)別多（上千種類(lèi)別），每種槍支圖像的樣本又很少（每種類(lèi)別的槍支圖片平均只有2～3 張），導(dǎo)致難以實(shí)現(xiàn)穩(wěn)定的網(wǎng)絡(luò)訓(xùn)練，網(wǎng)絡(luò)訓(xùn)練非常容易過(guò)擬合。因此，本文構(gòu)建一種新的多任務(wù)級(jí)聯(lián)殘差網(wǎng)絡(luò)模型，該網(wǎng)絡(luò)模型共包含4 個(gè)任務(wù)，或稱(chēng)為4 個(gè)階段，從而實(shí)現(xiàn)由粗到細(xì)的槍支圖像分級(jí)識(shí)別和檢索：第一階段實(shí)現(xiàn)槍支圖像的左右朝向分類(lèi)；第二階段從槍族的概念出發(fā)，將從同一個(gè)槍族發(fā)展變種而來(lái)的槍支類(lèi)型合并為一類(lèi)，稱(chēng)為槍族類(lèi)（IDFamily）；第三階段依據(jù)每個(gè)大類(lèi)中槍支圖像的外觀，將較為相似的槍支和明顯不相似的槍支再次進(jìn)行合并和分類(lèi)，稱(chēng)為相似類(lèi)（IDSimilar）；第四階段則細(xì)分到具體型號(hào)的槍支類(lèi)型，稱(chēng)為原始類(lèi)（IDorigin）。網(wǎng)絡(luò)模型中包含的這4 個(gè)階段均采用Softmax 損失函數(shù)［19］輸出其分值，如式（2）所示：

最后，整個(gè)網(wǎng)絡(luò)模型通過(guò)融合這4 個(gè)階段Softmax 損失函數(shù)的輸出，共同約束需要查找的槍支圖像和庫(kù)中的槍支圖像的相似度，訓(xùn)練深度網(wǎng)絡(luò)模型參數(shù)，從而獲取高級(jí)檢索特征。

此外，針對(duì)基于深度殘差網(wǎng)絡(luò)的槍支圖像識(shí)別任務(wù)，本文嘗試18 層殘差網(wǎng)絡(luò)（ResNet18）、50 層殘差網(wǎng)絡(luò)（ResNet50）和101 層殘差網(wǎng)絡(luò)（ResNet101），對(duì)比實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，ResNet18 網(wǎng)絡(luò)可以滿(mǎn)足應(yīng)用要求，并且由于其網(wǎng)絡(luò)層數(shù)較少，模型不容易出現(xiàn)過(guò)擬合問(wèn)題。

改進(jìn)后的多任務(wù)級(jí)聯(lián)殘差網(wǎng)絡(luò)整體結(jié)構(gòu)如圖3所示，其中共包含4 個(gè)階段，每個(gè)階段（StageN，N=1，2，3，4）中都包含一個(gè)2.1 節(jié)所述的基礎(chǔ)網(wǎng)絡(luò)，該基礎(chǔ)網(wǎng)絡(luò)是一個(gè)包含BN、ReLU 和Pooling 的ResNet18。在每個(gè)Stage，信息傳遞有2 條支路，右側(cè)為殘差分支，左側(cè)為本體分支。1×1 的卷積層加在殘差分支，可以在改變輸出通道數(shù)的同時(shí)提高非線(xiàn)性特性，進(jìn)一步提升模型表現(xiàn)能力。

圖3 槍支識(shí)別系統(tǒng)網(wǎng)絡(luò)架構(gòu)Fig.3 Firearms identification system network architecture

整個(gè)槍支識(shí)別系統(tǒng)模型的步驟如下：

步驟1創(chuàng)建一定數(shù)量的槍支圖像樣本，采用代碼自動(dòng)化處理及人工處理相結(jié)合的方式將槍支圖像粗分為整槍、槍支部件和標(biāo)記錯(cuò)誤圖像，并剔除無(wú)法識(shí)別的圖像。

步驟2對(duì)圖像樣本進(jìn)行剪裁及翻轉(zhuǎn)，再將樣本按人工經(jīng)驗(yàn)提取出部分?jǐn)?shù)據(jù)，按所屬類(lèi)別進(jìn)行分類(lèi)，拆分成訓(xùn)練集和測(cè)試集。

步驟3將處理好的圖像輸入進(jìn)行7×7 卷積、BN、ReLU 激活及最大池化操作。

步驟4瓶頸塊結(jié)構(gòu)如圖3 中StageN模塊所示，右側(cè)為殘差分支，左側(cè)為本體分支。對(duì)于本體分支，首先對(duì)輸入數(shù)據(jù)進(jìn)行3×3 卷積、BN 及第一次ReLU 非線(xiàn)性激活，接著將得到的特征送入下一層網(wǎng)絡(luò)，再進(jìn)行一次卷積和BN 操作；對(duì)于殘差分支，對(duì)輸入數(shù)據(jù)進(jìn)行1×1卷積、BN 然后作為輸出，與左側(cè)分支特征圖進(jìn)行合并，進(jìn)行第二次ReLU 激活；隨后將第二次ReLU 非線(xiàn)性激活的輸出結(jié)果作為輸入，送入本體分支進(jìn)行3×3 卷積、BN 及第三次ReLU 非線(xiàn)性激活，進(jìn)一步進(jìn)行3×3 卷積、BN 處理得到相應(yīng)的特征圖。本體分支特征圖與殘差分支特征圖相合并，進(jìn)行第四次ReLU 激活，整個(gè)過(guò)程構(gòu)成網(wǎng)絡(luò)的一個(gè)階段（Stage）。

步驟5槍支識(shí)別網(wǎng)絡(luò)模型由依次相連的4 個(gè)Stage 組成，每一段網(wǎng)絡(luò)結(jié)構(gòu)類(lèi)似。對(duì)第四階段（Stage4）輸出的槍支二維特征圖，在池化層進(jìn)行全局平均池化，然后接入全連接層，并通過(guò)Softmax 層進(jìn)行歸一化處理，采用4 個(gè)Softmax 損失函數(shù)聯(lián)合作用，約束槍支的左右朝向、槍族屬性（IDFamily）、相似槍支類(lèi)（IDSimilar）和精確的槍支型號(hào)（IDorigin）。

步驟6將ImageNet［20］上預(yù)訓(xùn)練模型的權(quán)重加載到改進(jìn)ResNet上對(duì)應(yīng)的層，設(shè)置學(xué)習(xí)率、Batch 大小、權(quán)重衰減正則項(xiàng)等參數(shù)。對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行迭代訓(xùn)練，保存多次訓(xùn)練中最高識(shí)別精度的模型權(quán)重，并在測(cè)試集上加載訓(xùn)練好的模型進(jìn)行測(cè)試，從而驗(yàn)證模型精度。

2.3 槍支圖像自動(dòng)識(shí)別與檢索系統(tǒng)

根據(jù)槍支圖像識(shí)別算法的應(yīng)用需求，本文設(shè)計(jì)一種槍支圖像檢索系統(tǒng)，該系統(tǒng)基于B/S 架構(gòu)，部署于公安網(wǎng)，采用Java 開(kāi)發(fā)語(yǔ)言。系統(tǒng)以槍支圖像數(shù)據(jù)集和槍支基礎(chǔ)信息數(shù)據(jù)庫(kù)數(shù)據(jù)作為支撐，以槍支圖像檢索算法為核心功能，通過(guò)上傳槍支物證圖像，為用戶(hù)提供槍支圖像自動(dòng)識(shí)別和信息查詢(xún)等服務(wù)。槍支圖像檢索系統(tǒng)架構(gòu)如圖4 所示。

圖4 槍支圖像檢索系統(tǒng)架構(gòu)Fig.4 Firearm images retrieval system architecture

槍支圖像檢索系統(tǒng)包括圖像上傳、圖像比對(duì)、信息查詢(xún)3 個(gè)功能模塊。用戶(hù)按照要求將圖像上傳到系統(tǒng)后，槍支圖像檢索算法自動(dòng)提取所上傳槍支圖像的特征，并與系統(tǒng)中槍支圖像數(shù)據(jù)集的圖像特征進(jìn)行比對(duì)，按照相似度由高到低依次排列識(shí)別到的槍支圖像。用戶(hù)可以選擇槍支圖像查閱槍支詳情并進(jìn)一步確認(rèn)查詢(xún)結(jié)果，如圖5 所示。

圖5 對(duì)比結(jié)果頁(yè)面Fig.5 Comparison results pages

3 實(shí)驗(yàn)結(jié)果與分析

3.1 模型訓(xùn)練和實(shí)驗(yàn)設(shè)計(jì)

本文所提制式槍支圖像識(shí)別系統(tǒng)基于PyTorch 深度學(xué)習(xí)框架構(gòu)建，采用Java 語(yǔ)言搭建實(shí)現(xiàn)前端業(yè)務(wù)系統(tǒng)。系統(tǒng)測(cè)試環(huán)境為Ubuntu16.04操作系統(tǒng)，Intel Core i7處理器，GTX1080Ti 顯卡，顯存11 GB。模型訓(xùn)練采用Adam 優(yōu)化算法，批次大小（Batch size）設(shè)為32，初始學(xué)習(xí)率設(shè)為10-4，在經(jīng)過(guò)30 個(gè)輪次的訓(xùn)練后，學(xué)習(xí)率逐步衰減到10-6。評(píng)估指標(biāo)主要包括：

1）前n位命中概率（Rank-n），即將待檢索的圖像輸入識(shí)別網(wǎng)絡(luò)提取特征后，計(jì)算其與數(shù)據(jù)庫(kù)中各類(lèi)槍種圖像特征的歐式距離，以該距離作為相似度從而對(duì)檢索結(jié)果進(jìn)行排序，排序結(jié)果中最靠前的n張圖像中有正確結(jié)果的概率。Rank-n具體計(jì)算如式（3）所示：

其中：N為待檢索的圖像總數(shù)量。

2）模型推理速度，即每秒可以處理的圖像幀數(shù)（Frame Per Second，F(xiàn)PS）。

測(cè)試樣本從槍支測(cè)試數(shù)據(jù)集中選取，檢索數(shù)據(jù)集為本文2.1 節(jié)所述的自建槍支數(shù)據(jù)集，共包含7 364 種類(lèi)型的槍支。在槍種的挑選上，從實(shí)戰(zhàn)應(yīng)用的角度出發(fā)，用于測(cè)試的槍支圖像涵蓋了國(guó)內(nèi)常見(jiàn)制式槍支，如51 式7.62 mm 手 槍、54 式7.62 mm 手槍、56 式7.62 mm 沖鋒槍、64 式7.62 mm 手槍、92 式9 mm 手槍、56 式半自動(dòng)手槍等，同時(shí)包括國(guó)外知名槍支，如格洛克17 手槍、伯萊塔92F 手槍、西格紹爾P229 手槍、魯格P85 手槍等，共計(jì)874 種槍支類(lèi)型，1 018 張槍支圖像。

3.2 結(jié)果分析

將3.1 節(jié)所選取的1 018 張測(cè)試槍支圖像逐一輸入本文所搭建的制式槍支圖像檢索系統(tǒng)，提取測(cè)試圖像的深度特征，并與數(shù)據(jù)庫(kù)中每類(lèi)槍支圖像的深度特征進(jìn)行比較，計(jì)算其歐式距離，按照歐式距離的相似度對(duì)庫(kù)中檢索的每類(lèi)槍支圖像排序輸出，記錄排序結(jié)果，獲取前n位命中的檢索結(jié)果。同時(shí)，除了與經(jīng)典殘差網(wǎng)絡(luò)（ResNet）模型［12］進(jìn)行比較，還和近期主流分類(lèi)網(wǎng)絡(luò)模型EfficientNet［21］、專(zhuān)門(mén)用于細(xì)粒度圖像分類(lèi)的網(wǎng)絡(luò)模型NTS-net［22］進(jìn)行比較。表2 所示為采用本文模型、殘差網(wǎng)絡(luò)ResNet18、ResNet50、EfficientNet 和NTS-net對(duì)相同樣本進(jìn)行訓(xùn)練后的測(cè)試結(jié)果，其中，檢索庫(kù)槍支種類(lèi)數(shù)為7 364，檢索庫(kù)槍支圖像數(shù)量為21 128，測(cè)試庫(kù)圖像數(shù)量為1 018。

表2 5 種模型的測(cè)試結(jié)果Table 2 Test results of five models %

從表2 可以看出：采用ResNet50 雖然在訓(xùn)練集中能夠獲得比ResNet18 更好的準(zhǔn)確率，但是在測(cè)試集中前20 位命中概率比ResNet18 略微下降，說(shuō)明對(duì)于細(xì)粒度小樣本分類(lèi)問(wèn)題，采用ResNet50 會(huì)造成過(guò)學(xué)習(xí)；標(biāo)準(zhǔn)的EfficientNet 模型結(jié)果優(yōu)于ResNet；專(zhuān)門(mén)用于細(xì)粒度圖像分類(lèi)的NTS-net 模型準(zhǔn)確率優(yōu)于EfficientNet，并且非常接近本文模型。圖6、圖7所示為2把槍支（64式7.62 mm 手槍、格洛克17 手槍?zhuān)﹫D像檢索識(shí)別結(jié)果，從中可以看出，本文基于多任務(wù)級(jí)聯(lián)殘差網(wǎng)絡(luò)模型可以準(zhǔn)確識(shí)別出槍支的型號(hào)，并且將與之相似的槍支型號(hào)的圖像均按照相似度進(jìn)行排序展示。

圖6 64 式手槍檢索結(jié)果Fig.6 Retrieval results of 64 pistol

圖7 格洛克17 手槍檢索結(jié)果Fig.7 Retrieval results of Glock 17 pistol

表3 所示為不同模型的參數(shù)量大小以及推理平均幀率，從表3 可以看出：當(dāng)批次大小為32 時(shí)，本文模型的幀率雖然略微低于ResNet50，但基本也可滿(mǎn)足實(shí)際需求，并且在本文所構(gòu)建的槍支庫(kù)中也能夠?qū)崿F(xiàn)秒級(jí)檢索返回；EfficientNet 雖然有較小的模型參數(shù)量，但是其推理速度并無(wú)太大優(yōu)勢(shì)，這主要是由于采用EfficientNet 生成的特征向量維數(shù)較大。

表3 模型參數(shù)量及推理速度比較Table 3 Comparison of model parameters and reasoning speed

4 結(jié)束語(yǔ)

傳統(tǒng)的槍支識(shí)別技術(shù)依賴(lài)檢驗(yàn)人員的經(jīng)驗(yàn)，查詢(xún)速度慢且精度低。本文建立一種基于多任務(wù)級(jí)聯(lián)深度殘差網(wǎng)絡(luò)的槍支圖像識(shí)別模型，該模型以ResNet18 為基本構(gòu)建單元，通過(guò)對(duì)槍支圖像從像素級(jí)特征到語(yǔ)義級(jí)特征的分級(jí)劃分，并融合每個(gè)任務(wù)的損失函數(shù)，以共同訓(xùn)練網(wǎng)絡(luò)參數(shù)，實(shí)現(xiàn)針對(duì)制式槍支圖像的自動(dòng)識(shí)別。在此基礎(chǔ)上，采用Java 語(yǔ)言構(gòu)建一套槍支圖像自動(dòng)識(shí)別系統(tǒng)。實(shí)驗(yàn)結(jié)果表明，該模型對(duì)真實(shí)場(chǎng)景槍支圖像的Rank-20 識(shí)別準(zhǔn)確率超過(guò)95%，并且具有較好的魯棒性。下一步將對(duì)深度網(wǎng)絡(luò)模型的輕量化進(jìn)行研究，降低識(shí)別模型的參數(shù)量并提高模型的推理速度。此外，探索并實(shí)現(xiàn)針對(duì)非制式槍支圖像的識(shí)別和檢索系統(tǒng)也是今后的研究方向。