周 洋,李翠梅,申 攀
(鄭州科技學(xué)院,河南 鄭州 450064)
人工檢測(cè)這種耗費(fèi)勞動(dòng)成本,且隨時(shí)間人為錯(cuò)誤不斷疊加的傳統(tǒng)方法,已不適合對(duì)目標(biāo)進(jìn)行精準(zhǔn)檢測(cè)[1–3],亟需一種更為高效的特征提取方法進(jìn)行自適應(yīng)地智能分析與處理。目前學(xué)術(shù)上較為常見(jiàn)的特征提取方法,多是利用深度卷積神經(jīng)網(wǎng)絡(luò)展開(kāi),并在實(shí)踐中取得了較為理想的成效。然而該方法在訓(xùn)練時(shí),需要大量已標(biāo)注的圖像數(shù)據(jù)。同時(shí),由于特征提取模型過(guò)度依賴龐大的數(shù)據(jù)集,其只能針對(duì)檢測(cè)訓(xùn)練數(shù)據(jù)中出現(xiàn)的目標(biāo)類別,對(duì)新類別目標(biāo)的檢測(cè)能力很低。
因此,為了實(shí)現(xiàn)艦船圖像輪廓特征提取的高效性及準(zhǔn)確性,需要對(duì)目標(biāo)的類別判定與定位回歸兩方面進(jìn)行優(yōu)化改進(jìn)。在艦船圖像特征提取上,尋求一個(gè)準(zhǔn)確的目標(biāo)匹配方法與區(qū)域定位機(jī)制,由此提升艦船小樣本特征提取模型的準(zhǔn)確率和泛化性能,并在有干擾樣本的檢測(cè)環(huán)境中,使其仍能獲得較為準(zhǔn)確的檢測(cè)結(jié)果。本文基于小樣本學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)對(duì)艦船樣本量較少的數(shù)據(jù)集進(jìn)行訓(xùn)練,獲得一個(gè)自適應(yīng)、高效的小樣本特征提取模型,并針對(duì)特征向量在度量過(guò)程產(chǎn)生的信息丟失與偏移問(wèn)題,設(shè)計(jì)一種艦船圖像輪廓特征投影提取的方法,由此實(shí)現(xiàn)對(duì)特定艦船目標(biāo)的輪廓特征進(jìn)行精準(zhǔn)檢測(cè),滿足小樣本特征提取的現(xiàn)實(shí)需求[4–5]。
基于深度學(xué)習(xí)的特征提取算法,如圖1 所示。按步驟輸出待測(cè)圖像的目標(biāo)分類得分(通常為置信度得分和回歸得分)與檢測(cè)框圖,一般可完成對(duì)待測(cè)圖像的特征提取任務(wù)。雙階段特征提取流程包含特征提取、特征分類和輸出等步驟,而單階段特征提取流程直接進(jìn)行特征提取與回歸,利用NMS 去除冗余框后輸出目標(biāo)的檢測(cè)得分與位置框圖。
圖1 基于深度學(xué)習(xí)的特征提取算法流程Fig. 1 Target detection algorithm flow based on deep learning
然后,再完成整個(gè)模型的訓(xùn)練與優(yōu)化,使得模型的預(yù)測(cè)結(jié)果更加接近真實(shí)結(jié)果。
使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)待測(cè)圖像進(jìn)行特征提取與分類回歸任務(wù),卷積神經(jīng)網(wǎng)絡(luò)主要由卷積(convolution)、激活(activation)和池化(pooling)3 個(gè)部分構(gòu)成,當(dāng)前較為經(jīng)典的特征提取算法都是由多個(gè)基礎(chǔ)的卷積神經(jīng)網(wǎng)絡(luò)組合而成。
在計(jì)算機(jī)視覺(jué)中,對(duì)特征提取所使用的卷積一般為2D 卷積,在x和y兩個(gè)方向上進(jìn)行滑動(dòng),且卷積核的深度等于輸入特征的通道數(shù)。卷積即使用卷積核的權(quán)重與目標(biāo)區(qū)域上對(duì)應(yīng)數(shù)值進(jìn)行乘積的和,卷積的數(shù)學(xué)表達(dá)式為:
式中:a 和b分別為卷積核的大小,wi為卷積核對(duì)應(yīng)第i個(gè)元素的權(quán)重,xi為輸入圖像對(duì)應(yīng)第i個(gè)元素的值,y為卷積的偏置大小。卷積核的數(shù)量決定了待測(cè)圖像進(jìn)行卷積操作后輸出的特征層數(shù)。同時(shí),根據(jù)任務(wù)需求自行設(shè)定卷積核的尺寸與滑動(dòng)步長(zhǎng),調(diào)控輸出特征圖的大小,輸出特征圖尺寸的數(shù)學(xué)表達(dá)式為:
當(dāng)卷積核的尺寸大于1 時(shí),輸出艦船圖像輪廓特征的尺寸保持不變,可以使用尺寸為1×1 的卷積核來(lái)改變特征圖的通道數(shù),也可使用填充(padding)方法對(duì)特征圖外圍補(bǔ)0 值來(lái)擴(kuò)充。其數(shù)學(xué)表達(dá)式更新為:
式中:padding 為特征圖外圍補(bǔ)0 的層數(shù)。卷積后通常使用非線性激活函數(shù)(activation function)激活卷積網(wǎng)絡(luò),激活結(jié)果為:
式中,h為使用的激活函數(shù)。sigmoid 函數(shù)輸出范圍為0~1,函數(shù)表達(dá)式為:
其輸出中心不在0 附近,會(huì)出現(xiàn)梯度彌散現(xiàn)象。Tanh 函數(shù)輸出范圍為-1~1,函數(shù)表達(dá)式為:
其中心值在0 附近仍存在梯度彌散的現(xiàn)象。ReLu函數(shù)輸出范圍為0 到正無(wú)窮,函數(shù)表達(dá)式為:
較少的計(jì)算量與較寬的梯度響應(yīng)區(qū)間使得ReLu 函數(shù)得到廣泛應(yīng)用。
激活卷積網(wǎng)絡(luò)后,通常使用池化(pooling)來(lái)降低特征圖的空間尺寸,進(jìn)而提取特征圖中的主要信息,減小輸出特征圖的數(shù)據(jù)量,防止卷積網(wǎng)絡(luò)出現(xiàn)過(guò)擬合現(xiàn)象。常用的池化方法有最大池化與均值池化。最大池化是保留一個(gè)空間內(nèi)所有數(shù)值的最大值,均值池化是保留一個(gè)空間內(nèi)所有數(shù)值的均值。
卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練誤差通常需要一個(gè)損失函數(shù),衡量經(jīng)卷積神經(jīng)網(wǎng)絡(luò)輸出的結(jié)果和真實(shí)結(jié)果之間的差距。一般情況下,損失函數(shù)的數(shù)值越小表明其網(wǎng)絡(luò)性能越符合預(yù)期。面向不同任務(wù)所使用的損失函數(shù)類型差異較大,分類任務(wù)常用的損失函數(shù)為交叉熵?fù)p失函數(shù),其表達(dá)式如下:
交叉熵?fù)p失函數(shù)對(duì)置信度較高但分類錯(cuò)誤的值進(jìn)行更大的懲罰?;貧w算法中常用的損失函數(shù)為均方誤差損失函數(shù),其表達(dá)式如下:
如圖2 所示,SSD 使用VGG 卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征,其網(wǎng)絡(luò)可獲取更多細(xì)節(jié)的語(yǔ)義信息,并提升模型對(duì)多尺度目標(biāo)的檢測(cè)性能。
為測(cè)試樣本量對(duì)特征提取模型的性能影響,通過(guò)實(shí)驗(yàn)驗(yàn)證SSD 在不同樣本量情況下的檢測(cè)性能。實(shí)驗(yàn)使用控制變量法,只改變每次訓(xùn)練的圖像數(shù)量,其他變量均保持不變。實(shí)驗(yàn)參數(shù)設(shè)置如下:學(xué)習(xí)率為0.000 5,batch size 為16,最大迭代輪數(shù)為50。實(shí)驗(yàn)共進(jìn)行7 輪,使用VOC2007 數(shù)據(jù)集,選取不同數(shù)量的待測(cè)圖像,且每幅圖像標(biāo)注的目標(biāo)個(gè)數(shù)也不同。訓(xùn)練時(shí),樣本圖像隨機(jī)從數(shù)據(jù)集中選取。測(cè)試時(shí),每一輪均選用相同的100 幅圖像進(jìn)行測(cè)試,且測(cè)試圖像均參與訓(xùn)練過(guò)程。實(shí)驗(yàn)使用的評(píng)價(jià)指標(biāo)為mAP,準(zhǔn)確地反映模型的檢測(cè)性能。實(shí)驗(yàn)結(jié)果如表1 所示。
表1 SSD 在不同圖像數(shù)量訓(xùn)練下的檢測(cè)性能Tab. 1 Detection performance of SSD in different image number training
觀察發(fā)現(xiàn),當(dāng)圖像數(shù)量為10 時(shí),其實(shí)驗(yàn)結(jié)果mAP 為0,說(shuō)明模型在樣本量極少的情況下,無(wú)法提取和學(xué)習(xí)到目標(biāo)特征,故無(wú)法檢測(cè)到目標(biāo)。當(dāng)圖像數(shù)量從20 逐漸增加時(shí),mAP 隨樣本量的增加逐漸增大,表明SSD 的檢測(cè)性能隨樣本量的增加而逐漸增強(qiáng)。
假設(shè)一任務(wù)中,最優(yōu)解為S1,設(shè)計(jì)模型的理論最優(yōu)解為S2,設(shè)計(jì)模型的實(shí)驗(yàn)最優(yōu)解為S3,且在實(shí)際生活里的特征提取任務(wù),其S1與S2均無(wú)法準(zhǔn)確得到,只能通過(guò)實(shí)驗(yàn)獲得最佳的S3。在樣本量充足的情況下,訓(xùn)練得到的S3可近似看作S2;當(dāng)樣本量較少時(shí),S3與S2的距離會(huì)逐漸拉大,表明較少的樣本量會(huì)限制模型的檢測(cè)性能,無(wú)法充分表現(xiàn)其檢測(cè)效果。如何利用少量樣本進(jìn)行特征提取,是本文的研究重點(diǎn)。
語(yǔ)義分割任務(wù),是將樣本數(shù)據(jù)集分為支持集和查詢集,再與查詢樣本的特征數(shù)據(jù)關(guān)聯(lián)匹配,進(jìn)而獲得查詢圖像的類別信息。該算法通過(guò)不斷增強(qiáng)分類的細(xì)粒度,提升網(wǎng)絡(luò)的語(yǔ)義分割性能,獲得良好的小樣本特征提取性能。遷移學(xué)習(xí)算法利用源數(shù)據(jù)集充足的樣本量,通過(guò)深度神經(jīng)網(wǎng)絡(luò)多次訓(xùn)練獲得較好的特征提取性能,將訓(xùn)練完成的模型或知識(shí)遷移至小樣本的新類數(shù)據(jù)集中,通過(guò)網(wǎng)絡(luò)訓(xùn)練獲得適應(yīng)小樣本新類的目標(biāo)分類器。
基于以上檢測(cè)方式,對(duì)艦船圖像輪廓特征進(jìn)行分類。
1)圍繞30 張艦船圖像小樣本進(jìn)行輪廓特征的向量分析。在此過(guò)程中,為了規(guī)避出現(xiàn)諸如各艦船圖像輪廓特征的相互干擾,特對(duì)搜集的樣本量進(jìn)行特征拆解,并基于相似性度量檢測(cè)方法對(duì)其各投影子空間進(jìn)行正交化處理。
2)通過(guò)對(duì)艦船圖像輪廓特征的小樣本模型進(jìn)行反復(fù)訓(xùn)練,不斷優(yōu)化損失函數(shù),在實(shí)際操作中可以迭代出艦船圖像輪廓的特征相似性,并基于損失函數(shù)提升子空間的類間差異性,從而增強(qiáng)其檢測(cè)類別概率,提升檢測(cè)方法的抗干擾能力。
分類模型實(shí)現(xiàn)的具體步驟如下:
首先,將本次搜集的艦船圖像輪廓特征導(dǎo)入到訓(xùn)練好的網(wǎng)絡(luò)ResNet-18 中,得到相對(duì)應(yīng)的輪廓特征向量f(xi),并計(jì)算第m類艦船圖像對(duì)應(yīng)的輪廓特征均值:
基于上式,獲得第m類圖像的去均值集合:
采用主成分分析法對(duì)全艦船圖像輪廓特征樣本進(jìn)行分解,得到對(duì)應(yīng)的映射矩陣與投影子空間的轉(zhuǎn)換公式:
對(duì)艦船圖像輪廓特征樣本類別的投影子空間進(jìn)行正交化處理,計(jì)算得出投影子空間的平方歐式距離:
式中,f(q)為查詢圖像的特征向量。在對(duì)圖像的類別進(jìn)行分析時(shí),計(jì)算查詢圖像q與每個(gè)投影子空間的距離,并借助softmax 函數(shù)計(jì)算出了艦船圖像輪廓特征屬于第m類圖像的概率:
最終,基于ResNet-18 網(wǎng)絡(luò),實(shí)現(xiàn)對(duì)艦船的圖像輪廓特征的動(dòng)態(tài)子空間分類。
采用ResNet 對(duì)搜集到的相關(guān)圖像進(jìn)行特征輪廓提取,經(jīng)整理后,其網(wǎng)絡(luò)結(jié)果如表2 所示。
表2 ResNet-18 網(wǎng)絡(luò)結(jié)構(gòu)Tab. 2 ResNet-18 Network architecture
按照?qǐng)D3 所示的正交化處理方式,基于前文相關(guān)數(shù)據(jù)對(duì)艦船圖像輪廓特征樣本構(gòu)建動(dòng)態(tài)子空間,得出協(xié)方差矩陣公式。
圖3 動(dòng)態(tài)子空間正交化示意圖Fig. 3 Diagram of orthogonalization of dynamic subspaces
通過(guò)損失函數(shù)的參數(shù)回傳與優(yōu)化,借助格拉斯曼數(shù)對(duì)艦船圖像輪廓特征各類子空間的差異性進(jìn)行計(jì)算,得出距離度量公式:
通過(guò)損失函數(shù)的迭代最大化,對(duì)艦船圖像輪廓的各子空間差異化特性進(jìn)行提取,由此提升特征提取方法的泛化能力。
關(guān)于交叉熵分類的損失函數(shù)為:
關(guān)于子空間的損失函數(shù)為:
將二元損失函數(shù)視為總損失函數(shù),通過(guò)平衡損失函數(shù)前后項(xiàng)的量級(jí)與收斂速度,得出最終的二元損失函數(shù)為:
基于以上函數(shù)結(jié)果,將艦船圖像的樣本數(shù)據(jù)集進(jìn)行訓(xùn)練與優(yōu)化,得出其輪廓特征的高效分類模型。
本文基于子空間投影對(duì)艦船圖像輪廓特征進(jìn)行提取,通過(guò)動(dòng)態(tài)正交化處理,經(jīng)驗(yàn)證可以提升子空間的特征差異性,完成對(duì)艦船圖像的輪廓特征的提取。