甄然　于佳興　趙國花　吳學(xué)禮

摘 要：為了提高卷積神經(jīng)網(wǎng)絡(luò)（CNN）的泛化性和魯棒性，改善無人機(jī)航行時識別目標(biāo)圖像的精度，提出了一種CNN與概率神經(jīng)網(wǎng)絡(luò)（PNN）相結(jié)合的混合模型。利用CNN提取多層圖像表示，使用PNN提取特征對圖像進(jìn)行分類以替代CNN內(nèi)部的BP神經(jīng)網(wǎng)絡(luò)，采用均方差和降梯度法訓(xùn)練模型，通過將預(yù)處理的圖像傳輸?shù)紺NN-PNN模型，對圖像紋理和輪廓進(jìn)行分類識別，并將此模型的仿真結(jié)果與卷積神經(jīng)網(wǎng)絡(luò)模型、卷積神經(jīng)網(wǎng)絡(luò)-支持向量機(jī)模型的結(jié)果進(jìn)行對比。仿真結(jié)果表明，與其他兩種模型相比，CNN-PNN模型具有更好的精準(zhǔn)度，識別率高達(dá)96.30%。因此，CNN-PNN模型能夠快速有效地識別圖像，準(zhǔn)確度和實時性較高，在圖像識別等方面具有很好的應(yīng)用前景。

關(guān)鍵詞：圖像識別;無人機(jī)識別;降梯度法;概率神經(jīng)網(wǎng)絡(luò);卷積神經(jīng)網(wǎng)絡(luò)

中圖分類號：TP391.41 文獻(xiàn)標(biāo)志碼：A

doi：10.7535/hbkd.2019yx05004

Simulation research on UAV recognition method

based on convolutional neural network

ZHEN Ran1，2， YU Jiaxing1， ZHAO Guohua1， WU Xueli1，2

（1.School of Electrical Engineering， Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China;2.Hebei Provincial Research Center for Technologies in Process Engineering Automation， Shijiazhuang， Hebei? 050018， China）

Abstract：In order to improve the accuracy of identifying the target image while the drone is sailing， a hybrid model combining convolutional neural network （CNN） and probabilistic neural network （PNN） is proposed. The model uses CNN to extract multi-layer image representations and uses PNN extraction features to classify images. In order to improve the generalization and robustness of CNN， CNN-PNN model replaces BP neural network inside CNN with PNN， and trains the model by mean square error and gradient reduction method. The pre-processed image is transmitted to the CNN-PNN model to classify and identify the texture and contour of the image， and the simulation results of this model are compared with the results of convolutional neural network model and convolutional neural network-support vector machine model. The simulation results show that the CNN-PNN model has better accuracy compared with the two models， and the recognition rate is as high as 96.30%. The improved model improves the generalization and robustness of CNN， and can enhance the accuracy of image recognition in all aspects， and has high real-time performance.

Keywords：image identification; UAV recognition; falling gradient method; probabilistic neural network; convolutional neural network

目標(biāo)識別是當(dāng)前人工智能領(lǐng)域不可或缺的一部分，而無人機(jī)識別作為目標(biāo)識別的重要部分，在現(xiàn)代戰(zhàn)爭乃至生活等方面都有著重要的應(yīng)用[1-4]。隨著人工智能的迅速發(fā)展，無人機(jī)識別系統(tǒng)將會扮演重要的角色。

但是，無人機(jī)識別的準(zhǔn)確率一直是影響該技術(shù)應(yīng)用的重要因素[5-6]，如何充分利用已有信息，使設(shè)計出的無人機(jī)識別準(zhǔn)確率更高，是當(dāng)前該領(lǐng)域的重要研究方向。

CIRESAN等[7]提出了一種利用Hu不變矩進(jìn)行特征值提取和交通標(biāo)志檢測的方法，該方法快速可靠，識別率高，但它所提取的是低維特征，沒有層次信息。SHEN等[8]提出了一種利用灰度一致性（GLCM）進(jìn)行拼接圖像偽造檢測的方法，該算法采用灰度共生方法提取圖像的紋理信息，并利用學(xué)習(xí)到的表示進(jìn)行識別。該方法雖優(yōu)于僅從圖像中提取低維特征向量的方法，但只能手工提取低維特征作為Hu不變矩，需要與其他方法相結(jié)合對其進(jìn)行改進(jìn)。YIN等[9]提出了一種利用神經(jīng)網(wǎng)絡(luò)模型進(jìn)行視覺模式識別的方法，該網(wǎng)絡(luò)被命名為“新認(rèn)知”。實驗結(jié)果表明，該網(wǎng)絡(luò)在沒有任何類別指令的情況下運(yùn)行良好。QIU等[10]提出了一種利用誤差梯度訓(xùn)練CNN的方法，取得了較好的效果。該方法利用CNN模型提取圖像表示，利用CNN內(nèi)部的BP神經(jīng)網(wǎng)絡(luò)分類器對圖像進(jìn)行分類。這種方法幾乎是第一次使用網(wǎng)絡(luò)本身只學(xué)習(xí)圖像的特征與圖像標(biāo)簽。事實證明，CNN的學(xué)習(xí)能力是強(qiáng)大的。由于CNN內(nèi)部的BP神經(jīng)網(wǎng)絡(luò)存在一定的局限性，NIU等[11]提出了適用于手寫體數(shù)字識別的CNN-SVM模型，在CNN模型中用支持向量機(jī)（support vecto machine，SVM）代替BP神經(jīng)網(wǎng)絡(luò)分類器。ZHENG等[12]提出了一種利用多注意卷積神經(jīng)網(wǎng)絡(luò)（MA-CNN）進(jìn)行精細(xì)圖像識別的局部學(xué)習(xí)方法，重點研究了零件定位和細(xì)粒度特征學(xué)習(xí)。PORIA等[13]提出了一種CNN-SVM與主成分分析（PCA）相結(jié)合的方法，取得了良好的效果，該方法旨在提高支持向量機(jī)的性能，不再局限于手寫數(shù)字，在紋理、圖像分類、圖像識別等方面有很好的應(yīng)用前景。以上模型和方法在圖像識別領(lǐng)域都取得了不錯的效果。在上述方法的啟發(fā)下，筆者提出了一種CNN-PNN混合模型。

1 問題建模

1.1 CNN-PNN模型的構(gòu)建

本文對原始CNN圖像分類模型進(jìn)行改進(jìn)，使用一個簡單的CNN模型進(jìn)行圖像特征提取，利用PNN模型進(jìn)行分類，在仍以CNN為特征提取器的情況下，用性能較好的PNN代替BP神經(jīng)網(wǎng)絡(luò)。PNN具有結(jié)構(gòu)簡單、收斂速度快、應(yīng)用范圍廣等優(yōu)點，與其他圖像識別方法相比，可以提高識別精度，擴(kuò)大卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用范圍。

整個模型由CNN特征提取器和PNN分類器組成。首先，將樣本圖像輸入到CNN-PNN的輸入層，經(jīng)過多次卷積和下采樣，得到大量的特征圖像。然后，由模型將圖像擴(kuò)展為列向量，即從樣本圖像中提取特征向量，同時保留與特征向量完全連接的輸出層，用于CNN特征提取器的訓(xùn)練。最后，分類器根據(jù)特征向量輸出最終結(jié)果。CNN-PNN結(jié)構(gòu)圖見圖1。

1.2 特征提取器工作原理

在所提出的方法中CNN充當(dāng)特征提取器，包括輸入層、隱含層、隱含單元和輸出層4個部分[14]。

1）輸入層 利用原始CNN模型進(jìn)行特征提取，將樣本圖像輸入至模型的輸入層即可。

2）隱含層 由卷積層和降采樣層組成，用于對輸入層圖像進(jìn)行卷積濾波和降采樣操作。卷積層進(jìn)行特征提取，其計算形式為

Xlj=f（∑[DD（X]i∈Mj[DD）]Xl-1i·klij+Bl）。（1）

式中：所在層數(shù)用l表示;卷積核用k表示;Mj為輸入層的感受野; B為偏置項;f為激活函數(shù)，采用Sigmoid 函數(shù)。圖像尺寸會根據(jù)降采樣窗口的步長發(fā)生相應(yīng)改變，采樣層的計算形式為

Xlj=f（βljp（Xl-1j）+Blj）。（2）

式中：p為采樣函數(shù);β為權(quán)重系數(shù)。

3）隱含單元 將一系列操作后得到的特征圖像變換為一列向量，即是提取到的最終特征向量。

4）輸出層 輸出層的作用為訓(xùn)練CNN的特征提取。

1.3 分類器工作原理

該模型采用PNN作為圖像分類器。PNN是由SPEEHT博士首先提出的一種人工神經(jīng)網(wǎng)絡(luò)，具有訓(xùn)練容易、收斂速度快、適用于實時處理等優(yōu)點，且其隱含層采用徑向基的非線性映射函數(shù)，考慮了不同類別模式樣本的交錯影響，具有很強(qiáng)的容錯性[15-16]。在樣本數(shù)據(jù)的支撐下，概率神經(jīng)網(wǎng)絡(luò)能收斂到貝葉斯（Bayes）分類器，沒有BP網(wǎng)絡(luò)的局部極小值問題[17]。

概率神經(jīng)網(wǎng)絡(luò)是由徑向基函數(shù)網(wǎng)絡(luò)發(fā)展起來的前饋神經(jīng)網(wǎng)絡(luò)，其理論基礎(chǔ)是貝葉斯決策理論。網(wǎng)絡(luò)結(jié)構(gòu)由輸入層、模式層、求和層和輸出層組成[18]，結(jié)構(gòu)如圖2所示。

輸入層將訓(xùn)練樣本傳遞到輸入層網(wǎng)絡(luò)中，輸入特征向量與訓(xùn)練集中各模型之間的匹配關(guān)系在模式層中計算，其個數(shù)等于樣本向量的維數(shù)，根據(jù)式（3）得到各模式單元層的輸出。

ij=[SX（]1[]2πd/2[SX）]exp[-[SX（]（x-xij）τ（x-xij）[]2σ2[SX）]]。（3）

式中：d為模式向量的維數(shù);σ為平滑參數(shù);xij為神經(jīng)元向量。

求和層是得到的每個模式的概率密度估計，其輸出與基于核的各單元概率密度估計成正比。求和層神經(jīng)元通過總結(jié)和平均屬于同一類的所有神經(jīng)元的輸出，來計算模式x被劃分為Ci的最大可能性。

Pi=[SX（]1[]（2π）d/2σd[SX）][SX（]1[]Ni[SX）]∑[DD（]Ni[]j=1[DD）]exp[-[SX（]（x-xij）τ（x-xij）[]2σ2[SX）]]。（4）

Ci類的樣本總數(shù)為Ni，如果每個類的先驗概率相同，且每個類的錯誤決策損失相同，則決策層單元根據(jù)所有求和層神經(jīng)元輸出的Bayes決策規(guī)則對模式x進(jìn)行分類。

輸出層是在概率密度估計中選擇一個神經(jīng)元最大后驗概率密度作為整個系統(tǒng)的輸出。輸出層神經(jīng)元是一種競爭神經(jīng)元，每個神經(jīng)元對應(yīng)一種數(shù)據(jù)類型，這是一種分類[19]。

1.4 CNN-PNN模型訓(xùn)練方法

CNN提取器的訓(xùn)練方式與傳統(tǒng)CNN訓(xùn)練方式相同，流程如圖3所示。

首先將所有卷積核中的權(quán)值和偏差進(jìn)行初始化。通過訓(xùn)練集的前向傳播得到輸出o。然后，CNN可以通過比較輸出o和標(biāo)簽y來了解誤差E。假設(shè)樣本集的目錄是N，樣本類型的數(shù)目是c，則可以根據(jù)式（5）計算誤差E。

Ep=[SX（]1[]2[SX）]‖yp-op‖2=[SX（]1[]2[SX）]∑[DD（]m[]j=1[DD）]（ypj-opj）2。（5）

CNN根據(jù)E值判斷模型收斂與否。如果收斂，則訓(xùn)練完成;如果沒有，則計算輸出層的殘差δ。給定激活函數(shù)f，可以從式（6）得到殘差。

δ（nl）=[SX（][]z（nl）i[SX）][SX（]1[]2[SX）]‖op-yp‖2=-（y-a（nl））·f′（z（nl））。（6）

每一層的權(quán)值和偏重是通過學(xué)習(xí)率α的更新來完成的。

W（l）=W（l）-α[SX（][]W（l）[SX）]J（ω，b）=W（l）-α·δ（l+1）（α（l））T，（7）

bi=b（l）i-α[SX（][]b（l）i[SX）]J（ω，b）=bli-α·δ（l+1）。（8）

PNN分類器的訓(xùn)練過程如圖4所示。將訓(xùn)練的圖像送入訓(xùn)練完畢的CNN特征提取器，然后將得到的特征向量與其對應(yīng)的標(biāo)簽一同送入未訓(xùn)練的PNN分類器中，得到最終訓(xùn)練完畢的PNN分類器。

2 仿真結(jié)果及分析

2.1 仿真設(shè)置

通過識別各個類型的飛機(jī)樣本來測試CNN-PNN的性能。實驗是在Matlab2016a平臺上運(yùn)行的，計算機(jī)配置為Intel（R）Cores（TM）2.8 GHz，內(nèi)存8 GB，Windows7 64 位操作系統(tǒng)。數(shù)據(jù)集所用圖像和標(biāo)簽采集于FGVC-Aircraft數(shù)據(jù)集，共采集6 000張飛機(jī)圖像，其中包含3類不同的飛機(jī)，每種包含2 000個樣本，其中1 500個樣本用來培訓(xùn)，4 500個樣本用于測試。飛機(jī)輪廓樣本共含有3種，每類抽取1 000張圖像組成含有3 000幅的數(shù)據(jù)集，其中1 000幅用來培訓(xùn)，2 000幅用來測試。在此之前做一些預(yù)處理的工作來保證實驗的準(zhǔn)確性。

2.2 圖像預(yù)處理

飛機(jī)數(shù)據(jù)集包含3類不同類別的飛機(jī)，利用1 500張樣本訓(xùn)練集對CNN-PNN模型進(jìn)行訓(xùn)練，圖像分辨率為1 200*800。

將選取的4 500個樣本圖像作為測試集，對訓(xùn)練好的CNN-PNN模型進(jìn)行測試。考慮到模型的處理能力有限，將原始的RGB圖像轉(zhuǎn)換為灰度圖像，如圖5所示。

有時候Matlab圖像數(shù)據(jù)必須是浮點型才能處理，而數(shù)據(jù)圖像自身是由0～255的UNIT型數(shù)據(jù)構(gòu)成的，所以需要將灰度圖片進(jìn)行歸一化處理。通過歸一化，可以提高訓(xùn)練網(wǎng)絡(luò)的收斂性，歸納統(tǒng)一樣本的統(tǒng)計分布性。將處理后的圖像作為訓(xùn)練集和測試集對CNN-PNN模型進(jìn)行測試，詳見圖6。

2.3 結(jié)果分析

首先將迭代次數(shù)固定到100，將學(xué)習(xí)率固定到0.5，然后在數(shù)據(jù)集上進(jìn)行實驗，精度如圖7所示。當(dāng)平滑參數(shù)設(shè)置為0.01時，該模型可以得到最優(yōu)性能。

將CNN-PNN模型與CNN模型、CNN-SVM模型進(jìn)行對比，分別在飛機(jī)集和飛機(jī)輪廓集中進(jìn)行仿真，最終識別率取多次仿真結(jié)果的平均值，結(jié)果如圖8所示。其中CNN-SVM模型的平滑參數(shù)選用與CNN-PNN模型相同的0.01，其

分類器參數(shù)通過經(jīng)驗法設(shè)置。該模型采用神經(jīng)網(wǎng)絡(luò)作為表示提取器，迭代次數(shù)將影響平滑參數(shù)σ的識別精度?？紤]到上述實驗結(jié)果，將擴(kuò)展參數(shù)設(shè)為0.01，然后在數(shù)據(jù)集上進(jìn)行不同迭代次數(shù)的實驗。除此之外，還分別用CNN，CNN-SVM重復(fù)上述實驗。如圖8所示，當(dāng)?shù)螖?shù)達(dá)到100時，識別率變得穩(wěn)定。由表1和表2可以看出，CNN-PNN在分類方面明顯優(yōu)于BP神經(jīng)網(wǎng)絡(luò)和CNN-SVM。

3 結(jié) 語

1）針對無人機(jī)航行時識別目標(biāo)圖像精度問題提出新的識別模型，提高了原本模型的泛化性和魯棒性，CNN-PNN模型用PNN代替CNN內(nèi)部的BP神經(jīng)網(wǎng)絡(luò)，通過均方差和降梯度法訓(xùn)練模型。

2）將通過預(yù)處理的圖像傳輸?shù)紺NN-PNN模型，分別對圖像的紋理和輪廓進(jìn)行分類識別，將此模型的仿真結(jié)果與卷積神經(jīng)網(wǎng)絡(luò)模型、卷積神經(jīng)網(wǎng)絡(luò)-支持向量機(jī)模型的結(jié)果進(jìn)行了對比，結(jié)果表明CNN-PNN模型能夠有效識別圖像，準(zhǔn)確率和實時性較高。

3）由于CNN模型中含有大量權(quán)值，訓(xùn)練時需經(jīng)過大量迭代計算，因而會消耗較多的時間，優(yōu)化模型的訓(xùn)練過程將是下一步的研究方向。

參考文獻(xiàn)/References：

[1]侯宇超， 白艷萍， 郝巖，等. 面向SAR目標(biāo)分類的卷積神經(jīng)網(wǎng)絡(luò)算法研究[J]. 重慶理工大學(xué)學(xué)報（自然科學(xué)）， 2018， 32（7）：195-200.

HOU Yuchao， BAI Yanping， HAO Yan， et al. Research on SAR target classification oriented convolutional neural network algorithm[J]. Journal of Chongqing University of Technology （Natural Science）， 2018， 32（7）：195-200.

[2]ZHANG Luming， HAN Yahong， YANG Yi， et al. Discovering discriminative graphlets for aerial image categories recognition[J]. IEEE Transactions on Image Processing， 2013， 22（12）：5071-5084.

[3]LI Haoxiang， LIN Zhe， SHEN Xiaohui， et al. A convolutional neural network cascade for face detection[C]// 2015 IEEE Conference on Computer Vision and? Pattern Recognition（CVPR）.[S.l.]：[s.n.]， 2015：7299170.

[4]DONG C， LOY C C， TANG X. Accelerating the super-resolution convolutional neural network[C]//ECCV：European Conference on Computer Vision.[S.l.]：[s.n.]， 2016：391-407.

[5]朱旭鋒， 馬彩文. 基于多不變量和多分類器融合的飛機(jī)識別[J]. 儀器儀表學(xué)報， 2011， 32（7）：1621-1626.

ZHU Xufeng， MA Caiwen. Aircraft recognition based on multiple classifier fusion with multiple invariants [J]. Chinese Journal of Scientific Instrument， 2011， 32（7）：1621-1626.

[6]唐小佩， 楊小岡， 劉云峰， 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的飛機(jī)識別研究[J]. 電光與控制， 2018， 25（5）：72-76.

TANG Xiaopei， YANG Xiaogang， LIU Yunfeng， et al. Aircraft recognition based on deep convolutional neural network[J]. Electro Optical & Control， 2018， 25（5）：72-76.

[7]CIRESAN D C， MEIER U， GAMBARDELLA L M， et al. Convolutional neural network committees for handwritten character classification[C]// Proceedings of the 2011 International Conference on Document Analysis and Recognition. Washington DC：IEEE， 2011：1135-1139.

[8]SHI Zenan， CHEN Haipang， SHEN Xuanjing. Splicing image forgery detection using textural features based on the gray level cooccurrence matrices[J]. IET Image Processing， 2017，11（1）：44-53.

[9]YIN Wenpeng， SCHTZE H， XIANG B， et al. ABCNN： Attention-based convolutional neural network for modeling sentence pairs[J]. Transactions of? the Association for Computational Linguistics， 2016，4：259-272.

[10]QIU Jiantao， WANG Jie， YAO Song， et al. Going deeper with embedded fpga platform for convolutional neural network[C]//Proceedings of the 2016 ACM/SIGDA International Symposium on Field Programmable Gate Arrays.New York：ACM， 2016：26-35.

[11]NIU Xiaoxiao， SUEN C Y.A novel hybrid CNN-SVM classifier for recognizing handwritten digits[J].Patern Recognition，2012，45（4）：1318-1325.

[12]ZHENG Heliang， FU Jianlong， MEI Tao， et al. Learning multi-attention convolutional neural network for fine-grained image recognition[C]// 2017 IEEE International Conference on Computer Vision （ICCV）. [S.l.]：IEEE， 2017：5209-5217.

[13]PORIA S， CAMBRIA E， GELBUKH A. Aspect extraction for opinion mining with a deep convolutional neural network[J]. Knowledge-Based Systems， 2016， 108：42-49.

[14]PROF A . High accuracy arabic handwritten characters recognition using error back propagation artificial neural networks[J]. International Journal of Advanced Computer Science and Applications， 2015， 6（2）：145-152.

[15]MANGAYARKARASI T， JAMAL D N. PNN-based analysis system to classify renal pathologies in kidney ultrasound images[C]// International Conference on Computing & Communications Technologies.[S.l.]：[s.n.]， 2017：29-32.

[16]OH S K， PEDRYCZ W. The design of self-organizing polynomial neural networks[J]. Information Sciences， 2002， 141（3/4）：237-258.

[17]公茂法， 接怡冰， 李美蓉， 等. 基于小波包與改進(jìn)的PSO-PNN變壓器勵磁涌流識別算法研究[J]. 電測與儀表， 2018， 55（8）：17-23.

GONG Maofa， JIE Yibing， LI Meirong， et al， Research on algorithm of transformer inrush current identification based on wavelet packet and improved PSO-PNN[J]. Electrical Measurement and Instrumentation， 2018， 55（8）：17-23.

[18]黃元植， 黃銳敏， 莫冰， 等. 利用GRNN和PNN對運(yùn)動姿態(tài)的識別研究[J]. 電腦知識與技術(shù)， 2018，14（1）：264-267.

HUANG Yuanzhi， HUANG Ruimin， MO Bing， et al. Research on human motion recognition based on GRNN and PNN [J]. Computer Knowledge and Technology， 2018，14（1）：264-267.

[19]WANG S L， LI X， ZHANG S， et al. Tumor classification by combining PNN classifier ensemble with neighborhood rough set based gene reduction[J]. Computers in Biology & Medicine， 2010， 40（2）：179-189.