許明廣 李玉溪 劉潤宇 劉星宇 鄭學(xué)謙

摘要：正確的實現(xiàn)花卉分類是對該植物進行深入研究的前提條件。針對開源花卉數(shù)據(jù)集單一和分類效果不佳的問題，本文整理了一個基于國內(nèi)五種花卉的圖像數(shù)據(jù)集并使用VGG16網(wǎng)絡(luò)模型完成圖像分類任務(wù)。為了更好的表征花卉圖像特征信息，本文對VGG16網(wǎng)絡(luò)模型參數(shù)進行了優(yōu)化，同時，引入一種基于多特征融合的VGG16網(wǎng)絡(luò)模型，與原始VGG16網(wǎng)絡(luò)模型進行對比試驗。實驗結(jié)果表明，原始VGG16網(wǎng)絡(luò)和基于多特征融合的VGG16網(wǎng)絡(luò)在國內(nèi)五種花卉圖像數(shù)據(jù)庫上均取得了良好的分類效果，并且基于多特征融合的VGG16網(wǎng)絡(luò)模型要由于原始VGG16網(wǎng)絡(luò)模型。

關(guān)鍵詞：深度學(xué)習(xí);花卉分類;VGG16;多特征融合

Abstract： Correct flower classification is a prerequisite for further study of the plant. Aiming at the problems of unitary open source flower data set and poor classification effect， this paper sorted out an image data set based on five kinds of domestic flowers and used VGG16 network model to complete the image classification task. In order to better represent the flower image feature information， the parameters of VGG16 network model were optimized in this paper. At the same time， a VGG16 network model based on multi-feature was introduced to conduct a comparative test with the original VGG16 network model. The experimental results show that both the original VGG16 network and the VGG16 network based on multi-feature have achieved good classification effects on the five domestic flower image databases， and the VGG16 network model based on multi-feature fusion is due to the original VGG16 network model.

Keywords： deep learning;Flower classification;VGG16;Multi-feature fusion

0 引言

植物學(xué)研究領(lǐng)域中最基礎(chǔ)的一項研究任務(wù)就是花卉圖像分類[1]，不同類別的花卉具有不同的特征，辨別一束花卉的種類往往需要綜合顏色、花瓣形狀等等多個方面的特征。花卉分類的難點主要在于不同花卉間的特征相似性和同種花卉間的特征差異性。

花卉分類研究在早期基本都是運用基于人工設(shè)計的特征和傳統(tǒng)機器學(xué)習(xí)算法相結(jié)合的方法，例如基于人工設(shè)計的特征，尺度不變性（SIFT）[2]結(jié)合支持向量機（SVM）[3]的算法結(jié)合構(gòu)成一個分類網(wǎng)絡(luò)模型。注意到花卉具有多個特征這一特點，Nilsback M.E和 Zisserman[4]提出了一個新的視覺詞包作為分類特征，這個視覺詞包包括花卉的形狀、紋理以及顏色等特征。同時，Nilsback M.E 和 Zisserman還創(chuàng)建了花卉圖像分類領(lǐng)域經(jīng)典的開源數(shù)據(jù)集Oxford Flowers系列數(shù)據(jù)集。

基于人工設(shè)計的圖片特征，其表達能力非常有限，分類效果并不理想。并且由于人工設(shè)計的特征大多依賴大量的人工標(biāo)注信息，耗費資源的同時也限制了該類算法的應(yīng)用場景。隨著硬件資源的提升，需要依靠大量數(shù)據(jù)運算的深度學(xué)習(xí)又重回人們的視野。

ILSVRC（ImageNet Large Scale Recognition Challenge），俗稱ImageNet挑戰(zhàn)賽，是機器視覺領(lǐng)域最受追捧也是最具權(quán)威的學(xué)術(shù)競賽之一，代表了圖像領(lǐng)域的最高水平。在挑戰(zhàn)賽上涌現(xiàn)出了許多優(yōu)秀的圖像分類算法，例如AlexNet[5]、VGG16[6]、GoogLeNet[7]等。

目前，在花卉圖像分類領(lǐng)域，基于深度學(xué)習(xí)的算法模型并不常見[8]。Liu[9]等人運用了一種基于顯著性檢測的算法對花卉圖像進行初步的提取，再通過卷積神經(jīng)網(wǎng)絡(luò)進行特征提取，最后完成圖像分類。楊旺功和淮永建[10]提出一種基于多特征融合及興趣區(qū)域的花卉圖像分類算法。并在花卉圖像分類任務(wù)上取得了良好效果。本文將選取VGG16網(wǎng)絡(luò)模型和基于多層融合及興趣區(qū)域的花卉圖像分類算法進行實驗分析。

在以往的研究中，研究人員往往采取Oxford Flowers系列數(shù)據(jù)集作為實驗數(shù)據(jù)集，Oxford Flowers數(shù)據(jù)集中為英國常見花卉圖像，并且每一類花卉圖像數(shù)據(jù)樣張較少。針對上述問題，本文創(chuàng)建了一個基于國內(nèi)五種常見花卉的圖像數(shù)據(jù)集，用作本文實驗的數(shù)據(jù)集。

1 基于多特征融合的花卉圖像分類網(wǎng)絡(luò)

1.1 花卉圖像數(shù)據(jù)集

中國植物圖像庫[11]（Plant Photo Bank of China，PPBC）正式成立于2008年，是中國科學(xué)院植物研究所在植物標(biāo)本館設(shè)立的專職植物圖片管理機構(gòu)。該圖庫采用最新分類系統(tǒng)，已經(jīng)收錄各類植物圖片511科5419屬38968種7199505幅。本文選取了五種國內(nèi)常見花卉：牡丹花、菊花、荷花、風(fēng)信子、洛神花作為研究對象，采用網(wǎng)絡(luò)爬蟲[12]技術(shù)，從中國植物圖像庫分別搜集了若干張圖片作為素材，經(jīng)篩選后，每類圖片設(shè)定為112張，所有圖像總共560張。五種花卉圖像樣張如圖1所示。

經(jīng)過篩選后的圖像數(shù)據(jù)庫，按照18：5：5的比例隨機劃分訓(xùn)練集、驗證集和測試集。所有圖片均在data文件夾內(nèi)，并將訓(xùn)練集放在子文件夾train文件夾內(nèi)，驗證集在valid文件夾，測試集在test文件夾，每個文件夾中含有五個部分，均以花卉名字的拼音命名，作為其種類的label。

1.2 VGG16網(wǎng)絡(luò)模型

VGG系列網(wǎng)絡(luò)模型包括VGG13、VGG16以及VGG19，其設(shè)計之初主要是為了探究在大規(guī)模圖像識別任務(wù)上，卷積網(wǎng)絡(luò)深度對模型精確度的影響。本文將著重探究VGG16網(wǎng)絡(luò)模型，VGG16網(wǎng)絡(luò)模型由Simonyan K和Zisserman A在文獻[4]中所提出。該網(wǎng)絡(luò)模型在2015年的ImageNet挑戰(zhàn)賽上獲得了第二名的成績。

VGG16網(wǎng)絡(luò)模型主要包含8個卷積層、5個池化層、3個全連接層，共計16個權(quán)重層。具體結(jié)構(gòu)如圖2所示。

該網(wǎng)絡(luò)模型輸入指定的是224 × 224的RGB圖像，所有卷積層用的卷積核大小固定，均為3 × 3，每次卷積行使相同卷積，即卷積操作不改變圖像尺寸大小，僅改變其通道數(shù)。卷積層和全連接層的激活函數(shù)均使用ReLU函數(shù)，池化操作均使用最大池化。

最后一次池化后，數(shù)據(jù)通過Flatten函數(shù)展開，連接到三個全連接層。前兩個全連接層包含4096個通道，第三個全連接層的通道個數(shù)根據(jù)分類目標(biāo)個數(shù)確定，第三個全連接層后連接softmax函數(shù)進行分類。

1.3 基于多特征融合的VGG16網(wǎng)絡(luò)模型

研究表明，在卷積神經(jīng)網(wǎng)絡(luò)中，隨著卷積層的疊加，網(wǎng)絡(luò)所提取的特征將由具體變得抽象，淺層卷積可以得到分類對象的形狀輪廓等特征，而深層卷積可以得到分類對象的抽象特征，于是基于此特點，文獻[錯誤！未定義書簽。]中作者設(shè)計出一個多特征融合的VGG16網(wǎng)絡(luò)模型，其網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示。

與原始VGG16網(wǎng)絡(luò)模型不同，多特征融合VGG16網(wǎng)絡(luò)模型將Block5中的Conv2層，即VGG16網(wǎng)絡(luò)中倒數(shù)第二個卷積層作為感興趣區(qū)域（roi），將感興趣區(qū)域與原始VGG16網(wǎng)絡(luò)的最后一個池化層輸出進行拼接，然后通過全局平均池化（GAP），變成一個一維張量再連接全連接層，最后通過softmax分類器進行分類。圖5為多特征融合VGG16網(wǎng)絡(luò)模型結(jié)構(gòu)圖。

網(wǎng)絡(luò)模型中的全局平均池化取代了原來的Flatten操作，使得網(wǎng)絡(luò)的參數(shù)量和原網(wǎng)絡(luò)相比大大減少。這樣做的好處是，在面對大型分類任務(wù)時，將會節(jié)省很多訓(xùn)練時間，節(jié)約計算資源。

2 實驗結(jié)果及分析

實驗環(huán)境采用云服務(wù)器環(huán)境，服務(wù)器配置為：CPU采用64核Intel（R） Xeon（R） Gold 5218 ，CPU內(nèi)存為256G，實際配置為8核32GB。GPU為一塊NVIDA系列的GeForce RTX 2080Ti，顯存為11GB。實驗代碼采用python語言編寫，深度學(xué)習(xí)工具為keras。本文所有實驗均訓(xùn)練三次和測試三次，取三次實驗的平均值作為實驗結(jié)果。

2.1 原始VGG16網(wǎng)絡(luò)模型實驗結(jié)果與分析

VGG16網(wǎng)絡(luò)設(shè)計之初是面對1000分類的大分類任務(wù)，面對小分類任務(wù)，容易出現(xiàn)過擬合現(xiàn)象，本文為了減少過擬合現(xiàn)象的發(fā)生，提高網(wǎng)絡(luò)泛化能力，對VGG16網(wǎng)絡(luò)模型以及訓(xùn)練方法進行了一些調(diào)整。訓(xùn)練方面，采用了Early Stopping的策略，當(dāng)訓(xùn)練過程中驗證集的準(zhǔn)確率連續(xù)20個epoch不再增加時便停止訓(xùn)練。參數(shù)方面，更改Dropout的值以及全連接層的通道數(shù)，測試最佳參數(shù)。

調(diào)整Dropout的參數(shù)，分別測得Dropout的值為0.4、0.5和0.6時網(wǎng)絡(luò)模型對于五種花如表1所示，Dropout為0.5時，網(wǎng)絡(luò)模型的分類準(zhǔn)確率最高。

表1 不同Dropout值下的VGG16分類測試結(jié)果

Table 1 VGG16 classification test results under different Dropout values

Dropout參數(shù) Dropout = 0.4 Dropout = 0.5 Dropout = 0.6

平均準(zhǔn)確率（%） 91.00 91.33 90.67

圖4和圖5分別為原始VGG16網(wǎng)絡(luò)模型Accuracy圖和運用Early Stopping訓(xùn)練策略，Dropout等于0.5調(diào)整后的VGG16網(wǎng)絡(luò)模型Accuracy圖，可以看到，調(diào)整后的網(wǎng)絡(luò)模型極大的改善了過擬合的現(xiàn)象，提高了網(wǎng)絡(luò)模型的泛化能力。

修改全連接層前兩層通道數(shù)，分別設(shè)置為：1）4096，4096;2）4096，2048;3）2048，2048;4）1024，1024。實驗結(jié)果如表2所示，隨著通道數(shù)的減少，分類準(zhǔn)確率也在下降，分析原因為：花卉圖像分類屬于細(xì)顆粒分類任務(wù)，需要表征的信息較多，而減少全連接層中的節(jié)點數(shù)可能會導(dǎo)致表征的信息不全，無法更好的實現(xiàn)分類任務(wù)。

2.2 基于多特征融合VGG16網(wǎng)絡(luò)模型實驗結(jié)果與分析

（1）兩種VGG16網(wǎng)絡(luò)模型測試結(jié)果及對比分析

基于多特征融合的VGG16網(wǎng)絡(luò)模型（VGG16_Roi）仍然采用Early Stopping的訓(xùn)練策略，Dopout和全連接層的值與原始VGG16網(wǎng)絡(luò)模型保持一致。

表3給出了兩種VGG16網(wǎng)絡(luò)模型在各個方面的對比，可以看到，基于多特征融合的VGG16網(wǎng)絡(luò)模型雖然擁有更少的參數(shù)，但是其網(wǎng)絡(luò)模型在全連接層，相當(dāng)于連接了兩個網(wǎng)絡(luò)層次的特征，使其具有更強大的表征能力，擁有更高的分類準(zhǔn)確率。

（2）數(shù)據(jù)增強對網(wǎng)絡(luò)模型的性能影響

數(shù)據(jù)增強最早由斯坦福大學(xué)的李飛飛教授提出，當(dāng)時研究人員們還不清楚海量數(shù)據(jù)集對于深度學(xué)習(xí)網(wǎng)絡(luò)模型性能效果的影響。本文通過：1）水平、豎直翻轉(zhuǎn);2）加入高斯噪聲;3）左右旋轉(zhuǎn)90°三種方法擴充國內(nèi)五種花卉圖像數(shù)據(jù)集，在擴充后的國內(nèi)花卉圖像數(shù)據(jù)集上對兩種VGG16網(wǎng)絡(luò)模型進行分類測試實驗，對比分析網(wǎng)絡(luò)模型性能。

兩種VGG16網(wǎng)絡(luò)模型在擴充后的數(shù)據(jù)集上表現(xiàn)優(yōu)異，表4給出了兩種網(wǎng)絡(luò)模型在擴充后數(shù)據(jù)集上的分類測試結(jié)果，與在小規(guī)模數(shù)據(jù)集上測得的分類準(zhǔn)確率相比，原始VGG16網(wǎng)絡(luò)模型提高了2.78%，基于多特征融合的VGG16網(wǎng)絡(luò)模型提高了2.89%。印證了大規(guī)模數(shù)據(jù)集對深度學(xué)習(xí)網(wǎng)絡(luò)模型性能提升有關(guān)鍵作用的觀點。

3 結(jié)論

在國內(nèi)五種花卉圖像數(shù)據(jù)集上，VGG16網(wǎng)絡(luò)模型采取Early Stopping的訓(xùn)練策略，Dropout值為0.5時，可以很好的防止過擬合現(xiàn)象的發(fā)生。面對花卉之類的細(xì)顆粒分類任務(wù)，即使分類對象種類較少，減小全連接層通道數(shù)仍然會降低分類的準(zhǔn)確率，因為，全連接層通道數(shù)的減少會使全連接層表征的信息更少，無法實現(xiàn)更精確的分類?；诙嗵卣魅诤系腣GG16網(wǎng)絡(luò)模型在全連接層前將兩個隱藏層的特征進行了重疊連接，并通過GAP的方法將特征矩陣轉(zhuǎn)化為一個一維張量，即表征了更多的信息，又減少了網(wǎng)絡(luò)的參數(shù)量，同時，其模型的分類準(zhǔn)確率要優(yōu)于原始VGG16網(wǎng)絡(luò)模型。最后，本文通過數(shù)據(jù)增強的方式擴充了實驗所用數(shù)據(jù)集，在擴充后的數(shù)據(jù)集上測得兩種網(wǎng)絡(luò)模型的分類準(zhǔn)確率均有所提高，印證了海量數(shù)據(jù)集對深度學(xué)習(xí)網(wǎng)絡(luò)模型性能提升有關(guān)鍵作用的觀點。實驗中仍有值得優(yōu)化的部分，未來可以擴充國內(nèi)花卉圖像數(shù)據(jù)集，加入更多種類的花卉圖像，繼續(xù)研究。

參考文獻

基金項目：中國礦業(yè)大學(xué)（北京）大學(xué)生創(chuàng)新訓(xùn)練項目資助（項目編號：C202004894）

第一作者：許明廣（1999-），男，本科生，主要從事信息工程，圖像處理方面研究。

注釋：

[1]尹紅. 基于深度學(xué)習(xí)的花卉圖像分類算法研究[D].南昌航空大學(xué)，2018.

[2] LOWE D G.Distinctive image features from scale-invariant keypoints[J] . International Journal of Computer Vision，2004，60（2）：91-110.

[3]Burges C J C. A tutorial on support vector machines for pattern recognition[J]. Data Mining and Knowledge Discovery， 1998， 2（2）： 121-167.

[4]M. E. Nilsback， A. Zisserman. A visual vocabulary for flower classification[C]. Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition， IEEE， 2006，1447-1454.

[5]Krizhevsky A， Sutskever I， Hinton G E. ImageNet classification with deep convolutional neural networks[C].Proceedings of International Conference on Neural Information Processing Systems， 2012，1097-1105.

[6]Simonyan K.， Zisserman A.. Very deep convolutional networks for large-scale image recognition[C] //Preceedings of International Conference on Learning Representations. San Diego， USA， 2015.

[7]Cheng G ， Han J ， Guo L ， et al. Effective and Efficient Midlevel Visual Elements-Oriented Land-Use Classification Using VHR Remote Sensing Images[J]. IEEE Transactions on Geoscience and Remote Sensing， 2015， 53（8）：4238-4249

[8]尹紅，符祥，曾接賢，段賓，陳英.選擇性卷積特征融合的花卉圖像分類[J].中國圖象圖形學(xué)報，2019，24（05）：762-772.

[9]Liu Y Y， Tang F， Zhou D W， et al. Flower classification via convolutional neural network[C]// Proceedings of 2016 IEEE International Conference on Functional-Structural Plant Growth Modeling， Simulation， Visualization and Applications. Qingdao：IEEE，2016： 110-116.[DOI： 10.1109/FSPMA.2016.7818296]

[10]楊旺功，淮永建.多層特征融合及興趣區(qū)域的花卉圖像分類[J].哈爾濱工程大學(xué)學(xué)報，2021，42（04）：588-594.

[11]中國科學(xué)院植物研究所植物標(biāo)本館，中國植物圖像庫[EB/OL].[2021-03-27].http：//iplant.cn.

[12]溫婭娜，袁梓梁，何詠宸，等.基于Python爬蟲技術(shù)的網(wǎng)頁解析與數(shù)據(jù)獲取研究[J].現(xiàn)代信息科技，2020，4（01）： 12-13.

中國礦業(yè)大學(xué)（北京）機電與信息工程學(xué)院 北京 100083