董慶偉

(閩南理工學院信息管理學院，福建 石獅 362700)

0 引 言

近年來，深度學習技術由于其優(yōu)良的性能受到了各個領域人們的廣泛關注[1]。在很多數(shù)據(jù)分類問題中，往往得到的不是圖像、語音等類型的原始數(shù)據(jù)，而是每一個樣本的已經(jīng)提取好的特征向量[2]。因此，對當輸入數(shù)據(jù)是特征向量而不是原始的圖像、語音數(shù)據(jù)的情況下深度卷積神經(jīng)網(wǎng)絡的性能表現(xiàn)進行研究就非常有意義。例如，李文寶等人采集5類山核桃樣本，利用數(shù)據(jù)增廣的方式，得到包含15000個圖像信息的數(shù)據(jù)集，構建深度學習模型準確度達到99.5%[3]。此外，可以通過改變骨干網(wǎng)絡、增加視覺感受野、特征融合、級聯(lián)卷積神經(jīng)網(wǎng)絡和模型的訓練方式提升小目標檢測精度[4]。目前，深度學習主要用于解決視頻、圖像、語音和文本這幾種數(shù)據(jù)類型相關的問題[5]，很少關注面向結構化數(shù)據(jù)的深度學習技術的研究。基于Keras深度學習框架[6]，構造一種面向分類問題的深度卷積神經(jīng)網(wǎng)絡模型，在5個UCI數(shù)據(jù)集上(Wine數(shù)據(jù)集、HTRU2數(shù)據(jù)集、seeds數(shù)據(jù)集、ILPD數(shù)據(jù)集和Blood Transfusion數(shù)據(jù)集)分析所建立的深度卷積神經(jīng)網(wǎng)絡的性能，并運用Python語言進行仿真，將結果與支持向量機方法的結果進行比較分析。

1 分類器的原理和方法概述

1.1 支持向量機分類器(SVM)

支持向量機是一種起步較晚的分類器。支持向量機有非常好的學習能力。且它的計算量復雜度不高，訓練學習到的結果易于解釋。起初支持向量機是用在二分類問題上的，現(xiàn)在已經(jīng)發(fā)展應用與多分類問題上[7]。SVM的實現(xiàn)方法有很多種，使用較多的一種實現(xiàn)方法為序列最小優(yōu)化算法。同時，支持向量機有一個概念叫做核函數(shù)，它可以將當前的訓練模型擴展到更多的數(shù)據(jù)集上，所以支持向量機的另一個優(yōu)點就是可以直接使用現(xiàn)成的分類器。支持向量機的思想就是通過建立一個超平面，用來作為決策平面，當數(shù)據(jù)點距離決策平面的距離越遠，說明分類效果越可靠[6]。那么構建支持向量機的重點就是尋求最大間隔。

1.2 卷積神經(jīng)網(wǎng)絡分類器(CNN)

卷積神經(jīng)網(wǎng)絡的特點就是層級結構，卷積網(wǎng)絡的層級結構有數(shù)據(jù)輸入層(Input layer),卷積計算層(CONV layer),激勵層(ReLU layer),池化層(Pooling layer),全連接層(FC layer)[3]。

如圖1所示，為CNN的經(jīng)典網(wǎng)絡，經(jīng)過數(shù)據(jù)輸入層輸入圖像大小為128*128，經(jīng)過第一層卷積層，第一層的神經(jīng)元大小為124*124，共5個神經(jīng)元。其中每次移動步伐為1個像素，第一層輸出為62*62。即5張Feature Map，每一個大小為62*62。第一層的輸入作為下一層的輸入，下一層為池化層，用的矩陣對輸入進行降采樣，得到輸出。然后經(jīng)過第二個卷積層，局部感受野仍然為，局部平移距離仍為1像素，輸出大小為58*58；再經(jīng)過一個池化層進行降采樣輸出大小降為29*29。第三層和第四層的卷積層的神經(jīng)元大小分別取和，當?shù)竭_第四層卷積層時輸出大小變?yōu)?3*13。在經(jīng)過全連接層，把每個的輸出連接成為一個8的向量，輸入該向量，經(jīng)過全連接層得到輸出。在這個網(wǎng)絡結構中通過這樣一層一層的定義卷積神經(jīng)網(wǎng)絡的每一層，就完成了卷積神經(jīng)網(wǎng)絡的模型構造。通常卷積神經(jīng)網(wǎng)絡的網(wǎng)絡結構大而深，所以有較高的學習能力與識別能力。對5個UCI數(shù)據(jù)集用卷積神經(jīng)網(wǎng)絡進行處理，所以構造的模型因為數(shù)據(jù)的差異參數(shù)不同，不斷的調(diào)整參數(shù)達到針對每一個數(shù)據(jù)集最優(yōu)的分類性能。

圖1 卷積神經(jīng)網(wǎng)絡結構

1.3 基于Keras深度學習算法

所建的CNN模型算法主要包括數(shù)據(jù)處理階段、模型構造與訓練階段、調(diào)試階段。在數(shù)據(jù)處理階段，首先收集結構化數(shù)據(jù)集，對數(shù)據(jù)進行預處理，將結構化數(shù)據(jù)轉成矩陣數(shù)據(jù)集，再通過矩陣運算調(diào)整數(shù)據(jù)大小，然后把矩陣轉化為圖片數(shù)據(jù)集保存。把處理好的數(shù)據(jù)集分為訓練集和測試集待用；在模型構造與訓練過程，對卷積神經(jīng)網(wǎng)絡的層級結構以及參數(shù)進行構造與設定，把訓練集作為構造好的卷積神經(jīng)網(wǎng)絡的輸入，生成對數(shù)據(jù)集的分類模型；在測試階段，用測試集對生成的模型進行評估，不斷調(diào)整參數(shù)對生成模型進行調(diào)整，知道模型達到好的性能，對生成模型進行保存。

如圖2所示，構建深度學習處理結構化數(shù)據(jù)算法，主要包括數(shù)據(jù)轉化、卷積神經(jīng)網(wǎng)絡、分類器模型構造三個主要模塊。

圖2 CNN模型算法整體流程圖

2 仿真與結果分析

2.1 UCI數(shù)據(jù)集收集

為了探索深度學習技術在結構化數(shù)據(jù)方面的應用，從UCI Machine Learning Repository 網(wǎng)站下載了五個UCI數(shù)據(jù)集(Wine數(shù)據(jù)集、HTRU2數(shù)據(jù)集、seeds數(shù)據(jù)集、ILPD數(shù)據(jù)集和Blood Transfusion數(shù)據(jù)集)。數(shù)據(jù)集的原始數(shù)據(jù)為結構化向量形式，將原始的結構化數(shù)據(jù)集轉化圖像集，如圖3所示。

圖3 處理后的部分圖像特征集

2.2 訓練集和測試集的構建

每個數(shù)據(jù)集選取70%的數(shù)據(jù)作為訓練集，30%的數(shù)據(jù)作為測試集。如Wine數(shù)據(jù)集，共有178個數(shù)據(jù)，則選取125張作為訓練集，53張作為測試集。HTRU2數(shù)據(jù)集共有17898個數(shù)據(jù)，選取12528張作為訓練集，5370張作為測試集。其中在模型訓練過程中設置好對應的百分率，就可自動劃分訓練集與測試集，即每一次的訓練集與測試集都不一樣，這樣加大實驗結果的真實性。

2.3 結果分析

收集到的5個數(shù)據(jù)集按以下步驟進行測試：1)將原始數(shù)據(jù)進行處理，處理轉換為對應的圖像數(shù)據(jù)集，并分為訓練集與測試集。2)構造卷積神經(jīng)網(wǎng)絡，并用訓練集訓練卷積神經(jīng)模型。3)調(diào)整參數(shù)與模型的層級結構，使得性能達到最優(yōu)。4)對比SVM的實驗結果，對模型進行分析。利用數(shù)據(jù)集的訓練集對構造的卷積神經(jīng)網(wǎng)絡進行訓練，用測試集對構造的CNN模型進行測試，結果如表1所示。為了分析CNN模型的性能，分別利用SVM算法對五個數(shù)據(jù)集進行分類測試，結果見表1。

從表1可以看出，所用的CNN模型的準確率均高于SVM算法的分類準確率。其中，對于seeds數(shù)據(jù)集，雖然準確率僅為44.05%，但可以看到SVM的準確率也僅為38.09%，這說明可能數(shù)據(jù)本身的特征不明顯。其余四組數(shù)據(jù)集的準確率均大于70%,說明本文所構建CNN模型分類性能較好。

表1 CNN與SVM實驗結果對比

3 結 論

基于Keras深度學習框架，實現(xiàn)了構造一種面向分類問題的深度卷積神經(jīng)網(wǎng)絡模型，并測試了該模型的應用性，在五個結構化數(shù)據(jù)集上測試了該模型的準確率，并且與常用的SVM分類算法的分類準確率做了對比，其分類效果較好。結論如下：

(1)在將原始結構化數(shù)據(jù)集轉換到圖像過程中，對數(shù)據(jù)集的處理過程影響模型的分類效果。

(2)數(shù)據(jù)本身的特征對于分類結果具有比較大的影響，數(shù)據(jù)特征差異大分類準確率更高，反之則準確率低；

(3)所用的CNN模型的準確率均高于SVM算法的分類準確率。