董亮 段正泰 龔彬

【摘要】 ? ?圖像物體分類與檢測是計算機視覺研究中的兩個重要的基本問題，也是圖像分割、物體跟蹤、行為分析等其他高層視覺任務(wù)的基礎(chǔ)。為最大限度的發(fā)揮深度學(xué)習(xí)算法的性能，有必要對不同的深度學(xué)習(xí)算法進(jìn)行評估，從而進(jìn)行不同數(shù)據(jù)集識別方法的最優(yōu)選擇。本文基于CIFAR10和MNIST數(shù)據(jù)集，采用LeNet網(wǎng)絡(luò)和VGG網(wǎng)絡(luò)進(jìn)行圖像識別，并比較各算法的效率、準(zhǔn)確率、召回率等性能差異，進(jìn)而對兩種算法進(jìn)行對比和分析。

【關(guān)鍵詞】 ? ?模式識別 ? ?深度學(xué)習(xí) ? ?卷積神經(jīng)網(wǎng)絡(luò) ? ?LeNet ? ?VGG

引言

計算機視覺作為人工智能的一個重要分支，其顯著的研究成果已逐漸應(yīng)用于人們的實際生活中，如人臉識別、目標(biāo)追蹤等。而圖像分類是計算機視覺中的一個基礎(chǔ)問題，如何高效準(zhǔn)確的實現(xiàn)圖像分類具有重要的研究意義和實用價值。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)可通過局部感受野和權(quán)值共享機制大幅降低網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)數(shù)量[1]，并且能夠通過池化操作有效降低特征維度，同時可有效改善網(wǎng)絡(luò)的泛化能力。因此，卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用在大規(guī)模圖像數(shù)據(jù)集的分類與識別中。近年來，Alex Krizhevsky等提出了AlexNet模型，該模型引入全新的深層結(jié)構(gòu)，將錯誤率從25%以上降低到了15%，顛覆了圖像識別領(lǐng)域[2];2014年，VGG團(tuán)隊提出通過小卷積核增加網(wǎng)絡(luò)的深度，減少網(wǎng)絡(luò)參數(shù)量[3]。大量研究實驗表明，CNN是一種具有層次結(jié)構(gòu)的學(xué)習(xí)模型，其在特征提取、特征選擇以及分類等問題上具有突出的優(yōu)勢，可有效提高人圖像識別的準(zhǔn)確率和穩(wěn)健性。

一、數(shù)據(jù)集的準(zhǔn)備

1.1 MNIST數(shù)據(jù)集

手寫數(shù)字識別數(shù)據(jù)集（MNIST）包含60000條訓(xùn)練數(shù)據(jù)和10000條測試數(shù)據(jù)[4]。數(shù)據(jù)集中每一條數(shù)據(jù)均由feature（數(shù)字圖像）和lebels（標(biāo)簽）組成。如圖1所示，每個圖像都是固定大?。?8x28像素），其值為0到1。每個圖像都被平展并轉(zhuǎn)換為784（28*28）個特征的一維numpy數(shù)組。

1.2 CIFAR10數(shù)據(jù)集

CIFAR-10[5]是由Hinton的學(xué)生Alex Krizhevsky和Ilya Sutskever整理的一個用于識別普適物體的小型數(shù)據(jù)集。一共包含10個類別的RGB彩色圖片，如圖2所示。圖片的尺寸為32×32，數(shù)據(jù)集中一共有50000張訓(xùn)練圖片和10000張測試圖片。

二、算法設(shè)計

2.1數(shù)據(jù)預(yù)處理

Pytorch框架對MNIST和CIFAR10數(shù)據(jù)集進(jìn)行了封裝。以MNIST數(shù)據(jù)集為例，每幅圖像是長度784的一維數(shù)組，而卷積網(wǎng)絡(luò)直接從彩色或灰度圖像中提取特征，通過transforms.ToTensor（）方法轉(zhuǎn)化為tensor。每一個數(shù)據(jù)labels是One-Hot-Encoding格式，而模型輸出層共有10個神經(jīng)元，因此需將數(shù)據(jù)labels轉(zhuǎn)換為對應(yīng)0-9的數(shù)字。每次訓(xùn)練并不是讀取所有數(shù)據(jù)同時進(jìn)行訓(xùn)練，而是讀取一個batch數(shù)據(jù)進(jìn)行訓(xùn)練。

2.2 Lenet神經(jīng)網(wǎng)絡(luò)

LeNet神經(jīng)網(wǎng)絡(luò)[6]模型，該模型共有7層（不包含輸入），每層都包含可訓(xùn)練參數(shù);每個層有多個Feature Map，每個Feature Map通過一種卷積濾波器提取輸入的一種特征，每個FeatureMap有多個神經(jīng)元。

2.3 VGGNet神經(jīng)網(wǎng)絡(luò)

VGGNet是由牛津大學(xué)視覺幾何小組（Visual Geometry Group，VGG）提出的一種深度卷積網(wǎng)絡(luò)結(jié)構(gòu)[7]。

模型特點為：

①整個網(wǎng)絡(luò)都是用了同樣大小的卷積核尺寸3*3和最大池化尺寸2*2;

②兩個3*3的卷積串聯(lián)相當(dāng)于1個5*5的卷積層，感受野大小為5*5（如圖8所示）。同樣，3個3*3卷積層串聯(lián)的效果相當(dāng)于1個7*7的卷積層。這樣的連接方式使得網(wǎng)絡(luò)的參數(shù)更少，而且多層的激活函數(shù)（前者可以使用三次ReLU激活函數(shù)，而后者只有一次）令網(wǎng)絡(luò)對特征的學(xué)習(xí)能力更強。

三、實驗與分析

3.1實驗環(huán)境

本文所有實驗均在Windows10操作系統(tǒng)的計算機上進(jìn)行，計算機配置為Intel Core i7-8750H CPU、主頻2.20GHz、內(nèi)存8.0GB、實驗所用編譯器為Pycharm，編程語言為Python，所用到的依賴庫為Pytorch 1.1.0，Tochversion 0.3.0，Numpy 1.17.4和Opencv 3.4.1。

3.2算法對比與分析

3.2.1 LeNet和VGGNet識別CIFAR10數(shù)據(jù)集

在識別CIFAR10數(shù)據(jù)集方面，LeNet在數(shù)據(jù)集迭代不同次數(shù)時，兩算法在不同時期準(zhǔn)確率比較如下圖3所示，VGGNet的79.1%明顯優(yōu)于LeNet的66.1%，且在收斂速度上也明顯優(yōu)于LeNet。由此可得出以下結(jié)論：

①幾個小濾波器（3x3）卷積層的組合比一個大濾波器（5x5或7x7）卷積層好。

②通過不斷加深網(wǎng)絡(luò)結(jié)構(gòu)可以提升性能。

3.2.2 LeNet識別MNIST數(shù)據(jù)集

在識別MNIST數(shù)據(jù)集方面，LeNet在數(shù)據(jù)集迭代不同次數(shù)時，由圖4所示實驗結(jié)果可知，應(yīng)用同一LeNet網(wǎng)絡(luò)分別對CIFAR10數(shù)據(jù)集和MNIST數(shù)據(jù)集的訓(xùn)練效果存在明顯差異，訓(xùn)練準(zhǔn)確率由CIFAR10的66.1%提高到MNIST的98.2%。由此可得出以下結(jié)論：

相對于灰度圖的MNIST數(shù)據(jù)集，顯然具有RGB3通道的彩色CIFAR10數(shù)據(jù)集訓(xùn)練難度要高很多，且在收斂速度上明顯慢于MNIST。

四、總結(jié)

本文基于CNN卷積神經(jīng)網(wǎng)絡(luò)，介紹分析了LeNet和VGGNet兩個經(jīng)典神經(jīng)網(wǎng)絡(luò)，并將兩網(wǎng)絡(luò)應(yīng)用在CIFAR10和MNIST兩類圖像識別數(shù)據(jù)集上，通過控制迭代次數(shù)，得出有效結(jié)論。本文實驗結(jié)果表明，在對同一數(shù)據(jù)集進(jìn)行訓(xùn)練時，幾個小濾波器卷積層的組合比一個大濾波器卷積層好，且網(wǎng)絡(luò)結(jié)構(gòu)越深效果越好;在應(yīng)用同一網(wǎng)絡(luò)對不同數(shù)據(jù)集訓(xùn)練時，灰度圖數(shù)據(jù)集在收斂速度和準(zhǔn)確率方面明顯優(yōu)于彩色圖，也反映出彩色圖片在訓(xùn)練時的難度之大。

因此，在訓(xùn)練諸如MNIST的簡單數(shù)據(jù)集合時，可以采用簡單的全連接層網(wǎng)絡(luò)即可達(dá)到較高的準(zhǔn)確率;此外，在搭建卷積神經(jīng)網(wǎng)絡(luò)時，適當(dāng)?shù)脑黾泳W(wǎng)絡(luò)深度，可以有效提高訓(xùn)練準(zhǔn)確率。下一步將通過加寬加深網(wǎng)絡(luò)結(jié)構(gòu)，對現(xiàn)有算法進(jìn)行改進(jìn)，進(jìn)一步提高檢測精度，以適用于更為復(fù)雜的數(shù)據(jù)環(huán)境。

參 ?考 ?文 ?獻(xiàn)

[1]呂剛，郝平，盛建榮.一種改進(jìn)的深度神經(jīng)網(wǎng)絡(luò)在小圖像分類中的應(yīng)用研究[J].計算機應(yīng)用與軟件，2014，31（4）：182-184.

[2]侯宇昆.卷積神經(jīng)網(wǎng)絡(luò)概述[J].中國新通信，2017，19（9）：45-45.

[3]趙秦敏.基于哈希編碼的圖像檢索算法研究[D].成都：電子科技大學(xué)，2017

[4]林大貴.TensorFlow Keras 深度學(xué)習(xí)人工智能實踐應(yīng)用[M].北京：清華大學(xué)出版社，2018：254-270

[5] Alex Krizhevsky.The CIFAR-10 dataset[EB/OL].http：//www.cs.toronto.edu/～kriz/cifar.html，2009.

[6] Lécun Y， Bottou L， Bengio Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）：2278-2324.

[7] Simonyan， Karen， and Andrew Zisserman. “Very deep convolutional networks for large-scale image recognition.” arXiv preprint arXiv：1409.1556 （2014）.

董亮，出生1976年10月，性別：男，民族：漢族、籍貫：吉林 職務(wù)（現(xiàn)任云南特殊教育職業(yè)學(xué)院院長，計算機應(yīng)用碩士，副教授，研究方向：計算機軟件系統(tǒng)架構(gòu)，人工智能，模式識別技術(shù)