侯 青，黃龍飛，徐家喜，宋佳豪，盧文君

(南京曉莊學(xué)院 信息工程學(xué)院，江蘇 南京 211171)

近年來(lái)，世界各國(guó)對(duì)海洋資源的重視程度與日俱增.其中，漁業(yè)資源是海洋資源中的重要組成部分.魚類識(shí)別在漁業(yè)研究、魚類知識(shí)科普、水產(chǎn)養(yǎng)殖加工、稀有魚類物種的保護(hù)等領(lǐng)域有著廣泛的應(yīng)用.傳統(tǒng)的圖像分類方法在面對(duì)龐大的圖像數(shù)據(jù)時(shí)，分類速度和精度很難達(dá)到人們的需求，更難實(shí)現(xiàn)智能化應(yīng)用.人們開始嘗試運(yùn)用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)去尋找更優(yōu)方案.李晨等人的多維度深海魚類識(shí)別算法[1]在復(fù)雜場(chǎng)景下提取運(yùn)動(dòng)目標(biāo)，正確率達(dá)到了80%以上；杜偉東等人提出的基于 SVM 的決策融合魚類識(shí)別方法[2]在識(shí)別率上達(dá)到了90%.隨著卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)的飛速發(fā)展，ResNet、VGG和NASNet等網(wǎng)絡(luò)模型及訓(xùn)練方法有了較大進(jìn)步.遷移學(xué)習(xí)技術(shù)因其具有訓(xùn)練數(shù)據(jù)量需求小、訓(xùn)練模型泛化能力強(qiáng)、訓(xùn)練過(guò)程更魯棒等優(yōu)勢(shì)而備受青睞.張俊龍[3]等以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，使用權(quán)重化卷積作為隱藏層并且加入預(yù)處理后，海洋魚類分類識(shí)別準(zhǔn)確率提升23%達(dá)到90%的好成績(jī).陳文輝等人[4]提出了一種基于DCNN和遷移學(xué)習(xí)的方法，通過(guò)預(yù)訓(xùn)練模型和調(diào)整訓(xùn)練參數(shù)實(shí)現(xiàn)了魚類分類識(shí)別，識(shí)別正確率達(dá)97.14%.

文章首先運(yùn)用ResNet50、VGG16和NASNet三種網(wǎng)絡(luò)模型對(duì)魚類圖像進(jìn)行分類識(shí)別，經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證，RestNe50為較優(yōu)模型.然后通過(guò)調(diào)整訓(xùn)練參數(shù)、更換全連接層等方法對(duì)RestNe50進(jìn)行遷移訓(xùn)練，經(jīng)過(guò)15組對(duì)比實(shí)驗(yàn)，識(shí)別準(zhǔn)確度由97.6%提高到99.66%，為解決魚類分類問(wèn)題設(shè)計(jì)和驗(yàn)證了一個(gè)識(shí)別能力較強(qiáng)的網(wǎng)絡(luò)模型.

1 關(guān)鍵技術(shù)

1.1 遷移學(xué)習(xí)

遷移學(xué)習(xí)是指把從一個(gè)環(huán)境中學(xué)到的知識(shí)應(yīng)用到新的環(huán)境中，其目的是為了避免花費(fèi)大量昂貴的標(biāo)記樣本數(shù)據(jù)的代價(jià)[5]，使得學(xué)習(xí)效果有顯著的提升.傳統(tǒng)的機(jī)器學(xué)習(xí)方法一般是應(yīng)用于特定任務(wù)，數(shù)據(jù)訓(xùn)練模型之間是孤立的，沒有保留可以從一個(gè)模型遷移到另一個(gè)模型的任何知識(shí).在遷移學(xué)習(xí)中，我們可以將之前訓(xùn)練的模型中得到知識(shí)(特征、權(quán)重、參數(shù)等)，應(yīng)用到新的訓(xùn)練模型中，使得目標(biāo)任務(wù)能夠取得更好的學(xué)習(xí)效果.在神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)中，一般應(yīng)用于以下兩個(gè)場(chǎng)景[6]：

(1) 特征提取(Feature Extraction)：凍結(jié)除最終完全連接層之外的所有網(wǎng)絡(luò)權(quán)重.最后一個(gè)全連接層被替換為具有隨機(jī)權(quán)重的新層，并且僅訓(xùn)練該層.

(2) 微調(diào)(Fine Tuning)：使用預(yù)訓(xùn)練模型初始化網(wǎng)絡(luò)，而不是隨機(jī)初始化，用新的數(shù)據(jù)訓(xùn)練部分或者整個(gè)網(wǎng)絡(luò).

遷移學(xué)習(xí)不僅可以節(jié)約在開發(fā)神經(jīng)網(wǎng)絡(luò)時(shí)所消耗的巨大的時(shí)間資源和計(jì)算資源，在具有較小的訓(xùn)練數(shù)據(jù)情況下，它能更有效地利用現(xiàn)有數(shù)據(jù)，提高學(xué)習(xí)效率、增強(qiáng)模型泛化能力，使訓(xùn)練過(guò)程更穩(wěn)定，增強(qiáng)模型的魯棒性.

ResNet50、VGG16和NASNet三種預(yù)訓(xùn)練網(wǎng)絡(luò)模型已基于大量圖像數(shù)據(jù)進(jìn)行了豐富的特征學(xué)習(xí).文章使用遷移學(xué)習(xí)策略，采用參數(shù)遷移的方法，將三種預(yù)訓(xùn)練網(wǎng)絡(luò)模型遷移應(yīng)用到魚類分類識(shí)別任務(wù)中.

1.2 預(yù)訓(xùn)練網(wǎng)絡(luò)模型

預(yù)訓(xùn)練網(wǎng)絡(luò)是一個(gè)保存好的之前已在大型數(shù)據(jù)集(如大規(guī)模圖像分類任務(wù))上訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò).如果這個(gè)原始數(shù)據(jù)集足夠大且足夠通用，那么預(yù)訓(xùn)練網(wǎng)絡(luò)學(xué)到的特征空間層次結(jié)構(gòu)可以作為有效的提取視覺世界特征的模型.即使新問(wèn)題和新任務(wù)與原始任務(wù)完全不同，學(xué)習(xí)到的特征在不同問(wèn)題之間是可移植的，這也是深度學(xué)習(xí)相比淺層學(xué)習(xí)方法的一個(gè)重要優(yōu)勢(shì)，它使得深度學(xué)習(xí)對(duì)于小數(shù)據(jù)問(wèn)題非常有效.

1.2.1 ResNet50網(wǎng)絡(luò)模型

圖1 ResNet50殘差模塊結(jié)構(gòu)圖

網(wǎng)絡(luò)模型的性能往往與自身網(wǎng)絡(luò)結(jié)構(gòu)的深度有關(guān)，隨著網(wǎng)絡(luò)結(jié)構(gòu)深度的增加，網(wǎng)絡(luò)性能會(huì)有一定的提高.但當(dāng)深度達(dá)到一定程度時(shí)，繼續(xù)加深網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)性能反而會(huì)下降，而這種性能的下降不是由于過(guò)擬合引起的.2015年，微軟實(shí)驗(yàn)室提出了ResNet網(wǎng)絡(luò)[7]，很好的解決了這個(gè)問(wèn)題.ResNet網(wǎng)絡(luò)使用了殘差結(jié)構(gòu)，有效解決了傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)隨著層數(shù)加深而出現(xiàn)梯度消失、梯度爆炸問(wèn)題和退化問(wèn)題[5]，被廣泛運(yùn)用到各種特征提取任務(wù)中.

殘差模塊(Residual Block)結(jié)構(gòu)圖如圖1所示.圖中曲線的連接方式(X identity)稱為近道連接(shortcut connection)，這種連接方式直接跳過(guò)了權(quán)重層.經(jīng)過(guò)權(quán)重層的連接方式(F(X))與近道連(X identity)接構(gòu)成了殘差模塊.殘差網(wǎng)絡(luò)結(jié)構(gòu)允許網(wǎng)絡(luò)盡可能加深，較常用的ResNet網(wǎng)絡(luò)是ResNet50.RestNet50包含了 49 個(gè)卷積層和 1 個(gè)全連接層,第二階段至第五階段中的IDBLOCK 是不改變維度的殘差塊,CONVBLOCK 是添加維度的殘差塊,每個(gè)殘差塊包含3 個(gè)卷積層,所以有1+3×(3+4+6+3) = 49 個(gè)卷積層,結(jié)構(gòu)如圖2所示.

圖2 ResNet50模型圖

其中 CONV 是卷積操作,Batch Norm 是正則化處理, 也就是常說(shuō)的 BN, ReLU是激活函數(shù),MAXPOOL和AvgPOOL是最大池化層和平均池化層[8].由圖2可看出ResNet50 是由多個(gè)殘差塊堆疊起來(lái)的,用這些殘差塊可以訓(xùn)練深層網(wǎng)絡(luò).在ResNet50殘差網(wǎng)絡(luò)中,通過(guò)使用16個(gè)殘差塊的堆疊,構(gòu)建出了深度達(dá)到50層的卷積神經(jīng)網(wǎng)絡(luò),從而使得網(wǎng)絡(luò)對(duì)圖像的特征提取能力更強(qiáng),識(shí)別準(zhǔn)確率也更高.

本實(shí)驗(yàn)對(duì)ResNet50采取替換最終層的策略，先用ResNet50對(duì)魚類圖像數(shù)據(jù)集進(jìn)行特征提取，然后添加新的全連接層，設(shè)置和調(diào)整訓(xùn)練參數(shù)，進(jìn)行遷移訓(xùn)練，以優(yōu)化網(wǎng)絡(luò)模型.

1.2.2 VGG16網(wǎng)絡(luò)模型

VGG網(wǎng)絡(luò)是由2015年牛津大學(xué)計(jì)算機(jī)視覺組的Karen Simonyan等人提出，其在論文中指出卷積神經(jīng)網(wǎng)絡(luò)的深度增加和小卷積核的使用對(duì)網(wǎng)絡(luò)的最終分類識(shí)別效果有很大的作用[9].以池化層為分界，VGG16共有6個(gè)塊結(jié)構(gòu)，每個(gè)塊結(jié)構(gòu)通道數(shù)均相同，所有激活函數(shù)均為ReLU，通道數(shù)分別為64，128，256，512，512，4096，4096，1000.其包含卷積層13層，全連接層3層，池化層5層，因池化層不涉及權(quán)重，所以VGG16共有16層.VGG16網(wǎng)絡(luò)通過(guò)13層卷積層和5層池化層進(jìn)行特征提取，全連接層完成分類，其中卷積層全部為3*3的卷積核，池化層為2*2的池化核.本實(shí)驗(yàn)對(duì)VGG16網(wǎng)絡(luò)也采取與ResNet50相同的替換最終層的策略進(jìn)行遷移學(xué)習(xí).

1.2.3 NASNet網(wǎng)絡(luò)模型

2017年google brain的BarretZoph等人對(duì)NAS[10]進(jìn)行改進(jìn)，提出了NASNet[11].NASNet不僅在分類精度上有了很好的提升，在訓(xùn)練時(shí)間上也有所減少.NASNet可以自動(dòng)生成網(wǎng)絡(luò)，其采用PPO(Proximal Policy Optimization)優(yōu)化算法，利用RNN控制器預(yù)測(cè)網(wǎng)絡(luò)，自動(dòng)產(chǎn)生網(wǎng)絡(luò)結(jié)構(gòu)并對(duì)其進(jìn)行訓(xùn)練，直到收斂，再去驗(yàn)證集測(cè)試，并將測(cè)試集的準(zhǔn)確率反饋給RNN控制器，從而更新RNN控制器參數(shù)，最終生成更好的網(wǎng)絡(luò)結(jié)構(gòu).同時(shí)NASNet網(wǎng)絡(luò)借鑒了ResNet和GoogleNet的重復(fù)堆疊思想，使用Scheduled Drop Path正則化方法，將傳統(tǒng)Drop Path正則化方法中訓(xùn)練過(guò)程隨機(jī)概率保持不變的方式，更改為訓(xùn)練過(guò)程線性提高隨機(jī)概率的模式，加快了搜索速度，增強(qiáng)了泛化能力.本實(shí)驗(yàn)也同樣對(duì)NASNet采取替換最終層的方式，添加新的全連接層，進(jìn)行遷移學(xué)習(xí).

2 實(shí)驗(yàn)設(shè)計(jì)

如果從頭開始隨機(jī)初始化訓(xùn)練CNN網(wǎng)絡(luò)，需要有足夠的數(shù)據(jù)集和足夠的計(jì)算機(jī)資源.而遷移學(xué)習(xí)的引入讓我們?cè)跀?shù)據(jù)集較小的情況下，也能訓(xùn)練出較好的數(shù)據(jù).遷移學(xué)習(xí)只是一種方法策略，它的實(shí)現(xiàn)需要有借助預(yù)訓(xùn)練模型.遷移學(xué)習(xí)的過(guò)程就是把預(yù)訓(xùn)練模型在訓(xùn)練過(guò)程中學(xué)習(xí)到的知識(shí)應(yīng)用到新的任務(wù)中，使得新任務(wù)能更快更好的完成.當(dāng)前比較流行的預(yù)訓(xùn)練模型比較多，我們選擇了ResNet50、VGG16和NASNet三種常用的網(wǎng)絡(luò)模型作為尋求魚類識(shí)別任務(wù)的起點(diǎn).實(shí)驗(yàn)步驟如圖3所示.

圖3 魚類識(shí)別模型調(diào)整步驟

2.1 預(yù)處理模型的選取

ResNet50、VGG16和NASNet三種網(wǎng)絡(luò)模型均在大數(shù)據(jù)集中做了大量訓(xùn)練.它們擁有很強(qiáng)的圖像特征提取能力.為了選取更優(yōu)秀的預(yù)處理模型，我們做了相同操作的處理.

(1) 將圖像數(shù)據(jù)進(jìn)行預(yù)處理(對(duì)圖像進(jìn)行抖動(dòng)、裁剪、反射和縮放等操作)，處理后的實(shí)驗(yàn)數(shù)據(jù)，對(duì)三種模型而言，具有相同的輸入.

(2) 保留三種模型的卷積基，更換全連接層，并初始化分類器，完成圖像訓(xùn)練學(xué)習(xí).三種預(yù)處理模型的卷積基被遷移應(yīng)用在了訓(xùn)練集魚類圖像的特征學(xué)習(xí)中.

(3) 把訓(xùn)練好的模型在驗(yàn)證集上進(jìn)行魚類圖像識(shí)別率計(jì)算，通過(guò)比較，得到三個(gè)模型中的最優(yōu)模型.

2.2 網(wǎng)絡(luò)模型參數(shù)調(diào)整

通過(guò)后面的實(shí)驗(yàn)結(jié)果表明，ResNet50是三個(gè)網(wǎng)絡(luò)模型中的最優(yōu)模型.為了提高魚類識(shí)別準(zhǔn)確率，需要對(duì)ResNet50做進(jìn)一步參數(shù)調(diào)整.

2.2.1 學(xué)習(xí)率

學(xué)習(xí)速率是指導(dǎo)我們?cè)撊绾瓮ㄟ^(guò)損失函數(shù)的梯度調(diào)整網(wǎng)絡(luò)權(quán)重的超參數(shù).學(xué)習(xí)率越低，損失函數(shù)的變化速度就越慢.雖然使用低學(xué)習(xí)率可以確保我們不會(huì)錯(cuò)過(guò)任何局部極小值，但也意味著我們將花費(fèi)更長(zhǎng)的時(shí)間來(lái)進(jìn)行收斂.在ResNet50的遷移學(xué)習(xí)中，凍結(jié)了底層學(xué)習(xí)率，在新的全連接層進(jìn)行學(xué)習(xí)率的調(diào)整，通過(guò)多組實(shí)驗(yàn)測(cè)試，選擇最優(yōu)學(xué)習(xí)率.

2.2.2 批數(shù)量(batch size)

batch size是一次訓(xùn)練所選取的樣本數(shù).為了在內(nèi)存效率和內(nèi)存容量之間尋求最佳平衡，batch size數(shù)值太小，容易不收斂，或者需要經(jīng)過(guò)很大的訓(xùn)練輪數(shù)才能收斂；批數(shù)量太大，需要太多的計(jì)算機(jī)資源，又會(huì)遇到資源瓶頸.所以，應(yīng)該精心測(cè)試調(diào)整batch size，從而優(yōu)化網(wǎng)絡(luò)模型的性能.

2.2.3 迭代次數(shù)(epoch)

一個(gè)epoch指所有的數(shù)據(jù)送入網(wǎng)絡(luò)中完成一次前向計(jì)算及反向傳播的過(guò)程.epoch數(shù)量的增加，神經(jīng)網(wǎng)絡(luò)中權(quán)重更新迭代的次數(shù)增多，模型會(huì)慢慢進(jìn)入優(yōu)化擬合狀態(tài)，最終進(jìn)入過(guò)擬合.因此，epoch的個(gè)數(shù)是非常重要的，通過(guò)調(diào)整epoch值來(lái)使得網(wǎng)絡(luò)在不存在過(guò)擬合的情況下達(dá)到相對(duì)較好的效果.

2.3 網(wǎng)絡(luò)模型測(cè)試

參數(shù)調(diào)整后的ResNet50模型，在測(cè)試集圖像上進(jìn)行圖像識(shí)別測(cè)試，輸出測(cè)試結(jié)果.

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)開發(fā)與調(diào)試工具有Jupyter Notebook、Python3.6和開源深度學(xué)習(xí)框架Paddle.實(shí)驗(yàn)環(huán)境為Windows10 64位操作系統(tǒng)，使用云端計(jì)算資源CPU4 Cores，內(nèi)存32GB，硬盤100GB，GPU是 NVIDIA Tesla V10032GB.

3.2 實(shí)驗(yàn)分析

3.2.1 三種網(wǎng)絡(luò)模型的對(duì)比實(shí)驗(yàn)

(1) 參數(shù)設(shè)置及訓(xùn)練

加載完成數(shù)據(jù)集和預(yù)訓(xùn)練網(wǎng)絡(luò)后，實(shí)驗(yàn)采取替換全連接層策略.epoch(訓(xùn)練周期)設(shè)置為10，即實(shí)驗(yàn)一共迭代10輪，觀察模型收斂情況.batch size(批數(shù)量)設(shè)置為30，即一次性讀取30張圖像，使得在不占用太大計(jì)算資源的情況下，模型可以快速收斂.

(2) 實(shí)驗(yàn)結(jié)果

調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)，經(jīng)過(guò)遷移學(xué)習(xí)，得到三種網(wǎng)絡(luò)模型在訓(xùn)練集以及驗(yàn)證集的精確度和損失值曲線圖如圖4所示.

a 驗(yàn)證集精確值對(duì)比

b 訓(xùn)練集精確值對(duì)比

c 驗(yàn)證集損失值對(duì)比

d 訓(xùn)練集損失值對(duì)比

從圖4中可以看出，10輪迭代完成后，三種模型在訓(xùn)練集上表現(xiàn)的差距甚微，而在驗(yàn)證集上，ResNet50網(wǎng)絡(luò)的表現(xiàn)優(yōu)于另兩種網(wǎng)絡(luò)模型，VGG16的表現(xiàn)比NASNet更好一些.三種模型的具體表現(xiàn)數(shù)據(jù)如表1所示.

表1 ResNet50、NASNet、VGG16的訓(xùn)練結(jié)果數(shù)據(jù)

圖5 學(xué)習(xí)率優(yōu)化結(jié)果對(duì)比

從表中可以看出ResNet50訓(xùn)練時(shí)間少，驗(yàn)證集準(zhǔn)確率高(97.6%)，且驗(yàn)證集準(zhǔn)確率的離散程度低.VGG16訓(xùn)練時(shí)間較少，驗(yàn)證集準(zhǔn)確率比ResNet50稍低，驗(yàn)證集準(zhǔn)確率的離散程度為三種模型中最高.NASNet訓(xùn)練時(shí)間最長(zhǎng)，成本代價(jià)最高，驗(yàn)證集準(zhǔn)確率最低，其更適合大樣本訓(xùn)練.通過(guò)本次實(shí)驗(yàn)，發(fā)現(xiàn)對(duì)于海洋魚類的分類識(shí)別方面ResNet50網(wǎng)絡(luò)比VGG16和NASNet更加合適.

3.2.2 ResNet50模型參數(shù)調(diào)整

(1) 優(yōu)化學(xué)習(xí)率實(shí)驗(yàn)

首先，我們對(duì)學(xué)習(xí)率進(jìn)行優(yōu)化，固定批數(shù)量和迭代次數(shù)，設(shè)置批數(shù)量為30，迭代30次，通過(guò)依次遞減學(xué)習(xí)率來(lái)尋找更優(yōu)的結(jié)果.實(shí)驗(yàn)采取0.001、0.0001、0.00005、0.00001、0.000001作為實(shí)驗(yàn)數(shù)據(jù)，實(shí)驗(yàn)結(jié)果如表2所示，實(shí)驗(yàn)結(jié)果對(duì)比圖如圖5所示(橫軸表示學(xué)習(xí)率，豎軸為準(zhǔn)確率).

表2 學(xué)習(xí)率優(yōu)化

圖6 批數(shù)量?jī)?yōu)化結(jié)果對(duì)比

通過(guò)實(shí)驗(yàn)我們可以看到，隨著學(xué)習(xí)率的減少，準(zhǔn)確率開始呈現(xiàn)上升趨勢(shì)，當(dāng)學(xué)習(xí)率在在0.00005附近出現(xiàn)了拐點(diǎn)，學(xué)習(xí)率低于0.00005時(shí)，隨學(xué)習(xí)率遞減，準(zhǔn)確率呈現(xiàn)銳減趨勢(shì)，因此，0.00005是較優(yōu)學(xué)習(xí).

(2) 優(yōu)化批數(shù)量(batch size)實(shí)驗(yàn)

固定初始學(xué)習(xí)率和迭代次數(shù)，通過(guò)依次遞增批數(shù)量，尋找更優(yōu)批數(shù)量.初始學(xué)習(xí)率選取學(xué)習(xí)率優(yōu)化實(shí)驗(yàn)中的最優(yōu)結(jié)果0.00005，迭代次數(shù)選取10次，選取20，25，30，35，40作為批數(shù)量?jī)?yōu)化實(shí)驗(yàn)數(shù)據(jù).實(shí)驗(yàn)結(jié)果如表3所示，實(shí)驗(yàn)結(jié)果對(duì)比圖如圖6所示(橫軸表示批數(shù)量，豎軸為準(zhǔn)確率).

表3 批數(shù)量?jī)?yōu)化

通過(guò)實(shí)驗(yàn)我們發(fā)現(xiàn)，批數(shù)量小于30時(shí)，訓(xùn)練集和驗(yàn)證集準(zhǔn)確率在隨批數(shù)量增加而呈增加趨勢(shì)，在批數(shù)量大于30后，準(zhǔn)確率呈下降趨勢(shì)，訓(xùn)練集和測(cè)試集準(zhǔn)確率出現(xiàn)了較大偏差.實(shí)驗(yàn)數(shù)據(jù)顯示批數(shù)量為30時(shí)，ResNet50網(wǎng)絡(luò)模型在魚類識(shí)別方面的訓(xùn)練結(jié)果更優(yōu).

(3) 優(yōu)化迭代次數(shù)(epoch)實(shí)驗(yàn)

在優(yōu)化迭代次數(shù)的實(shí)驗(yàn)中，我們選擇上兩次實(shí)驗(yàn)的優(yōu)化結(jié)果作為此實(shí)驗(yàn)的固定數(shù)據(jù)，即固定學(xué)習(xí)率為0.00005，批數(shù)量為30，通過(guò)增加迭代次數(shù)，尋找更優(yōu)方案.本實(shí)驗(yàn)選取8、10、12、15、20、25、30作為實(shí)驗(yàn)數(shù)據(jù).實(shí)驗(yàn)結(jié)果如表4所示，實(shí)驗(yàn)結(jié)果對(duì)比圖如圖7所示(橫軸表示迭代次數(shù)，豎軸為準(zhǔn)確率).

表4 迭代次數(shù)優(yōu)化

圖7 迭代次數(shù)優(yōu)化結(jié)果對(duì)比

實(shí)驗(yàn)數(shù)據(jù)顯示，迭代次數(shù)小于20時(shí)，訓(xùn)練集和驗(yàn)證集準(zhǔn)確率隨著迭代次數(shù)增加而呈增加趨勢(shì)，迭代輪數(shù)大于20時(shí)，訓(xùn)練集和驗(yàn)證集準(zhǔn)確率呈減少趨勢(shì)，到后期甚至出現(xiàn)了變化甚微的趨勢(shì).從表4我們可以看到，經(jīng)過(guò)對(duì)學(xué)習(xí)率、批數(shù)量和迭代次數(shù)進(jìn)行優(yōu)化以后，ResNet50有了更優(yōu)的表現(xiàn)，當(dāng)學(xué)習(xí)率為0.00005、批數(shù)量為30，迭代次數(shù)為20時(shí)，ResNet50驗(yàn)證數(shù)據(jù)準(zhǔn)確率達(dá)到99.66%，比沒有優(yōu)化之前的97.6%，提高了2%.

3.3.3 ResNet50模型測(cè)試驗(yàn)證

在實(shí)驗(yàn)中，當(dāng)學(xué)習(xí)率為0.00005、批量數(shù)為30，迭代次數(shù)為20時(shí)，ResNet50驗(yàn)證集數(shù)據(jù)準(zhǔn)確率達(dá)到99.66%，有了較好的表現(xiàn).將全新的測(cè)試集魚類803張圖像數(shù)據(jù)在參數(shù)調(diào)整后的ResNet50模型上進(jìn)行測(cè)試，正確識(shí)別的圖像有792張，圖像識(shí)別準(zhǔn)確率為98.6%，達(dá)到了較好的識(shí)別效果.通過(guò)實(shí)驗(yàn)驗(yàn)證，在魚類分類問(wèn)題中，ResNet50網(wǎng)絡(luò)模型是一個(gè)不錯(cuò)的選擇.

4 結(jié)論

為了解決魚類識(shí)別問(wèn)題，首先對(duì)ResNet50、VGG16和NASNet三種網(wǎng)絡(luò)模型進(jìn)行遷移學(xué)習(xí)，從訓(xùn)練花費(fèi)時(shí)間、訓(xùn)練集準(zhǔn)確率和驗(yàn)證集準(zhǔn)確率等方面進(jìn)行了實(shí)驗(yàn)對(duì)比，得出ResNet50網(wǎng)絡(luò)模型更適合海洋魚類分類識(shí)別.為了進(jìn)一步提高識(shí)別率，從學(xué)習(xí)率、批數(shù)量和迭代次數(shù)三個(gè)方面對(duì)ResNet50模型進(jìn)行參數(shù)優(yōu)化實(shí)驗(yàn)，最后ResNet50模型在驗(yàn)證集上的準(zhǔn)確度提升到了99.66%，在測(cè)試集上的準(zhǔn)確率達(dá)到了98.6%.但是，ResNet50模型還有很多方面的優(yōu)化嘗試，后續(xù)我們計(jì)劃對(duì)ResNet50模型的卷積基層嘗試優(yōu)化，來(lái)尋找更好的效果，應(yīng)用于多個(gè)行業(yè)領(lǐng)域.