顧?quán)嵠?朱 敏

(華東師范大學(xué)計(jì)算機(jī)科學(xué)與軟件工程學(xué)院計(jì)算中心 上海 200062)

0 引 言

魚類在人類生活中扮演著非常重要的角色，也是人類重要的資源之一。根據(jù)加拿大學(xué)者Nelson[1]統(tǒng)計(jì)，全球已知魚類約有28 000種，占已命名脊椎動(dòng)物一半以上，且新種魚類不斷被發(fā)現(xiàn)。目前全球已命名的魚種約在32 100種。魚類識(shí)別應(yīng)用廣泛，可用于水產(chǎn)、生物、海洋、環(huán)境的研究、開發(fā)、管理等。對(duì)各種魚類分門別類地建立數(shù)據(jù)庫(kù)，利用人工智能方法自動(dòng)識(shí)別魚類，不僅能夠更好地開發(fā)利用和保護(hù)魚類資源，也為發(fā)展海洋漁業(yè)生產(chǎn)發(fā)揮了積極的作用，對(duì)學(xué)術(shù)研究和經(jīng)濟(jì)價(jià)值具有重大意義。

魚的形狀各種各樣，有時(shí)相差大，但總的來說大多數(shù)魚呈細(xì)長(zhǎng)的流線形狀，分析起來比較復(fù)雜?；谟?jì)算機(jī)視覺的魚類分類研究已長(zhǎng)達(dá)二十多年。多年來，已經(jīng)有許多學(xué)者對(duì)其進(jìn)行了深入研究。1990年，Strachan等[2]利用形狀特征對(duì)魚進(jìn)行分類。Larsen等[3]提取了三個(gè)魚種的形狀和紋理特征，使用LDA方法對(duì)108張圖像數(shù)據(jù)集進(jìn)行分類，準(zhǔn)確率為76%。2013年，Huang等[4]提出了Balance-Guaranteed Optimized Tree(BGOT) 算法，采集了10個(gè)魚種3 179張圖像數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，并得到95%的準(zhǔn)確率。吳一全等[5]于2014年提出了基于LS-SVM的識(shí)別方法，識(shí)別率達(dá)95.83%以上。2015年，杜偉東等[6]提出了基于SVM的決策融合魚類識(shí)別方法，識(shí)別率在90%以上。

盡管經(jīng)過長(zhǎng)期的發(fā)展，基于計(jì)算機(jī)視覺的魚類分類方法研究已經(jīng)取得了重大進(jìn)展，但是依然存在各種各樣的問題。傳統(tǒng)的魚類分類方法一般采用兩步法：

(1) 從輸入的魚圖像中計(jì)算出人為設(shè)置的特征。(2) 根據(jù)得出的特征去訓(xùn)練一個(gè)分類器，用于測(cè)試數(shù)據(jù)的分類。這種方法表現(xiàn)的好壞很大程度上取決于人為選擇的特征是否合理，而人在選擇特征時(shí)往往都是靠經(jīng)驗(yàn)，具有很大的盲目性。雖然現(xiàn)在利用人為設(shè)置的特征進(jìn)行分類也取得了較好的結(jié)果，但是這些特征都是針對(duì)特定數(shù)據(jù)設(shè)計(jì)的，如果用同樣的特征來處理不同的數(shù)據(jù)集，結(jié)果可能大相庭徑，因此這種特征具有不可遷移性。

近年來，深度學(xué)習(xí)在人工智能領(lǐng)域取得重要突破。本文主要研究利用深度學(xué)習(xí)算法直接在圖像上進(jìn)行自動(dòng)特征學(xué)習(xí)與分類。首先研究了基于卷積神經(jīng)網(wǎng)絡(luò)的魚圖像分類算法，并在此基礎(chǔ)上， 進(jìn)一步提出了以預(yù)訓(xùn)練網(wǎng)絡(luò)的特征結(jié)合SVM算法(PreCNN+SVM)進(jìn)行分類的混合模型。利用深度學(xué)習(xí)算法很好地解決了傳統(tǒng)魚類分類方法存在的缺陷且分類效果優(yōu)于傳統(tǒng)方法。

1 相關(guān)工作

深度學(xué)習(xí)是目前圖像分類的主流方法，取得比較好的效果，其核心是卷積神經(jīng)網(wǎng)絡(luò)。遷移學(xué)習(xí)能夠遷移已有的知識(shí)來解決目標(biāo)領(lǐng)域中僅有少量有標(biāo)簽的樣本數(shù)據(jù)甚至沒有的學(xué)習(xí)問題。

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)最早由Le Cun等在1998年提出來[7]，并應(yīng)用在手寫數(shù)字識(shí)別上。隨著計(jì)算能力的提高，使得大型復(fù)雜的模型計(jì)算變得可能。AlexNet模型[8]的提出，開啟了計(jì)算機(jī)視覺深度網(wǎng)絡(luò)的新時(shí)代。卷積神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上具有局部連接，權(quán)重共享及空間或時(shí)間上的子采樣三個(gè)特性，這些特性使得卷積神經(jīng)網(wǎng)絡(luò)具有一定程度上的平移、放縮和扭曲不變性。

在圖像處理中，圖像是以二維矩陣的形式輸入到神經(jīng)網(wǎng)絡(luò)中。對(duì)于二維卷積，假設(shè)xl∈(wl×hl)和xl-1∈(wl-1×hl-1)分別是第l層和第l-1層的神經(jīng)元活性。X(l)的每一個(gè)元素為：

(1)

式中：W(l)∈(u×v)為二維的濾波器，b(l)為第l層的偏置向量。每個(gè)濾波器大小為u×v。

卷積層的作用是提取一個(gè)局部區(qū)域的特征，每一個(gè)濾波器相當(dāng)于一個(gè)特征提取器。對(duì)于卷積層得到的一個(gè)特征映射X(l)，可以將其劃分為很多區(qū)域Rk，k=1,2,…,K。

一個(gè)子采樣函數(shù)Sub(·)定義為：

(2)

式中：w(l+1)和b(l+1)分別是可訓(xùn)練的權(quán)重和偏置參數(shù)。

X(l+1)=f(w(l+1)·Sub(X(l))+b(l+1))

(3)

其中，Sub(X(l))是子采樣后的特征映射。

子采樣層可以來大大降低特征的維數(shù)，避免過擬合，同時(shí)還可以使得下一層的神經(jīng)元對(duì)一些小的形態(tài)改變保持不變。

1.2 遷移學(xué)習(xí)

將知識(shí)遷移到新環(huán)境中的能力通常被稱為遷移學(xué)習(xí)。遷移學(xué)習(xí)[9]涉及到域和任務(wù)的概念。 一個(gè)域D由一個(gè)特征空間χ和特征空間上的邊際概率分布P(X)組成，即D={χ,P(X)}，其中X=x1,x2,…,xn∈χ。對(duì)于給定的一個(gè)域，一個(gè)學(xué)習(xí)任務(wù)T，由兩部分組成，即標(biāo)簽Y和目標(biāo)預(yù)測(cè)函數(shù)f(·)，T={Y,f(·)}。

給定一個(gè)源域Ds和一個(gè)學(xué)習(xí)任務(wù)Ts，一個(gè)目標(biāo)域Dt和一個(gè)目標(biāo)學(xué)習(xí)任務(wù)Tt。遷移學(xué)習(xí)的目的是利用Ds和Ts中的知識(shí)，來提高目標(biāo)預(yù)測(cè)函數(shù)f(·)在Dt中的性能，其中Ds≠Ts或Dt≠Tt。

Maxime等[10]提出遷移卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重值的方法在VOC2007和VOC2012上取得了很好的效果。

2 基于深度學(xué)習(xí)的魚類分類算法

本章研究了基于卷積神經(jīng)網(wǎng)絡(luò)的魚圖像分類算法，并在此基礎(chǔ)上，研究利用遷移學(xué)習(xí)，提出了以預(yù)訓(xùn)練網(wǎng)絡(luò)的特征結(jié)合SVM算法(PreCNN+SVM)的混合模型，能夠?qū)⑦m用于大數(shù)據(jù)的模型遷移到小數(shù)據(jù)上，實(shí)現(xiàn)個(gè)性化遷移。

2.1 基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型

針對(duì)傳統(tǒng)的魚類分類算法，本節(jié)研究并實(shí)現(xiàn)一種基于卷積神經(jīng)網(wǎng)絡(luò)的魚類分類算法。

2.1.1 CNN模型架構(gòu)

模型由兩個(gè)卷積層、兩個(gè)池化層、一個(gè)全連接層和一個(gè)Softmax回歸層組成。使用Adam[11]基于一階梯度的隨機(jī)目標(biāo)函數(shù)算法來優(yōu)化整個(gè)神經(jīng)網(wǎng)絡(luò)。模型架構(gòu)如圖1所示。

圖1 多層架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)模型

2.1.2 權(quán)值初始化

為了創(chuàng)建這個(gè)模型，需要?jiǎng)?chuàng)建大量的權(quán)重和偏置項(xiàng)。這個(gè)模型中的權(quán)重在初始化時(shí)加入少量的噪聲來打破對(duì)稱性以及避免0梯度。模型使用ReLU[12]激活函數(shù)，用一個(gè)較小的正數(shù)來初始化偏置項(xiàng)，以避免神經(jīng)元節(jié)點(diǎn)輸出恒為0的問題。ReLU激活函數(shù)定義為：

f(x)=max(0,x)

(4)

其中，x為輸入的神經(jīng)元。

2.1.3 卷積和池化

卷積層的任務(wù)就是從不同的角度來選擇前一層特征圖各角度的特征。在獲取到卷積特征后，把卷積特征劃分到不相交區(qū)域上，然后用這些區(qū)域的最大特征來獲取池化后的卷積特征。第一層由一個(gè)卷積接一個(gè)max pooling完成。卷積在每個(gè)5×5的卷積核中得到32特征，對(duì)于每一個(gè)輸出通道都有一個(gè)對(duì)應(yīng)的偏置量。同樣，第二層中，每個(gè)5×5的卷積核得到64個(gè)特征。

2.1.4 全連接層

在這一層，加入一個(gè)有1 024個(gè)神經(jīng)元的全連接層，用于處理整個(gè)圖片。同時(shí)將池化層輸出的向量轉(zhuǎn)換成一維向量，乘上權(quán)重矩陣，加上偏置，并使用ReLU激活函數(shù)。

2.1.5 輸出層

為了減少過擬合，在輸出層之前加入Dropout[13]。Dropout可以有效提高大型神經(jīng)網(wǎng)絡(luò)的泛化能力。

最后添加一個(gè)Softmax層。在Softmax回歸中，假設(shè)類標(biāo)簽y可以取k個(gè)不同的值。對(duì)于給定的測(cè)試輸入x，假設(shè)函數(shù)p(y=j|x;w)是x屬于類別j的概率值：

(5)

式中：w為模型的參數(shù)。

2.2 PreCNN+SVM混合分類模型

深度學(xué)習(xí)算法能夠有效的關(guān)鍵是大規(guī)模的數(shù)據(jù)，而對(duì)于小規(guī)模的數(shù)據(jù)集，為了提高其識(shí)別的準(zhǔn)確率，往往需要不斷調(diào)整訓(xùn)練參數(shù)以及構(gòu)建更深層次的模型，這樣會(huì)增加參數(shù)的規(guī)模和計(jì)算復(fù)雜度。

由圖1可以看到，卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)主要由兩部分構(gòu)成：(1) 一系列卷積層。(2) 一個(gè)或多個(gè)全連接神經(jīng)網(wǎng)絡(luò)。卷積層用于特征學(xué)習(xí)，然后將學(xué)習(xí)好的特征傳入全連接層進(jìn)行分類。

本小節(jié)研究利用遷移學(xué)習(xí)，將適用于大數(shù)據(jù)的模型遷移到小數(shù)據(jù)上，并將SVM分類器代替Softmax分類器。

2.2.1 PreCNN+SVM模型架構(gòu)

本文使用的預(yù)訓(xùn)練深層模型為Inception-V3[14]。該模型由Google 2014年發(fā)布，利用該網(wǎng)絡(luò)在ImageNet上預(yù)先訓(xùn)練好的參數(shù)權(quán)重，最后將學(xué)習(xí)特征輸入到SVM分類器中進(jìn)行分類。PreCNN+SVM模型結(jié)構(gòu)如圖2所示。

圖2 PreCNN+SVM模型架構(gòu)

其中Inception-V3的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 Inception-V3網(wǎng)絡(luò)結(jié)構(gòu)圖

本文研究的分類數(shù)目遠(yuǎn)小于ImageNet上的分類數(shù)目，為了更好地得到分類結(jié)果，改進(jìn)Softmax分類器為SVM分類器。

2.2.2 Bottleneck特征

輸入圖像經(jīng)過訓(xùn)練后，提取出了學(xué)習(xí)特征，如圖4所示，預(yù)訓(xùn)練模型中，第一層卷積完成后得到的特征圖像。最后一層全連接層完成后得到的學(xué)習(xí)特征稱為“Bottleneck特征”，如圖5所示，但肉眼難以區(qū)別這些特征是否能夠進(jìn)行有效分類。

圖4 第一層卷積完成后得到的特征圖像

圖5 最后一層全連接層完成后得到的特征圖像

為了證明利用遷移學(xué)習(xí)構(gòu)建的預(yù)訓(xùn)練模型的有效性。本文對(duì)提取的部分種類的魚圖像的Bottleneck特征進(jìn)行聚類分析，如圖6所示。圖中，不同的顏色(以灰度表示)代表了不同的魚種。

圖6 Bottleneck 特征聚類圖

可以看到，相同的色點(diǎn)大多聚集在一起。因此，可以使用Bottleneck特征有效地進(jìn)行分類。

2.2.3 SVM分類器

支持向量機(jī)(SVM)是一種依賴核函數(shù)的機(jī)器學(xué)習(xí)分類算法。在高維空間中最優(yōu)分類函數(shù)為：

(6)

式中：ai≥0是拉格朗日因子，b是閾值。

通過對(duì)訓(xùn)練樣本交叉驗(yàn)證來調(diào)節(jié)核函數(shù)的相關(guān)參數(shù)，優(yōu)化擬合問題，產(chǎn)生的支持向量有的在超平上，有的在超平面之間。本文選用徑向量(RBF)[15]形式核函數(shù)如下：

(7)

式中：σ為可調(diào)參數(shù)，i=1,2,…,n。

3 實(shí)驗(yàn)分析

本文實(shí)驗(yàn)以在Fish4-Knowledge(F4K)[16]數(shù)據(jù)集上魚類圖像作為研究對(duì)象。該數(shù)據(jù)集是臺(tái)灣電力公司、臺(tái)灣海洋研究所和墾丁國(guó)家公園，分享他們2010年10月1日至2013年9月30日期間，在臺(tái)灣南灣、蘭嶼和胡比湖的水下觀景臺(tái)收集的影像數(shù)據(jù)。最后實(shí)驗(yàn)結(jié)果與前人的多項(xiàng)研究成果進(jìn)行對(duì)比。

3.1 數(shù)據(jù)預(yù)處理

本實(shí)驗(yàn)數(shù)據(jù)集是從Fish4-Knowledge(F4K)[16]獲取的，有23類魚種數(shù)據(jù)集，共27 370張魚的圖像。圖7給出了23種魚類的圖像。

圖7 23種魚類的圖像

在數(shù)據(jù)預(yù)處理中，由于這些RGB魚圖像大小不一，范圍約為20×20至約200×200像素?？紤]到圖像的平均大小，調(diào)整所有的圖像為28×28像素，使其減少計(jì)算資源的消耗。整個(gè)數(shù)據(jù)集被劃分為兩個(gè)子集：4/5用于訓(xùn)練，1/5用于測(cè)試。同時(shí)，由于不同魚類物種的數(shù)量不平衡，針對(duì)每個(gè)種類按相同的比例分配。

對(duì)于訓(xùn)練集還采用了一系列隨機(jī)的變換，人為地增加了數(shù)據(jù)集的大?。?1) 隨機(jī)翻轉(zhuǎn)圖像由左到右。(2) 隨機(jī)變換圖像的亮度。(3) 隨機(jī)變換圖像的對(duì)比度。如圖8所示，一張圖像經(jīng)過變換后得到的一系列圖像。

圖8 一張圖像變換后得到的一系列圖像

3.2 模型訓(xùn)練

實(shí)驗(yàn)在配備 Intel Core i7處理器，內(nèi)存8 GB的OS X Yosemite操作系統(tǒng)下進(jìn)行，卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練使用Google的深度學(xué)習(xí)框架TensorFlow[17]。

在訓(xùn)練過程中，使用交叉熵作為優(yōu)化的目標(biāo)函數(shù)。利用TensorBoard[17]得到損失函數(shù)變化圖，如圖9所示。

圖9 迭代步數(shù)與損失值變化曲線

圖9表示，當(dāng)學(xué)習(xí)速率為0.001時(shí)，得到平均損失值變化曲線。由于訓(xùn)練中使用的數(shù)據(jù)批量比較小，損失值中夾雜了相當(dāng)對(duì)的噪聲。相比原始值，損失值的移動(dòng)平均值顯得更有意義。

3.3 實(shí)驗(yàn)結(jié)果

對(duì)于CNN模型，經(jīng)過60 000步迭代計(jì)算，訓(xùn)練數(shù)據(jù)集的準(zhǔn)確率為97.57%，測(cè)試數(shù)據(jù)集得到的準(zhǔn)確率為96.67%。平均訓(xùn)練時(shí)間為5小時(shí)32分。

對(duì)于PreCNN+SVM模型，經(jīng)過訓(xùn)練后，訓(xùn)練數(shù)據(jù)集的準(zhǔn)確率為98.90%，測(cè)試數(shù)據(jù)集的準(zhǔn)確率為98.6%。平均訓(xùn)練時(shí)間為2小時(shí)45分。

與前人研究比較結(jié)果如表1所示。

表1 各個(gè)算法比較結(jié)果

對(duì)比前人算法，利用深度學(xué)習(xí)算法對(duì)魚類圖像進(jìn)行分類，其準(zhǔn)確率均有提高，并且方法更靈活，不需要人工提取特征值。對(duì)比CNN模型，PreCNN+SVM模型利用預(yù)先訓(xùn)練好的參數(shù)權(quán)重，減少了訓(xùn)練時(shí)間，并且準(zhǔn)確率也有一定提高。

通過實(shí)驗(yàn)數(shù)據(jù)表明，本文提出的基于深度學(xué)習(xí)的魚類分類算法，能夠有效解決魚類圖像分類問題，該方法對(duì)傳統(tǒng)的分類準(zhǔn)確率均有提高，對(duì)于小規(guī)模數(shù)據(jù)集有效解決了需要人工提取特征的不可遷移性。

4 結(jié) 語(yǔ)

本文研究了基于深度學(xué)習(xí)的魚類分類算法，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的分類模型和基于遷移學(xué)習(xí)的PreCNN+SVM分類模型。這些方法提取的特征都是從訓(xùn)練數(shù)據(jù)中提取的，不需要關(guān)于魚類領(lǐng)域的知識(shí)。

通過在深?；铘~圖像數(shù)據(jù)集上的實(shí)驗(yàn)證明，對(duì)比傳統(tǒng)魚類識(shí)別算法，利用深度學(xué)習(xí)算法識(shí)別魚類準(zhǔn)確度有一定的提高。

下一步將進(jìn)一步優(yōu)化基于深度學(xué)習(xí)的魚類識(shí)別模型，以GPU代替CPU加快訓(xùn)練速度。同時(shí)采集更多的數(shù)據(jù)來訓(xùn)練本文的模型，使得能夠識(shí)別更多的魚類。最終期望能夠?qū)⒈疚牡姆椒ê蛻?yīng)用進(jìn)行推廣，形成一個(gè)實(shí)用的自動(dòng)魚類識(shí)別產(chǎn)品，推進(jìn)水下活魚識(shí)別研究，探索水下物體識(shí)別問題，并使海洋生物學(xué)家，生態(tài)學(xué)家以及魚類養(yǎng)殖等商業(yè)應(yīng)用受益。

[1] Froese R,Pauly D.FishBase.World Wide Web electronic publication[OL].(2017-02).www.fishbase.org.

[2] Strachan N J C,Nesvadba P,Allen A R.Fish species recognition by shape analysis of images[J].Pattern Recognition,1990,23(5):539-544.

[3] Larsen R,Olafsdottir H,Ersbφll B.Shape and texture based classification of fish species[J].Image Analysis,2009,5575:745-749.

[4] Huang P X,Boom B J,Fisher R B.Underwater live fish recognition using a balance-guaranteed optimized tree[C]//Asian Conference on Computer Vision.Springer Berlin Heidelberg,2012:422-433.

[5] 吳一全,殷駿,戴一冕,等.基于蜂群優(yōu)化多核支持向量機(jī)的淡水魚種類識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2014,30(16):312-319.

[6] 杜偉東,李海森,魏玉闊,等.基于SVM的決策融合魚類識(shí)別方法[J].哈爾濱工程大學(xué)學(xué)報(bào),2015(5):623-627.

[7] Lécun Y,Bottou L,Bengio Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.

[8] Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems.Curran Associates Inc.2012:1097-1105.

[9] Pan S J,Yang Q.A Survey on Transfer Learning[J].Knowledge & Data Engineering IEEE Transactions on,2010,22(10):1345-1359.

[10] Oquab M,Bottou L,Laptev I,et al.Learning and Transferring Mid-level Image Representations Using Convolutional Neural Networks[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2014:1717-1724.

[11] Kingma D P,Ba J.Adam:A Method for Stochastic Optimization[C]//The third International Conference for Learning Representations,San Diego,2015.

[12] Hahnloser R H,Sarpeshkar R,Mahowald M A,et al.Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit[J].Nature,2000,405(6789):947-951.

[13] Srivastava N,Hinton G,Krizhevsky A,et al.Dropout:a simple way to prevent neural networks from overfitting[J].Journal of Machine Learning Research,2014,15(1):1929-1958.

[14] Szegedy C,Vanhoucke V,Ioffe S,et al.Rethinking the inception architecture for computer vision[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2016:2818-2826.

[15] 張學(xué)工.關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)[J].自動(dòng)化學(xué)報(bào),2000,26(1):32-42.

[16] Boom B J,Huang P X,He J,et al.Supporting ground-truth annotation of image datasets using clustering[C]//International Conference on Pattern Recognition.IEEE,2012:1542-1545.

[17] Abadi M,Agarwal A,Barham P,et al.TensorFlow:Large-scale machine learning on heterogeneous systems[EB/OL].(2015-12-12).http://download.tensorflow.org/paper/whitepaper2015.pdf.

[18] Qin H,Li X,Liang J,et al.DeepFish:Accurate underwater live fish recognition with a deep architecture[J].Neurocomputing,2015,187:49-58.