張怡，趙珠蒙，王校常，馮海強(qiáng)，林杰*

基于ResNet卷積神經(jīng)網(wǎng)絡(luò)的綠茶種類識(shí)別模型構(gòu)建

張怡1，趙珠蒙2，王校常2，馮海強(qiáng)3，林杰1*

1. 浙江農(nóng)林大學(xué)農(nóng)業(yè)與食品科學(xué)學(xué)院，浙江省農(nóng)產(chǎn)品品質(zhì)改良技術(shù)研究重點(diǎn)實(shí)驗(yàn)室浙江 杭州 311300； 2. 浙江大學(xué)茶葉研究所，浙江 杭州 310058；3. 浙江省種植業(yè)管理局，浙江 杭州 310020

綠茶是我國(guó)種類最多、產(chǎn)量最大的茶類，外形是其分類的重要依據(jù)。圖像分類是計(jì)算機(jī)視覺(jué)的核心技術(shù)之一，但其在茶葉領(lǐng)域的應(yīng)用較少，茶類識(shí)別仍依賴感官審評(píng)方法。采集8種常見(jiàn)綠茶（麗水香茶、信陽(yáng)毛尖、六安瓜片、太平猴魁、安吉白茶、碧螺春、竹葉青和龍井）共1?713張圖片，基于ResNet卷積神經(jīng)網(wǎng)絡(luò)，從識(shí)別模型的預(yù)測(cè)能力、收斂速度、模型大小和識(shí)別均衡性等角度探索了不同網(wǎng)絡(luò)深度和不同優(yōu)化算法的建模效果，最終選擇ResNet-18結(jié)構(gòu)、SGD優(yōu)化算法，建立了區(qū)分8種綠茶的深度學(xué)習(xí)模型，其對(duì)復(fù)雜背景茶葉圖片的識(shí)別準(zhǔn)確率達(dá)到了90.99%，單張圖片識(shí)別時(shí)間僅為0.098?s，模型大小為43.7?MB。本研究為構(gòu)建茶葉視覺(jué)識(shí)別模型并應(yīng)用于移動(dòng)端提供了基礎(chǔ)，為茶葉種類識(shí)別提供了一種快捷而高效的新方法。

卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；綠茶分類

綠茶有益于人們的身心健康，是深受消費(fèi)者喜愛(ài)的飲品。同時(shí)綠茶也是我國(guó)種類最多、產(chǎn)量最大的茶類，外形是其分類和區(qū)分等級(jí)的重要依據(jù)，也是茶葉感官審評(píng)的重要部分。然而，傳統(tǒng)的茶葉感官審評(píng)方法采用的審評(píng)術(shù)語(yǔ)尚未完善[1]、客觀環(huán)境的不確定性、標(biāo)準(zhǔn)量普及率低、評(píng)茶師主觀因素干擾，以及重復(fù)性差等限制與當(dāng)前新時(shí)代下消費(fèi)者對(duì)茶葉產(chǎn)品信息準(zhǔn)確、安全優(yōu)質(zhì)的需求日益提升[2]不相匹配。因此，發(fā)展開(kāi)放化、標(biāo)準(zhǔn)化、智能化[3]的綠茶分類識(shí)別方法是必然趨勢(shì)。一直以來(lái)，有關(guān)綠茶的新分類和評(píng)定方法層出不窮，如理化審評(píng)方法[4-5]、指紋圖譜評(píng)定方法[6-7]、智能感官審評(píng)方法[8-9]、紅外光譜成像技術(shù)檢測(cè)方法[10-11]等，但這些方法在一定程度上存在其局限性，如相關(guān)儀器及操作繁瑣復(fù)雜等，并且大多數(shù)是基于茶葉整體來(lái)進(jìn)行審評(píng)，要求具體且耗時(shí)，因此提出一種客觀、簡(jiǎn)潔、快速、低成本的綠茶分類方法很有必要。

卷積神經(jīng)網(wǎng)絡(luò)作為圖像分類算法的重要一員，具有識(shí)別精度高、檢測(cè)速度快等優(yōu)點(diǎn)，發(fā)展?jié)摿薮骩12]，在圖像分類[13]、物體檢測(cè)[14]、姿態(tài)估計(jì)[15]、圖像分割[16]和人臉識(shí)別[17]等領(lǐng)域取得了相當(dāng)大的成功[18]，并且有很大的擴(kuò)展優(yōu)勢(shì)[19]，已廣泛用于農(nóng)業(yè)[20]，醫(yī)療[21]，教育[22]，能源[23]，工業(yè)檢查[24]及其他領(lǐng)域[25]。目前，卷積神經(jīng)網(wǎng)絡(luò)已被用于茶樹(shù)病蟲(chóng)害識(shí)別[26]、茶葉等級(jí)篩分[27]，以及茶樹(shù)鮮葉的分選[28]，但對(duì)于建立在卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上對(duì)不同種類的綠茶進(jìn)行識(shí)別分類則尚未見(jiàn)報(bào)道。ResNet是近年來(lái)研究學(xué)者提出的執(zhí)行計(jì)算機(jī)視覺(jué)任務(wù)的典型卷積神經(jīng)網(wǎng)絡(luò)，因引入了殘缺模塊而最小化了增加網(wǎng)絡(luò)深度所導(dǎo)致的梯度消失問(wèn)題，在維持高準(zhǔn)確率的同時(shí)降低數(shù)據(jù)中信息的冗余度，簡(jiǎn)單實(shí)用。

本研究基于ResNet卷積神經(jīng)網(wǎng)絡(luò)，通過(guò)選擇合適的優(yōu)化算法與模型深度構(gòu)建了一個(gè)能夠區(qū)分8種綠茶的深度學(xué)習(xí)模型，旨在開(kāi)發(fā)一種高效、精確、客觀的鑒別模型并將其應(yīng)用于移動(dòng)端，實(shí)現(xiàn)對(duì)不同背景和環(huán)境下綠茶圖片的分類，可多人多設(shè)備共享使用，節(jié)約資源，實(shí)現(xiàn)深度學(xué)習(xí)在茶類識(shí)別中的初步應(yīng)用，為名優(yōu)綠茶的真?zhèn)舞b定提供一種新思路。

1 材料和方法

1.1 數(shù)據(jù)采集和試驗(yàn)平臺(tái)搭建

本研究的數(shù)據(jù)集由麗水香茶、信陽(yáng)毛尖、六安瓜片、太平猴魁、安吉白茶、碧螺春、竹葉青、龍井等8種綠茶所構(gòu)成，每個(gè)種類的圖像數(shù)目如表1所示，共有1?713張圖片。本研究部分?jǐn)?shù)據(jù)集如圖1所示，擁有不同外形品質(zhì)特征的8種綠茶在不同背景不同場(chǎng)景下呈現(xiàn)出不同的狀態(tài)，更好地還原了茶葉在生活中的實(shí)際場(chǎng)景。這些圖像為手動(dòng)搜索，來(lái)自不同互聯(lián)網(wǎng)平臺(tái)，如購(gòu)物平臺(tái)京東（www.jd.com）、淘寶（www.taobao.com）、社交平臺(tái)微博（https://weibo.com）和百度貼吧（https://tieba.baidu.com）等，擁有不同亮度、背景、角度、數(shù)量等特點(diǎn)，用于驗(yàn)證也能更好地說(shuō)明模型的泛化能力，具有更強(qiáng)的適用性。圖像越高清則含有的特征越多，越有利于模型的學(xué)習(xí)，因此本研究所選擇的圖像數(shù)據(jù)集的圖像大小基本都在100?KB以上，擴(kuò)展格式基本為JPG和PNG。

本研究的試驗(yàn)平臺(tái)搭建如表2所示，使用的建模腳本見(jiàn)github（https://github.com/seldas/ DL_Beetles）。

1.2 圖像預(yù)處理

本研究獲得的原始圖像大小不一，對(duì)圖像采取一定的預(yù)處理，可以增強(qiáng)模型對(duì)目標(biāo)物體的識(shí)別，同時(shí)也可以避免網(wǎng)絡(luò)的過(guò)擬合。本研究將訓(xùn)練集的茶葉圖像先隨機(jī)切分成圖片格式為224×224×3的RGB圖像，再經(jīng)過(guò)圖像翻轉(zhuǎn)。測(cè)試集的圖片則是先經(jīng)過(guò)圖像縮放處理，再以中心為基準(zhǔn)裁剪為224×224×3的RGB圖像。本研究對(duì)于試驗(yàn)中圖像的預(yù)處理屬于數(shù)據(jù)加強(qiáng)操作，能夠有效地提升模型的擬合能力和泛化能力[29]。

表1 不同種類綠茶的圖片數(shù)量

圖1 數(shù)據(jù)集部分展示

表2 試驗(yàn)平臺(tái)設(shè)置

1.3 CNN架構(gòu)和優(yōu)化算法

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是受感受野機(jī)制啟發(fā)而提出的深層前饋網(wǎng)絡(luò)，在結(jié)構(gòu)上具有局部連接、權(quán)重分享以及匯聚的特性。它被廣泛應(yīng)用于處理圖像和視頻分析的各個(gè)方面，諸如圖像分類、人臉識(shí)別、物體識(shí)別、圖像分割等，其準(zhǔn)確率遠(yuǎn)超其他神經(jīng)網(wǎng)絡(luò)模型。

優(yōu)化算法的目的是更新每個(gè)階段的權(quán)重，找到使損失函數(shù)的值盡可能小的參數(shù)即最優(yōu)參數(shù)來(lái)實(shí)現(xiàn)CNN架構(gòu)中的最佳學(xué)習(xí)。本研究中評(píng)價(jià)了4種不同的優(yōu)化算法：隨機(jī)梯度下降（SGD）算法，RMSprop算法，Adam算法和Adadelta算法。

1.4 采用的網(wǎng)絡(luò)模型結(jié)構(gòu)：ResNet

深度殘差網(wǎng)絡(luò)（Deep residual networks）是當(dāng)前應(yīng)用最為廣泛的CNN特征提取網(wǎng)絡(luò)。ResNet引入了殘差學(xué)習(xí)來(lái)解決深度網(wǎng)絡(luò)難以優(yōu)化的問(wèn)題，在維持高準(zhǔn)確率的同時(shí)降低數(shù)據(jù)中信息的冗余度，能夠擁有比以往的網(wǎng)絡(luò)模型更深的結(jié)構(gòu)[30]。

殘差網(wǎng)絡(luò)更容易優(yōu)化，相較于其他網(wǎng)絡(luò)深度增加可能帶來(lái)退化問(wèn)題和梯度彌散或梯度爆炸，可以通過(guò)增加深度來(lái)獲取不同等級(jí)的豐富特征從而提高識(shí)別圖片的準(zhǔn)確率[31]。深度學(xué)習(xí)采取的是多層表征學(xué)習(xí)，當(dāng)層數(shù)增加時(shí)，其抽象層級(jí)也會(huì)增加，其語(yǔ)義信息會(huì)更加豐富[32]。但是過(guò)深的網(wǎng)絡(luò)層數(shù)會(huì)帶來(lái)內(nèi)存量更大、所需時(shí)間更長(zhǎng)的問(wèn)題。

為此，本研究選擇了ResNet-18、ResNet-34、ResNet-50、ResNet-101等4個(gè)不同深度的ResNet模型作為試驗(yàn)對(duì)象，“-”后面的數(shù)字代表了ResNet的層數(shù)，以模型的收斂速度、大小、效率、識(shí)別的均衡性為衡量標(biāo)準(zhǔn)來(lái)選擇表現(xiàn)最佳的ResNet模型。

1.5 數(shù)據(jù)處理以及評(píng)價(jià)指標(biāo)

對(duì)圖像按照訓(xùn)練集∶驗(yàn)證集=3∶1隨機(jī)選擇采樣，訓(xùn)練數(shù)據(jù)用于參數(shù)的學(xué)習(xí)，驗(yàn)證數(shù)據(jù)用于模型的性能評(píng)估。嚴(yán)格按照相同的預(yù)處理進(jìn)行操作，為了保證驗(yàn)證結(jié)果的準(zhǔn)確性，每組試驗(yàn)最少重復(fù)3次，采取交叉驗(yàn)證避免劃分訓(xùn)練集和測(cè)試集時(shí)的隨意性，并利用SPSS 21.0軟件通過(guò)單因素方差分析（One-way ANOVA）進(jìn)行顯著性差異分析（<0.05），最后將數(shù)據(jù)分成大小相同的批次，方便后續(xù)模型的訓(xùn)練。

為了評(píng)價(jià)ResNet模型對(duì)于綠茶種類分類性能的評(píng)估，本試驗(yàn)采取準(zhǔn)確率、錯(cuò)誤率、精確率、召回率、F值和混淆矩陣作為評(píng)價(jià)指標(biāo)。以本研究8種綠茶為例，準(zhǔn)確率是模型識(shí)別8種綠茶整體性能的平均，錯(cuò)誤率與準(zhǔn)確率對(duì)應(yīng)，因其基數(shù)較小，可適合用于識(shí)別平衡性的比較。精確率、召回率和F值是對(duì)其中的每類都進(jìn)行性能評(píng)估。以安吉白茶為例，精確率是指所有預(yù)測(cè)為安吉白茶的樣本中預(yù)測(cè)正確的比例；召回率則以真實(shí)標(biāo)簽為安吉白茶的樣本為判斷依據(jù)，是指被預(yù)測(cè)正確的比例占所有真實(shí)標(biāo)簽為安吉白茶的樣本的比例；F值是綜合指標(biāo)，是精確率和召回率的調(diào)和平均?；煜仃嚹軌蚩偨Y(jié)對(duì)比分類預(yù)測(cè)結(jié)果和實(shí)際目標(biāo)，從以N×N矩陣形式呈現(xiàn)，每一行之和是該類別的真實(shí)樣本數(shù)量，每一列之和是被預(yù)測(cè)為該類別的樣本數(shù)量，可以直接對(duì)分類方法的有效性進(jìn)行評(píng)估。

2 結(jié)果與分析

2.1 優(yōu)化算法的對(duì)比

本研究在選擇ResNet-18為網(wǎng)絡(luò)模型的基礎(chǔ)上，對(duì)比SGD、RMsprop、Adam和Adadelta等4種算法。由于過(guò)擬合的原因，訓(xùn)練集上收斂的參數(shù)并不能在測(cè)試集上得到最優(yōu)實(shí)現(xiàn)。因此本研究選擇驗(yàn)證集準(zhǔn)確率和訓(xùn)練時(shí)間作為比較的標(biāo)準(zhǔn)，試驗(yàn)數(shù)據(jù)如圖2所示，可以看到SGD在這兩方面都表現(xiàn)最優(yōu)，不僅平均準(zhǔn)確率最高達(dá)到了90.99%，而且所需訓(xùn)練時(shí)間最短為71.37?min。因此本試驗(yàn)選擇SGD為最優(yōu)算法。

2.2 模型深度的對(duì)比

ResNet采用恒等映射可以避免深層網(wǎng)絡(luò)的“退化”問(wèn)題，從而可以達(dá)到非常深的網(wǎng)絡(luò)層數(shù)。通常網(wǎng)絡(luò)層數(shù)的增加會(huì)帶來(lái)ResNet性能的提升，但也存在計(jì)算量變大，收斂速度減慢，訓(xùn)練時(shí)間增加等問(wèn)題[33]。

2.2.1 模型收斂速度

本研究中收斂是指網(wǎng)絡(luò)模型的準(zhǔn)確率在Epochs趨向于無(wú)窮（本研究Epochs最大值為19）時(shí)無(wú)限接近于模型的最優(yōu)準(zhǔn)確率。不同深度的ResNet網(wǎng)絡(luò)，在Epochs變大的同時(shí)接近其最優(yōu)準(zhǔn)確率的速度是不同的。收斂速度越快，意味著快速穩(wěn)健的融合，避免過(guò)擬合或者是陷入局部最佳狀態(tài)[34]。利用逐漸加深的顏色來(lái)代表不同深度的ResNet層數(shù)，從上至下用相應(yīng)顏色的直線來(lái)代表達(dá)到最優(yōu)準(zhǔn)確率的速度。如圖3所示，4個(gè)不同深度的ResNet模型均無(wú)出現(xiàn)收斂抖動(dòng)現(xiàn)象，最終都會(huì)收斂，其中ResNet-18的收斂速度最快，在Epochs達(dá)到7時(shí)，能夠呈現(xiàn)穩(wěn)定的收斂狀態(tài)。

2.2.2 模型大小

目前，隨著網(wǎng)絡(luò)模型研究的不斷深入，模型結(jié)構(gòu)呈現(xiàn)越來(lái)越深的態(tài)勢(shì)，計(jì)算的復(fù)雜程度隨之加深，模型的大小和占據(jù)的內(nèi)存量也隨之增大。雖然現(xiàn)在計(jì)算機(jī)的硬件設(shè)施等正處于不斷更新升級(jí)階段，但在現(xiàn)階段仍無(wú)法適應(yīng)大規(guī)模的復(fù)雜網(wǎng)絡(luò)模型，會(huì)限制其在手機(jī)電腦等智能設(shè)備上的使用[35]。因此在確保高準(zhǔn)確率的基礎(chǔ)上，本研究要找尋輕量級(jí)，便于在端設(shè)備上使用的合適深度的網(wǎng)絡(luò)模型。不同深度的ResNet模型大小如表3所示，ResNet-18的模型大小為43.7?MB，所需空間最小，約為ResNet-34的52%，ResNet-101的26%，意味著它占內(nèi)存更小，運(yùn)算時(shí)間更快，更適合在移動(dòng)端進(jìn)行應(yīng)用。

注：數(shù)據(jù)為3次重復(fù)的平均值±標(biāo)準(zhǔn)差（n=3）。柱形圖上不同字母表示P<0.05，相同字母間無(wú)顯著性差異

圖3 不同深度ResNet模型的收斂速度

2.2.3 模型效率

模型的“效率”即要求快捷準(zhǔn)確，評(píng)價(jià)的指標(biāo)為識(shí)別每張圖片所需要的時(shí)間和識(shí)別的準(zhǔn)確率。由表3可知，4個(gè)網(wǎng)絡(luò)模型在識(shí)別速度上存在顯著性差異，識(shí)別速度由快到慢的排列順序分別為：ResNet-18>ResNet-34>ResNet-50>ResNet-101，ResNet-18識(shí)別每張圖片所需時(shí)間最短，僅需不到0.1?s便可識(shí)別一張圖片，但從準(zhǔn)確率來(lái)說(shuō)4個(gè)網(wǎng)絡(luò)模型準(zhǔn)確率之間的差別很小，都達(dá)到了90%以上，且不存在顯著性差異。

表3 不同深度ResNet模型的效率和大小

注：數(shù)據(jù)為3次重復(fù)的平均值±標(biāo)準(zhǔn)差(n=3)。表中前兩列數(shù)據(jù)不同字母表示<0.05，相同字母間無(wú)顯著性差異

Note: The data were mean ± Standard Deviation (n=3) for 3 repetitions. The data of the first two columns in the table showed different letters<0.05, but there was no significant difference between the same letters

2.2.4 模型識(shí)別的均衡性

模型識(shí)別準(zhǔn)確率的均衡性的提升更有利于模型在實(shí)際中的應(yīng)用，能夠避免對(duì)特定種類識(shí)別性差的問(wèn)題[36]。由圖4可知，利用8種茶樣識(shí)別錯(cuò)誤率的平均偏差作為衡量指標(biāo)，平均偏差值越小，說(shuō)明模型的識(shí)別均衡性越強(qiáng)。

由圖4可知訓(xùn)練集均衡性的排名為：ResNet-18>ResNet-101>ResNet-50>ResNet-34，驗(yàn)證集均衡性的排名為：ResNet-34>ResNet-18>ResNet-50>ResNet-101,ResNet-18，在訓(xùn)練集和驗(yàn)證集中識(shí)別的均衡性都較好。

本研究從模型的收斂速度、大小、效率、識(shí)別的均衡性4個(gè)角度衡量模型性能，最終選擇以ResNet-18作為模型的基礎(chǔ)構(gòu)建綠茶識(shí)別模型，它收斂速度最快所需要的訓(xùn)練時(shí)間最短，在占有內(nèi)存最小、識(shí)別速度的最快的基礎(chǔ)上有效保持了圖片識(shí)別的準(zhǔn)確率，且在識(shí)別的均衡性上表現(xiàn)較好能夠避免對(duì)于特定種類識(shí)別差的問(wèn)題。因本研究的數(shù)據(jù)集更加還原生活場(chǎng)景進(jìn)而證明了模型具有很強(qiáng)的實(shí)際運(yùn)用能力，突破了以往很多研究中不能夠充分再現(xiàn)實(shí)際多樣性的局限[37]。王文成等在與本研究有相似條件（模型：ResNet-50；優(yōu)化算法：SGD和momentum；數(shù)據(jù)集總量：908；識(shí)別對(duì)象：10種魚(yú)類）背景干擾強(qiáng)度不是很大的情況下能夠達(dá)到93.33%的平均準(zhǔn)確率[38]，說(shuō)明背景的干擾以及圖片不夠清晰的問(wèn)題也給識(shí)別準(zhǔn)確率的提升帶來(lái)了阻礙。在此基礎(chǔ)上，可以通過(guò)統(tǒng)一的背景、實(shí)地拍攝使模型獲得更多的有效信息使模型的準(zhǔn)確率得以提高。在卷積神經(jīng)網(wǎng)絡(luò)對(duì)物種的分類識(shí)別中，擁有不同數(shù)據(jù)集總量（3?600、6?300、65?000）、平均每類擁有樣本數(shù)（1?200、1?260、13?000）的玉米[39]、菊花[40]、花椒[41]平均識(shí)別準(zhǔn)確率分別達(dá)到了95.49%、95.9%和99.35%（均為干凈的布景，噪聲?。?。因此模型也可以通過(guò)擴(kuò)大數(shù)據(jù)集、選取更具有代表性的茶葉圖片實(shí)現(xiàn)優(yōu)化提升。而中國(guó)的綠茶種類遠(yuǎn)不止本研究這8種，在接下來(lái)的研究中也可以擴(kuò)展至其他茶類，實(shí)現(xiàn)更多茶類的智能識(shí)別。

2.3 8種綠茶預(yù)測(cè)分類結(jié)果

由表4可知，麗水香茶、六安瓜片、竹葉青、碧螺春的精確率、召回率和F值低，表明它們較容易被混淆為其他茶類，由圖5可知安吉白茶和竹葉青、碧螺春和麗水香茶容易被互相混淆：在合并統(tǒng)計(jì)的3次驗(yàn)證集中，10張安吉白茶被錯(cuò)判為竹葉青，12張竹葉青被錯(cuò)判為安吉白茶，12張麗水香茶被錯(cuò)判成碧螺春，18張碧螺春被錯(cuò)判為麗水香茶，可能是由于其茶類特點(diǎn)存在著一定的相似性，安吉白茶和竹葉青都有一定挺直的外形，而碧螺春和麗水香茶存在著外形卷曲的相似性。

出現(xiàn)上述結(jié)果也都可能是由于背景存在著一定的干擾使其中一些圖片的茶葉特點(diǎn)不能被很好的辨別，需要質(zhì)量更高數(shù)量更大的數(shù)據(jù)集支持模型進(jìn)一步學(xué)習(xí)。數(shù)據(jù)是深度學(xué)習(xí)的驅(qū)動(dòng)力，數(shù)量、質(zhì)量、預(yù)處理的合理性、標(biāo)簽精度都是其中的重要因子，可以通過(guò)隨機(jī)裁剪、隨機(jī)反轉(zhuǎn)、隨機(jī)亮度變換來(lái)擴(kuò)增數(shù)據(jù)集[42]，設(shè)置干凈的布景采取不同角度進(jìn)行實(shí)地拍攝獲得質(zhì)量更高的數(shù)據(jù)集，也可以預(yù)處理時(shí)裁剪成更小更集中的圖像[43]，多人多次核對(duì)標(biāo)簽來(lái)提高標(biāo)簽精度。

注：A：麗水香茶，B：信陽(yáng)毛尖，C：六安瓜片，D：太平猴魁，E：安吉白茶，F(xiàn)：碧螺春，G：竹葉青，H：龍井

表4 8種綠茶的精確率、召回率以及F值

2.4 模型構(gòu)建以及概述圖

基于前面的試驗(yàn)研究，本研究esNet-18為基礎(chǔ)，SGD為優(yōu)化算法，以數(shù)據(jù)集大小及綠茶種類特點(diǎn)為依據(jù)，構(gòu)建了1個(gè)基于ResNet卷積神經(jīng)網(wǎng)絡(luò)的綠茶種類識(shí)別模型，其主要識(shí)別過(guò)程如圖6所示。

圖5 ResNet-18的混淆矩陣熱圖

在訓(xùn)練學(xué)習(xí)模型時(shí)，每批次隨機(jī)并排讀取8張圖片，其中以標(biāo)紅框的安吉白茶來(lái)概述綠茶種類識(shí)別程序。首先，通過(guò)圖像預(yù)處理使得訓(xùn)練集的圖像更加多樣化，模型能獲得更多特征數(shù)據(jù)，而在驗(yàn)證時(shí)則能夠通過(guò)圖像縮放和中心裁剪的方式來(lái)更精確地讀取被識(shí)別的對(duì)象，從而提高模型的準(zhǔn)確率。對(duì)圖像進(jìn)行識(shí)別時(shí)，將SGD作為優(yōu)化算法，ResNet-18為網(wǎng)絡(luò)模型，通過(guò)其輸入層、卷積層、池化層、全連接層和輸出層的順序來(lái)完成識(shí)別。輸出的方式以預(yù)測(cè)圖形式呈現(xiàn)，簡(jiǎn)潔明了。

圖6 綠茶種類分析程序識(shí)別概述

3 結(jié)論

在本研究中，通過(guò)對(duì)4種不同的優(yōu)化算法進(jìn)行比對(duì)和從不同方面來(lái)探究ResNet模型深度的影響，搭建了一種基于ResNet卷積神經(jīng)網(wǎng)絡(luò)識(shí)別不同種類綠茶的新模型。

對(duì)比SGD、RMsprop、Adam和Adadelta等4種優(yōu)化算法，發(fā)現(xiàn)隨機(jī)梯度下降（SGD）算法所需時(shí)間最短，識(shí)別準(zhǔn)確率最高。

以ResNet-18、ResNet-34、ResNet-50、ResNet-101為試驗(yàn)對(duì)象探究ResNet模型深度的影響。ResNet-18在僅損失0.15%的準(zhǔn)確率（ResNet-50平均識(shí)別準(zhǔn)確率最高，達(dá)91.14%，ResNet-18為90.99%）和識(shí)別均衡性稍欠的情況下收斂速度最快，所需訓(xùn)練時(shí)間最短，識(shí)別速度最快（平均單張圖片識(shí)別速度為0.098?s），所需空間最?。?3.7?MB）。

本研究明確了8種茶類的混淆矩陣熱圖和各自的準(zhǔn)確率、召回率和F值，發(fā)現(xiàn)麗水香茶、六安瓜片、竹葉青、碧螺春較容易被混淆為其他茶類，而安吉白茶和竹葉青、碧螺春和麗水香茶容易被互相混淆。

本研究構(gòu)建的模型是深度學(xué)習(xí)在茶葉品種識(shí)別領(lǐng)域的初步應(yīng)用，通過(guò)對(duì)優(yōu)化算法的選擇和對(duì)模型深度的探索，整體上取得了較優(yōu)的識(shí)別效果。不僅為綠茶種類的識(shí)別提供了一個(gè)簡(jiǎn)潔高效的新方法，也為深度學(xué)習(xí)在茶葉領(lǐng)域的進(jìn)一步應(yīng)用奠定了相應(yīng)的基礎(chǔ)。

[1] 張穎彬, 劉栩, 魯成銀. 中國(guó)茶葉感官審評(píng)術(shù)語(yǔ)的形成與發(fā)展現(xiàn)狀[J]. 茶葉科學(xué), 2019, 39(2): 123-130. Zhang Y B, Liu X, Lu C Y. The development process and trend of Chinese tea comprehensive processing industry [J]. Journal of Tea Science, 2019, 39(2): 123-130.

[2] 黃藩, 劉飛, 王云, 等. 計(jì)算機(jī)視覺(jué)技術(shù)在茶葉領(lǐng)域中的應(yīng)用現(xiàn)狀及展望[J]. 茶葉科學(xué), 2019, 39(1): 81-87. Huang F, Liu F, Wang Y. Research progress and prospect on computer vision technology application in tea production [J]. Journal of Tea Science, 2019, 39(1): 81-87.

[3] 傅隆生, 宋珍珍, Zhang Xin, 等. 深度學(xué)習(xí)方法在農(nóng)業(yè)信息中的研究進(jìn)展與應(yīng)用現(xiàn)狀[J]. 中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào), 2020, 25(2): 105-120. Fu L S, Song Z Z, Zhang X, et al. Applications and research progress of deep learning in agriculture [J]. Journal of China Agricultural University, 2020, 25(2): 105-120.

[4] 嚴(yán)俊, 林剛, 賴國(guó)亮, 等. 測(cè)色技術(shù)在炒青綠茶品質(zhì)評(píng)價(jià)中的應(yīng)用研究[J]. 食品科學(xué), 1996(7): 21-24. Yan J, Lin G, Lai G L, et al. Study on the application of color measurement technology in evaluating the quality of roasted green tea [J]. Food Science, 1996(7): 21-24.

[5] 龍立梅, 宋沙沙, 李柰, 等. 3種名優(yōu)綠茶特征香氣成分的比較及種類判別分析[J]. 食品科學(xué), 2015, 36(2): 114-119.Long L M, Song S S, Li N, et al. Comparisons of characteristic aroma components and cultivar discriminant analysis of three varieties of famous green tea [J]. Food Science, 2015, 36(2): 114-119.

[6] 趙杰文, 郭志明, 陳全勝. 基于HPLC和模式識(shí)別的綠茶分類[J]. 江蘇大學(xué)學(xué)報(bào)(自然科學(xué)版), 2010(3): 7-11. Zhao J W, Guo Z M, Chen Q S. Identification of green teas by HPLC and pattern recognition [J]. Proceedings of the Jiangsu University (Natural Science), 2010(3): 7-11.

[7] 范方媛, 徐鵬程, 李春霖, 等. 基于HPLC多元指紋圖譜的龍井茶產(chǎn)地判別研究[J]. 中國(guó)食品學(xué)報(bào), 2019, 19(10): 278-285. Fan F Y, Xu P C, Li C L, et al. Studies on geographical discrimination of Longjing teas based on multiple HPLC fingerprints [J]. Journal of Chinese Institute of Food Science and Technology, 2019, 19(10): 278-285.

[8] 門洪, 寧珂, 張艷平, 等. 基于FCM-SVM的差分脈沖伏安電子舌用于對(duì)綠茶的識(shí)別[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào), 2013, 34(5): 201-205. Men H, Ning K, Zhang Y P, et al. Classification of green tea using differential pulse voltammetry electronic tongue based on FCM-SVM [J]. Chinese Journal of Agricultural Machinery Chemistry, 2013, 34(5): 201-205.

[9] 于亞萍, 趙輝, 楊仁杰, 等. 伏安型電子舌對(duì)不同種類綠茶的辨識(shí)[J]. 食品工業(yè), 2018, 39(11): 209-213. Yu Y P, Zhao H, Yang R J, et al. Idenfication of green tea using voltammetric electronic tongue [J]. Food Industry, 2018, 39(11): 209-213.

[10] 蔣帆,喬欣, 鄭華軍, 等. 基于高光譜分析技術(shù)的機(jī)炒龍井茶等級(jí)識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2011, 27(7): 343-348. Jiang F, Qiao X, Zheng H J, et al. Grade discrimination of machine-fried Longjing tea based on hyperspectral technology [J]. Agricultural Engineering, 2011, 27(7): 343-348.

[11] 林新, 牛智有. 基于近紅外光譜茶葉種類的快速識(shí)別[J]. 華中農(nóng)業(yè)大學(xué)學(xué)報(bào), 2008(2): 166-170. Lin X, Niu Z Y. Fast discrimination of tea species based on Near Infrared Spectroscopy (NIRS) [J]. Journal of Huazhong Agricultural University, 2008(2): 166-170.

[12] 巴桂. 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類算法[J]. 電腦與信息技術(shù), 2020, 28(1): 1-3. Ba G. Image classification method Based on convolution neural network [J]. Computer and Information Technology, 2020, 28(1): 1-3.

[13] 王偉凝, 王勵(lì), 趙明權(quán), 等. 基于并行深度卷積神經(jīng)網(wǎng)絡(luò)的圖像美感分類[J]. 自動(dòng)化學(xué)報(bào), 2016, 42(6): 904-914. Wang W N, Wang L, Zhao M Q, et al. Image aesthetic classification using parallel deep convolutional neural networks [J]. Journal of Automation, 2016, 42(6): 904-914.

[14] 黃斌, 盧金金, 王建華, 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的物體識(shí)別算法[J]. 計(jì)算機(jī)應(yīng)用, 2016(12): 3333-3340. Huang B, Lu J J, Wang J H, et al. Object recognition algorithm based on deep convolution neural networks [J]. Computer Applications, 2016(12): 3333-3340.

[15] Cai Y, Yang M, Jun L I. Multiclass classification based on a deep convolutional [J]. Frontiers of Information Technology & Electronic Engineering, 2015, 16(11): 930-939.

[16] 詹曙, 梁植程, 謝棟棟. 前列腺磁共振圖像分割的反卷積神經(jīng)網(wǎng)絡(luò)方法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2017, 22(4): 516-522.Zhan S, Liang Z C, Xie D D. Deconvolutional neural network for prostate MRI segmentation [J]. Chinese Journal of Image and Graphics, 2017, 22(4): 516-522.

[17] 胡挺, 祝永新, 田犁, 等. 面向移動(dòng)平臺(tái)的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)[J]. 計(jì)算機(jī)工程, 2019, 45(1): 17-22. Hu T, Zhu Y X, Tian L, et al. Lightweight convolutional neural network architecture for mobile platforms [J]. Computer Engineering, 2019, 45(1): 17-22.

[18] 盧宏濤, 張秦川. 深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中的應(yīng)用研究綜述[J]. 數(shù)據(jù)采集與處理, 2016, 31(1): 1-17. Lu H T, Zhang Q C. Applications of deep convolutional neural network in computer vision [J]. Data acquisition and processing, 2016, 31(1): 1-17.

[19] Wu L, Liu Z, Bera T, et al. A deep learning model to recognize food contaminating beetle species based on elytra fragments [J]. Computers and Electronics in Agriculture, 2019, 166: 105002. doi: 10.1016/j.compag.2019.105002.

[20] Yahya Altunta?, Zafer C?mert, Kocamaz A F. Identification of haploid and diploid maize seeds using convolutional neural networks and a transfer learning approach [J]. Computers and Electronics in Agriculture, 2019, 163: 1-11.

[21] 張鵬, 徐欣楠, 王洪偉, 等. 基于深度學(xué)習(xí)的計(jì)算機(jī)輔助肺癌診斷方法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2018, 30(1): 90-99. Zhang P, Xu X N, Wang H W, et al. Computer-aided lung cancer diagnosis approaches based on deep learning [J]. Journal of computer-aided design, 2018, 30(1): 90-99.

[22] 趙樹(shù)楓, 周亮, 羅雙虎, 等. 基于稀疏卷積神經(jīng)網(wǎng)絡(luò)的考生識(shí)別算法[J]. 現(xiàn)代電子技術(shù), 2019, 42(13): 61-64. Zhao S F, Zhou L, Luo S H, et al. Examinee recognition algorithm based on sparse convolutional neural network [J]. Modern Electronics Technology, 2019, 42(13): 61-64.

[23] 孫震笙, 柳鵬, 余濤, 等. 利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)GF-3輸電塔的檢測(cè)與分類[J]. 遙感信息, 2019, 34(5): 88-97. Sun Z S, Liu P, Yu T, et al. Electricity pylon detection and classification for GF-3 imagery using deep convolutional neural networks [J]. Remote Sensing Information, 2019, 34(5): 88-97.

[24] 程文博, 張?jiān)? 周華民, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的注塑制品短射缺陷識(shí)別[J]. 塑料工業(yè), 2015(7): 31-34. Cheng W B, Zhang Y, Zhou H M, et al. The short shot defect recognition of injection molded plastics based on convolution neural network [J]. Plastics Industry, 2015(7): 31-34.

[25] 馮興杰, 張志偉, 史金釧. 基于卷積神經(jīng)網(wǎng)絡(luò)和注意力模型的文本情感分析[J]. 計(jì)算機(jī)應(yīng)用研究, 2018, 35(5): 1434-1436. Feng X J, Zhang Z W, Shi J C. Text sentiment analysis based on convolutional neural networks and attention model [J]. Computer Applications Research, 2018, 35(5): 1434-1436.

[26] Chen J, Liu Q, Gao L W. Visual tea leaf disease recognition using a convolutional neural network model [J]. Symmetry, 2019, 11(3): 343.

[27] Borah S, Hines E L, Bhuyan M. Wavelet transform based image texture analysis for size estimation applied to the sorting of tea granules [J]. Journal of Food Engineering, 2007, 79(2): 629-639.

[28] 高震宇, 王安, 劉勇, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的鮮茶葉智能分選系統(tǒng)研究[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2017, 48(7): 53-58. Gao Z Y, Wang A, Liu Y, et al. Intelligent fresh-tea-leaves sorting system research based on convolution neural network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(7): 53-58.

[29] 葛程, 孫國(guó)強(qiáng). 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類研究[J]. 軟件導(dǎo)刊, 2018, 17(10): 27-31. Ge C, Sun G Q. Image classification based on convolution neural network [J]. Software Guide, 2018, 17(10): 27-31.

[30] 杜云梅, 黃帥, 梁會(huì)營(yíng). 基于深度卷積神經(jīng)網(wǎng)絡(luò)的腦電圖異常檢測(cè)[J]. 華南師范大學(xué)學(xué)報(bào)(自然科學(xué)版), 2020, 52(2): 122-128. Du Y M, Huang S, Liang H Y. The detection of anomaly in electroencephalogram with deep convolutional neural networks [J]. Journal of South China Normal University (Natural Science), 2020, 52(2): 122-128.

[31] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition [J]. Computer Vision and Pattern Recognition, 2016: 770-778.

[32] Hao X, Zhang G, Ma S. Deep learning [J]. International Journal of Semantic Computing, 2016, 10(3): 417-439.

[33] Zhang S, Zhang S, Zhang C, et al. Cucumber leaf disease identification with global pooling dilated convolutional neural network [J]. Computers and Electronics in Agriculture, 2019, 162: 422-430.

[34] 袁銀. 基于深度學(xué)習(xí)的植物圖像識(shí)別方法研究[J]. 現(xiàn)代農(nóng)業(yè)科技, 2017, 709(23): 278-280. Yuan Y. Research on plant image recognition method based on depth learning [J]. Modern Agricultural Science and Technology, 2017, 709(23): 278-280.

[35] 胡挺, 祝永新, 田犁, 等. 面向移動(dòng)平臺(tái)的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)[J]. 計(jì)算機(jī)工程, 2019, 45(1): 17-22. Hu T, Zhu Y X, Tian L, et al. Lightweight convolutional neural network architecture for mobile platforms [J]. Computer Engineering, 2019, 45(1): 17-22.

[36] 劉洋, 馮全, 王書(shū)志. 基于輕量級(jí)CNN的植物病害識(shí)別方法及移動(dòng)端應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2019, 35(17): 194-204. Liu Y, Feng Q, Wang S Z. Plant disease identification method based on lightweight CNN and mobile application [J]. Agricultural Engineering, 2019, 35(17): 194-204.

[37] Barbedo J A. Plant disease identification from individual lesions and spots using deep learning [J]. Bisoystems Engineering, 2019, 180: 96. doi: 10.1016/j.biosystemseng.2019.02.002.

[38] 王文成, 蔣慧, 喬倩, 等. 基于ResNet50網(wǎng)絡(luò)的十種魚(yú)類圖像分類識(shí)別研究[J]. 農(nóng)村經(jīng)濟(jì)與科技, 2019, 30(19): 60-62. Wang W C, Jiang H, Qiao Q, et al. Study on classification and recognition of ten fish images based on resnet 50 network [J]. Rural Economics and Technology, 2019, 30(19): 60-62.

[39] 徐巖, 劉林, 李中遠(yuǎn), 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的玉米品種識(shí)別[J]. 江蘇農(nóng)業(yè)學(xué)報(bào), 2020, 36(1): 18-23. Xu Y, Liu L, Li Z Y, et al. Recognition of maize varieties based on convolutional neural network [J]. Jiangsu Agricultural Journal, 2020, 36(1): 18-23.

[40] 袁培森, 黎薇, 任守綱, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的菊花花型和品種識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2018, 34(5): 152-158 Yuan P S, Li W, Ren S G, et al. Recognition for flower type and variety of chrysanthemum with convolutional neural network [J]. Agricultural Engineering, 2018, 34(5): 152-158.

[41] Tan C, Wu C, Huang Y, et al. Identification of different species of Zanthoxyli Pericarpium based on convolution neural network [J]. PLoS ONE, 2020, 15(4): e0230287. doi: 10.1371/journal.pone.0230287.

[42] 邱津怡, 羅俊, 李秀, 等. 基于卷積神經(jīng)網(wǎng)絡(luò)的多尺度葡萄圖像識(shí)別方法[J]. 計(jì)算機(jī)應(yīng)用, 2019, 39(10): 2930-2936. Qiu J Y, Luo J, Li X, et al. Multi-scale grape image recognition method based on convolutional neural network [J]. Computer Applications, 2019, 39(10): 2930-2936.

[43] Xue W, Hu X, Wei Z, et al. A fast and easy method for predicting agricultural waste compost maturity by image-based deep learning [J]. Bioresource Technology, 2019, 290: 121761. doi: 10.1016/j.biortech.2019.121761.

Construction of Green Tea Recognition Model Based on ResNet Convolutional Neural Network

ZHANG Yi1, ZHAO Zhumeng2, WANG Xiaochang2, FENG Haiqiang3, LIN Jie1*

1. The Key Laboratory for Quality Improvement of Agricultural Product of Zhejiang Province, Zhejiang A&F University, Hangzhou 311300, China; 2. Institute of Tea Science, Zhejiang University, Hangzhou 310058, China; 3. Planting Administration Bureau of Zhejiang Province, Hangzhou 310020, China

Green tea is the tea with the largest variety and output in China. Its appearance is an important basis for its classification. Image classification is one of the core technologies of computer vision, but its application in tea field is almost blank. Tea recognition still relies on the sensory evaluation methods by experts. This study collected 1713 pictures of 8 kinds of green tea (Lishui Xiangcha, Xinyang Maojian, Lu'an Guapian, Taiping Houkui, Anji Baicha, Biluochun, Zhuyeqing and Longjing). Based on the convolutional neural network, we explored the effects of ResNet model depth from the perspectives of model convergence speed, size, efficiency and identification balance. Finally, the ResNet-18 and SGD optimization algorithms were selected and a deep learning model was established to distinguish 8 kinds of green tea. The accuracy reached 90.99%, the recognition time of the single picture was only 0.098?s, and the model size was 43.7?MB. This paper provided the foundation for constructing a tea visual recognition model and applying it to the mobile terminals and provided a new accurate and efficient method for tea recognition.

convolutional neural network, deep learning, classification of green tea

S571.1；TP183

A

1000-369X(2021)02-261-11

2020-09-02

2020-10-26

國(guó)家自然科學(xué)基金（31800582）、浙江省農(nóng)業(yè)重大技術(shù)協(xié)同推廣計(jì)劃（2020XTTGCY03）

張怡，女，本科在讀，茶學(xué)專業(yè)，1417515598@qq.com。*通信作者：linjie@zafu.edu.cn

（責(zé)任編輯：趙鋒）