王長(zhǎng)庚
(1.河南師范大學(xué) 計(jì)算機(jī)與信息工程學(xué)院,河南 新鄉(xiāng) 453007;2.“智慧商務(wù)與物聯(lián)網(wǎng)技術(shù)”河南省工程實(shí)驗(yàn)室(河南師范大學(xué)),河南 新鄉(xiāng) 453007)
動(dòng)物分類學(xué)歷史悠久,其核心思想是根據(jù)動(dòng)物的體態(tài)、習(xí)性等客觀特征,以相似性為評(píng)估標(biāo)準(zhǔn),構(gòu)建整個(gè)動(dòng)物體系。在農(nóng)業(yè)領(lǐng)域中,正確的動(dòng)物分類,有助于畜牧業(yè)、漁業(yè)養(yǎng)殖領(lǐng)域中遺傳育種的篩選,而生物存在生殖隔離的特性,決定了畜牧業(yè)培育優(yōu)良高產(chǎn)的動(dòng)物品種前,需要區(qū)分并梳理動(dòng)物大類內(nèi)的各種子類,然后才能從類內(nèi)不同品種的動(dòng)物特性中歸納優(yōu)良高產(chǎn)動(dòng)物的雜交方法。這樣對(duì)某一大類精準(zhǔn)劃分不同子類的過(guò)程稱為細(xì)粒度分類(Fine-grained Classification) 。細(xì)粒度分類相對(duì)于類間的粗粒度劃分,更加注重類間差異小、類內(nèi)差異大兩種模式識(shí)別[1]。例如,漁業(yè)養(yǎng)殖中“紅鯛魚(yú)”和“金頭鯛魚(yú)”,以及畜牧作業(yè)生產(chǎn)中“美洲赤犬”和“維希拉獵犬”作為同類動(dòng)物的不同細(xì)類(圖1) ,它們僅在毛發(fā)長(zhǎng)短、身體顏色、形態(tài)、動(dòng)作、亮度、拍攝角度等細(xì)微處存在差異,非領(lǐng)域?qū)<液茈y區(qū)分開(kāi)來(lái)。此外,在識(shí)別作物與雜草、昆蟲(chóng)品種識(shí)別[2]、遙感識(shí)別、農(nóng)用機(jī)型、木薯病害檢測(cè)[3]等場(chǎng)合,亦亟需高效細(xì)粒度分類技術(shù)。
圖1 魚(yú)和狗的不同細(xì)類
捕獲被識(shí)別物體的圖像只是細(xì)粒度圖像分類技術(shù)的基礎(chǔ),更多的是依靠卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network) 對(duì)圖像進(jìn)行分析。卷積神經(jīng)網(wǎng)絡(luò)模擬人對(duì)物體的分類方式,在圖像上以卷積的方式提取被識(shí)別物體的邊界、形狀、顏色、大小等表層信息,隨著卷積層加深,神經(jīng)網(wǎng)絡(luò)甚至能對(duì)被識(shí)別物體的特征進(jìn)行高維抽象使得分類精確度更高,但傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)非常依賴于硬件設(shè)備,卷積層的加深會(huì)給計(jì)算資源帶來(lái)沉重負(fù)擔(dān)。在農(nóng)業(yè)分類領(lǐng)域,這樣的高成本與畜牧業(yè)推廣“低廉、高效”的主旨相悖。因此,既要保證細(xì)粒度圖像分類高精度的同時(shí),又能減少計(jì)算資源的消耗是值得探索并深入研究的。本文基于雙線性卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行改進(jìn),在不同動(dòng)物數(shù)據(jù)集下進(jìn)行實(shí)驗(yàn),對(duì)比分析主流分類方法的優(yōu)劣,提出綜合性能優(yōu)異的深度學(xué)習(xí)模型。
傳統(tǒng)的圖像分類十分依賴人工標(biāo)注特征,這樣提取的特征標(biāo)準(zhǔn)不一且人力成本高昂。深度學(xué)習(xí)技術(shù)的引入迅速解決了這一癥結(jié),受生物學(xué)啟發(fā)通過(guò)模擬人的神經(jīng)系統(tǒng),設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò),讓模型自下而上地自主學(xué)習(xí)不同動(dòng)物的子類特征,強(qiáng)有力地彌補(bǔ)了傳統(tǒng)識(shí)別動(dòng)物子類方法的不足。盡管Zhang 等人[4]提出了強(qiáng)監(jiān)督細(xì)粒度分類Part-based R-CNNs,通過(guò)記分函數(shù)標(biāo)記被識(shí)別信息,同時(shí)基于幾何約束的方法對(duì)特征建模,該模型在CUB200-2011(Caltech-UCSD 鳥(niǎo)類數(shù)據(jù)集)上證明了比傳統(tǒng)的細(xì)粒度分類方法具備更高精確度。He 等人[5]提出另一種強(qiáng)監(jiān)督分類模型Mask R-CNN,通過(guò)引入線性插值法,在Faster RCNN進(jìn)行目標(biāo)檢測(cè)時(shí),配合語(yǔ)義分割法FCN 完成圖像分類任務(wù)。強(qiáng)監(jiān)督算法保證了細(xì)粒度圖像分類的高精確,但訓(xùn)練時(shí)使用大量人工標(biāo)注信息,包含類別、局部區(qū)域位置、標(biāo)注框等,人工成本昂貴。因此,特別需要僅輸入被識(shí)別物體的類別,就可以訓(xùn)練輸出的算法,即弱監(jiān)督學(xué)習(xí)。Mahmoudi等人[6]利用SVM替換全連接層,將輸入特征映射到更高維空間進(jìn)行分類,使用效果未能達(dá)到人們的預(yù)期。而后,Wang、Yan 等人[7-8]分別引入多尺度學(xué)習(xí)和注意力機(jī)制來(lái)改進(jìn)特征學(xué)習(xí),He等人[9]通過(guò)定位法關(guān)注差異性局部區(qū)域,都在一定程度提高了圖像識(shí)別精確度,卻嚴(yán)重依賴人工特征設(shè)計(jì)。Yao 等人[10]探討了將遷移學(xué)習(xí)融入文本細(xì)粒度識(shí)別,較之特征學(xué)習(xí)取得了更好的效果,但是未能有效應(yīng)用在包含信息更多的細(xì)粒度圖像分類領(lǐng)域。Lin 等人[11]設(shè)計(jì)了雙線性卷積神經(jīng)網(wǎng)絡(luò)(Bilinear Convolutional Neural Networks,BCNN) ,作為第一個(gè)支持端到端訓(xùn)練的協(xié)方差池化模型,其創(chuàng)新點(diǎn)是雙通道協(xié)同工作,一個(gè)通道用以提取細(xì)分類物體的特征,另一個(gè)通道用以特征定位,每個(gè)通道中都配置有獨(dú)立的卷積神經(jīng)網(wǎng)絡(luò)。Gao等[12]立足于BCNN,從特征分布的維度重新構(gòu)建感受野,并取得了一定的進(jìn)展。但是,這些模型都未能關(guān)注到特征圖的通道數(shù)、特征的空間位置,以及特征融合過(guò)程中產(chǎn)生的非線性映射的問(wèn)題。
常規(guī)的卷積過(guò)程是多個(gè)固定的卷積核對(duì)特征圖進(jìn)行下采樣的過(guò)程,例如在BCNN中卷積核大小為3×3,通過(guò)步長(zhǎng)參數(shù)對(duì)3×224×224 的初始化圖像進(jìn)行特征提取。這樣的過(guò)程始終在一個(gè)規(guī)律性的區(qū)間內(nèi)捕捉特征值,如圖2所示,細(xì)粒度圖像特征關(guān)鍵之處就是微小差異,而且被識(shí)別動(dòng)物的邊界、體態(tài)等特征又根據(jù)拍攝角度的不同呈現(xiàn)不規(guī)律的特征。對(duì)此,本文改進(jìn)BCNN 的卷積過(guò)程,引入可變形卷積,對(duì)關(guān)鍵特征值進(jìn)行微調(diào),使得卷積過(guò)程中擬合被識(shí)別物體復(fù)雜的邊界特征。
圖2 常規(guī)卷積和可變形卷積
常規(guī)卷積和可變形卷積對(duì)比如圖2所示。由此可以看出,常規(guī)卷積是在一個(gè)3×3的固定范圍內(nèi)提取特征,而可變形卷積通過(guò)引入位置偏置,可以擴(kuò)大感受野,將周邊特征也納入特征搜索范圍。對(duì)被識(shí)別物體的卷積過(guò)程分解,進(jìn)一步解讀可變形卷積的差異,如圖3所示??梢钥闯?,常規(guī)卷積在狗的脖頸部位得到激活,且采樣區(qū)域?yàn)?×3 的正方形,這也表明了感受野受限于卷積核大小。然而,可變形卷積擁有非固定大小的卷積核,將激活區(qū)域擴(kuò)大了狗的耳朵、四肢,顯而易見(jiàn),可變形卷積激活區(qū)域更貼近被識(shí)別物體的真實(shí)體態(tài)。
圖3 進(jìn)一步解讀可變形卷積的差異
假設(shè)Pn表示已知特征區(qū)域R內(nèi)的任意一點(diǎn),在常規(guī)卷積后得到的結(jié)果可表示為:
其中,P′n表示區(qū)域R內(nèi)位置,w(P′n)表示P′n的權(quán)重,x 表示輸入特征圖的集合。可變形卷積在此基礎(chǔ)上引入一個(gè)方向向量{ΔPn|n= 1,2,...,N}代表位置偏移,且N=|R|。即可變形卷積公式為:
可變形卷積的實(shí)現(xiàn)過(guò)程如圖4 所示,在經(jīng)過(guò)常規(guī)的卷積后,需要進(jìn)行再卷積,這樣做的目的是使卷積核變形,為得到被識(shí)別物體形態(tài)的不規(guī)則特征做準(zhǔn)備,即調(diào)整卷積核的偏移量。偏移量通過(guò)方向向量表示,在平面圖像識(shí)別中,從x和y兩個(gè)方向發(fā)生位置偏移,從而達(dá)到偏移卷積核的目的。
圖4 可變形卷積的實(shí)現(xiàn)過(guò)程
從整體過(guò)程來(lái)看,特征輸出與卷積偏移是同時(shí)進(jìn)行的,為了在反向傳播過(guò)程時(shí)也同步進(jìn)行,偏移值x和y的反向傳播需要通過(guò)雙線性內(nèi)插法完成。雙線性內(nèi)插法本質(zhì)上是三次線性插值運(yùn)算,即已知特征圖的四個(gè)坐標(biāo)點(diǎn)Q(0,0)=(x0,y0)、Q(0,1)=(x0,y1)、Q(1,0)=(x1,y0)、Q(1,1)=(x1,y1),雙線性插值點(diǎn)P=(x,y)未知。故推導(dǎo)P點(diǎn)坐標(biāo)公式如式(3)所示:
核函數(shù)優(yōu)化其實(shí)指的是kernel trick,本質(zhì)上核函數(shù)是在做內(nèi)積運(yùn)算,并且在卷積神經(jīng)網(wǎng)絡(luò)中,隨著深度的增加,數(shù)據(jù)維度也在增加,但是核函數(shù)內(nèi)積卻能保持不變。數(shù)學(xué)推導(dǎo)中,核函數(shù)必須連續(xù),并且自身結(jié)構(gòu)是具備對(duì)稱性?;诖颂匦?,最常見(jiàn)也是最成功的核函數(shù)應(yīng)用是在SVM中,在低維數(shù)據(jù)映射到高維空間過(guò)程中起到了絕對(duì)作用。所以核函數(shù)適合在圖像、文本、特征序列等數(shù)據(jù)集中找到一個(gè)相關(guān)關(guān)系,如果當(dāng)前數(shù)據(jù)維度失效,那么便不停地向高維做再映射的操作,由于空間維度無(wú)上限,也就是說(shuō)核函數(shù)映射也是無(wú)上限的,直至核函數(shù)在高維空間中找到一個(gè)相關(guān)關(guān)系足以很好地區(qū)分?jǐn)?shù)據(jù)。也正是由于核函數(shù)支持高維空間映射的特性,所以如果目前數(shù)據(jù)所在維度無(wú)法擬合一條合適的線幫助分類的話,高維空間一定存在一個(gè)合適的分割區(qū)域,這個(gè)分割線如果返回到低維空間時(shí),可能會(huì)表現(xiàn)出非線性關(guān)系,核函數(shù)可表達(dá)為kernel(x,y) =(x),?(y) >。
在輸入圖像通道上,雙線性卷積網(wǎng)絡(luò)首次以外積的方式保留了特征之間的線性關(guān)系,但是對(duì)于非線性相關(guān)的特征表達(dá)還不夠深入,會(huì)產(chǎn)生信息損失,降低圖像分類準(zhǔn)確率。葛疏雨等人[13]引入核函數(shù)彌補(bǔ)特征信息,本文也對(duì)外積步驟進(jìn)行指數(shù)核函數(shù)優(yōu)化,使得卷積特征利用率能夠進(jìn)一步提高。
基于可變形卷積得到的特征圖,開(kāi)始核化三步驟,如圖5所示。步驟1為歸一化過(guò)程,對(duì)特征圖進(jìn)行L2 范數(shù)歸一化得到新的特征矩陣,其中n代表通道數(shù),N代表特征圖的乘積矩陣。步驟2為核化過(guò)程,以指數(shù)核函數(shù)的方式對(duì)外積結(jié)果進(jìn)行核聚合操作,構(gòu)建非線性特征關(guān)系。步驟3為矩陣冪正規(guī)化過(guò)程,對(duì)已構(gòu)建非線性關(guān)系的特征進(jìn)行指數(shù)冪輸出,且輸出結(jié)果為對(duì)稱矩陣,故僅取上三角部分便可得到圖像的特征輸出,為softmax層做準(zhǔn)備。
圖5 核化過(guò)程
圖5中,已知核函數(shù)公式為P=K(XXT),則指數(shù)核函數(shù)如式(4) 所示,其中β> 0且支持參數(shù)調(diào)整。指數(shù)核函數(shù)還支持反向傳播,故損失函數(shù)l對(duì)應(yīng)矩陣P的反向傳播公式如式(5) 所示,其中,“°”表示基本積計(jì)算(Hadamard product) 。
數(shù)據(jù)集介紹:適用于動(dòng)物細(xì)分類的數(shù)據(jù)集較少,為了測(cè)試網(wǎng)絡(luò)的性能和泛化能力,本文選擇Fish Dataset、CUB-200-2011、Stanford Dogs Dataset 等3 種數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。Stanford Dogs Dataset 是 ImageNet 數(shù)據(jù)集的子類,由Stanford 提供的狗類數(shù)據(jù)集,包含120種子類,圖片數(shù)量合計(jì)20 580 張,實(shí)驗(yàn)過(guò)程中劃分訓(xùn)練集14 406張,測(cè)試集6 174張。CUB-200-2011是由加州理工學(xué)院提出的鳥(niǎo)類基礎(chǔ)數(shù)據(jù)集,包含200 個(gè)類別,11 788 張圖片,實(shí)驗(yàn)過(guò)程中劃分訓(xùn)練集8 252 張,測(cè)試集3 536 張。Fish Dataset[14]發(fā)表于ASU 2020,收集了紅鯛魚(yú)、鱸魚(yú)、金鯛魚(yú)、紅鯔魚(yú)、馬鯖魚(yú)、黑海鯡魚(yú)等8種魚(yú)類圖片,F(xiàn)ish Dataset 原數(shù)據(jù)集還包含蝦類圖片,為避免影響細(xì)分類效果,實(shí)驗(yàn)前期已剔除,實(shí)驗(yàn)過(guò)程中劃分訓(xùn)練集5 600張,測(cè)試集2 400張。以上數(shù)據(jù)集可以用作細(xì)粒度分類,滿足本文驗(yàn)證需要,如表1所示。
表1 不同β對(duì)比實(shí)驗(yàn)
表1 數(shù)據(jù)集對(duì)比
超參數(shù)設(shè)置。本文在訓(xùn)練過(guò)程中,以VGG16作為特征提取器,采用隨機(jī)讀取數(shù)據(jù)和標(biāo)準(zhǔn)正則化的方法。為便于GPU 的并行運(yùn)算batch_size 設(shè)置為16,num_workers設(shè)置為2,圖像尺寸統(tǒng)一為224×224,優(yōu)化器為隨機(jī)梯度下降法(Stochastic Gradient Descent,SGD) 和自適應(yīng)估計(jì)法(Adaptive Moment Estimation,Adam) ,二者初始學(xué)習(xí)率皆設(shè)置為0.001,momentum設(shè)置為0.9,weight_decay 設(shè)置為1E-5,損失函數(shù)為交叉熵?fù)p失函數(shù)。卷積過(guò)程中,卷積核大小設(shè)置為標(biāo)準(zhǔn)3×3,初始步長(zhǎng)設(shè)置為2,初始填充值設(shè)置為1。
導(dǎo)入預(yù)訓(xùn)練參數(shù),依次加載不同數(shù)據(jù)集進(jìn)行訓(xùn)練。數(shù)據(jù)集的規(guī)模與訓(xùn)練效果息息相關(guān),本文在預(yù)訓(xùn)練過(guò)程中通過(guò)數(shù)據(jù)增廣的方式,使用自由隨機(jī)剪裁[15]、縮放、旋轉(zhuǎn)、低光增強(qiáng)[16]、多圖像組合為一個(gè)batch的方式[17]進(jìn)行數(shù)據(jù)增強(qiáng)。實(shí)驗(yàn)初期,優(yōu)化算法采用Adam以達(dá)到快速收斂的目的,實(shí)驗(yàn)?zāi)┢?,?yōu)化算法采用SGD算法微調(diào)學(xué)習(xí)率達(dá)到峰值。
更換模型,更換數(shù)據(jù)集,再次重復(fù)上述步驟,不同模型、不同數(shù)據(jù)集實(shí)驗(yàn)時(shí)保證超參數(shù)初始值相同,同時(shí)在日志中記錄精確度與損失函數(shù)的變化情況,以方便對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行交叉對(duì)比驗(yàn)證。
確定模型指標(biāo),評(píng)估模型性能。本文實(shí)驗(yàn)設(shè)置2個(gè)常用指標(biāo):準(zhǔn)確率(Accuracy,Acc) 、F1分?jǐn)?shù)。
實(shí)驗(yàn)統(tǒng)一采用VGG16作為特征提取器,基于改進(jìn)雙線性的細(xì)粒度圖像分類網(wǎng)絡(luò)的創(chuàng)新點(diǎn)之一在于指數(shù)核函數(shù)的優(yōu)化。根據(jù)公式(4) 可知,其中β是可調(diào)參數(shù),故本小節(jié)實(shí)驗(yàn)主要針對(duì)β值的調(diào)整找到當(dāng)前模型的最優(yōu)解,此時(shí)以準(zhǔn)確度作為評(píng)估指標(biāo)即可滿足需求。
如表1 所示為不同β下,本文模型在不同數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果,可以看出作為自變量,對(duì)于數(shù)據(jù)集的變化不敏感。從宏觀上看,精確度在區(qū)間內(nèi)呈正相關(guān)關(guān)系,在區(qū)間內(nèi)呈負(fù)相關(guān)關(guān)系,即時(shí)取得模型最優(yōu)解,分別在三個(gè)數(shù)據(jù)集上達(dá)到了98.85%、86.69%、80.94%的準(zhǔn)確度,同時(shí)為接下來(lái)消融實(shí)驗(yàn)做準(zhǔn)備。
基于改進(jìn)雙線性的細(xì)粒度圖像分類網(wǎng)絡(luò)不僅通過(guò)指數(shù)核函數(shù)模塊優(yōu)化外積過(guò)程,更是在卷積過(guò)程中增加可變形卷積模塊。本小節(jié)在不同數(shù)據(jù)集上對(duì)不同模塊進(jìn)行消融實(shí)驗(yàn),評(píng)估各模塊對(duì)于模型性能優(yōu)化的貢獻(xiàn)度,貢獻(xiàn)度大小以準(zhǔn)確度和F1值表示,基線模型為BCNN,指數(shù)核函數(shù)模塊優(yōu)化中設(shè)置。
實(shí)驗(yàn)結(jié)果如表2所示,由此可以看出,可變形卷積與指數(shù)核函數(shù)都起到了優(yōu)化作用,且在Fish Dataset數(shù)據(jù)集上,指數(shù)核函數(shù)優(yōu)化準(zhǔn)確度比基線網(wǎng)絡(luò)分別提高了0.73%,而在CUB-200-2011 數(shù)據(jù)集上提高2.49%,可變形卷積優(yōu)化準(zhǔn)確度比基線網(wǎng)絡(luò)分別提高了0.37%和2.11%,相應(yīng)F1分值的增長(zhǎng)也說(shuō)明指數(shù)核函數(shù)優(yōu)化優(yōu)于可變形卷積。
表2 不同優(yōu)化模塊對(duì)比實(shí)驗(yàn)
在Stanford Dogs Dataset 數(shù)據(jù)集上,雖然指數(shù)核函數(shù)優(yōu)化和可變形卷積優(yōu)化都比基線模型有著更高精確度,但是指數(shù)核函數(shù)優(yōu)化表現(xiàn)性能略低于可變形卷積,這是因?yàn)镾tanford Dogs Dataset 數(shù)據(jù)集中存在除被識(shí)別物體外的其他生物,此時(shí)這些“其他生物”便是噪聲??勺冃尉矸e會(huì)將這些噪聲區(qū)域作為被識(shí)別物體的邊界特征,同時(shí)指數(shù)核函數(shù)也會(huì)構(gòu)建這些噪聲與真實(shí)特征之間的非線性關(guān)系,且后者對(duì)于噪聲更為敏感。從整體上看,可變形卷積優(yōu)化和指數(shù)核函數(shù)優(yōu)化模塊都起到了正向作用,并且提高了細(xì)粒度分類精確度,驗(yàn)證了二者在自適應(yīng)調(diào)整卷積區(qū)域和構(gòu)建非線性相關(guān)關(guān)系的合理性與有效性。
基于改進(jìn)雙線性的細(xì)粒度圖像分類網(wǎng)絡(luò)進(jìn)一步在三個(gè)數(shù)據(jù)集上與主流細(xì)分類網(wǎng)絡(luò)對(duì)比,實(shí)驗(yàn)結(jié)果如表3所示。Improved BCNN 作為BCNN 在2017年的優(yōu)化版本,在Fish Dataset 和CUB-200-2011 數(shù)據(jù)集上識(shí)別精度比BCNN 高0.09%,但是在Stanford Dogs Dataset 數(shù)據(jù)集上略低于BCNN。注意力雙線性網(wǎng)絡(luò)是在BCNN 網(wǎng)絡(luò)基礎(chǔ)上引入注意力機(jī)制,使得模型能夠更多地關(guān)注局部特征,在三個(gè)數(shù)據(jù)集上準(zhǔn)確度分別達(dá)到了97.59%、86.09%、78.95%。G2DeNet 與BCNN 類似,都屬于卷積高階編碼方法,且在CUB-200-2011 數(shù)據(jù)集上識(shí)別精度達(dá)到87.1%,取得最優(yōu)解。
從整體來(lái)看,本文方法在Fish Dataset、CUB-200-2011、Stanford Dogs Dataset 數(shù)據(jù)集上識(shí)別精度均高于基線模型,且在Fish Dataset 數(shù)據(jù)集上達(dá)到了98.85%的最高準(zhǔn)確度。
本文基于BCNN 模型,從可變形卷積和指數(shù)核函數(shù)優(yōu)化的維度,對(duì)模型前期的特征卷積過(guò)程與后期的外積過(guò)程分別進(jìn)行優(yōu)化。本文網(wǎng)絡(luò)不僅支持端到端的訓(xùn)練,還能根據(jù)被識(shí)別物體多樣的細(xì)微邊界特征,自適應(yīng)調(diào)整特征提取的范圍;同時(shí)在外積過(guò)程中,彌補(bǔ)了未關(guān)注通道特征之間非線性關(guān)系的不足,最終大大提高了模型特征利用率,特征信息也能盡可能得到表達(dá)。實(shí)驗(yàn)證明在不同數(shù)據(jù)集上、在與當(dāng)前主流模型對(duì)比結(jié)果上均獲得優(yōu)異的成績(jī),在Fish Dataset最高達(dá)到98.85%,佐證了本文方法優(yōu)異的泛化能力與有效性。結(jié)構(gòu)的優(yōu)化帶來(lái)了計(jì)算資源的消耗,接下來(lái)的研究會(huì)關(guān)注網(wǎng)絡(luò)輕量化方面。