譚超群 秦中翰 黃欣然 陳虎 黃永亮 吳純潔 游志勝

中藥是中醫(yī)治療疾病的主要途徑，也是我國中醫(yī)藥事業(yè)傳承與創(chuàng)新發(fā)展的物質(zhì)基礎(chǔ)，其真?zhèn)蝺?yōu)劣也會直接影響中醫(yī)臨床的療效，因此研究科學(xué)合理且高效的中藥材質(zhì)量檢測方法符合當(dāng)前行業(yè)熱點(diǎn).山楂作為中國著名的藥食兩用類藥材，在烹飪和治療中具有保護(hù)心血管、降低血壓的作用，被廣泛應(yīng)用；但由于自然環(huán)境與栽培條件的不同，不同產(chǎn)地的山楂易被混淆從而對品質(zhì)產(chǎn)生影響.盡管化學(xué)、生物鑒定的方法廣泛而重要，但專業(yè)門檻高，耗時(shí)較長；且傳統(tǒng)圖像處理方法容易受外在環(huán)境因素干擾，可靠性差.因此亟待研究快速準(zhǔn)確的方法以實(shí)現(xiàn)山楂產(chǎn)地的精準(zhǔn)鑒別；受CoAtNet與Swin-Transformer網(wǎng)絡(luò)啟發(fā)，本文結(jié)合MBConv模塊中深度可分離卷積網(wǎng)絡(luò)對局部信息建模的特點(diǎn)與Swin Transformer模塊多層次結(jié)構(gòu)可彌補(bǔ)網(wǎng)絡(luò)非局部性損失的特性，提出一種多尺度特征的混合神經(jīng)網(wǎng)絡(luò)模型，通過獲取圖像不同層級特征，將獲取的形狀、顏色與紋理等淺層特征作為先驗(yàn)知識與高層級語義信息進(jìn)行特征融合，研究了一種快速有效的識別方法以實(shí)現(xiàn)對不同產(chǎn)地山楂的有效鑒別；此外，本文提出一種新的局部空間注意力機(jī)制，通過形成通道注意力模塊聯(lián)合空間注意力模塊的新結(jié)構(gòu)，實(shí)現(xiàn)對圖像細(xì)粒度特征的聚焦與學(xué)習(xí).實(shí)驗(yàn)結(jié)果表明，本文所提出的方法有最高的鑒別準(zhǔn)確率為89.306%，優(yōu)于其他基線模型.實(shí)踐證明，本文的研究提高中藥材鑒別的科技水平，拓寬傳統(tǒng)中醫(yī)藥的研究思路.

多尺度特征； 神經(jīng)網(wǎng)絡(luò)； 山楂； 細(xì)粒度識別

TP389.1 A 2024.013003

Fine-grained image recognition of Cratargi Fructus from different ?origin based on multi-scale feature deep neural network

TAN Chao-Qun ?1 ， QIN Zhong-Han ?2 ， HUANG Xin-Ran ?2 ， ?CHEN Hu ?2 ， HUANG Yong-Liang 3， ?WU Chun-Jie ?4 ， YOU Zhi-Sheng ?2

（1.College of Intelligent Medicine， Chengdu University of Traditional Chinese Mdeicine， Chengdu 611137， China；

2.State Key Laboratory of Fundamental Science on Synthetic Vision， Sichuan University， Chengdu 610065， China；

3. Hospital of Chengdu University of Traditional Chinese Medicine， chengdu 610032， China;

4. College of Pharmacy， Chengdu University of Traditional Chinese Medicine， Chengdu 611137， China）

Traditional Chinese medicine （TCM） is the primary approach for treating diseases and is also the he foundation for the development and innovation of TCM， the authenticity of TCM directly impacts the clinical efficacy. Therefore， scientific， reasonable， and efficient quality detection of TCM is a pressing research topic. ?Cratargi Fructus ?（CF） as a well-known edible food in China， which has been widely used for the ability of protecting cardiovascular and lowering blood pressure in cooking and treatment. However， it is reported that the difference in natural environment and cultivation conditions affects the CFs quality and CF from different origins are easily confused， thus， the species authentication is necessary. Although physicochemical， biological， and manual identification methods are widely used， they have a high professional threshold and are inefficient. Image processing methods are easily affected by environmental factors， which reduces their reliability. Thus， there is an urgent need to study fast and accurate methods for the identification of CF. Inspired by CoAtNet and Swin-Transformer networks， we have proposed a hybrid neural network model with multi-scale features， combining the local information of the deep separable convolution network in MBConv and the non-local loss of the multi-level structure in Swin Transformer. By acquiring different features， the superficial features including shape， color and texture as prior knowledge have fused the high-level semantic information. A fast and effective recognition method is developed to realize the effective identification of CF from different origin. Furthermore， a new global spatial attention mechanism is introduced， which can focus and learn the fine-grained features of images by forming a new structure of channel attention module and spatial attention module. Our experimental results demonstrate that our proposed method has the highest identification accuracy of 89.306%， which outperforms other baseline models. This study highlights the potential for improving the scientific and technological level of TCM identification and broadening research on TCM.

Multi-scale features; Neural network; ?Cratargi Fructus ; Fine-grained recognition

1 引 言

中藥是中醫(yī)治療疾病的主要途徑，其真?zhèn)蝺?yōu)劣直接影響中醫(yī)的臨床療效.中藥材的生長與分布，因其自然成長環(huán)境以及栽培加工方式的不同具有一定的地域性；所謂“藥材好，藥才好”，中藥材的產(chǎn)地對藥物質(zhì)量與其療效有直接關(guān)聯(lián)，因此對不同產(chǎn)地藥材的質(zhì)量評價(jià)對行業(yè)發(fā)展有至關(guān)重要的作用.

山楂是薔薇科植物山里紅 Crataegus pimiatifida ?Bge. var ?major ?N.E.Br. （NEB）或山楂 Crataegus pimiatifida ?Bge. （CPB）的干燥成熟果實(shí) ?［1］ .山楂作為食用和藥用材料，具有廣泛的用途和市場價(jià)值.山楂在傳統(tǒng)上具有保護(hù)心血管、抗氧化、抗癌、抗炎、降低血壓、膽固醇等功效 ?［2，3］ ，且廣泛分布于多個(gè)國家，主要在亞洲、歐洲和北美等地區(qū).它的保健功效和極高的營養(yǎng)價(jià)值在中國已經(jīng)有超過500年的歷史，同時(shí)在河南、山東、安徽等8個(gè)省份廣泛栽培.NEB經(jīng)過種植培育多作為水果，已被廣泛加工成各種食品和藥品；其中河北承德、山東平邑、費(fèi)縣等地的山楂質(zhì)量優(yōu)良，需求量大，經(jīng)濟(jì)價(jià)值高.CPB大部分為野生，它的果實(shí)通常為暗紅色，更多用作藥物 ?［4-6］ .據(jù)報(bào)道，不同產(chǎn)地山楂容易 被混淆，從而對使用過程中質(zhì)量產(chǎn)生影響.因此，不同產(chǎn)地山楂的物種認(rèn)定在實(shí)際應(yīng)用中是迫切需要的.

隨著中醫(yī)藥行業(yè)上千年的發(fā)展，形成了一套行之有效的傳統(tǒng)中藥質(zhì)量評價(jià)技術(shù).傳統(tǒng)中藥質(zhì)量評價(jià)技術(shù)以老藥工的經(jīng)驗(yàn)判別為主，主要依據(jù)藥材的外觀性狀，以看、摸、聞、嘗等感官方法來判斷藥材的真?zhèn)蝺?yōu)劣.當(dāng)前的中藥質(zhì)量評價(jià)主要是通過檢測《中華人民共和國藥典》中有機(jī)酸和類黃酮等 ?［1］ 有效成分來鑒別不同產(chǎn)地的中藥材；然而理化鑒定和生物評價(jià) ?［7-10］ 很難通對一種或多種指標(biāo)成分、特征物質(zhì)含量的檢測來充分反映其整體內(nèi)在質(zhì)量，且該方法依賴于特定的設(shè)備器械，耗時(shí)較長 ?［11，12］ .此外，人工經(jīng)驗(yàn)鑒別的方法過于依賴人的主觀感受，缺乏客觀科學(xué)性 ?［13］ ；基于傳統(tǒng)圖像處理方法雖然在一定程度上取得了較好的效果，但通過算法捕獲的淺層特征是直接來自圖像像素，而不具有高層語義的特征信息，容易受環(huán)境因素影響，可靠性差 ?［14，15］ .因此，如何對不同產(chǎn)地山楂實(shí)現(xiàn)無損、快速高效的準(zhǔn)確識別成為重要研究課題.

隨著人工智能 ?［16，17］ 與深度學(xué)習(xí)技術(shù) ?［18］ 的發(fā)展，為中藥材的經(jīng)驗(yàn)鑒別與人工智能深度學(xué)習(xí)算法的交叉融合奠定了堅(jiān)實(shí)理論基礎(chǔ)，人工智能技術(shù)通過整合老藥工經(jīng)驗(yàn)知識，解決人工鑒別擅長領(lǐng)域的局限性問題.CNN以對特征高效強(qiáng)大的學(xué)習(xí)能力和表達(dá)能力在食品、植物、農(nóng)業(yè)、醫(yī)療等多個(gè)領(lǐng)域 ?［19-25］ 的識別中得到廣泛認(rèn)可獲得了廣泛的關(guān)注.盡管ConvNets的性能有了顯著的提高，但它只能專注于模型的局部關(guān)系，而且具有較強(qiáng)的先驗(yàn)性，受到歸納偏差的影響 ?［26，27］ .此外，基于Transformer的方法具有強(qiáng)大的全局信息提取能力，但計(jì)算成本高，對數(shù)據(jù)量要求較高，泛化能力差 ?［28，29］ ；因此，ConvNets與Transformer相結(jié)合解決圖像分類問題引起了人們的關(guān)注.本文針對不同產(chǎn)地的山楂細(xì)粒度圖像進(jìn)行視覺鑒別，受CoAtNet與Swin-Transformer網(wǎng)絡(luò)啟發(fā)，結(jié)合MBConv模塊中深度可分離卷積網(wǎng)絡(luò)對局部信息建模的特點(diǎn)與Swin-Transformer模塊多層次結(jié)構(gòu)可彌補(bǔ)網(wǎng)絡(luò)非局部性損失的特性，研究了一種快速有效的識別方法以實(shí)現(xiàn)對細(xì)粒度圖像的中藥材不同產(chǎn)地的鑒別.

綜上所述，本文有以下貢獻(xiàn)：（1） 提出一種多尺度深度神經(jīng)網(wǎng)絡(luò)混合模型，通過注入淺層先驗(yàn)特征引導(dǎo)高層語義信息，捕獲數(shù)據(jù)局部性與全局性特征，實(shí)現(xiàn)細(xì)粒度圖像的識別.（2） 提出一種新的空間注意力模塊，通過對線性變換的特征向量進(jìn)行SoftMax操作，對獲取的注意力權(quán)重平滑近似，將注意力進(jìn)行分散，突出對圖像低頻區(qū)域的關(guān)注，增強(qiáng)網(wǎng)絡(luò)對局部細(xì)粒度特征的感知.（3） 通過實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證，本文提出的方法識別準(zhǔn)確度高于其他主流模型，能更好地聚焦圖像局部區(qū)域的細(xì)節(jié)特征；該方法相較于傳統(tǒng)基于機(jī)器學(xué)習(xí)方法的中藥材產(chǎn)地分析，更加快速便捷且高效，具有優(yōu)良的實(shí)用價(jià)值.

2 相關(guān)工作

2.1 基于圖像處理與模式識別的方法

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，圖像處理與模式識別技術(shù)在中藥質(zhì)量鑒定中得到一定研究.該技術(shù)主要利用計(jì)算機(jī)技術(shù)與數(shù)學(xué)方法對圖像信息表示，先對獲取的圖像進(jìn)行包括分割和平滑等預(yù)處理，聯(lián)合機(jī)器視覺圖像算法對圖像進(jìn)行質(zhì)量評價(jià)與識別等研究.該方法在中藥質(zhì)量中主要通過提取人工設(shè)計(jì)的形狀、顏色和紋理等底層圖像特征，隨后采用SVM等機(jī)器學(xué)習(xí)方法進(jìn)行識別鑒定，其具體流程如圖1所示.

基于此，不少學(xué)者也進(jìn)行了相關(guān)研究，陶歐等 ?［30］ 研究基于灰度共生矩陣提取中藥材的紋理特征，F(xiàn)ataniya等 ?［31］ 應(yīng)用形狀、顏色和紋理特征研究了中藥材顯微圖像的分類識別問題，李震 ?［32］ 通過加權(quán)提取的中藥材紋理片段，模糊直方圖，Hu不變矩形態(tài)特征，實(shí)現(xiàn)中藥材的分類.王耐等 ?［33］ 利用顏色矩，灰度共生矩陣以及Hu不變矩來提取中藥材視覺特征，實(shí)現(xiàn)對川牛膝的識別.朱黎輝 ?［34］ 采用梯度方向直方圖，LBP算子聯(lián)合SVM分類器完成對中藥材的分類鑒別.

傳統(tǒng)圖像處理方法針對視覺上的形狀，顏色，紋理分別建立特征提取算法，再進(jìn)行融合，算法復(fù)雜且未能考慮形狀，顏色，紋理不同特征之間的關(guān)聯(lián)性，效果較差，降低了識別效率.同時(shí)，研究主要集中于視覺特征區(qū)別較大的分類問題，較少涉及視覺特征區(qū)別不明顯的同類中藥材的品質(zhì)鑒定問題.因此，基于圖像處理與模式識別的中藥質(zhì)量檢測在實(shí)際中受到很大限制.

2.2 基于深度學(xué)習(xí)技術(shù)的方法

隨著人工智能技術(shù)發(fā)展的突飛猛進(jìn)，學(xué)者提出結(jié)合深度學(xué)習(xí)技術(shù)來豐富傳統(tǒng)數(shù)字圖像處理問題中的算法空缺.通過建立中藥材質(zhì)量與外在性狀信息間的耦合關(guān)系，可實(shí)現(xiàn)中藥質(zhì)量的人工智能鑒別.該方法具體訓(xùn)練流程如圖2所示.

譚新寧等 ?［35］ 利用EasyDL構(gòu)建的深度學(xué)習(xí)模型，針對青葙子及其混偽品圖像進(jìn)行分類研究，其分類準(zhǔn)確率可以達(dá)到93.7%～94.8%，拓寬了中藥品質(zhì)評價(jià)的研究思路.吳沖等 ?［36］ 提出先用YoLo對圖像進(jìn)行檢測分析，再用ResNet50等網(wǎng)絡(luò)實(shí)現(xiàn)對多種不同中藥材進(jìn)行鑒別分類.徐雅靜等 ?［37］ 基于人工智能深度學(xué)習(xí)技術(shù)及圖像處理技術(shù)對中藥材及中藥飲片的識別方法和機(jī)制進(jìn)行概述；史婷婷等 ?［38］ 提出利用GoogLeNet網(wǎng)絡(luò)模型對大量訓(xùn)練樣本的學(xué)習(xí)對金銀花整體分類精度可達(dá)97.5%，面積總精度為94.6%，完成對分散、不規(guī)則、細(xì)碎化的金銀花精細(xì)分類分析.

中藥飲片的性狀評價(jià)結(jié)合人工智能技術(shù)作為“交叉突破口”發(fā)展突飛猛進(jìn)，通過深度卷積神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)由淺層表象特征到深層語義特征進(jìn)行提取，自適應(yīng)的實(shí)現(xiàn)飲片數(shù)據(jù)的特征學(xué)習(xí)與特征表達(dá)，實(shí)現(xiàn)對中藥材的智能鑒別與質(zhì)量評價(jià).因此，基于人工智能算法的中藥飲片鑒別分類與質(zhì)量評價(jià)還有很大研究空間.

3 數(shù)據(jù)集介紹

山楂來自安徽、河南、河北、山東、山西、江蘇等10個(gè)產(chǎn)地，來自不同的藥材市場，均經(jīng)成都中醫(yī)藥大學(xué)附屬醫(yī)院專家鑒定確認(rèn).所有照片都是在一致的環(huán)境條件下拍攝的.對所有圖像進(jìn)行注釋和過濾，同時(shí)去除不完整、模糊和不合適的圖像.共采集圖像3960張，山楂數(shù)據(jù)集如圖3所示.

不同產(chǎn)地來源的圖像具有相似的視覺特征，對于人工鑒別則要求更豐富的經(jīng)驗(yàn)知識.隨著視覺分析技術(shù)的發(fā)展與進(jìn)步，基于深度學(xué)習(xí)方法可以為中藥材的快速識別提供幫助.圖3中不同產(chǎn)地山楂的數(shù)量如表1所示.

4 方法描述

4.1 網(wǎng)絡(luò)結(jié)構(gòu)

雖然CNNs模型性能有了顯著的提高，但它只能專注于數(shù)據(jù)圖像間的局部關(guān)系，而且具有較強(qiáng)的先驗(yàn)性，受到歸納偏差的影響.此外，Transformer模型方法具有強(qiáng)大的全局信息提取能力，但計(jì)算成本高，但泛化能力差.因此，ConvNets與Transformer相結(jié)合解決圖像分類問題引起了人們的關(guān)注.本文提出一種新的混合迭代網(wǎng)絡(luò)，MBConv模塊采用了Depthwise Convlution，相較于傳統(tǒng)卷積，MBConv結(jié)合深度可分離卷積與注意力機(jī)制，在降低參數(shù)量的同時(shí)，提升模型特征學(xué)習(xí)能力 ?［39］ ；Swin-Transformer網(wǎng)絡(luò)的多層次結(jié)構(gòu)可彌補(bǔ)對圖像非局部性區(qū)域損失 ?［40］ .本文旨在利用MBConv模塊可對局部信息建模的特點(diǎn)聯(lián)合Swin Transformer可以產(chǎn)生不同層級特征圖的屬性特點(diǎn)，研究了一種快速有效的識別方法以實(shí)現(xiàn)對細(xì)粒度圖像的中藥材不同產(chǎn)地的鑒別，具體模型結(jié)構(gòu)如圖4所示.圖4中，SLA為本文提出的空間注意力機(jī)制，后續(xù)內(nèi)容會對其進(jìn)行詳細(xì)介紹；Swin為Swin Transformer Block.

本文通過構(gòu)建融合MBConv與Swin Transformer模塊的混合迭代網(wǎng)絡(luò)，實(shí)現(xiàn)對中藥材圖像細(xì)粒度特征的提取.Swin Transformer中將用基于窗口的多頭自注意（W-MSA）與移位的基于窗口的多頭自注意（SW-MSA）來替代了原生的MSA模塊.在W-MSA模塊中，對大小為 M×M 的局部窗口進(jìn)行自注意計(jì)算；另一方面，引入SW-MSA，利用相對于輸入移位的窗口配置，來實(shí)現(xiàn)跨窗口間的連接，增強(qiáng)模型的建模能力.模塊計(jì)算過程如下.

c l =WMSA LN ?C ??l-1 ??+ C ??l-1 ??（1）

C ??l =MLP LN ?c ??l ??+ c ??l ??（2）

c ??l+1 =SWMSA LN ?C ??l ??+ C ??l ??（3）

C ??l+1 =MLP LN ?c ??l+1 ??+ c ??l+1 ??（4）

其中， ?c ??l ?和 ?C ??l ?分別表示塊l的 WMSA 模塊與 MLP 模塊的輸出特征；同理， ?c ??l+1 ?和 ?C ??l+1 ?分別表示 l+1 快的 SWMSA 模塊與 MLP 模塊的輸出特征. WMSA 和 SWMSA 分別表示使用規(guī)則和移位窗口劃分配置的基于窗口的多頭部自注意， MLP 表示標(biāo)準(zhǔn)多頭自注意力.在本文的實(shí)驗(yàn)中，給定分辨率為224×224大小的輸入圖像，將輸入圖像中提取特征并將其送入到主干MBConv模塊中，得到大小為 H/4×W/4 的輸出patches，隨即將patches經(jīng)由PatchMerge層運(yùn)算.PatchMerge層負(fù)責(zé)降采樣與增維，通過對通道數(shù)翻倍，寬高減半，來實(shí)現(xiàn)將2×2組相鄰的patch拼接起來；在降低分辨率的同時(shí)將嵌入維數(shù)加倍，并將其傳輸進(jìn)第一個(gè)Swin Transformer模塊中，以更好融合進(jìn)Swin Transformer模塊.將生成的第一個(gè)基于注意力的特征映射，通過跳躍式連接，與MBConv模塊計(jì)算的結(jié)果添加到現(xiàn)有的特征中，得到最大的分 支特征圖 ?F ??s ?.接著以相同的方式將每層MBConv模塊所獲取的不同尺度特征圖與基于Swin Transformer塊特征映射的更高級別的特征進(jìn)行輸出，得到 ?F ??d ?.

Swin Transformer通過多個(gè)階段計(jì)算和更新特征映射；在每一階段均與前者下采樣之后的特征層進(jìn)行關(guān)聯(lián)融合；隨后收集各個(gè)階段的特征圖，得到3個(gè)多尺度特征圖.通過結(jié)合兩者對局部性與全局性信息的捕獲能力，獲取圖像不同層級特征，融合淺層特征與高層語義特征進(jìn)行建模分析.淺層特征是直接來自圖像像素，大多是針對視覺上的形狀、顏色、紋理等特征，將其作為先驗(yàn)知識與高層級語義信息進(jìn)行融合，既突出了傳統(tǒng)圖像處理技術(shù)中特征提取的要點(diǎn)，又完成了對多層級特征的整合與加強(qiáng)；最后將融合的特征經(jīng)池化層、Dropout層及全連接層后輸出實(shí)現(xiàn)對細(xì)粒度圖像的中藥材不同產(chǎn)地的識別分類.

4.2 細(xì)粒度特征

受限于本文數(shù)據(jù)集數(shù)量，為了更好地獲取圖像的特征，MBConv模塊被引入該網(wǎng)絡(luò)，其具體網(wǎng)絡(luò)結(jié)構(gòu)圖如圖5所示.該模塊先由1×1的卷積，對輸入特征進(jìn)行升維處理；再經(jīng)過一個(gè)3×3大小的Depthwise Conv卷積與SE模塊計(jì)算，減少參數(shù)量的同時(shí)增強(qiáng)對特征的關(guān)注；最后由1×1的普通卷積進(jìn)行特征降維處理，連接Dropout層構(gòu)成的“倒瓶頸”結(jié)構(gòu)的卷積模塊.第一個(gè)1×1層用于增加維數(shù)并更加關(guān)注有效特征，最后一個(gè)1×1層用于降低維數(shù)，SE模塊的引入對特征進(jìn)行注意力加權(quán).

在原有的MBConv模塊基礎(chǔ)上，受CBAM混合域注意力機(jī)制 ?［41］ 的啟發(fā)，本文提出對MBConv模塊的改進(jìn)，即提出一種新的全局空間注意力模塊應(yīng)用于SE之后，形成通道注意力模塊聯(lián)合空間注意力模塊的新結(jié)構(gòu)，通過聚合特征映射的空間信息，壓縮輸入特征圖的空間維數(shù)，以產(chǎn)生通道注意力圖；在對輸入特征通道進(jìn)行加權(quán)后，進(jìn)一步增加對空間方向的權(quán)重，本研究采用混合結(jié)構(gòu)提取的特征圖作為后續(xù)網(wǎng)絡(luò)的輸入，可以提高網(wǎng)絡(luò)對圖像特征的學(xué)習(xí)能力.

4.3 改進(jìn)的注意力機(jī)制

空間注意力機(jī)制是指通過注意力機(jī)制，定位到原始圖像在空間維度感興趣的區(qū)域，增強(qiáng)對原始圖片中空間信息的表現(xiàn)力，關(guān)注并保留關(guān)鍵特征信息，抑制不必要的特征，形成對空間的特征加權(quán).在本文的MBConv模塊中，提出一種新的局部空間注意力模塊（Spatial Local Attention Module）并將其融入SE模塊之后，形成通道注意力混合空間注意力模塊的新結(jié)構(gòu)，以增強(qiáng)對圖像細(xì)微特征的關(guān)注.根據(jù)CBAM現(xiàn)有的空間注意力機(jī)制方法，其具體思想是采用平均池化與最大池化兩種方式來獲取同一像素點(diǎn)的每一個(gè)通道信息值，將輸入圖片從 C×H×W 轉(zhuǎn)換為 1×H×W ，再將拼接后的特征經(jīng)過卷積與上采樣計(jì)算得到空間維度上的注意力權(quán)重值，從而實(shí)現(xiàn)對空間特征中每層像素點(diǎn)不同權(quán)重值的賦值.該方法中平均池化操作是取池化區(qū)域中次重要的像素點(diǎn)，最大池化則是取池化區(qū)域中像素點(diǎn)的最大值，即關(guān)注度最高的點(diǎn)，放棄池化區(qū)域中不顯著的值；由于細(xì)粒度圖像類間差異較小，對于易混淆類別的判別通常依賴細(xì)微的特征差異，而池化操作往往更傾向于圖像紋理高頻信息的關(guān)注，對局部細(xì)節(jié)特征的保留效果較差.基于此，本文提出一種新的局部空間注意力SLA模塊（Spatial Local Attention Module），其網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示.

該方法首先對輸入 X 進(jìn)行 1×1 Conv 的線性映射，進(jìn)行通道數(shù)的壓縮；再對線性變換后的特征向量進(jìn)行SoftMax ?［42］ 歸一化處理以獲取空間維度的0-1自注意力權(quán)重值；通過對獲取的注意力權(quán)重平滑近似，將注意力進(jìn)行分散，以減弱最大池化處理對局部特征的丟失，突出對圖像低頻區(qū)域的關(guān)注.隨后，將注意力權(quán)重與拼接的特征向量乘積，通過卷積與非線性激活Sigmoid函數(shù)運(yùn)算，繼而得到加權(quán)后的注意力特征值.其過程數(shù)學(xué)表示過程為：

（1） 全局attention：采用大小1×1卷積 ?W ??n ?與SoftMax函數(shù)相乘獲取空間維度上的自注意力權(quán)重大小，然后再與池化操作處理后的 ?W ??m ?乘積以獲得全局注意力特征.

W ??m = Avg ??X ??i ?+ Max ??X ??i ???（5）

C ?X ???i ?= ?e ????Z ???i ??∑ ??j=1 ?e ????Z ???j ????（6）

式中， X 表示輸入特征；Avg為平均池化；Max表示最大池化， 定義C（X） 為歸一化因子，則 ?Z ??i ?為第 i 個(gè)節(jié)點(diǎn)的輸出， j 為輸出節(jié)點(diǎn)的個(gè)數(shù)，通過該操作計(jì)算獲得［0-1］范圍的自注意力權(quán)重.由式（5）與式（6）則得到如下式（7）.

Z ′=∑ ?i=1 ???W ???n × X ???i ?C ?X ???i ???×W ???m ??（7）

式中， ?W ??n ?為1×1的線性轉(zhuǎn)換矩陣； ?Z ′ 表示經(jīng)全局注意計(jì)算后的輸出.

（2） 特征提取：采用7×7的卷積 ?W ??v ?進(jìn)行特征提取，再經(jīng)由Sigmoid激活層函數(shù)運(yùn)算，得到通道數(shù)為1的空間注意力權(quán)重.

Z ″=σ（ Z ′× W ??v ） ?（8）

式中， σ 表示非線性Sigmoid函數(shù)； ?Z ″ 表示權(quán)重輸出.

（3） 特征聚合：將注意力權(quán)重值 ?Z ″ 與原輸入特征圖 X 進(jìn)行乘積，即可得到注意力加權(quán)后的特征圖 ?X ′ ，通過計(jì)算不同空間維度的注意力權(quán)重值，來捕獲空間維度間的依賴.

X ′= Z ″×X ?（9）

由后續(xù)實(shí)驗(yàn)結(jié)果可知，該方法能增強(qiáng)對局部細(xì)粒度特征的感知，抑制圖像中顯著敏感區(qū)域，以解決當(dāng)前空間注意力中池化操作更關(guān)注高頻紋理而忽略局部細(xì)節(jié)的問題.隨后將該模塊融入MBConv網(wǎng)絡(luò)中，形成通道注意力混合空間注意力的新結(jié)構(gòu).

5 實(shí)驗(yàn)結(jié)果與分析

5.1 實(shí)現(xiàn)方式

本節(jié)介紹了所提出方法的實(shí)現(xiàn)訓(xùn)練設(shè)置，實(shí)驗(yàn)選用開源的Pytorch作為基礎(chǔ)框架，基于Pytorch1.8.1與Python3.9進(jìn)行開發(fā)，算法模型在PC（Intel i7處理器和11 G顯存）上訓(xùn)練，顯卡配置為Nvidia GeForce RTX 2080 Ti，選用AdamW ?［43］ 優(yōu)化器對模型進(jìn)行迭代優(yōu)化.學(xué)習(xí)率是衡量準(zhǔn)確率的重要參數(shù)之一，本文采用余弦退火衰減策略，使學(xué)習(xí)率按照周期進(jìn)行更替變化.針對預(yù)訓(xùn)練階段，最小學(xué)習(xí)率值為0，初始學(xué)習(xí)率blr為 1e-3 ，訓(xùn)練批處理大小（batch-size）為32，學(xué)習(xí)率權(quán)重衰減因子為0.05，輸入圖像大小為224×224，隨機(jī)數(shù)種子為1024，進(jìn)行200次迭代，每次迭代對所有數(shù)據(jù)進(jìn)行完整遍歷，規(guī)定當(dāng)達(dá)到200步時(shí)獲得最終的訓(xùn)練模型，考慮到數(shù)據(jù)存在類間不平衡的情況，依然選用FocalLoss作為模型訓(xùn)練的損失函數(shù)，gamma設(shè)置為0.25，alpha為2.

5.2 鑒別結(jié)果分析

本文依據(jù)采用80%的數(shù)據(jù)樣本作為訓(xùn)練集，剩下的20%被用來測試模型的性能.本文提出的方法總體分類準(zhǔn)確率為89.306%，對于每一類具體分類結(jié)果如表2所示.針對多分類研究，依舊使用準(zhǔn)確率、召回率和特異性三個(gè)指標(biāo)來評價(jià)模型的識別性能.

從表2可以看出，針對不同產(chǎn)地的山楂鑒別中，（B）河北承德的識別精度最低為0.592，其次是（H）山東平邑，兩者的召回率明顯高于識別的精確度，這表明所預(yù)測的陽性樣本比實(shí)際的陽性數(shù)量高得多.（C）河南安陽，（D）河南野生，（E）山西，（F）河南輝縣，（J）江蘇這幾類的識別分類表現(xiàn)較好.另外本文還計(jì)算了混淆矩陣和ROC曲線，來衡量模型對不同產(chǎn)地山楂的鑒別性能.

圖7與圖8顯示了每一類樣本的混淆矩陣與ROC曲線變化.圖7中，從1到10的數(shù)字分別對應(yīng)從A到J的不同類別，列表示預(yù)測標(biāo)簽，行表示真實(shí)標(biāo)簽.行和列對應(yīng)的值表示從真實(shí)數(shù)據(jù)中預(yù)測的正確類的數(shù)量.圖8中，從0到9的數(shù)字對應(yīng)A到J的不同類別，以反映真陽性率和假陽性率的差異.ROC曲線的范圍為0 ～ 1（1為最佳，0為最低）.

從實(shí)驗(yàn)結(jié)果可看出，（B）河北承德的識別準(zhǔn)確率最低，并將其識別為（G）山東濰坊、（H）山東平邑和（I）山東臨沂的視覺特征具有相似性，他們的形態(tài)與紋理大多相近，它們來自山東省的不同城市，因此兩者容易出現(xiàn)被混淆的情況.

5.3 不同CNNs方法的對比

為驗(yàn)證本文方法的性能，我們將本文方法與多個(gè)不同的ConvNets和Transformers進(jìn)行了比較.其中，VGG ?［44］ 、ResNet ?［44］ 、DenseNet ?［44］ 、MobileNet ?［44］ 、EfficientNet ?［45］ 和CoAtNet ?［46］ 均選擇Focalloss作為損失函數(shù).考慮評價(jià)模型的公平性，基線是基于改進(jìn)的模型，其余訓(xùn)練的參數(shù)在對比實(shí)驗(yàn)中均保持不變.針對不同產(chǎn)地山楂數(shù)據(jù)集的分類鑒別中，將本文方法與不同ConvNets方法的對比結(jié)果如表3所示.

從表3可知，本文方法相較于其他方法有最高的鑒別準(zhǔn)確率，相較CoAtNet，提升10.362%；相較VGG，提升了12.931%；相較ResNet，提升了11.946%；相較EfficientNet，提升了5.959%；從實(shí)驗(yàn)數(shù)據(jù)可看出，本文提出的方法有顯著的提升效果，可獲取圖像更為豐富的細(xì)節(jié)特征.另外，從表3實(shí)驗(yàn)對比的不同模型的參數(shù)量與模型復(fù)雜度可看出，傳統(tǒng)卷積模型參數(shù)量較大、計(jì)算復(fù)雜度相對較大，且分類精度有限；而輕量級網(wǎng)絡(luò)相較于前者，參數(shù)量得到極大降低的同時(shí)，準(zhǔn)確度也有一定范圍的增長，為本文實(shí)驗(yàn)選擇MBConv模塊提供理論基礎(chǔ).

5.4 不同Transformers方法的對比

同時(shí)，多種不同的基于Transformers算法也被用來與本文提出的方法進(jìn)行比較，包括ViT ?［26］ 、MaxViT ?［47］ 、Swin -Transformer ?［40］ 、FocalNet ?［48］ 與CMT ?［49］ 等.考慮評價(jià)模型的公平性，基線是基于改進(jìn)的模型，其余訓(xùn)練的參數(shù)在對比實(shí)驗(yàn)中均保持不變.

表4顯示將本文方法與當(dāng)下最新的基于Transformer的方法進(jìn)行對比；從實(shí)驗(yàn)結(jié)果可知，本文方法依然有最高的識別準(zhǔn)確率，較ViT提升了10.541%，MaxViT提升了9.06%，F(xiàn)ocalNet提升了8259%，相較Swin Transformer，提升了3633%，依然是優(yōu)于其他算法模型；另外，從分類精準(zhǔn)度來看，本文所提出的模型方法相較于ViT、CvT等參數(shù)量有所降低，優(yōu)勢顯著.實(shí)驗(yàn)結(jié)果證明，本文所提出的分層級結(jié)構(gòu)方法更適用于細(xì)粒度圖像的分類識別問題，通過捕獲細(xì)粒度圖像多層次特征，讓網(wǎng)絡(luò)學(xué)習(xí)到更多有效特征細(xì)節(jié)，從而實(shí)現(xiàn)從視覺上的山楂產(chǎn)地精細(xì)分類.

5.5 消融實(shí)驗(yàn)

5.5.1 注意力機(jī)制模塊消融 ?為了驗(yàn)證本文提出的注意機(jī)制模塊的有效性，我們在不同數(shù)據(jù)集上比較了不同的注意機(jī)制方法，空間注意模塊（SPA） ?［38］ 和本文所提出的注意力機(jī)制模塊（SLA）.本次對比試驗(yàn)采用控制變量法，消融中的基準(zhǔn)模型是基于本文所提出的模型，其余訓(xùn)練參數(shù)在對比實(shí)驗(yàn)中保持不變.基于不同注意力機(jī)制的不同產(chǎn)地山楂的鑒別結(jié)果如表5所示.

從表5可以看出，本文提出的注意力機(jī)制模型識別準(zhǔn)確率最高89.306%，相較于使用SPA，本文的方法提升了0.482%.同時(shí)，與不添加空間注意力機(jī)制相比，可以確認(rèn)加入空間注意機(jī)制模塊后，模型的性能提高了1.252%.從參數(shù)量數(shù)值來看，參數(shù)量變化并不大，因此本文所提出的注意力機(jī)制具有良好的實(shí)用性.此外，為了更好地驗(yàn)證兩個(gè)注意模塊的效果，我們進(jìn)一步將不同注意力機(jī)制下的熱力圖顯示在圖9中.圖9中，每類的熱圖都是隨機(jī)選擇，其中第一個(gè)是原始圖像;第二個(gè)是原MBConv模塊的熱圖;第三個(gè)是加入SPA的熱圖;最后一個(gè)是本文提出的方法.

通過可視化的不同熱圖結(jié)果，可以清楚地觀察到不同注意機(jī)制模塊對圖像關(guān)注區(qū)域的差異變化.從圖9可以看出，所有模型都可以聚焦在圖像的感興趣區(qū)域（ROI）上，與SPA相比，本文提出的注意力模塊所涉及更深更廣的ROI范圍，關(guān)注區(qū)域更多；而對于識別準(zhǔn)確率較低的（B）河北承德、（G）山東濰坊和（H）山東平邑，不同模型關(guān)注的ROI范圍略有不同，證明不同注意力模型所聚焦的區(qū)域不一致，學(xué)習(xí)的特征也差異明顯.本文方法更容易獲取到圖像中具有區(qū)分性的區(qū)域，從而幫助網(wǎng)絡(luò)學(xué)習(xí)到更加有效的特征，聚焦于圖像局部區(qū)域的特征細(xì)節(jié)，用來完成對細(xì)粒度圖像的分類與識別，提高模型的識別準(zhǔn)確率.

5.5.2 不同卷積模塊消融 ?為驗(yàn)證使用MBConv模塊的有效性，在本文實(shí)驗(yàn)中也選擇使用不同類型卷積與Swin Transformer模塊進(jìn)行組合，考慮對比實(shí)驗(yàn)的公平性，每種卷積模塊數(shù)量均與本文所使用的MBConv模塊數(shù)量一致，其具體對比計(jì)算結(jié)果如表6所示.

針對表6中，VGG指基礎(chǔ)卷積，ResNet為殘差卷積，DenseNet指稠密連接卷積，MobileNet則為深度可分離卷積模塊；根據(jù)結(jié)果可知，本文的模型雖然不具備最優(yōu)的參數(shù)量與計(jì)算復(fù)雜度，但其鑒別精準(zhǔn)度依然為最高，所使用的MBConv模塊能獲取圖像更為豐富的粒度特征，相較ResNet，提高2.304%；DenseNet，提高了1.652%；相較于MobileNet，提高了1.489%，驗(yàn)證了所使用模塊的科學(xué)性與合理性.

6 結(jié) 論

本文針對不同產(chǎn)地的中藥材細(xì)粒度圖像進(jìn)行視覺鑒別.受CoAtNet與Swin-Transformer網(wǎng)絡(luò)啟發(fā)，結(jié)合MBConv模塊中深度可分離卷積網(wǎng)絡(luò)對局部信息建模的特點(diǎn)與Swin Transformer模塊多層次結(jié)構(gòu)可彌補(bǔ)網(wǎng)絡(luò)非局部性損失的特性，本文提出一種新的混合深度神經(jīng)網(wǎng)絡(luò)模型，通過獲取圖像不同層級特征，將獲取的形狀、顏色與紋理等淺層特征作為先驗(yàn)知識與高層級語義信息進(jìn)行特征融合，實(shí)現(xiàn)對不同產(chǎn)地山楂細(xì)粒度圖像的精準(zhǔn)鑒別.通過實(shí)驗(yàn)結(jié)果分析，本文的方法有最高的鑒別準(zhǔn)確率為89.306%，相較CoAtNet，提升10362%；相較ResNet，提升了11.946%；相較EfficientNet，提升了5.959%；從實(shí)驗(yàn)數(shù)據(jù)可看出，本文提出的方法更有利于獲取圖像豐富的特征細(xì)節(jié).從實(shí)驗(yàn)數(shù)據(jù)可看出，本文提出的方法能捕獲圖像豐富的細(xì)節(jié)特征，實(shí)現(xiàn)更多準(zhǔn)確度識別.另外本文通過消融實(shí)驗(yàn)驗(yàn)證了提出的注意力模塊有效性，實(shí)驗(yàn)結(jié)果表明，本文提出新的注意力機(jī)制相較于SPA，提升了0482%；與不添加空間注意力機(jī)制相比，模型的性能提高了1.252%.另外通過對不同類型卷積模塊的消融，也證實(shí)了本文使用MBConv模塊的科學(xué)性與合理性.實(shí)驗(yàn)結(jié)果證明，本文提出的方法通過注入淺層先驗(yàn)特征引導(dǎo)高層語義信息，獲取圖像更為豐富的細(xì)粒度特征細(xì)節(jié)，從而幫助網(wǎng)絡(luò)學(xué)習(xí)到更加有效的特征，聚焦于圖像局部區(qū)域的特征細(xì)節(jié)，用來實(shí)現(xiàn)對不同產(chǎn)地山楂細(xì)粒度圖像的分類與識別，對模型性能提升有積極作用.

參考文獻(xiàn)：

［1］ ??Ministry of Public Health of the Peoples Republic of China. Pharmacopoeia of the Peoples Republic of China， part 1 ［M］. Beijing： China Pharmaceutical Technology Press， 2015.［中華人民共和國衛(wèi)生部. 中華人民共和國藥典［M］. 北京： 中國制藥技術(shù)出版社， 2015.］

［2］ ?Wu J Q， Peng W， Qin R X， ?et al. ?Crataegus pinnatifida： chemical constituents， pharmacology， and potential applications［J］. Molecules， 2014， 19： 1685.

［3］ ?Liu C， He Q， Zeng L L， ?et al . Digestion-promoting effects and mechanisms of dashanzha pill based on raw and charred crataegi fructus［J］. Chem Biodivers， 2021， 18： e2100705.

［4］ ?Li L， Yang S L， Liu Y J， ?et al. ?Preliminary study of odor change mechanism in Crataegi Fructus stir-fried process based on correlation analysis ［J］. China J Chinese Mate Med， 2014， 39： 3283.

［5］ ?Xue Q Q， Wang Y L， Fei C H， ?et al . Profiling and analysis of multiple constituents in Crataegi Fructus before and after processing by ultrahigh-performance liquid chromatography quadrupole time-of-flight mass spectrometry ［J］. Rapid Commun Mass Sp， 2021， 35： e9033.

［6］ ?Weon J B， Jung Y S， Ma C J. Quality analysis of chlorogenic acid and hyperoside in crataegi fructus［J］. Pharmacogn Mag， 2016， 12： 98.

［7］ ?Yang X L， Sun X G， Zhou L J， ?et al. Study on the quality of Crataegi Fructus and its processed products from different origins［J］. Chinese J Inform TCM， 2022，18： 1.

［8］ ?Yin F Z， Li L， Chen Y， ?et al . Quality control of processed Crataegi Fructus and its medicinal parts by ultra-high-performance liquid chromatography with electrospray ionization tandem mass spectrometry ［J］. J Sep ?Sci， 2015， 38： 2630.

［9］ ?Yu J S， Guo M Y， Jiang W J， ?et al . Illumina-based analysis yields new insights into the fungal contamination associated with the processed products of crataegi fructus ［J］. Front ?Nutr， 2022， 9： 883698.

［10］ ?Qin R X， Xiao K K， Li B， ?et al . The combination of catechin and epicatechin gallate from fructus crataegi potentiates beta-lactam antibiotics against methicillin-resistant staphylococcus aureus （MRSA） in vitro and in vivo ［J］. Int ?J ?Mol ?Sci，2013， 14： 1802.

［11］ Fei C H， Dai H， Wu X Y， ?et al. ?Quality evaluation of raw and processed Crataegi Fructus by color measurement and fingerprint analysis ［J］. J Sep Sci， 2018， 41： 582.

［12］ Lee J J， Lee H J， Oh S W. Antiobesity effects of sansa （Crataegi fructus） on 3T3-L1 cells and on high-fat-high-cholesterol diet-induced obese rats ［J］. J Med Food， 2017， 20： 19.

［13］ Xie D S， Liu Y J， Yang S Y， ?et al. ?Processing degree of strychni semen based on combination of inside and outside analysis［J］. Chinese J Exper Tradit Med Form， 2016， 22： 1.［解達(dá)帥， 劉玉杰， 楊詩龍， 等. 基于“內(nèi)外結(jié)合”分析馬錢子的炮制火候［J］. 中國實(shí)驗(yàn)方劑學(xué)雜志， 2016， 22： 1.］

［14］ Tan C Q， Wen C B， Wu C J. Research on recognition of traditional Chinese medicine pieces based on image processing technology ［J］. Lishizhen Medicine and Materia Medica Research， 2018， 29： 1706.［譚超群， 溫川飆， 吳純潔. 基于圖像處理技術(shù)的中藥飲片識別研究［J］. 時(shí)珍國醫(yī)國藥， 2018， 29： 1706.］

［15］ Cai C Z， Yuan Q F， Xiao H Y， ?et al . Computer-aided classification and identification of traditional Chinese medicine prescriptions［J］. J Chongqing Univ（Nat Sci Ed）， 2007， 29： 42.［蔡從中， 袁前飛， 肖漢光. 中藥組方的計(jì)算機(jī)輔助分類與識別［J］. 重慶大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2007， 29： 42.］

［16］ Y L C， Y B I， Hinton G. Deep learning ［J］， Nature， 2015， 521： 436.

［17］ Spencer M， Eickholt J， Cheng J. A deep learning network approach to ab initio protein secondary structure prediction ［J］.IEEE ACM T Comput Bi， 2015， 12： 103.

［18］ Tan C Q， Wu C， Huang Y L， ?et al . Identification of different species of Zanthoxyli Pericarpium based on convolution neural network ［J］. Plos One， 2020， 15： e0230287.

［19］ Wang B， Li H， You J W， ?et al . Fusing deep learning features of triplet leaf image patterns to boost soybean cultivar identification ［J］. Comput Electr Agr， 2022， 197： 106914.

［20］ Zhang Y， Wen K Z， Min S Z， ?et al . Remote sensing image denoising based on attention mechanism and perceptual loss［J］. J Sichuan Univ（Nat Sci Ed）， 2021， 58： 042001.［張意， 闞子文， 邵志敏， 等. 基于注意力機(jī)制和感知損失的遙感圖像去噪［J］. 四川大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2021， 58： 042001.］

［21］ Lu Y M， Bu L M，Chen L， ?et al. ?Extracting clinical experiences from ancient literature of traditional chinese medicine［J］. J Sichuan Univ（Nat Sci Ed）， 2022， 59： 023005.［盧永美， 卜令梅， 陳黎， 等. 基于深度學(xué)習(xí)的中醫(yī)古文獻(xiàn)臨床經(jīng)驗(yàn)抽取［J］. 四川大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2022， 59： 023005.］

［22］ Lu T， Yu F H， Xue C H， ?et al . Identification， classification， and quantification of three physical mechanisms in oil-in-water emulsions using AlexNet with transfer learning［J］. J Food Eng，2021， 288： 110220.

［23］ Jin R L， Qing L B， Wen H Q. Emotion recognition of the natural scenes based on attention mechanism and multi-scale network［J］. J Sichuan Univ（Nat Sci Ed）， 2022， 59： 012003.［晉儒龍， 卿粼波， 文虹茜. 基于注意力機(jī)制多尺度網(wǎng)絡(luò)的自然場景情緒識別［J］. 四川大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2022， 59： 012003.］

［24］ Peng Z X， Pu Y F. Convolution neural network face recognition based on fractional differential ［J］. J Sichuan Univ（Nat Sci Ed）， 2022， 59： 012001.［彭朝霞， 蒲亦非. 基于分?jǐn)?shù)階微分的卷積神經(jīng)網(wǎng)絡(luò)的人臉識別［J］. 四川大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2022， 59： 012001.］

［25］ He Y， Yang P， Wang C S， ?et al . Research on financing websites identification based on deep neural network ［J］. J Sichuan Univ（Nat Sci Ed）， 2021， 58： 033003.［何穎， 楊頻， 王叢雙， 等. 基于深度神經(jīng)網(wǎng)絡(luò)的配資網(wǎng)站識別研究［J］. 四川大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2021， 58： 033003.］

［26］ Han K， Wang Y H， Chen H T， ?et al . A survey on vision transformer ［J］. IEEE T Pattern Anal， 2022，45： 87.

［27］ Bazi Y， Bashmal L， Al Rahhal M M， ?et al. ?Vision transformers for remote sensing image classification［J］. Remote Sens-Basel， 2021， 13： 516.

［28］ Kim K， Wu B C， Dai X L， ?et al . Rethinking the Self-Attention in vision transformers ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） Workshops ［S.l.］： IEEE， 2021： 3071.

［29］ Touvron H， Cord M， El-Nouby A， ?et al . Three things everyone should know about Vision Transformers［C］// European Conference on Computer Vision. Tel Aviv， Israel： Springer Nature Switzerland， 2022： 497.

［30］ Tao O， Lin Z Z， Zhang X B， ?et al . Research on traditional Chinese medicine identification model based on texture feature parameters of sliced slice images［J］. World Science and Technology-Modernization of Traditional Chinese Medicine， 2014， 12： 2558.［陶歐， 林兆洲， 張憲寶， 等. 基于飲片切面圖像紋理特征參數(shù)的中藥辨識模型研究［J］. 世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化， 2014， 12： 2558.］

［31］ Fataniya B， Modi U， Zaveri T. Automatic identification of licorice and rhubarb by microscopic image processing ［J］. Procedia Comput Sci， 2015， 58： 723.

［32］ Li Z. Feature extraction and recognition system for traditional Chinese medicine pieces［D］. Harbin Institute of Technology， 2013.［J李震. 中藥飲片特征提取和識別系統(tǒng)［D］. 哈爾濱：哈爾濱工業(yè)大學(xué)， 2013.］

［33］ Wang N， Lu W B， Ling X H， ?et al . Feature extraction and image recognition of Achyranthes bidentata and Cyathula officinalis［J］. China Pharmacy， 2017， 28， 12：1670.［王耐， 盧文彪， 凌秀華， 等. 牛膝和川牛膝藥材的特征提取與圖像識別［J］. 中國藥房， 2017， 28， 12： 1670.］

［34］ Zhu L H， Li X N， Zhang Y， ?et al . Chinese herbal medicine retrieval method based on shape features and texture features ［J］. Comp Eng Des， 2014， 35， 11： 3903.［朱黎輝， 李曉寧， 張瑩， 等. 基于形狀特征及紋理特征的中藥材檢索方法［J］. 計(jì)算機(jī)工程與設(shè)計(jì)， 2014， 35， 11： 3903.］

［35］ Tan X N， Wu W R， Liang W Q， ?et al . Application of customized AI training platform EasyDL in image classification of Qinghuizi and its counterfeit products ［J］. Chin J Ethnomed Ethnopharm， 2022， 31： 40.［譚新寧， 吳文如， 梁婉晴， 等. 定制化AI訓(xùn)練平臺EasyDL在青葙子及其混偽品圖像分類中的應(yīng)用［J］. 中國民族民間醫(yī)藥， 2022， 31： 40.］

［36］ Wu C， Tan C Q， Huang Y L， ?et al . Intelligent identification of fritillary fritillary， hawthorn and pinellia decoction pieces based on deep learning algorithm ［J］. China J Expe Trad Med Form， 2020， 26： 195.［吳沖， 譚超群， 黃永亮， 等. 基于深度學(xué)習(xí)算法的川貝母、山楂及半夏飲片的智能鑒別［J］. 中國實(shí)驗(yàn)方劑學(xué)雜志， 2020， 26： 195.］

［37］ ?Xu Y J， Yu J， Yu Y P， ?et al . Application of artificial intelligence in the field of identification of Chinese medicinal materials and slices ［J］. Chin Arch Trad Chin Med， 2022， 40： 47.［徐雅靜， 俞捷， 余遠(yuǎn)盼， 等. 人工智能在中藥材及飲片鑒別領(lǐng)域的應(yīng)用［J］. 中華中醫(yī)藥學(xué)刊， 2022， 40： 47.］

［38］ Shi T T， Zhang X B， Guo L P， ?et al . Research on remote sensing identification method of wild-planted honeysuckle based on deep convolutional neural network ［J］.China J Chin Mater Med， 2020， 45： 5658.［史婷婷， 張小波， 郭蘭萍， 等. 基于深度卷積神經(jīng)網(wǎng)絡(luò)的仿野生種植金銀花遙感識別方法研究［J］. 中國中藥雜志， 2020， 45： 5658.］

［39］ Han K， Wang Y H， Chen H T， ?et al . A survey on vision transformer ［J］. IEEE T ?Pattern Anal， 2022， 45： 87.

［40］ Liu Z， Lin Y T， Cao Y， ?et al . Swin transformer： hierarchical vision transformer using shifted windows ［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV）.Virtual： IEEE， 2021： 10012.

［41］ Woo S H， Park J C， Lee J Y， ?et al . CBAM： convolutional block attention module ［C］//Proceedings of the European conference on computer vision （ECCV）. Munich， German： Springer Nature Switzerland， 2018： 3.

［42］ Wu A M， Han Y H， Yang Y， ?et al. ?Convolutional reconstruction-to-sequence for video captioning ［J］. IEEE T Circ Syst Vid， 2020， 30： 4299.

［43］ Kingma D P， Ba J. Adam： a method for stochastic optimization ［EB/OL］. ［2022-12-01］. https：//arxiv.org/abs/1412.6980.

［44］ Li Y， Pang Y， Wang J， ?et al . Patient-specific ECG classification by deeper CNN from generic to dedicated ［J］. Neurocomputing， 2018， 314： 336.

［45］ Tan M X， Le Q V. EfficientNet： rethinking model scaling for convolutional neural networks［C］//International Conference on Machine Learning. ［S.l］：PMLR， 2019： 6105.

［46］ Dai Z， Liu H， Le Q V， ?et al . CoAtNet： marrying convolution and attention for all data sizes ［J］. Adv Neural Inf Process Sys， 2021， 34： 3965.

［47］ Tu Z Z， Talebi H， Zhang H， ?et al. ?MaxViT： multi-axis vision transformer ［C］// Proceedings of the European Conference on Computer Vision （ECCV）. Tel Aviv， Israel： Springer Nature Switzerland， 2022： 459.

［48］ Yang J W， Li C Y， Gao J F. Focal modulation networks ［J］. Adv Neural Inf Process Sys， 2022， 35： 4203.

［49］ Guo J Y， Han K， Wu H， ?et al . CMT： convolutional neural networks meet vision transformers［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans： IEEE， 2022： 12175.

［50］ Wu H P， Xiao B， Codella N， ?et al . CvT： introducing convolutions to vision transformers［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV）. Virtual： IEEE，2021： 22.

［51］ Wang W H， Xie E Z， Li X， ?et al . Pyramid vision transformer： a versatile backbone for dense prediction without convolutions［C］// Proceedings of the IEEE/CVF International Conference on Computer Vision （ICCV）. ［S.l.］： IEEE， 2021： 568.

收稿日期： ?2022-12-01

基金項(xiàng)目： ??四川省科技廳應(yīng)用基礎(chǔ)研究課題（2018JY0435）； 四川省中醫(yī)藥管理局科學(xué)技術(shù)研究專項(xiàng)課題（2021MS012）； 成都中醫(yī)藥大學(xué)“杏林學(xué)者”學(xué)科人才科研提升計(jì)劃人才項(xiàng)目（QNXZ2019018）

作者簡介： ??譚超群（1995-）， 女， 四川南充人， 博士研究生， 研究方向?yàn)閳D像處理與機(jī)器智能. E-mail： 18380161804@163.com

通訊作者： ?黃永亮. E-mail： hyl@cdutcm.edu.cn