中南民族大學(xué)計(jì)算機(jī)科學(xué)學(xué)院 龍文漢 藍(lán)佳寧 張東偉
隨著中醫(yī)技術(shù)的不斷發(fā)揚(yáng)與傳承,中草藥作為我國的重要醫(yī)藥材料,中草藥領(lǐng)域的發(fā)展應(yīng)用一直受到專家學(xué)者的重視。目前隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,將該技術(shù)結(jié)合各種實(shí)際場(chǎng)景,用來解決現(xiàn)實(shí)生活中的問題成為當(dāng)前的一種趨勢(shì)。因此,本系統(tǒng)利用深度學(xué)習(xí)技術(shù),將人工智能技術(shù)與民族中草藥進(jìn)行結(jié)合,采用最新的圖像識(shí)別算法模型,開發(fā)設(shè)計(jì)一款基于圖像識(shí)別的中草藥查詢鑒別系統(tǒng),解決目前民族中草藥領(lǐng)域識(shí)別分類方面存在的問題,并將其應(yīng)用于實(shí)際生活。
中草藥查詢鑒別系統(tǒng)將圍繞中草藥識(shí)別模型展開設(shè)計(jì)開發(fā),通過移動(dòng)設(shè)備傳入相關(guān)的中草藥圖像,并搭載在服務(wù)器上的識(shí)別模型進(jìn)行識(shí)別,并且將相關(guān)的中草藥信息返回于移動(dòng)設(shè)備進(jìn)行展示。該系統(tǒng)主要功能如下:
(1)首頁展示:首頁展示界面應(yīng)簡(jiǎn)潔大方,主要設(shè)置文字搜索查詢、拍照識(shí)別查詢、歷史識(shí)別查詢?nèi)N功能入口。文字搜索查詢:可以輸入待查詢中草藥的名稱、學(xué)名、別名等,同時(shí)支持模糊查詢;上傳圖像的識(shí)別查詢:用戶可于移動(dòng)設(shè)備上通過使用攝像頭進(jìn)行拍照上傳待識(shí)別的圖片,或者直接從已經(jīng)存在于相冊(cè)中的待識(shí)別圖片進(jìn)行上傳照片并且通過服務(wù)端的網(wǎng)絡(luò)模型進(jìn)行識(shí)別。同時(shí),待識(shí)別的照片可以是自然情況下的中草藥植物狀態(tài)照片,也可以是已經(jīng)處理過后的草藥藥材狀態(tài)的照片;歷史識(shí)別查詢:用戶識(shí)別過的照片會(huì)留存查詢記錄,用戶可直接通過記錄再次查詢,避免重復(fù)上傳問題。
(2)草藥資料庫:通過上述三種查詢方式可以直接進(jìn)入到對(duì)應(yīng)草藥的資料庫,直接查詢到相關(guān)草藥的信息,該界面將展示待查詢草藥的詳細(xì)資料。具體系統(tǒng)功能組件結(jié)構(gòu)如圖1所示。
圖1 功能組件結(jié)構(gòu)
在軟件系統(tǒng)開發(fā)中,架構(gòu)可以確定整個(gè)系統(tǒng)中硬件與軟件之間的銜接以及通信過程。架構(gòu)設(shè)計(jì)是為了提高系統(tǒng)的穩(wěn)定性,實(shí)現(xiàn)系統(tǒng)在高并發(fā)情況下可穩(wěn)定運(yùn)行。本中草藥查詢鑒別系統(tǒng)的架構(gòu)為C/S架構(gòu)模式,即客戶端/服務(wù)端模式。其中客戶端主要為用戶的移動(dòng)應(yīng)用,服務(wù)端則為部署好的云服務(wù)器。在移動(dòng)應(yīng)用端主要負(fù)責(zé)待查詢草藥的上傳以及搜索結(jié)果的展示功能;服務(wù)器端則實(shí)現(xiàn)接受移動(dòng)設(shè)備上傳輸?shù)奈淖只驁D片,利用網(wǎng)絡(luò)模型的識(shí)別結(jié)果在中草藥數(shù)據(jù)庫中進(jìn)行識(shí)別,并且返回移動(dòng)設(shè)備進(jìn)行展示。系統(tǒng)框架設(shè)計(jì)如圖2所示。
圖2 架構(gòu)設(shè)計(jì)圖
在深度學(xué)習(xí)中減少模型的參數(shù)量一直是學(xué)者的研究方向,其中最為著名的是MobileNet-v1、MobileNet-v2等輕量級(jí)網(wǎng)絡(luò)。本系統(tǒng)中使用的識(shí)別網(wǎng)絡(luò)則采用結(jié)合兩者優(yōu)點(diǎn)的MobileNet-v3。該網(wǎng)絡(luò)主要具有兩個(gè)創(chuàng)新點(diǎn):(1)互補(bǔ)搜索技術(shù)組合:在網(wǎng)絡(luò)結(jié)構(gòu)利用platform-aware NAS與NetAdapt兩種技術(shù),第一個(gè)技術(shù)是在計(jì)算和參數(shù)量受限的前提下搜索網(wǎng)絡(luò)的各個(gè)模塊,即模塊級(jí)搜索(Block-wise Search),第二個(gè)技術(shù)是對(duì)各個(gè)模塊確定之后網(wǎng)絡(luò)層的微調(diào)。(2)網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn):基于MobileNet-v2網(wǎng)絡(luò)斷部在最后一步有一定的計(jì)算量,為了減少計(jì)算量將最后的平均池化層前移,同時(shí)刪除最后一個(gè)卷積層。MobileNet-v3由激勵(lì)函數(shù)swish進(jìn)行數(shù)值近似的h-swish激活函數(shù),如公式(1)所示。
基于以上兩個(gè)創(chuàng)新點(diǎn),MobileNet-v3在精度上優(yōu)于前兩個(gè)系列網(wǎng)絡(luò)的同時(shí),在檢測(cè)速度上也具有優(yōu)勢(shì)。MobileNet-v3網(wǎng)絡(luò)塊結(jié)構(gòu)如圖3所示。
圖3 MobileNet-v3網(wǎng)絡(luò)塊結(jié)構(gòu)
圖4 模型訓(xùn)練結(jié)果可視化
表1 MobileNet-v3模型性能指標(biāo)
通過在1.5T機(jī)械硬盤,顯卡為NVIDIA Tesla P4,運(yùn)行顯存為32G,使用GPU加速計(jì)算機(jī)配置環(huán)境上,使用Python編程語言下搭建Paddle深度學(xué)習(xí)框架進(jìn)行訓(xùn)練。
最終模型訓(xùn)練結(jié)果如圖4所示,該模型在訓(xùn)練過程中acc1(正確標(biāo)簽與預(yù)測(cè)結(jié)果相同的概率)以及acc5(正確標(biāo)簽在預(yù)測(cè)輸出結(jié)果最高5項(xiàng)中的概率)在前期收斂速度較快,并且最終穩(wěn)定與0.9左右。同時(shí)loss值則在前期快速收斂,并且最終達(dá)到0.027左右。而lr則隨著訓(xùn)練進(jìn)度不斷減小,有利于在前期快速達(dá)到最優(yōu)解區(qū)間,在后期能逐漸穩(wěn)定于最終解。
最終模型性能結(jié)果如表1所示,該模型在保證94%以上準(zhǔn)確率的同時(shí),其預(yù)測(cè)時(shí)間保持在0.3左右。于此同時(shí),經(jīng)過訓(xùn)練之后獲得的模型體積(網(wǎng)絡(luò)模型中的參數(shù)量)也較小。以上實(shí)驗(yàn)結(jié)果滿足圖像識(shí)別領(lǐng)域中快速、準(zhǔn)確的要求,因此將該網(wǎng)絡(luò)運(yùn)用于本中草藥查詢鑒別系統(tǒng)中。
總結(jié):隨著科學(xué)和技術(shù)的快速發(fā)展,將深度學(xué)習(xí)、計(jì)算機(jī)視覺等新一代信息技術(shù)應(yīng)用到現(xiàn)實(shí)生活中解決實(shí)際問題已經(jīng)是不可避免的趨勢(shì)。當(dāng)前形勢(shì)下,我國對(duì)中草藥醫(yī)學(xué)方面采取了積極的發(fā)掘、保護(hù)和利用等政策,這促使中草藥領(lǐng)域的事業(yè)有了較快的恢復(fù)與發(fā)展。本系統(tǒng)緊隨新時(shí)代熱點(diǎn),將深度學(xué)習(xí)、圖像識(shí)別技術(shù)與移動(dòng)軟件應(yīng)用開發(fā)相結(jié)合,將目前高性能模型Mobilenet-v3部署于本中草藥查詢鑒別系統(tǒng)中,并將其作為核心技術(shù)應(yīng)用到系統(tǒng)實(shí)現(xiàn)。經(jīng)過實(shí)踐應(yīng)用,該查詢鑒別系統(tǒng)能在生活中能準(zhǔn)確、快速的識(shí)別中草藥材,可以幫助人們快速辨認(rèn)中草藥并且普及中草藥的相關(guān)知識(shí)。