張 蕾,張正軍,郭康惠,王保海,王海龍
(河西學(xué)院 信息技術(shù)與傳媒學(xué)院,甘肅 張掖 734000)
中藥的質(zhì)量?jī)?yōu)劣是保證中藥藥效的核心和根本.傳統(tǒng)中藥的鑒別主要根據(jù)形、色、氣、味等外觀性狀,配合專家經(jīng)驗(yàn)采用人工標(biāo)注的方法來判斷飲片優(yōu)劣,該方法稱為“辨狀論質(zhì)”,由我國(guó)著名中藥學(xué)家謝宗萬提出[1].有的根據(jù)性狀(比如質(zhì)地、顏色和形態(tài))或個(gè)頭大小(比如粗細(xì))等外觀來劃分規(guī)格等級(jí),有的根據(jù)加工方法或純度來劃分,有的根據(jù)產(chǎn)地、野生與栽培區(qū)來劃分,市場(chǎng)上約90%的藥材規(guī)格等級(jí)劃分都可歸為這幾類[2].“辨狀論質(zhì)”雖然直觀、實(shí)用,但達(dá)不到精確定量.隨著計(jì)算機(jī)視覺技術(shù)和圖像處理技術(shù)的不斷發(fā)展,中藥數(shù)字化成為中藥質(zhì)量控制的發(fā)展趨勢(shì),其中最具挑戰(zhàn)性的是最佳特征提取[3].在中藥飲片圖像識(shí)別領(lǐng)域,相關(guān)研究主要集中于顏色、紋理、形狀等外在性狀特征以及水分、灰分、浸出物等內(nèi)在化學(xué)成分特征兩個(gè)方面,且已取得一定進(jìn)展[4].陶歐等[5]基于飲片切面圖像紋理特征參數(shù)的辨識(shí)模型判正率可達(dá)90%;木拉提·哈米提等[6]基于顏色直方圖對(duì)新疆維吾爾醫(yī)藥材圖像特征進(jìn)行提取與判別分析,其動(dòng)物藥準(zhǔn)確率達(dá)到70%,植物藥準(zhǔn)確率達(dá)到90%;呂宇琛等[7]提出的基于HOG-LBP特征融合算法對(duì)中藥飲片的識(shí)別率可達(dá)到91.16%.
這些研究主要應(yīng)用場(chǎng)景是鑒別藥材的種類,由于不同種類的藥材外觀差別較大,因此鑒別藥材種類相對(duì)比較容易.而實(shí)際應(yīng)用中更多的場(chǎng)景是已知藥材的種類,需要鑒別其質(zhì)量等級(jí).這方面的研究難度較大,相關(guān)研究仍處于起步階段,其原因主要是因?yàn)橥环N類不同等級(jí)的藥材外觀差別較小,自動(dòng)識(shí)別難度較高.
文中選取甘肅道地中藥黃芪不同產(chǎn)區(qū)飲片為研究對(duì)象,針對(duì)中藥飲片質(zhì)量等級(jí)鑒定自動(dòng)化進(jìn)行了探索.
實(shí)驗(yàn)選取甘肅道地中藥黃芪不同產(chǎn)區(qū)飲片,將其數(shù)字化后進(jìn)行人工篩選,由此構(gòu)建質(zhì)量等級(jí)標(biāo)準(zhǔn)數(shù)據(jù)集GHQ-4.
數(shù)據(jù)集中,圖像選取標(biāo)準(zhǔn)為2020版的《中國(guó)藥典》,圖像數(shù)目為3 869幅,采用白色簡(jiǎn)單背景,圖像大小均為980×980像素,JPG格式,顏色表示為RGB.
所有圖片由行業(yè)專家根據(jù)表1質(zhì)量等級(jí)特征描述中的4個(gè)等級(jí)進(jìn)行測(cè)評(píng)標(biāo)注,同一張圖片由5位不同專家進(jìn)行標(biāo)注,對(duì)標(biāo)注不一致的圖片由專家討論后給出最終標(biāo)注.
表1 黃芪飲片質(zhì)量等級(jí)特征描述
實(shí)驗(yàn)將數(shù)據(jù)集分為訓(xùn)練集和測(cè)試集,從文中構(gòu)建的質(zhì)量等級(jí)標(biāo)準(zhǔn)數(shù)據(jù)集GHQ-4中隨機(jī)抽取1 500幅圖像作為訓(xùn)練集,2 369幅圖像作為測(cè)試集.
圖像預(yù)處理的目的是對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)化,消除圖像中無關(guān)信息的干擾,并增強(qiáng)重要、有效特征以加強(qiáng)特征提取與識(shí)別的可靠性.
針對(duì)4種質(zhì)量等級(jí)的黃芪飲片圖像,首先進(jìn)行圖像增強(qiáng),以強(qiáng)化飲片顏色、紋理、邊緣等局部特征的差異,突出重要特征.該過程的副作用是圖像部分信息可能會(huì)有失真,但可提高圖像質(zhì)量、豐富信息量,加強(qiáng)圖像判讀和識(shí)別效果.其次,對(duì)圖像尺寸進(jìn)行歸一化處理,使得中藥飲片圖像的最長(zhǎng)邊界為280像素點(diǎn).另外,由于RGB顏色模型采用紅、綠、藍(lán)三種基色表示各種顏色,不能很好地與視覺感知顏色空間相結(jié)合.因此,還需要對(duì)圖像進(jìn)行顏色空間轉(zhuǎn)化,將RGB顏色空間分別轉(zhuǎn)化為灰度空間與HSV顏色空間.預(yù)處理結(jié)果如圖1所示.
圖1 黃芪飲片質(zhì)量等級(jí)圖像預(yù)處理結(jié)果
不同的產(chǎn)地、科屬、甚至不同的炮制方法都會(huì)對(duì)中藥飲片的顏色產(chǎn)生較大的影響.因此,基于顏色特征可以有效區(qū)分不同產(chǎn)地、品質(zhì)等級(jí)分類.
中國(guó)藥典中對(duì)藥材顏色的描述具有一定的主觀性,文中基于中藥數(shù)字化的理論與實(shí)踐對(duì)顏色特征參數(shù)進(jìn)行定量的提取.顏色特征是對(duì)飲片圖像表面顏色性質(zhì)進(jìn)行描述的方式,是圖像識(shí)別中最有價(jià)值的底層特征,以不同基色描述可得到RGB模型、HSV模型和LAB模型等不同的色彩空間.常用的顏色特征有顏色直方圖、顏色距、顏色集等.
2.2.1 顏色特征 顏色特征針對(duì)不同質(zhì)量等級(jí)黃芪飲片使用顏色直方圖的方式統(tǒng)計(jì)圖像中不同顏色出現(xiàn)的概率[8],即
(1)
其中,k為圖像特征值;L為特征個(gè)數(shù);nk為特征值k的像素總數(shù);N為圖像總像素?cái)?shù).
實(shí)驗(yàn)采用Opencv對(duì)黃芪飲片HSV圖像生成顏色直方圖,如圖2所示.Y軸的3個(gè)分量分別代表色彩(Hue)、飽和度S(Saturation)和值V(Value).X軸表示bins即顏色分為多少塊,通常bins為256,即橫坐標(biāo)上每個(gè)點(diǎn)表示一個(gè)顏色值.顏色直方圖可有效描述黃芪飲片的全局顏色分布情況,從而提取黃芪飲片的顏色特征.
圖2 黃芪飲片質(zhì)量等級(jí)灰度圖像直方圖
2.2.2 基于灰度直方圖的圖像特征提取 灰度直方圖反映一幅圖像中各灰度級(jí)像素出現(xiàn)的頻率與灰度級(jí)的關(guān)系,是一個(gè)灰度級(jí)的離散函數(shù),它統(tǒng)計(jì)了每一個(gè)強(qiáng)度值所具有的像素個(gè)數(shù)[9],計(jì)算公式為
(2)
其中,ni為圖像中具有灰度級(jí)i的像素的個(gè)數(shù);N為圖像總像素?cái)?shù);i為灰度級(jí);L為灰度級(jí)種類數(shù).
圖像的灰度直方圖提供了該圖像外觀的全局描述,提取的特征具有旋轉(zhuǎn)、比例和位移即RST不變性.其中,灰度級(jí)為橫坐標(biāo),頻率為縱坐標(biāo).灰度級(jí)是圖像中不同灰度的最大數(shù)量,灰度級(jí)越大,圖像亮度范圍越大.通過Opencv生成黃芪飲片質(zhì)量等級(jí)灰度圖像直方圖如圖3所示.
圖3 黃芪飲片質(zhì)量等級(jí)灰度圖像直方圖
一般不直接用灰度圖像的直方圖作為特征,而是使用直方圖的統(tǒng)計(jì)特征.在顏色直方圖的基礎(chǔ)上,結(jié)合灰度直方圖及統(tǒng)計(jì)量來反映黃芪飲片質(zhì)量等級(jí)圖像的特征值.統(tǒng)計(jì)量如下[10]:
均值(mean):表示獲取黃芪飲片圖像灰度的平均值,即
(3)
方差(variance):表示獲取黃芪飲片圖像灰度在數(shù)值上是如何離散分布的,計(jì)算公式為
(4)
峰態(tài)(kurtosis):表示獲取黃芪飲片灰度圖像在接近均值時(shí)的分布,峰態(tài)越大黃芪飲片灰度圖像灰度分布越集中于平均值附近,計(jì)算公式為
(5)
熵(entropy):反映了黃芪飲片灰度直方圖中灰度分布的均勻性,計(jì)算公式為
(6)
對(duì)標(biāo)準(zhǔn)數(shù)據(jù)集進(jìn)行均值、方差、峰態(tài)、熵4項(xiàng)顏色特征提取實(shí)驗(yàn),表2為黃芪飲片圖像不同質(zhì)量等級(jí)的平均特征值.
表2 黃芪顏色直方圖特征
表3 灰度共生矩陣提取的黃芪質(zhì)量等級(jí)特征
紋理是由灰度空間中相隔某距離的兩個(gè)像素點(diǎn)間的灰度關(guān)系形成的,該灰度關(guān)系可以從微觀上體現(xiàn)圖像的綜合特征信息,包括灰度的變化幅度、變化方向以及相鄰間隔等.紋理特征提取方法最常使用的主要有灰度共生矩陣和局部二值模式兩種方法.在中藥飲片質(zhì)量等級(jí)鑒定過程中,同種飲片紋理結(jié)構(gòu)具有高度相似性及復(fù)雜性,文中選取灰度共生矩陣提取黃芪飲片紋理特征.
2.3.1 灰度共生矩陣 灰度共生矩陣(GLCM,Gray-level co-occurrence matrix)是指通過研究灰度空間的相關(guān)特性來描述紋理的基本方法.GLCM可以理解為取圖像中的任意一點(diǎn)(x,y),偏離一段距離選取另一點(diǎn)(x+m,y+n),假定其對(duì)應(yīng)的灰度值為(g1,g2).令點(diǎn)(x,y)在整個(gè)圖面上滑動(dòng),則會(huì)得到不同的(g1,g2)值,將灰度值的級(jí)數(shù)記為k,則(g1,g2)的相互組合一共有k的平方種.對(duì)于整個(gè)圖像,統(tǒng)計(jì)出每種(g1,g2)的值出現(xiàn)的次數(shù),然后再將其排列成為一個(gè)方陣,用(g1,g2)出現(xiàn)的總次數(shù)將它們歸一化后視為其出現(xiàn)的概率P(g1,g2),這樣的方陣稱為灰度共生矩陣.GLCM常用的紋理特征[11]主要有:
對(duì)比度:表示測(cè)量灰度共生矩陣的局部變化,反映某個(gè)像素及其鄰域像素值的亮度對(duì)比情況.灰度共生矩陣中偏離對(duì)角線的元素值越大,則對(duì)比度越大,可表示為
(7)
相關(guān)性:表示測(cè)量指定像素對(duì)的聯(lián)合概率,該特征可反映圖像紋理的一致性.矩陣元素相差越大,則相關(guān)性越小,可表示為
(8)
能量:能量為共生矩陣內(nèi)各個(gè)元素的平方和,它體現(xiàn)的是目標(biāo)圖像紋理的粗細(xì)程度如何、灰度分布是否均勻、分布的程度如何等,可表示為
(9)
熵:熵表示目標(biāo)圖像的紋理隨機(jī)性如何.灰度共生矩陣的所有特征數(shù)據(jù)如果均取得最大值,說明圖像紋理分布是均勻的;反之,如果均取得最小值,則說明圖像的紋理分布不均勻,其可表示為
2.3.2 基于灰度共生矩陣的圖像特征提取 以上4項(xiàng)紋理特征參數(shù)能夠有效表征圖像紋理的復(fù)雜性、方向性、周期性等信息.求出該灰度共生矩陣各個(gè)方向的特征值,并對(duì)特征值計(jì)算均值及方差從而消除方向分量對(duì)紋理特征的影響.
從黃芪飲片質(zhì)量等級(jí)標(biāo)準(zhǔn)數(shù)據(jù)庫GHQ-4提取以上4項(xiàng)紋理特征,結(jié)果如圖4所示.
遺傳算法是一種基于生物進(jìn)化過程的計(jì)算模型,它主要模擬遺傳學(xué)機(jī)理和達(dá)爾文生物進(jìn)化論的自然選擇機(jī)制.將問題的求解過程轉(zhuǎn)換成將染色體基因進(jìn)行交叉、變異等操作,進(jìn)而通過適應(yīng)度函數(shù)選取合適的下一代過程.在機(jī)器學(xué)習(xí)、組合優(yōu)化、自適應(yīng)控制和信號(hào)處理等許多領(lǐng)域中遺傳算法都得到了廣泛的應(yīng)用[12].
文中將之前提取的8個(gè)顏色及紋理特征作為等級(jí)分類的特征向量,采用線性分類器通過特征向量的線性組合來對(duì)黃芪飲片的質(zhì)量等級(jí)進(jìn)行分類,公式如下:
利用遺傳算法對(duì)線性分類器的8個(gè)權(quán)重以及4個(gè)等級(jí)的上界和下界選擇進(jìn)行優(yōu)化,設(shè)計(jì)基于特征值與遺傳算法的黃芪飲片質(zhì)量等級(jí)分類算法如下:
1)遺傳算法的參數(shù)初始化
隨機(jī)生成包含26個(gè)個(gè)體的初始種群,采用二進(jìn)制將每個(gè)個(gè)體編碼作為染色體,個(gè)體即8個(gè)特征參數(shù)對(duì)應(yīng)的a,b,c,d,e,f,g,h共8個(gè)權(quán)重系數(shù),以及代表4個(gè)質(zhì)量等級(jí)上界和下界的8個(gè)參數(shù),染色體為個(gè)體(可能解)的二進(jìn)制編碼表示.對(duì)每個(gè)個(gè)體的16個(gè)參數(shù)進(jìn)行初始化.
2)計(jì)算每個(gè)個(gè)體的適應(yīng)度(個(gè)體評(píng)價(jià))
將代表各個(gè)類別分類準(zhǔn)確率之和的目標(biāo)函數(shù)f(x)作為個(gè)體的適應(yīng)度函數(shù),即
其中,Ti為訓(xùn)練樣本中第i類別的樣本總數(shù),Ci為其中分類正確的樣本數(shù).
3)執(zhí)行遺傳操作
將適應(yīng)度最優(yōu)值的個(gè)體加入到種群中,執(zhí)行選擇、變異、交叉等遺傳操作.其中,選擇操作根據(jù)種群中個(gè)體的適應(yīng)度大小通過雙重輪盤賭的方式將適應(yīng)度高的個(gè)體從當(dāng)前種群中選擇出來.變異操作為從種群中隨機(jī)地選擇一個(gè)個(gè)體,按一定的概率將其染色體中的某一位進(jìn)行改變.具體包括如下4種變異操作:
① 基因換位:隨機(jī)選擇個(gè)體中兩個(gè)位置,直接交換相應(yīng)的基因.
② 基因倒序:隨機(jī)挑選個(gè)體中某個(gè)基因片段,將其數(shù)據(jù)顛倒.
③ 基因右移:隨機(jī)挑選個(gè)體中某個(gè)基因片段,將其數(shù)據(jù)循環(huán)右移一次.
④ 基因左移:隨機(jī)挑選個(gè)體中某個(gè)基因片段,將其數(shù)據(jù)循環(huán)左移一次.
交叉操作隨機(jī)挑選兩個(gè)不同的個(gè)體,根據(jù)一定的概率將其基因的一部分進(jìn)行隨機(jī)交換,從而形成兩個(gè)新的個(gè)體.綜合運(yùn)用以上4種變異操作,可以增強(qiáng)種群中個(gè)體的基因多樣性,獲得最佳優(yōu)化效果.
4)判斷終止條件
重復(fù)步驟二和三,直到迭代次數(shù)達(dá)到最大遺傳次數(shù)或適應(yīng)度函數(shù)符合要求,則輸出最優(yōu)的黃芪飲片質(zhì)量等級(jí)線性分類器的顏色特征與紋理特征數(shù)據(jù)的最優(yōu)權(quán)重組合,及各質(zhì)量等級(jí)不同上下界限區(qū)間.
依據(jù)文中提取的顏色特征與紋理特征,采用上述算法對(duì)數(shù)據(jù)集GHQ-4進(jìn)行分類測(cè)試,實(shí)驗(yàn)最終得到的最佳權(quán)重系數(shù)和該權(quán)重下4個(gè)質(zhì)量等級(jí)的最佳區(qū)間劃分見表4及表5(等級(jí)標(biāo)簽依據(jù)飲片大小劃分).在此優(yōu)化結(jié)果下,4個(gè)質(zhì)量等級(jí)的識(shí)別準(zhǔn)確率分別為71%,72%,70%和68%.
表5 最佳區(qū)間劃分
由表4可知,優(yōu)化后權(quán)重系數(shù)f的值為0,即紋理特征相關(guān)性統(tǒng)計(jì)值在黃芪飲片質(zhì)量等級(jí)分類中可忽略其作用.通過實(shí)驗(yàn),最終根據(jù)以下公式得到黃芪飲片質(zhì)量等級(jí):
等級(jí)f(V)可表示為
其中,(13)式的V代表各特征參數(shù)加權(quán)和;σ為顏色均值;σ2為顏色方差;μk為顏色峰態(tài);μi為顏色熵值;C為紋理對(duì)比度;ASM為紋理能量值;E為紋理熵值.(14)式為依據(jù)V值所在不同區(qū)間確定的質(zhì)量等級(jí),該式可依據(jù)實(shí)驗(yàn)確定的黃芪飲片質(zhì)量等級(jí)公式計(jì)算得到V值,并依據(jù)不同質(zhì)量等級(jí)最佳區(qū)間劃分得到飲片所對(duì)應(yīng)的具體質(zhì)量等級(jí).
由于中藥飲片圖像識(shí)別精度受背景、光源等因素的影響,文中實(shí)驗(yàn)選取白色簡(jiǎn)單背景,對(duì)黃芪飲片4個(gè)質(zhì)量等級(jí)3 869副圖像樣本進(jìn)行分析,后期研究仍需補(bǔ)充偽品樣本及復(fù)雜背景樣本圖像.另外,在中藥質(zhì)量等級(jí)鑒定過程中,由于各等級(jí)圖像具有較高的相似性及復(fù)雜性,單從底層特征來對(duì)圖像特征指標(biāo)進(jìn)行提取,容易影響圖像等級(jí)鑒定的泛化效果,并降低了系統(tǒng)的魯棒性.目前,在中藥領(lǐng)域中對(duì)中藥材質(zhì)量等級(jí)分類的相關(guān)研究仍主要集中在傳統(tǒng)特征提取方面,相信隨著深度學(xué)習(xí)技術(shù)以及人工智能的不斷發(fā)展,中藥材質(zhì)量等級(jí)分類技術(shù)與算法會(huì)進(jìn)一步優(yōu)化,從而得到更高的鑒定效率及準(zhǔn)確率.