陳燦宇，付阿敏，李國偉，余兆釵，3＊＊，李佐勇，3＊＊

（1.閩江學院計算機與控制工程學院 福州 350121；2.山東科技大學電子信息工程學院 青島 266000；3.福建省信息處理與智能控制重點實驗室（閩江學院） 福州 350121）

1 引言

隨著中國經(jīng)濟的跨越式發(fā)展，中華文化在世界范圍內(nèi)的影響力逐漸增大，作為中華文化代表的中醫(yī)文化也越來越受到人們的重視[1]。習近平同志明確提出“著力推動中醫(yī)藥振興發(fā)展”[2]，黨中央高度重視對中醫(yī)藥的研究，中醫(yī)發(fā)展上升為國家策略。中醫(yī)處方是針對病人癥狀為進行疾病治療而開出的一組中草藥集合，處方中的癥狀集合稱為“癥狀組”，草藥集合稱為“處方組”。當前中醫(yī)領(lǐng)域積累了許多真實有效的診療數(shù)據(jù)，文獻[3]指出，現(xiàn)在的處方記錄已經(jīng)超過10萬條?；谥嗅t(yī)診療數(shù)據(jù)，建立模型挖掘癥狀之間的關(guān)系，預測患者的用藥，成為當前中醫(yī)輔助診療智能化的研究創(chuàng)新點，這給中藥方劑的推薦帶來了挑戰(zhàn)。

運用計算機輔助診療技術(shù)進行中草藥推薦，實際上是一種文本多標簽分類問題，當前處方預測算法大多基于機器學習和深度學習模型[4]。比如，L.Yao[3]等人建立了主題模型，將中醫(yī)知識歸納入模型，描述中醫(yī)理論中處方生成的過程，進行中草藥推薦，但準確率有待進一步提高。王斌[5]等人基于多標簽k近鄰算法設(shè)計了智能推薦模型，協(xié)助醫(yī)生對患者病癥證的關(guān)系判斷，并智能推送適合病癥的中草藥和治療方案。黃友[6]等人初步研究了五個推薦處方在治療COVID-19全證型階段的共性作用機制，為用中醫(yī)藥防治COVID-19提供了理論依據(jù)與參考，但COVID-19相關(guān)基因數(shù)據(jù)庫不夠完整。郭永坤等[7]引入人工神經(jīng)網(wǎng)絡(luò)擬合中藥和方劑之間的非線性關(guān)系，量子化處理中醫(yī)數(shù)據(jù)，設(shè)計了中藥方劑預測系統(tǒng)。學者們不斷嘗試運用深度學習算法模擬醫(yī)生診療過程，為醫(yī)生在臨床中開具中草藥處方提供了參考方案。但是在提取病人癥狀特征方面還存在欠缺，沒有明確的優(yōu)良方法推薦出更準確的治療處方。故本文基于更好的特征提取思想，提出了基于卷積神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)。

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）是一種常見的文本分類模型，是由卷積層、池化層、全連接層組成的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)[8]。相對于傳統(tǒng)的多層感知神經(jīng)網(wǎng)絡(luò)，其卷積層具有局部鏈接、權(quán)值共享以及池化操作既能夠有效地提取特征，又大幅度地簡化了網(wǎng)絡(luò)的復雜度[9]，因此我們選擇使用卷積神經(jīng)網(wǎng)絡(luò)模型擬合臨床治療和研究處方中癥狀和中草藥之間的內(nèi)在聯(lián)系，提升預測準確率，增加輔助診療的實用性，為醫(yī)生和患者推薦更加可靠的診療方案具有深遠意義。

本文的主要貢獻如下：①基于中醫(yī)診療邏輯分析癥狀和相應(yīng)治療草藥之間的聯(lián)系，使用卷積神經(jīng)網(wǎng)絡(luò)算法建立了中草藥推薦系統(tǒng)；②提供一種新的中醫(yī)輔助診療方法，這對中醫(yī)診療在人工智能方向的研究非常具有參考價值。

2 網(wǎng)絡(luò)設(shè)計

2.1 數(shù)據(jù)來源

在本研究中，我們根據(jù)《中醫(yī)臨床必讀叢書：傷寒論》[10]的相關(guān)內(nèi)容，引用了趙文[11]構(gòu)建的《傷寒論》診療數(shù)據(jù)集，提取了共計358組中醫(yī)癥狀和中草藥信息。再根據(jù)中醫(yī)常用規(guī)則，對傷寒論的診療記錄中的癥狀和中藥處方信息進行匯總整理，統(tǒng)計數(shù)據(jù)集的特征和標簽，本研究采用的《傷寒論》診療記數(shù)據(jù)集共計癥狀158種和中草藥77種，具體的數(shù)據(jù)集信息如表1所示。

表1 數(shù)據(jù)集數(shù)據(jù)

我們收集的傷寒論數(shù)據(jù)集，癥狀和中草藥信息有簡短和維數(shù)多的特征，對數(shù)據(jù)進行multi-hot編碼的方式處理。例如癥狀組，首先將所有的單個癥狀做獨有的編號，按照其所帶的編碼值域，定義為1，其他值域為0（表2）。癥狀組“咽喉疼痛、嘔吐、泄瀉、脈緊”，編碼后被表示為“11110000…”；草藥組“人參、干姜、炙甘草、白術(shù)”，編碼后表示為“1100000…011”（表3）。

表2 編碼后的癥狀組數(shù)據(jù)表示

表3 編碼后的中草藥數(shù)據(jù)表示

2.2 算法設(shè)計

相比傳統(tǒng)的深度學習模型，卷積神經(jīng)網(wǎng)絡(luò)通過感受野、權(quán)重共享和降采樣三種方法降低了網(wǎng)絡(luò)的復雜性[12]。它通常由輸入層、卷積層、池化層、全連接層和輸出層幾個部分組成，一次訓練過程，可以分為前向傳播、損失計算和反向傳播三個步驟。

2.2.1 前向傳播

網(wǎng)絡(luò)的輸入可以定義為X=(x1,x2,…,xn)，我們將輸入癥狀的158位編碼具體值當作卷積層的輸入，通過12個卷積核進行卷積運算將其轉(zhuǎn)化為12通道的一列78行的矩陣。我們將a定義為卷積層輸出的神經(jīng)元值，W為權(quán)重，b為偏置單元，m為卷積核的維度，則卷積層的神經(jīng)元操作可以定義為如下公式(1)：

其中σ為非線性激活函數(shù)，即ReLU函數(shù)，它可以使網(wǎng)絡(luò)具有更好的擬合和泛化能力。

卷積層后面再用三個全連接層整合和歸納。我們設(shè)k為輸入神經(jīng)元維度，則第L+1個全連接層輸出神經(jīng)元值aL+1定義為公式：

P是輸出中草藥的正確的概率值，定義為公式：

其中f函數(shù)用于輸出預測概率，使最終輸出歸一化，被定義為公式：

2.2.2 損失計算

由于我們最終需要得到一組中藥，即我們的模型需要輸出多個標簽，這屬于多標簽分類的范疇。預測輸出值越接近真實樣本標簽0，損失函數(shù)L越??；預測函數(shù)越接近1，L越大。函數(shù)的變化趨勢也完全符合實際需要的情況。因此我們在前向傳播后，使用多標簽交叉熵損失函數(shù)計算損失值L，如公式：

其中，H代表輸出層的神經(jīng)元數(shù)，即中藥的種類數(shù)。th∈{0,1}和yh(0≤yh≤1)分別代表著實際標簽和模型的預測值。

2.2.3 反向傳播

在本算法反向傳播過程中，定義一個δ誤差表示損失函數(shù)對于當前層未激活輸出zL的導數(shù)。使用δL(x)表示卷積層的第L層中坐標為x處的δ誤差，假設(shè)我們已經(jīng)知道L+1層的δ誤差，根據(jù)鏈式求導法則可以得出δL(x)計算方式為公式：

根據(jù)第L層的δ誤差，我們就可以等到該層的對權(quán)重和偏置的導數(shù)：

對于網(wǎng)絡(luò)中每一個參數(shù)的更新，采用以下公式進行更新：

其中，η為神經(jīng)網(wǎng)絡(luò)的學習率。對于全連接層的反向傳播可以相似的得出以下公式：

全連接層權(quán)重更新公式與卷積層相同[13]，利用前向傳播和網(wǎng)絡(luò)自身的參數(shù)WL和bL對輸入數(shù)據(jù)進行預測，接著將預測值和真實標簽代入損失函數(shù)計算出實際輸出值th與網(wǎng)絡(luò)預測輸出值yh之間的損失，最后將損失值反向傳播回模型從而更新網(wǎng)絡(luò)參數(shù)，不斷提升網(wǎng)絡(luò)預測出正確中草藥的性能。

2.3 網(wǎng)絡(luò)結(jié)構(gòu)

依據(jù)中醫(yī)診療邏輯原理和卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，本文將樣本的癥狀和中草藥處方分別作為網(wǎng)絡(luò)輸入和輸出，設(shè)計了一個用于中草藥處方推薦的神經(jīng)網(wǎng)絡(luò)模型（CNN-based Herbal Prescription,CNN-HP），其結(jié)構(gòu)如圖1所示，由一個卷積層和三個全連接層組成。將病癥信息作為輸入層，利用卷積層來實現(xiàn)對病癥的特征提取，經(jīng)過輸出函數(shù)獲得非線性表達能力，擬合中醫(yī)診療過程。

圖1 卷積神經(jīng)網(wǎng)絡(luò)模型圖

對于神經(jīng)網(wǎng)絡(luò)模型訓練，首先由于本研究《寒傷論》診療數(shù)據(jù)集中共有158種癥狀以及77種中草藥，因此我們決定設(shè)置網(wǎng)絡(luò)輸入層的特征維度是158，輸出層維度是77，以更好的結(jié)合數(shù)據(jù)集數(shù)據(jù)。其次由于考慮到網(wǎng)絡(luò)是對非線性的數(shù)據(jù)進行處理我們特地選取了ReLU（線性整流函數(shù)Rectified Linear Unit）作為每一層的激活函數(shù)，以使得網(wǎng)絡(luò)對數(shù)據(jù)特征的提取更為精確，且最后一層網(wǎng)絡(luò)由于要輸出預測結(jié)果的概率因此需要特殊處理，將其設(shè)為sigmoid函數(shù)以便于將最后一層的高度抽象數(shù)據(jù)轉(zhuǎn)為概率的形式呈現(xiàn)（表4）。

表4 網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)設(shè)置

對于網(wǎng)絡(luò)模型中細節(jié)參數(shù)的設(shè)計，考慮到數(shù)據(jù)集的規(guī)模不大，且數(shù)據(jù)特征過于稀疏，太大的網(wǎng)絡(luò)結(jié)構(gòu)可能容易發(fā)生過擬合現(xiàn)象而小網(wǎng)絡(luò)對數(shù)據(jù)特征提取的可能不夠完整，所以經(jīng)過一些實驗與討論我們決定卷積層的通道數(shù)定為12，再通過卷積層之間的計算公式[14]：

得到卷積后輸出的大小為78，且最后的兩層全連接層維度我們將之設(shè)置為256和128。而對于損失函數(shù)，由于本次實驗使用的sigmoid函數(shù)為網(wǎng)絡(luò)模型最后一層的激活函數(shù)，如果使用平方差損失函數(shù)的話會導致誤差比較小時梯度過小使得網(wǎng)絡(luò)無法進一步進行訓練，因此我們采用交叉熵函數(shù)作為我們網(wǎng)絡(luò)的損失函數(shù)完美的避免了這類問題的發(fā)生。

卷積層中的權(quán)重以及偏置，和全連接前饋網(wǎng)絡(luò)類似，也可以通過誤差反向傳播算法來進行參數(shù)學習。神經(jīng)網(wǎng)絡(luò)層與層之間的傳播過程，對應(yīng)著從癥狀特征提取，到最后推薦出中草藥的推理過程，網(wǎng)絡(luò)的訓練和測試不斷地明確了這個映射關(guān)系。

3 實驗及分析

為了更好的測試CNN-HP網(wǎng)絡(luò)在傷寒論數(shù)據(jù)集上的性能，本實驗分為三個部分：第一，不同K值比對（K值為最后輸出的數(shù)據(jù)中概率最高的前K項），得出各評價指標進行對照。第二，相對數(shù)據(jù)均衡的切分不同訓練集和測試集比例，進行實驗。在最佳的K值條件下，與已有的先進的中草藥推薦方法PTM[3]以及三個傳統(tǒng)機器學習算法：支持向量機（SVM）、樸素貝葉斯分類器（NB）和邏輯回歸（LR）的性能進行對比。第三，針對具體的測試集，對網(wǎng)絡(luò)的推薦結(jié)果定性分析該網(wǎng)絡(luò)的推薦效果。

3.1 實驗參數(shù)設(shè)置

本實驗中的卷積核大小，卷積層通道數(shù)以及兩層的全連接層神經(jīng)元個數(shù)這四個參數(shù)我們將通過網(wǎng)格搜索的方式去得到。我們在合適的范圍內(nèi)設(shè)置了一些預選的參數(shù)，卷積核大小取自集合{3，4，5，6，7}這個范圍內(nèi)，卷積層通道數(shù)取自集合{6，12，24，48，96}，第一層全連接層個數(shù)取自集合{128，256，512，1024，2048}，第二層全連接個數(shù)取自集合{128，256，512，1024，2048}，接著枚舉可能的取值進行網(wǎng)格搜索得出最優(yōu)的參數(shù)。關(guān)于參數(shù)設(shè)定的細節(jié)，我們同樣使用的按不同比例劃分為五組的數(shù)據(jù)集進行實驗，每組實驗的都是相同的環(huán)境，分別枚舉四個參數(shù)的預選范圍對比結(jié)果后選擇表現(xiàn)最優(yōu)的參數(shù)，因為本實驗結(jié)果數(shù)量較大，因此擇優(yōu)進行實驗結(jié)果的展示。如圖2所示，卷積核大小為4，通道數(shù)量為12，兩層全連接層分別為256和128時，網(wǎng)絡(luò)性能最佳。因此，我們將選擇這些參數(shù)作為本文網(wǎng)絡(luò)的參數(shù)。

圖2 參數(shù)設(shè)置實驗結(jié)果圖

對于迭代數(shù)的確定，我們是根據(jù)圖3的驗證損失和訓練損失確定的，由圖可以看出網(wǎng)絡(luò)從20次迭代左右開始出現(xiàn)過擬合現(xiàn)象，且在100次迭代左右訓練損失基本沒有出現(xiàn)波動，驗證損失還有上升趨勢，說明模型已經(jīng)出現(xiàn)過擬合現(xiàn)象，所以鑒于下圖的結(jié)果，我們將迭代數(shù)設(shè)置成一個略大于100的值。因此，我們將迭代次數(shù)設(shè)置為150。

圖3 網(wǎng)絡(luò)訓練損失函數(shù)結(jié)果圖

除此以外，為了防止網(wǎng)絡(luò)過擬合和加快網(wǎng)絡(luò)收斂，我們?yōu)槊繉泳矸e添加了歸一化層并選擇以Adam（Adaptive momentum：自適應(yīng)動量的隨機優(yōu)化方法）作為優(yōu)化器進行訓練

3.2 不同K值下的診斷結(jié)果

本研究以精確率（Precision）、召回率（Recall）和F1分數(shù)（F1-score）三個評價指標來對模型性能進行評價，三個指標的定義如下所示[15]：

其中公式中Precision@k精確度表示著預測結(jié)果中概率最大的K味草藥集合與標簽集合中相交個數(shù)除上K，公式Recall@k為預測結(jié)果中概率最大的K味草藥集合與標簽集合中相交個數(shù)除上標簽集合的個數(shù)，不過這兩種評測標準都不夠全面，在數(shù)據(jù)樣本不平衡的情況下，這兩種測評標準便失去了意義。而公式F1-score@k是精確度和召回度的加權(quán)調(diào)和平均值，且數(shù)值越大越好，可以準確的反應(yīng)模型的好壞（表5）。

表5 不同K值診斷結(jié)果

由于不同的K對實驗定量分析的影響很大，應(yīng)此我們在選定迭代數(shù)（epoch）150，且最小批次（minibatch）為32的條件下取不同的K值進行的多次實驗。因為K值為預測結(jié)果種概率最大的K中，所以我們并不希望K值的選取過大或者過小，因為過大的K值，雖然有更多的中草藥標簽，召回率更高，但是會以犧牲精確度為代價，這樣沒有意義。而過低的K值雖然能夠提升精確度卻會損失大量的中草藥輸出，不利于最終的推薦效果。綜合每個評價指標，最終我們在K值分別3，4，5，6，10的五次獨立實驗中決定以實驗結(jié)果最為穩(wěn)定的K值為5的方案作為下面定量分析的K值標準。

3.3 數(shù)據(jù)集定量分析

本研究將數(shù)據(jù)集切分了不同的訓練集、測試集比例進行實驗，為了盡可能使數(shù)據(jù)均衡，具體的切分數(shù)量如表6所示，訓練集與測試集比例為9：1時，實際訓練集樣本323，測試集樣本35。訓練集含有數(shù)據(jù)集中所有158種癥狀的157種，并且包含了數(shù)據(jù)集中所有的77種中草藥，保證了每種草藥類別足夠達到分類的目的。當訓練集與測試集比例為8：2時，實際訓練樣本287，測試集樣本73，其中訓練集中含有癥狀146種，中草藥74種，缺失的癥狀種類數(shù)為12種，中草藥缺失3種。訓練集與測試集的其他比例及其樣本分布如表6的其他組別所示。對每組數(shù)據(jù)分別進行實驗，得出三個評價指標分別如圖4所示，在第1組實驗數(shù)據(jù)中，精確率為71.54%，召回率87.09%，F(xiàn)1-score高達78.55%。相對于其他比例的訓練集和測試集劃分，這是因為此時訓練集數(shù)據(jù)比較豐富基本涵蓋了所有癥狀和中草藥。而其他比例的實驗組中，訓練集中的癥狀和中草藥都有一定的缺失，所以會導致中草藥推薦的效果下降。從評價指標來看，第1組訓練集與測試集比例為9：1的實驗結(jié)果都是最高的，網(wǎng)絡(luò)學習充分，所以會有較高的精確度和召回率，進而得到較為理想的F1-score。

圖4 不同訓練集/測試集比例實驗組上的各評價指標數(shù)據(jù)

表6 不同比例數(shù)據(jù)集情況

3.4 與其他算法對比分析

本文提出模型（CNN-HP）是一種基于神經(jīng)網(wǎng)絡(luò)的模型?？紤]到中草藥數(shù)量龐大會使得網(wǎng)絡(luò)參數(shù)過多，因此本模型通過權(quán)重共享技術(shù)，在保證網(wǎng)絡(luò)穩(wěn)定的前提下，大大減少了網(wǎng)絡(luò)的參數(shù)，降低網(wǎng)絡(luò)復雜性。并且本模型是通過局部感知的方式對數(shù)據(jù)的特征進行提取，較以往的方法相比，我們的模型避免的復雜的特征提取過程，只需要少量的人工參與，且可以擁有更高的精度和更為穩(wěn)定的網(wǎng)絡(luò)性能。為了證明我們模型的優(yōu)良性能，我們的模型與L.Yao[3]等人提出的主題模型進行對比，該主題模型稱為概率圖形模型，采用了廣泛應(yīng)用于探索性數(shù)據(jù)分析，主題是在文檔中顯示語義模式的單詞上的分布。每個文檔都以不同程度（主題比例）展示這些主題。該方法將處方視為“文檔”（一組“草藥詞”或“癥狀詞”）和處方中的治療模式視為“主題”。此外，我們還與其他機器學習算法比如支持向量機（SVM）[16]、邏輯回歸（LR）[17]和樸素貝葉斯分類器（NB）[18]進行了對比實驗，且所使用的數(shù)據(jù)集沒有任何差異，都是將數(shù)據(jù)集按照訓練集和測試集按照不同的比例分為五組，在相同比例的數(shù)據(jù)集之間進行對比，且都把癥狀作為輸入，是完全相同的條件。

通過與以上四種算法用不同訓練集、測試集比例對比實驗，其精確度對比如圖5所示。無論在什么比例的訓練集、測試集比例劃分，我們設(shè)計的CNN-HP模型都在精確度方面優(yōu)于其他算法，尤其是在9:1實驗組，優(yōu)勢最為明顯。充分說明了卷積操作有效的提取了征狀特征。

圖5 不同訓練集/測試集比例實驗組上的各算法結(jié)果對比

此外我們還將訓練集、測試集為9:1時，用其他評價指標進行了對比。如圖6所示我們的模型無論是在精確度，召回度還是F1分數(shù)上都領(lǐng)先于三種傳統(tǒng)機器學習算法，證明了我們在的算法在中草藥推薦上有著突出的性能。

圖6 不同算法的各個評價指標

3.5 定性評價及分析

由以上的實驗對比結(jié)果可得，本模型（CNN-HP）的預測數(shù)據(jù)比較令人滿意。本研究最后基于具體的測試集進行了推薦結(jié)果的分析，如表7所示，當病人出現(xiàn)“口苦、胸滿、脅痛、咽干”癥狀時，實際的中醫(yī)臨床治療需要用“黃芩、人參、柴胡、大棗、半夏、炙甘草、生姜”來治療，我們的模型推薦的概率最高的五個標簽結(jié)果是“炙甘草、人參、生姜、大棗、柴胡”，所有的預測結(jié)果都在實際需要用藥之列，當推薦7味中草藥時，黃芩和大棗也成功被預測出來。再比如，當中藥標簽是“干姜、附子、炙甘草”時，我們的模型也在前三個標簽給出了正確的預測。再比如當實際的中草藥標簽是“干姜、白術(shù)、人參、炙甘草”，其中的“干姜、人參、炙甘草”都能夠被正確預測，而“白術(shù)”始終沒有被預測到，是因為數(shù)據(jù)不夠均衡，這一味中草藥出現(xiàn)頻次非常少?？梢娢覀兊哪Ｐ湍芴峁┹^為準確的中草藥處方預測結(jié)果，具有一定的實際應(yīng)用價值。

表7 卷積神經(jīng)網(wǎng)絡(luò)中藥推薦結(jié)果實例

4 結(jié)論

本文通過探索中醫(yī)癥狀到藥方之間的邏輯關(guān)系，設(shè)計卷積神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了中醫(yī)病癥到中草藥的自動推薦。此模型巧妙地解決了中醫(yī)特有的診斷抽象思維、中草藥配伍差異等復雜的非線性問題，實現(xiàn)了中草藥處方的智能推薦。定量與定性的實驗結(jié)果表明，本文模型實現(xiàn)中草藥預測精確率71.54%、召回率87.09%、F1分數(shù)78.55%，均優(yōu)于支持向量機、貝葉斯分類器和邏輯回歸等傳統(tǒng)機器學習模型以及現(xiàn)有的先進的中草藥推薦模型，取得了更好的中草藥推薦效果。