覃智威 宓軼群 陸允敏 劉釗 朱平

摘 要：研究基于粒子群優(yōu)化算法的長短期記憶神經(jīng)網(wǎng)絡模型構(gòu)建方法及其在醫(yī)院門診管理中的應用，選取三甲醫(yī)院中醫(yī)慢病相關科室門診量歷史記錄數(shù)據(jù)，構(gòu)建基于長短期記憶神經(jīng)網(wǎng)絡的門診量預測模型，借助粒子群優(yōu)化算法對長短期記憶網(wǎng)絡進行參數(shù)優(yōu)化，并使用優(yōu)化后的模型對門診量進行預測。月度門診量預測結(jié)果表明，經(jīng)過粒子群優(yōu)化的長短期記憶神經(jīng)網(wǎng)絡模型在測試集上的預測誤差RMSE，相比未優(yōu)化的模型減小了48.5%。粒子群優(yōu)化算法能高效地優(yōu)化預測模型，可使模型較好地預測出門診量變化趨勢，從而為醫(yī)務人員門診管理工作提供決策支持。

關鍵詞：門診量預測;長短期記憶神經(jīng)網(wǎng)絡;粒子群優(yōu)化;深度學習

DOI：10. 11907/rjdk. 192823

中圖分類號：TP319 文獻標識碼：A 文章編號：1672-7800（2020）010-0029-05

Abstract： To investigate the construction method of long short-term memory （LSTM） neural network model based on particle swarm optimization （PSO） algorithm and its application in hospital outpatient management， the historical outpatient quantity data of the department related to Chinese medicine chronic disease in the tertiary hospital are selected to establish an outpatient quantity prediction model by means of the long short-term memory neural network， and particle swarm optimization algorithm is used to optimize the parameters of the prediction model. The prediction results of monthly outpatient quantity show that the prediction error RMSE of the LSTM neural network model optimized by PSO on the test set is 48.5% lower than that of the unoptimized model. Particle swarm optimization algorithm can optimize the prediction model efficiently， so that the model can better predict the trends of outpatient quantity and provide decision support for the outpatient management of medical staff.

Key Words： outpatient quantity prediction; long short-term memory neural network; particle swarm optimization; deep learning

0 引言

隨著現(xiàn)代信息技術的發(fā)展，醫(yī)療活動、醫(yī)學研究等過程數(shù)據(jù)被越來越多地記錄與存儲，由此形成的醫(yī)療大數(shù)據(jù)蘊含著大量有價值的信息，而傳統(tǒng)數(shù)據(jù)處理方式難以對這些醫(yī)療數(shù)據(jù)進行有效處理[1-4]。人工智能與醫(yī)療領域的深度融合是大數(shù)據(jù)背景下醫(yī)療信息化的核心技術之一。針對各級診療機構(gòu)，尤其是三甲醫(yī)院累積的包括門診量歷史記錄等醫(yī)療管理數(shù)據(jù)，利用數(shù)據(jù)挖掘方法可以有效挖掘這些數(shù)據(jù)潛藏的價值。

醫(yī)院門診統(tǒng)計量體現(xiàn)了醫(yī)院運行情況，為醫(yī)院管理提供了重要參考。對門診量進行合理、準確的預測，可幫助醫(yī)院管理者優(yōu)化醫(yī)療資源配置，方便醫(yī)院進行精細化管理，對提高醫(yī)院效益和診療能力具有重要意義。醫(yī)院門診服務面廣，門診人次統(tǒng)計數(shù)據(jù)具有較強的隨機性。同時，門診人次又受多種因素影響，既體現(xiàn)出中長期周期性變化的趨勢，又具有較明顯的季節(jié)效應[5-7]。應用傳統(tǒng)時間序列預測方法如灰色系統(tǒng)GM（1，1）模型[8]、差分自回歸滑動平均（Auto-Regressive Integrated Moving Average，ARIMA）模型[9]、季節(jié)性差分自回歸滑動平均（Seasonal Auto-RegressiveIntegratedMoving Average，SARIMA）模型[10]等對門診量進行預測面臨較多限制。隨著機器學習，尤其是深度學習技術的不斷發(fā)展[11-12]，針對門診量這類時間序列問題的預測精度不斷提升。如楊旭華等[13]首次使用基于深度信念網(wǎng)絡（Deep Belief Networks，DBN）的門診量預測方法，完成門診量數(shù)據(jù)特征提取，提升門診量預測精度;桑發(fā)文等[14]按照相似日原理對歷史門診量進行分類，并建立極限學習機（Extreme Learning Machine，ELM）預測模型對醫(yī)院門診量進行短期預測，獲得了較高精度;劉健等[15]構(gòu)造搜索關鍵字的百度指數(shù)特征、時間特征及門診量特征，基于XGBoost算法對醫(yī)院精神科門診量進行較為精確的預測。循環(huán)神經(jīng)網(wǎng)絡（Recurrent Neural Network，RNN）適合于處理序列數(shù)據(jù)，因此許多研究者利用這類方法構(gòu)建針對性的預測模型。如李琳等[16]基于長短期記憶（Long Short-Term Memory，LSTM）網(wǎng)絡[17]，研究不同步長下模型對月度門診量的預測精度變化;陳渝等[18]在單一LSTM網(wǎng)絡預測模型基礎上，融合經(jīng)驗模態(tài)分解對非平穩(wěn)數(shù)據(jù)進行預處理，實驗結(jié)果表明，組合模型取得了比單一模型更好的預測精度;盧鵬飛等[19]構(gòu)建基于SARIMA-LSTM的門診量預測模型，對節(jié)假日、法定上班天數(shù)、平均最高氣溫等多個指標進行綜合建模，相比主流預測方法可獲得更高的預測精度。

循環(huán)神經(jīng)網(wǎng)絡，特別是長短期記憶網(wǎng)絡已被許多研究者證實適合于處理長序列數(shù)據(jù)[20]，對醫(yī)院門診量的預測也有越來越多研究以長短期記憶網(wǎng)絡為基礎。然而，長短期記憶網(wǎng)絡構(gòu)建過程中涉及到許多超參數(shù)確定，研究者往往只是憑借著先驗知識或研究經(jīng)驗進行超參數(shù)設置，缺乏一定的探索過程，面對不同問題時可能需要反復進行人工調(diào)參，而利用優(yōu)化算法進行自動的神經(jīng)網(wǎng)絡超參數(shù)優(yōu)化則少有研究。針對這種情況，本文提出使用簡單、高效的粒子群優(yōu)化（Particle Swarm Optimization，PSO）算法[21]對長短期記憶網(wǎng)絡關鍵超參數(shù)進行優(yōu)化的流程，將基于粒子群優(yōu)化的長短期記憶網(wǎng)絡用于三甲醫(yī)院慢性病相關科室的門診量月度預測。實驗結(jié)果表明，優(yōu)化后的預測模型能夠較好地預測門診量變化趨勢。整套建模與預測流程可以方便地應用到門診管理工作中，為醫(yī)院的精細化管理提供技術支持。

1 基于PSO的LSTM神經(jīng)網(wǎng)絡預測模型構(gòu)建

1.1 LSTM神經(jīng)網(wǎng)絡

針對三甲醫(yī)院門診量歷史記錄數(shù)據(jù)，利用深度學習方法搭建預測模型，對中短期門診量變化進行合理預測。本例中各時期門診量屬于時間序列數(shù)據(jù)，深度學習方法中循環(huán)神經(jīng)網(wǎng)絡（RNN）是一種用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡。長短期記憶（LSTM）神經(jīng)網(wǎng)絡[17]作為一種特殊的RNN模型，主要是在常規(guī)RNN隱藏層中加入長短期記憶單元，從而能夠更有效地利用長距離序列數(shù)據(jù)，避免常規(guī)RNN在處理長序列數(shù)據(jù)時的梯度消失問題。LSTM記憶單元結(jié)構(gòu)如圖1所示。

在前向傳播階段，t時刻記憶單元接收該時刻的輸入[xt]與上一時刻隱藏層的輸出[ht-1]作為遺忘門的輸入，遺忘門通過激活函數(shù)層決定要舍棄與保留的信息，輸出[ft]。

神經(jīng)元需要保留的信息由輸入門實現(xiàn)，輸入門計算分為兩部分：使用sigmoid函數(shù)計算更新值[it]，以及使用tanh函數(shù)生成新的候選值[C]，二者乘積用于更新細胞狀態(tài)。

細胞狀態(tài)更新包含遺忘門輸出與t-1時刻細胞輸出的乘積，加上輸入門輸出與候選值的乘積。

最終輸出門的更新，即t時刻的隱藏層輸出[ht]由式（6）決定。

1.2 PSO算法

基于深度神經(jīng)網(wǎng)絡建立的LSTM網(wǎng)絡預測模型包含多層網(wǎng)絡，每層網(wǎng)絡包含一定數(shù)目的神經(jīng)元，加上LSTM網(wǎng)絡的步長等參數(shù)，使得該網(wǎng)絡預測模型的超參數(shù)設置與優(yōu)化變得較為困難。本文采用啟發(fā)式優(yōu)化算法對模型中的超參數(shù)進行優(yōu)化，粒子群優(yōu)化（PSO）算法[21]由于具有原理簡單、計算資源消耗小、收斂性較好、計算效率高等優(yōu)點，成為最常用的啟發(fā)式優(yōu)化算法之一。

粒子群優(yōu)化算法是受鳥群合作行為啟發(fā)而提出的，算法使用一個包含若干粒子的種群，每個粒子都有自身位置與速度，算法迭代過程即是所有粒子在設計空間中不斷更新自身位置并互相交換位置信息，直至搜索到全局最優(yōu)值的過程。在標準粒子群優(yōu)化算法中，對于一個D維優(yōu)化問題，[x（t）i]表示第[ith]個粒子的位置，[v（t）i]表示速度。[p（t）i]、[p（t）g]分別表示粒子歷史最優(yōu)位置與整個群體尋找到的最優(yōu)位置。每個粒子都將通過不斷迭代在設計空間中尋找自身最優(yōu)解與全局最優(yōu)解。整個種群通過式（7）、式（8）進行速度與位置更新。

式（7）包含3部分的加和：第一部分為上一代粒子速度與慣性因子[ω]的乘積;第二部分表征粒子個體搜索行為，激勵粒子不斷尋找個體最優(yōu)解;第三部分表征粒子間的信息交互，共同尋找全局最優(yōu)值。其中[c1]、[c2]分別是個體學習因子和社會學習因子，[r1]、[r2]為[0，1]之間的隨機數(shù)。

1.3 基于PSO優(yōu)化的LSTM神經(jīng)網(wǎng)絡預測模型

本研究通過構(gòu)建LSTM網(wǎng)絡預測模型，并使用PSO算法對LSTM模型中的關鍵參數(shù)進行優(yōu)化，最終將模型應用于醫(yī)院科室門診量預測中。建模與優(yōu)化流程如圖2所示。

LSTM模型中，使用前一時刻數(shù)據(jù)對下一時刻數(shù)據(jù)進行預測，可選擇不同數(shù)量的前一時刻數(shù)據(jù)，如利用前兩個月的門診量對下個月門診量進行預測，這一參數(shù)為回溯時間步長n。同時，將LSTM中每層網(wǎng)絡的神經(jīng)元個數(shù)設為參數(shù)[ki]，并將這些參數(shù)作為粒子群優(yōu)化的候選解向量。將目標函數(shù)設置為LSTM模型的門診量預測誤差，通過算法迭代使預測誤差最小，從而求得一組模型的最優(yōu)參數(shù)，最終得到基于粒子群優(yōu)化的LSTM模型用于門診量預測任務。

2 門診量預測

2.1 數(shù)據(jù)集與數(shù)據(jù)預處理

門診量預測數(shù)據(jù)來源于上海市第六人民醫(yī)院，選取與膝骨關節(jié)炎等中醫(yī)慢病相關的骨科門診。骨科同時也是所有科室里門診量最大的科室之一，因此對骨科門診的管理工作非常重要。數(shù)據(jù)包含骨科2012年1月-2018年10月各月的門診量數(shù)據(jù)，該數(shù)據(jù)為一個長度為82個月的連續(xù)時間序列。圖3展示了骨科門診量在這段時間內(nèi)的變化。從折線變化趨勢可以看出，骨科門診量按年度呈現(xiàn)出一定的周期性變化規(guī)律，這是由于假期對門診量的影響比較顯著，如每年春節(jié)期間都是門診量的一個低谷，而諸如國慶節(jié)等假期也會導致該月份門診量較小。

從圖3可以看出，該門診量數(shù)據(jù)為非平穩(wěn)序列，波動較大，從最小值20 194人次到最大值54 070人次，并且在各個年份都有多個波峰與波谷。因此在進行預測之前，首先進行數(shù)據(jù)預處理工作。采用式（9）對數(shù)據(jù)進行歸一化處理，將原始數(shù)據(jù)等比例縮放至[0，1]之間。其中，[Xnorm]為歸一化后的數(shù)據(jù)，[Xmax]為樣本中的最大值，[Xmin]為樣本中的最小值。

經(jīng)過數(shù)據(jù)預處理之后，將數(shù)據(jù)集劃分為訓練集和測試集。其中，選取最后12個月（2017年10月-2018年10月）門診量作為最終的測試數(shù)據(jù)，剩下部分作為訓練數(shù)據(jù)。優(yōu)化的LSTM模型將利用訓練集進行訓練，并用測試集進行門診量預測。

2.2 評價指標

為檢驗模型最終預測效果，采用均方根誤差（Root Mean Square Error，RMSE）對預測結(jié)果進行評價。如式（10）所示，RMSE是預測值[yi]和真實值[yi]偏差的平方與樣本數(shù)n比值的平方根。該評價指標反映了預測值偏離真實值的程度，對大誤差非常敏感，能夠較好地反映預測精度。

2.3 實驗結(jié)果與分析

本算例測試選擇進行粒子群優(yōu)化的LSTM模型參數(shù)，包括回溯時間步長n，以及三層神經(jīng)網(wǎng)絡的神經(jīng)元個數(shù)[k1]、[k2]、[k3]共4個關鍵參數(shù)，粒子群算法優(yōu)化目標為最小化LSTM網(wǎng)絡預測誤差RMSE。在粒子群算法中，設置粒子數(shù)為20，最大迭代次數(shù)為50。圖4展示了PSO迭代過程最優(yōu)值變化曲線。

選取迭代次數(shù)為1、25及50時的LSTM關鍵參數(shù)分別進行門診量預測曲線繪制，如圖5所示。圖中將訓練集與測試集數(shù)據(jù)共同繪制在同一幅圖上（圖5中實線），并且分別繪制出模型在訓練集和測試集上的預測曲線（圖5中的虛線和點劃線）。圖中預測曲線并沒有完全覆蓋原始數(shù)據(jù)曲線的時間范圍，這是因為LSTM模型中的回溯時間步長n大于0，算法需要n個月份的門診量數(shù)據(jù)預測后續(xù)月份門診量。

在LSTM模型參數(shù)優(yōu)化初始階段，模型對訓練集數(shù)據(jù)擬合效果很好，但在測試集上預測效果不佳，模型存在過擬合現(xiàn)象。當優(yōu)化迭代到25次時，雖然訓練集擬合不如剛開始的擬合效果，但測試集上的預測曲線開始接近測試集數(shù)據(jù);而當?shù)?0次時，訓練集預測曲線在2015年之后與原始曲線非常接近，測試集上的預測值也與真實值更加接近。

經(jīng)過粒子群算法的優(yōu)化，最終選取優(yōu)化參數(shù)n= 6、[k1=69]、[k2=128]、[k3=58]訓練LSTM預測模型?；诠强崎T診量數(shù)據(jù)的優(yōu)化LSTM模型訓練與測試預測曲線和真實值曲線對比如圖6所示。由圖6可以看出，隨著訓練的進行，模型在訓練后期具有越來越高的擬合精度，預測曲線與真實值曲線幾乎重合，模型準確地擬合出各個年份波動。模型在測試集上的預測也效果較好。其中，預測曲線很好地捕捉到2018年1-2月門診量的斷崖式下跌，2018年2月為春節(jié)，因此造成門診量減少。尤其在門診量回升階段預測效果顯著，幾乎與原曲線重合。另外，預測曲線還成功預測出2018年骨科門診量的幾次波峰波谷變化趨勢，以及最終10月門診量受國慶假期影響而減少的趨勢?？傮w而言，在測試集上，模型預測值雖然與真實值存在一定誤差，但誤差控制在10%以內(nèi)。模型能夠很好地把握門診量整體變化趨勢，對于預測將來門診量增減趨勢具有一定應用價值。

表1列出了不同PSO迭代次數(shù)下LSTM在訓練集與測試集上的RMSE值?？梢钥闯?，由于優(yōu)化目標為最小化測試集的RMSE，因此在粒子群優(yōu)化初始階段，LSTM模型傾向于在訓練集上擁有小的RMSE，但是優(yōu)化過程使測試集RMSE不斷減小。最終優(yōu)化LSTM模型在測試集上的RMSE相比最初減小了2 927.64，優(yōu)化效果較為顯著。

3 結(jié)語

門診量預測作為門診管理的重要部分，影響著醫(yī)院對醫(yī)療資源的合理配置與優(yōu)化。本研究針對三甲醫(yī)院骨科歷年的月度門診量記錄，使用深度學習方法，構(gòu)建長短期記憶網(wǎng)絡模型進行門診量預測。為解決網(wǎng)絡模型超參數(shù)較多、優(yōu)化困難的問題，結(jié)合粒子群優(yōu)化算法，開發(fā)了一套基于粒子群優(yōu)化的長短期記憶網(wǎng)絡模型。算例測試結(jié)果表明，雖然在最終的預測精度上仍有提升空間，但通過粒子群優(yōu)化，模型預測RMSE減小了2 928，比原模型預測誤差減小了48.5%。優(yōu)化后的預測模型能夠較好地預測出門診量變化趨勢，對于門診量急劇變化的情形也有著較強的捕捉能力。綜合來看，本研究提出的這套基于優(yōu)化算法與神經(jīng)網(wǎng)絡的時序數(shù)據(jù)預測流程能夠應用于醫(yī)院各個科室的門診量預測，也能很方便地擴展到各級醫(yī)療機構(gòu)對序列數(shù)據(jù)的應用研究中，為醫(yī)務工作人員更好地利用醫(yī)療數(shù)據(jù)提供技術支持。下一步研究將會在預測模型中納入更多門診量影響因素，如節(jié)假日、天氣、醫(yī)院地理位置等，建立更完善的綜合預測模型，提供更精確的預測，以進一步深入挖掘醫(yī)療時序數(shù)據(jù)的實際應用價值。

參考文獻：

[1] 王若佳，魏思儀，趙怡然，等. 數(shù)據(jù)挖掘在健康醫(yī)療領域中的應用研究綜述[J]. 圖書情報知識，2018，185（5）：116-125.

[2] 孟琳，馬金剛，劉靜，等. 醫(yī)療大數(shù)據(jù)的應用與挑戰(zhàn)[J].? 醫(yī)療衛(wèi)生裝備，2018，39（10）：77-80，94.

[3] 盧友敏.? 醫(yī)療大數(shù)據(jù)及其面臨的機遇與挑戰(zhàn)[J].? 信息與電腦（理論版），2018，415（21）：10-11.

[4] 舒影嵐，陳艷萍，吉臻宇，等.? 健康醫(yī)療大數(shù)據(jù)研究進展[J].? 中國醫(yī)學裝備，2019，16（1）：149-153.

[5] 陶源，高旸昉，劉玲.? 自回歸滑動平均求和季節(jié)乘積模型在某醫(yī)院門診量預測中的應用[J].? 中國醫(yī)院統(tǒng)計，2017，24（5）：391-393.

[6] 張宇斐，申思，蓋小榮，等.? 北京市某大型綜合醫(yī)院門診量變化動態(tài)分析及預測[J].? 中國衛(wèi)生統(tǒng)計，2018（4）：590-592.

[7] 張洪彬.? 2010年-2016年某院門診人次季節(jié)趨勢預測[J].? 中國病案，2018（6）：38-40.

[8] 王琦，鄭靜，吳清香，等.? 灰色GM（1，1）預測模型在門診量預測中的應用[J].? 中國醫(yī)院管理，2007，27（2）：26-27.

[9] 向前，陳平雁.? 預測醫(yī)院門診量的ARIMA模型構(gòu)建及應用[J].? 南方醫(yī)科大學學報，2009，29（5）：1076-1078.

[10] 李小升，馬春柳，雷?？疲?? SARIMA模型在醫(yī)院門診量預測中的應用[J].? 中國病案，2013（3）：37-40.

[11] LECUN Y，BENGIO Y，HINTON G. Deep learning[J].? Nature，2015，521（7553）：436-444.

[12] 孫志軍，薛磊，許陽明，等.? 深度學習研究綜述[J].? 計算機應用研究，2012（8）：11-15.

[13] 楊旭華，鐘楠祎.? 基于深度信念網(wǎng)絡的醫(yī)院門診量預測[J].? 計算機科學，2016（z2）：26-30.

[14] 桑發(fā)文，韋哲，陳輝，等.? 基于相似日和極限學習機方法的醫(yī)院門診量短期預測[J].? 中國數(shù)字醫(yī)學，2018，13（2）：119-121.

[15] 劉健，張翼飛，李寶娟，等.? 基于XGBoost的精神科門診量預測模型[J].? 華南國防醫(yī)學雜志，2019，33（4）：56-59.

[16] 李琳，王哲，張學良，等. 基于LSTM深度神經(jīng)網(wǎng)絡的月門診量預測精度研究[J].? 中國數(shù)字醫(yī)學，2019，14（1）：14-17.

[17] HOCHREITER S，SCHMIDHUBER J. Long short-term memory[J].? Neural Computation，1997，9（8）：1735-1780.

[18] 陳渝，任正軍. 融合EMD與LSTM神經(jīng)網(wǎng)絡的門診量預測模型研究[J]. 軟件導刊，2019，18（3）：133-138.

[19] 盧鵬飛，須成杰，張敬誼，等. 基于SARIMA-LSTM的門診量預測研究[J]. 大數(shù)據(jù)，2019，5（6）：1-10.

[20] SUTSKEVER I，VINYALS O，LE Q V. Sequence to sequence learning with neural networks[C]. The 27th Internation Conference on Neural Information Processing Systems，2014：3104-3112.

[21] KENNEDY J，EBERHART R. Particle swarm optimization[C].? IEEE International Conference on Neural Networks，1995：1942-1948.

（責任編輯：黃 ?。?/p>