王天罡，張曉濱，馬紅葉，蔡宏偉

1.西安工程大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，西安710048

2.西安交通大學(xué)第一附屬醫(yī)院 網(wǎng)絡(luò)信息部，西安710061

3.西安交通大學(xué)第一附屬醫(yī)院 重癥醫(yī)學(xué)科，西安710061

隨著近年來人工智能的日益發(fā)展，通過深度學(xué)習(xí)輔助臨床診療決策研究一直是醫(yī)療領(lǐng)域的熱點(diǎn)，它在醫(yī)療大數(shù)據(jù)中主要用于醫(yī)學(xué)影像識(shí)別、電子病歷解析、基于基因組學(xué)的精準(zhǔn)醫(yī)學(xué)研究以及臨床決策支持系統(tǒng)等方面。采用臨床表現(xiàn)的疾病預(yù)測模型是臨床決策支持系統(tǒng)一個(gè)重要研究內(nèi)容，然而實(shí)際醫(yī)療軟件大多僅能提供數(shù)據(jù)的集成和展示，所具備的功能僅限于醫(yī)患管理和床旁數(shù)據(jù)的查詢統(tǒng)計(jì)。特別是住院ICU危急重癥的患者在病情變化非常復(fù)雜的情況下，醫(yī)護(hù)人員通過實(shí)時(shí)觀察異常生理指標(biāo)來治療患者有時(shí)為時(shí)已晚。與此同時(shí)，ICU床旁監(jiān)護(hù)設(shè)備數(shù)量多、類型復(fù)雜，所提取的各項(xiàng)生命指標(biāo)較多，僅對(duì)每個(gè)患者體征數(shù)據(jù)進(jìn)行檢索瀏覽就給醫(yī)生帶來了較大的工作量。

當(dāng)前基于機(jī)器學(xué)習(xí)的疾病預(yù)警研究大多采用標(biāo)準(zhǔn)化數(shù)據(jù)集（例如MIMIC-III）的理論研究，許多模型在得出較好結(jié)果的同時(shí)由于缺乏可解釋性而無法實(shí)際應(yīng)用。例如，當(dāng)醫(yī)生通過基于CNN或RNN模型判定一個(gè)病人是否有患病風(fēng)險(xiǎn)時(shí)，更希望知道模型究竟從各類儀器、床旁設(shè)備提取的海量數(shù)據(jù)中學(xué)到了哪些能夠以人類可理解方式表達(dá)的知識(shí)，并且發(fā)現(xiàn)各類風(fēng)險(xiǎn)因素之間的關(guān)聯(lián)，從而生成決策結(jié)果。如果一個(gè)模型難以理解，那么在關(guān)乎生命風(fēng)險(xiǎn)的醫(yī)療領(lǐng)域就會(huì)因無法給出更多的可靠信息而受限，最終只是不同曲線的擬合結(jié)果。因此本研究針對(duì)臨床危重癥疾病預(yù)警缺乏前瞻性和可解釋性等問題，作出了如下工作：

（1）創(chuàng)新性地提出將HAN模型用于基于生理指標(biāo)的時(shí)間序列危急重癥預(yù)警，利用分層注意力機(jī)制分別學(xué)習(xí)時(shí)間及風(fēng)險(xiǎn)因素兩個(gè)維度上的權(quán)重分布，即對(duì)每個(gè)患者輸入序列不同時(shí)刻或風(fēng)險(xiǎn)因素賦予不同重要性，將神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中產(chǎn)生的中間項(xiàng)與患者生理指標(biāo)漸變的過程相結(jié)合，提醒醫(yī)生在治療過程中應(yīng)該關(guān)注的重點(diǎn)。

（2）模型提出一種利用分層機(jī)制分離時(shí)間和風(fēng)險(xiǎn)因素的多通道輸入結(jié)構(gòu)，使每個(gè)因素享有單獨(dú)的輸入序列，更適合當(dāng)前臨床應(yīng)用中的數(shù)據(jù)結(jié)構(gòu)。同時(shí)提出了一種HAN的輸出優(yōu)化結(jié)構(gòu)，將患者靜態(tài)人口統(tǒng)計(jì)信息和診療過程產(chǎn)生的上下文表征序列相結(jié)合，使結(jié)果除了時(shí)序數(shù)據(jù)的表征外添加了更多的關(guān)聯(lián)特征。4.1節(jié)的實(shí)驗(yàn)表明，通過與基線神經(jīng)網(wǎng)絡(luò)相比，該模型大幅度提升了預(yù)警的準(zhǔn)確率。

（3）通過對(duì)模型添加可解釋組件（Interpretable Layer），探討了深度學(xué)習(xí)在實(shí)際臨床醫(yī)療的可解釋性，證明該模型相較于其他深度學(xué)習(xí)模型具有良好的可靠性。

（4）研究采集的數(shù)據(jù)均為現(xiàn)三甲醫(yī)院ICIS系統(tǒng)提取的臨床真實(shí)數(shù)據(jù)，提出的方法真實(shí)有效，為醫(yī)療人工智能在醫(yī)院信息系統(tǒng)實(shí)際應(yīng)用奠定了基礎(chǔ)。

1 相關(guān)工作

1.1 基于臨床數(shù)據(jù)集的疾病預(yù)警模型

近年來常用的多變量疾病預(yù)警模型按照基礎(chǔ)理論的不同可劃分成兩類：靜態(tài)統(tǒng)計(jì)分析預(yù)警模型和動(dòng)態(tài)人工智能預(yù)警模型[1]。其中統(tǒng)計(jì)分析預(yù)警模型相關(guān)研究關(guān)注的方向主要包括：監(jiān)測實(shí)時(shí)生理指標(biāo)的單變量分析模型、基于多項(xiàng)危險(xiǎn)因素指標(biāo)估測的廣義線性回歸模型。文獻(xiàn)[1]提出通過多因素Logistic回歸分析分別提取患者入院和實(shí)時(shí)的多項(xiàng)危險(xiǎn)因素指標(biāo)，進(jìn)而比對(duì)分析并建立評(píng)分機(jī)制，評(píng)估冠心病的可能性[2]。文獻(xiàn)[2-3]分別提出了基于隨機(jī)森林（RF）支持向量機(jī)（SVM）在ICU患者住院24 h內(nèi)死亡風(fēng)險(xiǎn)預(yù)測的應(yīng)用[3-4]。

上述臨床疾病預(yù)警研究均采用構(gòu)建統(tǒng)計(jì)分析模型和對(duì)實(shí)時(shí)生理指標(biāo)的評(píng)分預(yù)測，無法解決海量數(shù)據(jù)下的過擬合、梯度消失等問題，同時(shí)沒能充分利用檢查數(shù)據(jù)時(shí)間狀態(tài)上的關(guān)聯(lián)性或其他與疾病關(guān)聯(lián)的因素對(duì)模型的影響，對(duì)臨床急重癥突變預(yù)警能力差。因此文獻(xiàn)[4]提出了一種多因素線索LSTM模型預(yù)測血壓變化進(jìn)而對(duì)高血壓及時(shí)預(yù)警，適用于高血壓等慢性病的長期預(yù)測分析。在實(shí)際臨床治療過程中，由于該模型將與血壓關(guān)聯(lián)的時(shí)序測量數(shù)據(jù)和患者的環(huán)境信息一起作為未來線索數(shù)據(jù)與血壓預(yù)測相結(jié)合，預(yù)測精準(zhǔn)度較高[5]。文獻(xiàn)[5]采用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）或卷積神經(jīng)網(wǎng)絡(luò)（CNN）等當(dāng)前主流深度學(xué)習(xí)模型得到了不錯(cuò)的實(shí)驗(yàn)結(jié)果[6]。

1.2 基于深度學(xué)習(xí)模型的可解釋性研究

準(zhǔn)確性和可解釋性是決定預(yù)測模型能否成功應(yīng)用的兩個(gè)主要因素。近年來，隨著深度學(xué)習(xí)的不斷發(fā)展，模型可解釋性的相關(guān)準(zhǔn)則逐漸被研究人員所關(guān)注，Lipton指出了構(gòu)建可解釋性模型的必要性[7]：使人能建立對(duì)模型的信任；可以體現(xiàn)事件因果關(guān)系；對(duì)其他領(lǐng)域可以遷移應(yīng)用；在訓(xùn)練過程中可附加額外知識(shí)等，并認(rèn)為一個(gè)可解釋的模型應(yīng)該至少具備以下特點(diǎn)：

（1）透明性，即模型對(duì)人是透明的，可以在模型對(duì)具體任務(wù)訓(xùn)練之前就模擬預(yù)測到對(duì)應(yīng)參數(shù)和模型決策，包括模型整體、組件和算法的透明性。

（2）事后可解釋性，某些模型盡管事先無法精確闡明其是如何工作的，但是在訓(xùn)練過程中可以為研究人員提供對(duì)事實(shí)有用的信息，通過對(duì)結(jié)果可視化或訓(xùn)練過程產(chǎn)生的參數(shù)分析得到相關(guān)知識(shí)。

決策樹（Decision Tree，DT）是具備透明可解釋性的典型機(jī)器學(xué)習(xí)模型，并已經(jīng)廣泛地在醫(yī)療領(lǐng)域應(yīng)用[8]。但是多數(shù)不具備先驗(yàn)知識(shí)的情況下，現(xiàn)實(shí)更關(guān)注的是模型的事后可解釋性，Zhang等人提出了一種可解釋的卷積神經(jīng)網(wǎng)絡(luò)[9]，該模型通過將每一維度的卷積層對(duì)應(yīng)于圖像的一部分，不需要其他標(biāo)注對(duì)模型進(jìn)行解釋即可以幫助人們?cè)诰矸e的過程中獲取額外的信息。

近年來，隨著注意力機(jī)制的興起，通過對(duì)輸入序列分配不同權(quán)重而影響輸出的結(jié)果這一方法使神經(jīng)網(wǎng)絡(luò)的可解釋性得到了重視，具體對(duì)于Attention模型的可解釋性，有正反兩方面的觀點(diǎn)。首先自Bahdanau等[10]將Attention用于機(jī)器翻譯等任務(wù)起，研究人員就對(duì)其可解釋性進(jìn)行大量的實(shí)驗(yàn)論證[11]。然而，最近由Serrano等[12]和Jain等[13]分別對(duì)注意力機(jī)制的可解釋性產(chǎn)生了質(zhì)疑，并認(rèn)為注意力機(jī)制是不可解釋的，前者通過將訓(xùn)練過程中的注意力權(quán)重擦除或翻轉(zhuǎn)后觀察決策結(jié)果，后者引入了對(duì)抗注意力權(quán)重分布的思想并比較權(quán)重和訓(xùn)練梯度的變化趨勢來分析模型的可解釋性。但是上述研究僅對(duì)個(gè)別權(quán)重較大的參數(shù)進(jìn)行操作，忽略了注意力模型的權(quán)重分布并不是獨(dú)立存在的事實(shí)，例如，在文本分類過程中，一篇體育報(bào)道中擦除了“體育”“足球”等詞向量，但是文章中出現(xiàn)的人名和事件仍然能夠使模型產(chǎn)生體育的決策分類結(jié)果。對(duì)此，Wiegreffe等[14]的研究對(duì)以上注意力模型不可解釋的驗(yàn)證方法提出了質(zhì)疑，他認(rèn)為Attention中間層的參數(shù)是無法同整個(gè)模型隔離開的，否則就失去了實(shí)際的意義。本研究受到上述方法的啟發(fā)，在模型訓(xùn)練的過程中對(duì)其注意力參數(shù)進(jìn)行了整體擦除和重置等操作，實(shí)驗(yàn)結(jié)果證明了IHAN具有良好的事后可解釋性。

圖1 編碼器-解碼器結(jié)構(gòu)

2 基于IHAN的疾病預(yù)警模型構(gòu)建

2.1 注意力機(jī)制

與大多數(shù)標(biāo)準(zhǔn)化醫(yī)學(xué)數(shù)據(jù)集不同，在實(shí)際基于臨床表現(xiàn)的疾病預(yù)測應(yīng)用中，基于患者生理指標(biāo)的序列結(jié)構(gòu)通常存在以下幾個(gè)問題：

（1）床旁數(shù)據(jù)大量冗余。例如心率、呼吸等測定頻率為30 s/次，患者在大部分住院期間此類測定均處于正常狀態(tài)。如果采用傳統(tǒng)seq2seq的神經(jīng)網(wǎng)絡(luò)，將會(huì)把多數(shù)無意義的數(shù)據(jù)混雜到圖1所示編碼器-解碼器結(jié)構(gòu)（Encoder-Decoder）的序列表征c中，嚴(yán)重影響了最終的預(yù)測結(jié)果。

（2）不同患者的檢驗(yàn)數(shù)據(jù)缺失。例如血紅蛋白、紅細(xì)胞計(jì)數(shù)測定等檢驗(yàn)分析項(xiàng)測定時(shí)間間隔較長，頻次不一致，導(dǎo)致大多患者均存在數(shù)據(jù)缺失問題，如果大量使用缺失值填補(bǔ)或樣本篩選等方法，同樣引起結(jié)果不準(zhǔn)確。

（3）同一患者不同生理指標(biāo)采樣頻次不一致，導(dǎo)致輸入序列長度相差較大。例如患者在住院期間進(jìn)行“平診腎功七項(xiàng)[復(fù)]”檢查次數(shù)在3～4次，“血細(xì)胞分析+五分類”的檢查次數(shù)在8～9次，而心率血壓等測量頻率更加頻繁。因此在構(gòu)建例如廣義線性回歸、CNN等多因素分析模型時(shí)，序列長度的差異會(huì)導(dǎo)致輸入序列不能滿足模型的輸入結(jié)構(gòu)；而若采用單通道的RNN分析模型時(shí)，由于患者病情的變化是多種因素相互作用產(chǎn)生的效果，故忽略了共同作用對(duì)結(jié)果的影響。

基于神經(jīng)網(wǎng)絡(luò)的注意力模型已經(jīng)成功地應(yīng)用在計(jì)算機(jī)視覺[15]、自然語言處理[16]、語音識(shí)別[17]等領(lǐng)域。在機(jī)器翻譯的過程中可以明顯體現(xiàn)注意力機(jī)制的作用。此時(shí)注意力機(jī)制在翻譯的過程中遵循如下步驟：給定一個(gè)長度為S的輸入句子，通過h1,h2,…,hs表示句子中的單詞序列。為了翻譯目標(biāo)句子中的第j個(gè)單詞，對(duì)原始句子中的每個(gè)單詞生成一個(gè)注意力權(quán)值αi代表它與目標(biāo)單詞的關(guān)聯(lián)程度，最后計(jì)算式（1）中的上下文表征向量c并且用它預(yù)測目標(biāo)單詞。

因此本文利用概念上相似的時(shí)間注意力機(jī)制在不定長序列轉(zhuǎn)換上的成熟應(yīng)用[18]，使用臨床數(shù)據(jù)集生成可解釋的預(yù)測模型，基于可解釋的層次注意力模型（IHAN），該模型的優(yōu)勢在于：

（1）總體模仿醫(yī)生如何關(guān)注病人的需求和探索病人的生理指標(biāo)的特殊變化，利用注意力權(quán)重分配的不同忽略無意義的指標(biāo)，其中重點(diǎn)關(guān)注疾病異常風(fēng)險(xiǎn)因素的指標(biāo)。

（2）使用分層注意力機(jī)制分離時(shí)間和風(fēng)險(xiǎn)因素，使不同檢查項(xiàng)享有單獨(dú)的不定長時(shí)序輸入序列，更適合臨床實(shí)際應(yīng)用的數(shù)據(jù)結(jié)構(gòu)，能最大限度地還原數(shù)據(jù)集本身的特征。

（3）在保留RNN預(yù)測時(shí)序數(shù)據(jù)能力的同時(shí)，通過對(duì)注意力權(quán)重的分析，更加容易讓醫(yī)生理解不同疾病的關(guān)鍵風(fēng)險(xiǎn)因素，而且對(duì)HAN的輸出層根據(jù)不同患者的靜態(tài)統(tǒng)計(jì)信息合并優(yōu)化，有效地提高了預(yù)測的準(zhǔn)確率。

2.2 基于IHAN模型架構(gòu)

圖2 基于輸出優(yōu)化的IHAN網(wǎng)絡(luò)模型

圖2 顯示了IHAN的總體架構(gòu)，模型通過改進(jìn)層次注意力模型生成不同維度的注意力權(quán)重進(jìn)行結(jié)果預(yù)測，分別構(gòu)建基于時(shí)序級(jí)（時(shí)間維度）和元素級(jí)（風(fēng)險(xiǎn)因素維度）的層次注意力模型，主要由時(shí)序編碼器、時(shí)序注意力機(jī)制、元素編碼器、元素注意力機(jī)制、預(yù)測輸出、解釋決策六部分構(gòu)成。已知數(shù)據(jù)集有N個(gè)風(fēng)險(xiǎn)因素si,i∈[1,N]，且包含M個(gè)時(shí)刻的離散檢查變量xi,t,t∈[1,M]，對(duì)于K名患者的檢查序列IHAN將單個(gè)患者Xi,i∈[1,K]按不同風(fēng)險(xiǎn)因素的時(shí)間順序重構(gòu)成輸入序列輸出為對(duì)應(yīng)患者Xi是否患病的概率通過Softmax函數(shù)后的分類結(jié)果Yi∈{0,1}。

對(duì)于輸入層，給定一個(gè)輸入數(shù)據(jù)集S，由于風(fēng)險(xiǎn)因素之間量綱不同，即使相同量綱之間數(shù)量級(jí)也可能相差較大，例如：白細(xì)胞計(jì)數(shù)測定的正常范圍是（3.5～9.5）×109個(gè)/L，紅細(xì)胞計(jì)數(shù)為（4.0～7.0）×1012個(gè)/L，而血紅蛋白為（120～165）g/L。因此定義V={v1,1,v1,2,…,v1,m,…,vi,t,…,vn,1,vn,2,…,vn,m}為因素si在p時(shí)間窗內(nèi)的離散值xi,1,xi,2,…,xi,p通過Z-score標(biāo)準(zhǔn)化函數(shù)映射至（0，1）范圍內(nèi)的向量集合，其中vi,t表示患者風(fēng)險(xiǎn)因素i在第t時(shí)段的時(shí)序向量：

2.2.1 基于實(shí)時(shí)生理指標(biāo)變化的時(shí)序注意力層

時(shí)序編碼器（time encoder）：對(duì)患者任意風(fēng)險(xiǎn)因素i共M時(shí)間內(nèi)的時(shí)序向量{vi,1,vi,2,…,vi,t,…,vi,m}，模型首先采用基于LSTM的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)計(jì)算患者在對(duì)應(yīng)病情發(fā)展過程的隱藏狀態(tài)hi,t，LSTM架構(gòu)如圖3所示。

時(shí)序向量vi,t輸入LSTM時(shí)，由公式（3）～（8）得出單向時(shí)間維度隱藏表征hi,t：

時(shí)序注意力機(jī)制（time attention）：床旁設(shè)備所采集的例如血壓、心率等生理指標(biāo)并非在任意時(shí)刻都有重要的作用，甚至大多正常時(shí)間采集的時(shí)序變量是無意義的。因此引入注意力機(jī)制來提取異常的時(shí)序信息：對(duì)隱藏表征hi,t分配不同的權(quán)重αi,t，如果生理指標(biāo)在一段時(shí)間內(nèi)較為平穩(wěn)則該權(quán)重較小，反之則權(quán)重較大。通過權(quán)重αi,t與對(duì)應(yīng)hi,t求加權(quán)和，形成單項(xiàng)風(fēng)險(xiǎn)因素si的在整個(gè)治療過程中的表征ri：

其中，αi,t為代表風(fēng)險(xiǎn)因素si在時(shí)間[1,M]內(nèi)各時(shí)段生理指標(biāo)的異常程度，即隱藏表征hi,t的權(quán)重，計(jì)算方法為：

由于公式（11）中hi,t表示正向和逆向的時(shí)序隱藏信息，代表了當(dāng)前時(shí)段在過去和未來的特征表達(dá)，因此將[1,t-1]的hi,t-1和進(jìn)行內(nèi)積計(jì)算異常程度得分即可得到當(dāng)前生理指標(biāo)與前后的關(guān)聯(lián)度，若某時(shí)段生理指標(biāo)與前后差異較大，則此時(shí)為異常時(shí)段。最后通過Softmax函數(shù)將各時(shí)刻異常得分歸一化，即可得基于時(shí)間維度的權(quán)重αi,t。

2.2.2 基于風(fēng)險(xiǎn)因素的元素注意力層

元素編碼器（element encoder）。已知對(duì)任意風(fēng)險(xiǎn)因素si有其在病情發(fā)展變化的表征ri，使用同樣的BiLSTM編碼方式可以獲得其他因素的隱藏表征向量gi。

元素注意力機(jī)制（element attention）。為了能在檢查過程中正確預(yù)警不同疾病的風(fēng)險(xiǎn)因素，再次使用注意力機(jī)制并對(duì)因素的隱藏表征gi引入對(duì)應(yīng)的關(guān)聯(lián)權(quán)重βi，并使用該權(quán)重來衡量患者診療過程中致病因素的重要性，通過加權(quán)和得到患者在疾病發(fā)展過程中的表征c：

與時(shí)序性權(quán)重αi,t計(jì)算不同，模型訓(xùn)練基于不同疾病表達(dá)的上下文向量uβ來度量各風(fēng)險(xiǎn)因素在病情變化過程中的重要性βi。將每個(gè)風(fēng)險(xiǎn)因素表征gi的轉(zhuǎn)換為非線性表達(dá)ui：

計(jì)算uβ和ui的相似度并使用Softmax函數(shù)進(jìn)行歸一化得到βi：uβ∈Rm×n是在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中形成的表征向量參數(shù)，是一種無監(jiān)督端到端的記憶網(wǎng)絡(luò)表達(dá)形式，可以看作某類疾病的風(fēng)險(xiǎn)因素影響程度高低的分布，通過衡量訓(xùn)練好的uβ和ui的相似程度可以得知哪一個(gè)風(fēng)險(xiǎn)因素是引起某類病癥的根本因素。該參數(shù)在訓(xùn)練中經(jīng)過反向傳播不斷更新后迭代生成。

2.2.3 結(jié)合患者基本信息的輸出模型優(yōu)化

為了對(duì)患者病情發(fā)展過程中產(chǎn)生的風(fēng)險(xiǎn)進(jìn)行預(yù)警分類，將表示該患者基本人口統(tǒng)計(jì)信息構(gòu)成的上下文向量d與患者病情變化表達(dá)c拼接并通過全連接層分類輸出預(yù)警結(jié)果。W為參數(shù)矩陣，選取患者是否患病的概率中較大的作為預(yù)測輸出yi-pred，采用交叉熵?fù)p失作為模型的損失函數(shù)進(jìn)行學(xué)習(xí)：

2.2.4 解釋決策層

1.2節(jié)中Lipton將可解釋模型特點(diǎn)分為透明性和事后可解釋性，研究通過在4.2節(jié)實(shí)驗(yàn)分析來證明模型的事后可解釋性。同時(shí)構(gòu)建中間可解釋層，分析患者Xi在治療過程中權(quán)重αi,t、βi和輸入V={v1,1,v1,2,…,v1,m,…,vi,t,…,vn,1,vn,2,…,vn,m}變化對(duì)患病預(yù)測輸出Y的影響來說明IHAN的透明性。已知c為患者診療過程的表征，由IHAN的相關(guān)機(jī)制可表示成關(guān)于αi,t、βi和V的如下公式：

患者是否患病的概率取決于全連接層之前的各風(fēng)險(xiǎn)因素總體表征：

其中公式（23）可以完全分解為對(duì)任意輸入vi,t,i∈[1,N],有風(fēng)險(xiǎn)因素si在t時(shí)段的輸入vi,t對(duì)預(yù)測結(jié)果Y的貢獻(xiàn)度

其中經(jīng)過兩次LSTM編碼LSTMβ(αi,tLSTMα((vi,t))可作為關(guān)于vi,t的非線性變換：

（1）若對(duì)元素維度權(quán)重βi=0進(jìn)行擦除，則預(yù)先可見公式（24）權(quán)重對(duì)應(yīng)的風(fēng)險(xiǎn)因素貢獻(xiàn)度為由公式（19）可得?i∈N,βi＞0，則風(fēng)險(xiǎn)越高的因素所對(duì)應(yīng)的權(quán)重βi對(duì)預(yù)測結(jié)果貢獻(xiàn)越大。

（2）若對(duì)單一風(fēng)險(xiǎn)因素si在任意時(shí)段的權(quán)重αi,t=0進(jìn)行擦除：

同理可得該時(shí)段在整個(gè)治療過程中貢獻(xiàn)度為0。然而任意修改αi,t或輸入vi,t，貢獻(xiàn)度仍然受制于風(fēng)險(xiǎn)因素的權(quán)重βi，這說明了IHAN能夠輔助醫(yī)生挖掘在病情變化過程中的高危因素，降低對(duì)非致病因素的關(guān)注度，并將注意力集中在治療患者具有高權(quán)重βi對(duì)應(yīng)的致病因素。

3 實(shí)驗(yàn)設(shè)計(jì)

模型在某三甲醫(yī)院CIS系統(tǒng)產(chǎn)生的數(shù)據(jù)集進(jìn)行了測試，該數(shù)據(jù)集包含6年內(nèi)的2 198例ICU患者在住院過程中發(fā)生急性腎損傷的175 840次數(shù)據(jù)采集結(jié)果。實(shí)驗(yàn)將IHAN模型的預(yù)測精度與傳統(tǒng)計(jì)分析和深度學(xué)習(xí)方法進(jìn)行了比較，以預(yù)測ICU住院患者生成急性腎損傷的診斷。通過對(duì)比分析得出，所提模型在準(zhǔn)確率上優(yōu)于傳統(tǒng)方法，在運(yùn)行速度方面具有可接受性能，同時(shí)具備良好的可解釋性。

3.1 實(shí)驗(yàn)數(shù)據(jù)

急性腎損傷（Acute Kidney Injury，AKI）為臨床常見危重癥之一，臨床上表現(xiàn)為氮質(zhì)血癥、水電解質(zhì)和酸堿平衡以及全身各系統(tǒng)癥狀，其發(fā)病率一直居高不下，給患者的身體、心理和經(jīng)濟(jì)帶來沉重的負(fù)擔(dān)。既往相關(guān)研究指出，機(jī)械通氣、器官衰竭、低蛋白血癥是急性腎損傷患者死亡的獨(dú)立危險(xiǎn)因素，早期預(yù)防、診斷能降低急性腎損傷的病死率，對(duì)改善預(yù)后有重要的意義。實(shí)驗(yàn)中所采用的AKI診斷標(biāo)準(zhǔn)為RIFLE，即血清肌酐（SCr）升高1.5倍，腎小球?yàn)V過率（GFR）升高25個(gè)百分點(diǎn)，尿量＜0.5 mL/（kg·h）×6 h。

實(shí)驗(yàn)采用了某三甲醫(yī)院CIS系統(tǒng)提供的住院患者生理指標(biāo)數(shù)據(jù)集，納入輸入序列的i∈[1,N]風(fēng)險(xiǎn)因素包括血小板計(jì)數(shù)、血清肌酐等9項(xiàng)，構(gòu)成患者基本統(tǒng)計(jì)信息d的因素包括性別、年齡、是否進(jìn)行連續(xù)性血液凈化、基礎(chǔ)疾病、戴機(jī)時(shí)間5項(xiàng)，數(shù)據(jù)處理過程如圖4所示，所有資料均進(jìn)行統(tǒng)一隱私處理并編碼。

圖4 基于可解釋的HAN流程示意圖

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)使用的硬件配置如下：處理器Core i7-6500U@2.50 GHz；獨(dú)立顯卡GeForce GTX Titan 8 GB顯存；RAM為16.0 GB；操作系統(tǒng)類型Windows Sever 2012；開發(fā)工具python 3.6+TensorFlow+CUDA框架；模型采用GPU運(yùn)行環(huán)境進(jìn)行訓(xùn)練加速，訓(xùn)練次數(shù)設(shè)置為200次，學(xué)習(xí)率初始化為0.1并持續(xù)遞減訓(xùn)練到損失函數(shù)收斂為止。

3.3 基線模型

Logisitc回歸（LR）：LR是經(jīng)典的疾病預(yù)測統(tǒng)計(jì)分析模型。作為實(shí)驗(yàn)對(duì)比，設(shè)置致病因素和患者基本信息為自變量，住院過程中是否產(chǎn)生AKI為因變量，提取患者入院時(shí)的檢查結(jié)果作為模型輸入后回歸處理。

隨機(jī)森林、BP神經(jīng)網(wǎng)絡(luò)：研究通過咨詢臨床醫(yī)生構(gòu)建風(fēng)險(xiǎn)因素為葉子結(jié)點(diǎn)的隨機(jī)森林，對(duì)比方法采用Cart算法生成回歸森林以及設(shè)置1 024結(jié)點(diǎn)構(gòu)成的2層BP神經(jīng)網(wǎng)絡(luò)。模型輸入樣本同為患者入院生理指標(biāo)信息。

CNN：卷積神經(jīng)網(wǎng)絡(luò)因其能夠從復(fù)雜的數(shù)據(jù)集中提取信息的能力而在醫(yī)療影像診斷中得到了應(yīng)用?；€模型參考CNN對(duì)圖像的識(shí)別原理，根據(jù)患者各項(xiàng)風(fēng)險(xiǎn)因素的輸入序列設(shè)定統(tǒng)一的滑動(dòng)時(shí)間窗，對(duì)該時(shí)間窗內(nèi)的一維患者數(shù)據(jù)進(jìn)行二維重構(gòu)成基于時(shí)間點(diǎn)采樣的多因素線索數(shù)據(jù)“圖像”，采用多尺度卷積的方法提取不同時(shí)間、風(fēng)險(xiǎn)因素維度上的疾病表征信息，輸出分類結(jié)果。

LSTM：長短期記憶神經(jīng)網(wǎng)絡(luò)主要用于單變量時(shí)序序列的分析預(yù)測?；贚STM的基線模型設(shè)計(jì)方法如下，通過構(gòu)造患者在整個(gè)住院期間N個(gè)風(fēng)險(xiǎn)因素的LSTM預(yù)測序列，將每個(gè)序列最后一次的輸出值作為單層感知機(jī)的輸入，實(shí)時(shí)預(yù)警患者下一時(shí)間段病情變化。

IHAN+LSTM：2.2節(jié)公式（3）、（4）、（8）、（9）的RNNα、RNNβ采用LSTM模型。

IHAN+GRU：方法上同樣使用公式（3）、（4）、（8）、（9）的RNNα、RNNβ采用GRU模型。

4 實(shí)驗(yàn)結(jié)果與分析

4.1 性能比較

數(shù)據(jù)集按0.75∶0.15∶0.1的比例劃分為測試集、訓(xùn)練集、驗(yàn)證集并采用交叉折疊進(jìn)行訓(xùn)練。為了能夠預(yù)測患者在住院治療過程中是否發(fā)生AKI從而輔助醫(yī)生及時(shí)調(diào)整診療方案，實(shí)驗(yàn)評(píng)價(jià)引入三個(gè)評(píng)價(jià)指標(biāo)，準(zhǔn)確率（Precision）、召回率（Recall）和訓(xùn)練時(shí)間，如公式（27）、（28）所示：

根據(jù)表1實(shí)驗(yàn)結(jié)果，在準(zhǔn)確率方面，Logistic回歸、隨機(jī)森林和BP神經(jīng)網(wǎng)絡(luò)因其沒有考慮到患者在治療過程中生理指標(biāo)的漸變信息，無法在長時(shí)間住院過程中充分利用檢查數(shù)據(jù)時(shí)間狀態(tài)上的關(guān)聯(lián)性，不具有提前預(yù)測的能力，對(duì)急重癥突變預(yù)警能力差。而以CNN和RNN為代表的深度學(xué)習(xí)模型在準(zhǔn)確率上有了較大的提升，相比上述統(tǒng)計(jì)模型在準(zhǔn)確率上提高了8～10個(gè)百分點(diǎn)，這體現(xiàn)了基于深度學(xué)習(xí)對(duì)復(fù)雜時(shí)序信息的捕捉能力，然而由于患者在住院過程中產(chǎn)生的數(shù)據(jù)量多，“無意義”的正常數(shù)據(jù)占比大，導(dǎo)致輸入模型數(shù)據(jù)集噪聲大而影響了預(yù)測結(jié)果的精準(zhǔn)度?；贗HAN的層次注意力神經(jīng)網(wǎng)絡(luò)解決了上述問題，同時(shí)準(zhǔn)確率相比之下提升了12～13個(gè)百分點(diǎn)。運(yùn)行效率上，IHAN+LSTM因其計(jì)算的復(fù)雜性導(dǎo)致訓(xùn)練時(shí)間較長，在實(shí)驗(yàn)環(huán)境下訓(xùn)練時(shí)間達(dá)到了29.50 min，而LSTM+GRU相對(duì)模型較簡單，訓(xùn)練時(shí)間也達(dá)到了25.25 min。

表1 IHAN預(yù)測結(jié)果

綜上所述，IHAN模型與Logistic回歸、隨機(jī)森林、卷積神經(jīng)網(wǎng)絡(luò)、LSTM等神經(jīng)網(wǎng)絡(luò)相比在預(yù)測中表現(xiàn)良好，但是訓(xùn)練時(shí)間相對(duì)較長，與預(yù)計(jì)效果基本符合。因此所提模型能夠在患者住院過程中一定程度地提前預(yù)測可能所伴隨的急性腎損傷，提醒醫(yī)生調(diào)整治療方案，從而達(dá)到醫(yī)療輔助決策的作用。

4.2 可解釋性分析

實(shí)驗(yàn)評(píng)估了IHAN在預(yù)測AKI任務(wù)中的事后可解釋性，即根據(jù)2.2節(jié)中各風(fēng)險(xiǎn)因素在不同時(shí)段的αi,t、βi的分布修改輸入序列vi,t，或直接改變?nèi)我猞羒,t、βi觀察y1,y2,…,yt結(jié)果的變化，并對(duì)訓(xùn)練參數(shù)進(jìn)行可視化。方法是從測試集中選擇一名發(fā)生疾病的患者，咨詢醫(yī)生及問詢?cè)\療過程并計(jì)算輸入的各項(xiàng)序列對(duì)于診斷預(yù)測的貢獻(xiàn)值進(jìn)行比對(duì)。圖5為冠狀動(dòng)脈粥樣硬化性心臟病患者在住院治療過程中，不同風(fēng)險(xiǎn)因素的注意力權(quán)重β隨時(shí)間變化的分布情況和產(chǎn)生AKI的概率，其中Y軸表示疾病的各項(xiàng)風(fēng)險(xiǎn)因素，X軸表示入院時(shí)間和某時(shí)刻的患病概率（T0d：47.30%表示在0天時(shí)產(chǎn)生AKI的概率為47.30%），Z軸表示不同風(fēng)險(xiǎn)因素隨著時(shí)間變化時(shí)注意力權(quán)重β。入院T0d至T2d時(shí)間段內(nèi)各項(xiàng)生理指標(biāo)權(quán)重較為平穩(wěn)（由于篇幅所限，圖中[T0d,T2d]為平穩(wěn)期，實(shí)際為13 d），[T2d,T3.2d]血壓（BP）、心率（HR）影響比重逐漸上升，[T3.2d,T3.8d]時(shí)刻SCr和GFR緊隨升高，并在T3.5d時(shí)刻提前預(yù)警，T3.8d患者達(dá)到AKI的診斷標(biāo)準(zhǔn)。通過醫(yī)生調(diào)閱病程記錄得出，[T0d,T2d]為入院手術(shù)前準(zhǔn)備時(shí)期。隨后于T2d完成冠狀動(dòng)脈旁路移植術(shù)后發(fā)生心力衰竭對(duì)應(yīng)[T2d,T3.2d]時(shí)段，[T3.2d,T3.8d]即為由心力衰竭產(chǎn)生的AKI癥狀。

圖5 β隨時(shí)間變化的分布情況和產(chǎn)生AKI的概率

為了探究模型的解釋能力，圖6～圖9顯示了IHAN在人為改變輸入序列數(shù)值以及訓(xùn)練權(quán)重參數(shù)時(shí)，輸出結(jié)果的變化，X軸表示在治療過程中的患病概率，Y軸表示疾病的風(fēng)險(xiǎn)因素隨時(shí)間變化的權(quán)重β，圖6表示原始結(jié)果作為對(duì)照組。圖7中實(shí)驗(yàn)首先在T2d改變SCr和GFR的輸入序列為正常均值，相比于原結(jié)果βSCr、βGFR降低11～13個(gè)百分點(diǎn)，T3.8d時(shí)刻輸出產(chǎn)生疾病的可能性為58.32%（Average），這說明了Attention的權(quán)重高低與其對(duì)應(yīng)位置信息的重要程度正相關(guān)。圖8令βSCr=βGFR=0則T3.8d結(jié)果為40.19%（Reset 0），患病概率相對(duì)于對(duì)照組可能性降低45.77個(gè)百分點(diǎn)。這說明SCr和GFR是AKI產(chǎn)生的關(guān)鍵因素，符合醫(yī)學(xué)對(duì)該疾病診斷的定義，同時(shí)可得高權(quán)重的輸入單元對(duì)輸出結(jié)果有決定性作用。圖9中實(shí)驗(yàn)對(duì)輸入序列進(jìn)行翻轉(zhuǎn)（Reverse），結(jié)果顯示在開始階段患病幾率高達(dá)86.33%，SCr和GFR仍然對(duì)輸出結(jié)果影響較大，這是由于逆序輸入使SCr和GFR直接導(dǎo)致了疾病的產(chǎn)生，而非其他因素漸進(jìn)變化引起結(jié)果的改變，同時(shí)證明了IHAN相對(duì)于易解釋模型（LR/DT逆序結(jié)果不變）時(shí)間序列處理能力。

圖7 IHAN預(yù)測結(jié)果（Average：58.32%）

圖8 IHAN預(yù)測結(jié)果（Reset0：40.19%）

圖9 IHAN預(yù)測結(jié)果（Reverse：86.33%）

5 結(jié)語

本文提出了一種基于可解釋的層次注意力神經(jīng)網(wǎng)絡(luò)算法用于急重癥突變預(yù)測，利用分層注意力將大量床旁醫(yī)學(xué)數(shù)據(jù)劃分成時(shí)間和風(fēng)險(xiǎn)因素兩個(gè)維度，采用擦除重置的方法對(duì)算法的可解釋性進(jìn)行建模。該模型在保留RNN預(yù)測時(shí)序數(shù)據(jù)能力的同時(shí)，更加容易讓醫(yī)生理解不同疾病在不同時(shí)間致病的關(guān)鍵風(fēng)險(xiǎn)因素，而且對(duì)HAN的輸出層根據(jù)不同患者的靜態(tài)統(tǒng)計(jì)信息合并優(yōu)化，有效地提高了預(yù)測的準(zhǔn)確率。實(shí)驗(yàn)在大量數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，并對(duì)模型的可解釋性進(jìn)行驗(yàn)證，結(jié)果表明注意力權(quán)重能夠代表患者在醫(yī)療過程中的致病因素，較好地起到臨床輔助決策的作用，并為實(shí)際臨床技術(shù)轉(zhuǎn)化具有重要的應(yīng)用意義。在以后的工作中，將在不同病種的數(shù)據(jù)集上進(jìn)行評(píng)估，添加例如非結(jié)構(gòu)化的病歷文本等不同類型的實(shí)驗(yàn)數(shù)據(jù)進(jìn)一步優(yōu)化模型結(jié)構(gòu)，進(jìn)行更加高效的預(yù)測。