鮑超馳，徐東陽（通信作者），胡南，王智，薛燦

1 湖州市中心醫(yī)院 （浙江湖州 313000）；2 浙江大學湖州研究院（浙江湖州 313000）；3 蘇州大學 （江蘇蘇州 215000）

心肺疾病是威脅人類健康的主要疾病。對于心肺疾病的前期診斷，聽診器聽診是最便捷、最重要的手段。作為醫(yī)療機構(gòu)不可或缺的基礎(chǔ)診斷儀器，聽診器自1816年發(fā)明以來鮮有發(fā)展及改變。近年來，電子聽診器依靠電子技術(shù)增加聲音放大倍數(shù)，利用信號處理技術(shù)提高聽診信號的信噪比，使聽診器的診斷效果得到大幅提升；數(shù)字化的聽診信號也帶來新的應(yīng)用場景，包括聽診信號的存儲、回放及數(shù)據(jù)管理、波形顯示及與互聯(lián)網(wǎng)結(jié)合的遠程聽診等，豐富了臨床醫(yī)師的診斷手段和聽診器的應(yīng)用范圍?；诰_標注心肺音數(shù)據(jù)庫開發(fā)的智能電子聽診器產(chǎn)品可幫助醫(yī)師進行快速標準化的輔助診斷，解決基層醫(yī)院醫(yī)師聽診診斷能力弱的問題，甚至能使普通人擁有聽診診斷能力，實現(xiàn)聽診器的家用化；這將有助于心肺疾病的早發(fā)現(xiàn)、早診斷、早治療，從而有效降低心肺疾病的發(fā)病率和病死率。基于電子聽診器的智能診斷技術(shù)主要包含3部分。（1）心肺音數(shù)據(jù)庫：種類完備、數(shù)據(jù)量豐富的心肺音數(shù)據(jù)庫有助于心肺音數(shù)據(jù)的分析并基于人工智能診斷技術(shù)進行發(fā)展；（2）心肺音聲學前端信號處理技術(shù)：電子聽診器的使用場景可能受到環(huán)境噪音干擾、心音和肺音混合的影響，而提升信號質(zhì)量可顯著提升人工智能病癥的診斷效果；（3）心肺音AI 聽診技術(shù)：采用常規(guī)聽診技術(shù)一般需通過醫(yī)師的經(jīng)驗進行判斷，即使是對于同一個患者，不同醫(yī)師的聽診結(jié)果也可能不同；通過心肺音大數(shù)據(jù)和專業(yè)超聲醫(yī)師復(fù)核的標簽信息，利用人工智能技術(shù)，可消除醫(yī)師個體差異，獲得更準確的診斷結(jié)果。本研究介紹了基于電子聽診器的心肺音智能診斷中存在的技術(shù)問題，從心肺音數(shù)據(jù)庫、前端聲信號處理技術(shù)及人工智能診斷技術(shù)3方面進行綜述，并對未來心肺音智能診斷技術(shù)的研究方向進行了展望。

1 心肺音公開數(shù)據(jù)庫

利用電子聽診器對特定的心血管疾病或呼吸道疾病進行自動分析研究，需有相應(yīng)的心肺音數(shù)據(jù)支持。關(guān)于心音數(shù)據(jù)庫，目前應(yīng)用最廣泛的是PhysioNet 數(shù)據(jù)庫中的2016心音分類挑戰(zhàn)數(shù)據(jù)庫[1]，其由5個數(shù)據(jù)庫組成，共包括3 126段心音記錄，持續(xù)時間為5～120 s，但所有心音記錄僅分為2種類型：正常和異常心音記錄，并未針對異常心音記錄提供更具體的分類。另一個規(guī)模較大的公開心音數(shù)據(jù)庫是PASCAL 心音分類挑戰(zhàn)數(shù)據(jù)庫[2]，包含2個數(shù)據(jù)集，其中數(shù)據(jù)集A 包括176段數(shù)據(jù)，分為正常、雜音、額外心音和偽跡4類；數(shù)據(jù)集B 包括656段數(shù)據(jù)，分為正常、雜音和早搏3類。INTERSPEECH 2018計算機輔助語言學大賽發(fā)布了深圳心音數(shù)據(jù)庫（HSSDB）[3]，其中包括來自170個不同被試的845條錄音，記錄了來自冠心病、心律失常、心臟瓣膜病、先天性心臟病等患者的心音數(shù)據(jù)，但不包括任何病理元數(shù)據(jù)，其標記僅分為3類：正常、輕度異常、中度/重度異常。除此之外，還有一些包含零星病例、用于臨床教學的在線或隨書CD 數(shù)據(jù)庫，如密歇根心音與雜音開放數(shù)據(jù)庫（OMHSML）[4]、心臟雜音心臟聽診數(shù)據(jù)庫（eGeneralMedical）[5]、Thinklabs 心音數(shù)據(jù)庫[6]、生物科學正常/異常心音數(shù)據(jù)庫（BHSD）[7]等。

關(guān)于肺音信號，近年來使用最廣泛、最大的肺音數(shù)據(jù)庫為生物醫(yī)學與健康信息國際會議（ICBHI）提供的ICBHI 呼吸音識別2017挑戰(zhàn)數(shù)據(jù)庫[8]，包括從126名被試者身上采集的920段肺音數(shù)據(jù)，其中有26名正常被試者、6例肺炎患者、6例支氣管炎患者、7例支氣管擴張癥患者、1例哮喘患者、64例慢阻肺患者、14例上呼吸道感染患者和2例下呼吸道感染患者。除此之外，還有一些包含零星病例的、用于臨床教學的數(shù)據(jù)庫，如R.A.L.E[9]、East Tennessee State University repository[10]、Littmann repository[11]等。

上述心肺音數(shù)據(jù)庫的現(xiàn)狀表明，業(yè)界已開始基于電子聽診器的心肺疾病輔助診斷研究，并嘗試構(gòu)建相應(yīng)的心肺音數(shù)據(jù)庫，但仍存在諸多問題：（1）可用的公開數(shù)據(jù)庫非常匱乏，導(dǎo)致信號處理與人工智能領(lǐng)域的研究難以充分施展；（2）數(shù)據(jù)庫中數(shù)據(jù)的多樣性較差，未充分考慮不同環(huán)境、人群的心肺音收集；（3）數(shù)據(jù)分類較為粗糙，大多數(shù)數(shù)據(jù)庫中類心臟或呼吸道疾病相關(guān)的心音或肺音樣本量很少或不均衡，且除ICBHI 2017數(shù)據(jù)庫外，絕少考慮多個聽診位置的數(shù)據(jù)采集。

2 心肺音聲學前端信號處理技術(shù)

電子聽診器的快速發(fā)展得益于聲傳感器、數(shù)字信號處理、集成電路及物聯(lián)網(wǎng)技術(shù)的快速發(fā)展。電子聽診器系統(tǒng)是通過聲學傳感器采集心肺信號，易受環(huán)境噪聲、干擾及心音和肺音混合的影響，需要前端聲信號處理實現(xiàn)噪聲抑制、心肺音分離和心肺音分割等功能。

Jatupaiboon 等[12]的研究表明，利用最小均方（least mean square，LMS）自適應(yīng)濾波的方法可實現(xiàn)電子聽診器背景噪聲的消除。Hall 等[13]利用可變步長LMS 自適應(yīng)濾波算法消除了電子聽診器背景噪聲。Emmanouilidou 等[14]提出了一種多頻帶自動去噪算法，在去噪的同時，兼顧了肺音信號質(zhì)量，并在實際診室場景中進行了測試。然而，由于某些聽診位置會不可避免地出現(xiàn)心音與肺音交疊的情況，故要實現(xiàn)對心音或肺音的分析，需研究心肺音分離算法。Pourazad 等[15]將獨立成分分析（Independent component analysis，ICA） 方 法應(yīng)用于心肺音的分離任務(wù)，其基于心肺音的時頻譜進行ICA，在得到分離后各源的時頻譜后，進行逆短時傅里葉變換，得到心音與肺音的時序信號。Chien 等[16]提出直接將ICA 用于心肺音的混合時序信號，省去了時頻譜的正逆變換過程。Tsalaile 等[17]提出利用肺音和心音信號的時間相關(guān)性及心音信號的準平穩(wěn)性，以近似聯(lián)合對角化（approximate joint diagonalization，AJD）算法的二階統(tǒng)計量進行盲源提取心音與肺音。Ayari 等[18]將自適應(yīng)濾波技術(shù)應(yīng)用于心肺音的分離，包括構(gòu)建自適應(yīng)濾波組合；該自適應(yīng)濾波技術(shù)本質(zhì)上是從SG 濾波器和FIR 濾波器中導(dǎo)出的，其系數(shù)與來自混合聲音的特征相關(guān)。Shah 等[19]將非負矩陣分解（nonnegative matrix factorization，NMF）用于心肺音的盲信號分離（blind signal separation，BSS），其優(yōu)點是只需要單輸入通道，而其他BSS 一般都需要多通道輸入。最后，要實現(xiàn)對心音數(shù)據(jù)或肺音數(shù)據(jù)的分析，需對心音或肺音進行正確的分段。目前，研究人員關(guān)注的重點是心音的自動分割問題。傳統(tǒng)方法是利用香農(nóng)能量（state entropy，SE）提取心音包絡(luò)，在該包絡(luò)的基礎(chǔ)上進行心音分段。Sharma 等[20]先進行小波變換處理，得到多分辨率的子帶，再對各分辨率子帶進行希爾伯特變換（hilbert transform，HT），得到包絡(luò)數(shù)據(jù)，然后對其求二階導(dǎo)數(shù)，以尋找S1和S2的目標點。Thomas 等[21]利用心音的多重分形特性來識別S1和S2，在分形后，使用高斯檢驗去除多余的基本分量，然后用HT 得到包絡(luò)信息，識別S1和S2。Springer 等[22]從概率模型的角度出發(fā)，使用隱半馬爾可夫模型（hidden semi-Markov model，HSMM），進一步提高了心音周期的分割性能。

從上述前端聲信號處理技術(shù)的發(fā)展現(xiàn)狀可見，現(xiàn)有的電子聽診器聲學前端信號處理技術(shù)還存在3方面缺陷：（1）由于質(zhì)量評價標準的缺失，各電子聽診器的產(chǎn)品信號質(zhì)量、信號消噪與心肺音分離算法性能無法進行有效對比；（2）由于合乎標準的分型數(shù)據(jù)庫缺失，現(xiàn)有前端聲信號處理算法都是基于正常被試的心肺音設(shè)計的，其在實際心肺病癥聽診應(yīng)用場合中的效果不明，對不同病癥的普適性可能較差；（3）前端聲信號處理算法并未與后續(xù)AI心肺疾病輔助診斷算法聯(lián)合使用，導(dǎo)致其改善信號質(zhì)量、劃分信號范圍的作用未能體現(xiàn)在最終信號的分類效果上。

3 心肺音AI 聽診技術(shù)

通過AI 技術(shù)實現(xiàn)心肺疾病的輔助診斷是電子聽診器研究的終極目標。目前，在心肺疾病的AI輔助診斷中，絕大多數(shù)的電子聽診器仍是基于公共數(shù)據(jù)庫或自采數(shù)據(jù)的小樣本研究，與商用差距較大，下面將分別回顧心音識別與肺音識別的研究現(xiàn)狀。

在心音的自動分類研究中，Divaakar 等[23]從頻率角度出發(fā)，在低通濾波之后計算多尺度頻率分析值，并根據(jù)該值大小區(qū)分正常心音與含雜心音。而Hamidah 等[24]使用預(yù)處理（下采樣、濾波、EMD）聯(lián)合SE 提取包絡(luò)與峰值檢測提取相關(guān)特征（包括峰值頻率、峰值間隔、峰值持續(xù)時間、總功率、振幅），并聯(lián)合上述特征，經(jīng)閾值篩選進行異常心音的分類。Yadav 等[25]聯(lián)合傅里葉變換的均值、最大值與倒譜變換的平均值，以支持向量機（support vector machines，SVM）作為分類器完成分類任務(wù)。人工神經(jīng)網(wǎng)絡(luò)（artificial meural network，ANN）是繼傳統(tǒng)機器學習后又一個發(fā)展迅速且應(yīng)用廣泛的研究方向，前期以多層感知器等較淺層的網(wǎng)絡(luò)為主[26-28]。Saputra 等[26]將WD 與自回歸功率譜密度（autoregressive power spectral density，AR-PSD）相結(jié)合，用于提取特征，再將該特征輸入ANN 進行分類，在測試了13種異常心音數(shù)據(jù)后，成功分類11種。Suseno 等[27]利用WT 提取心音周期的信號特征，包括整流、取包絡(luò)、微分和設(shè)閾值等過程，然后將該特征輸入3層ANN 進行自動診斷。Coskun 等[28]以MFCCs 為特征，也取得了不錯的效果。隨著對神經(jīng)網(wǎng)絡(luò)的不斷探索，淺層的全連接網(wǎng)絡(luò)已不能滿足研究人員的需求，具有局部連接、共享權(quán)值等優(yōu)點的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）被應(yīng)用于心音的自動分析中。Wibawa 等[29]及Chen 等[30]將PCG 信號的二維時頻譜作為特征輸入CNN，均取得了不錯的效果。Nassralla 等[31]聯(lián)合多種特征（包括時域特征、R 模型特征、頻域特征、MFCCs、小波熵和功率譜），再利用隨機森林進行分類，具有處理多輸入大數(shù)據(jù)的優(yōu)勢。

在肺音的自動分類研究中，目前主要的分析手段包括經(jīng)驗規(guī)則、基于特征計算的常規(guī)模式分類及深度學習分類。經(jīng)驗規(guī)則主要通過提取各種類型的附加呼吸音特征，進行目標信號的檢測，往往還需設(shè)置經(jīng)驗閾值來實現(xiàn)檢驗。Emmanouilidou 等[32]提取了一種時頻特征，并將SVM 作為分類器，在一個包含1 157例1～59個月兒童肺炎患者/正常被試的未公開數(shù)據(jù)庫中，獲得86.7%的分類精度。近年來，隨著深度學習技術(shù)的發(fā)展，研究人員也將這項技術(shù)用于肺音分類工作中。Vaityshyn 等[33]2018年使用CNN 對支氣管肺系統(tǒng)疾病進行分類，將肺音轉(zhuǎn)化為光譜圖進行訓練與識別，其訓練數(shù)據(jù)集和驗證數(shù)據(jù)集的準確性分別為0.78和0.80；并在2019年采用ResNet、InceptionV3、MobileNetV2 3種改進版CNN 對5種肺部疾?。òㄏ⒅夤苎?、肺炎、塵肺病、COPD）和健康肺進行自動診斷[34]，基于一個包括167例患者的數(shù)據(jù)庫，準確度與之前經(jīng)典CNN 相比有所提高。Shi 等[35]提出一種基于遷移學習的VGGish-BiGRU 肺音識別算法，該算法將VGGish 網(wǎng)絡(luò)與雙向門控遞歸單元神經(jīng)網(wǎng)絡(luò)（bidirectional gated recurrent unit，BiGRU）相結(jié)合，基于一個包括386段肺音（其中，120段正常、156段肺炎、108段哮喘）的非公開數(shù)據(jù)庫，有效提高了肺音特別是哮喘對應(yīng)肺音的識別精度。近期，Shuvo 等[36]提出一種結(jié)合EMD 與連續(xù)小波變換（continue wavelet transform，CWT）特征的輕量CNN 結(jié)構(gòu)，基于ICBHI 肺音數(shù)據(jù)庫獲得了較高的三分類與六分類肺音識別精度。

不過，上述針對AI 心肺音分類方法的研究未得到大樣本數(shù)據(jù)庫的支持，且訓練和分類標準極不合理，其中包括以下3方面問題： （1）由于訓練數(shù)據(jù)的缺失，目前的分類結(jié)果較為粗糙，如將肺音簡單分為正常肺音、喘鳴音和濕啰音3類，將心音簡單分為正常心音與異常心音2類等，且還不能給出具體病癥的診斷； （2）所用的訓練數(shù)據(jù)是在安靜環(huán)境或身體平靜狀態(tài)時錄制的，通過手動分割心音和肺音，未考慮實際使用過程中的環(huán)境噪聲、心肺音混合情況； （3）由于數(shù)據(jù)不足，訓練集和測試集數(shù)據(jù)來自同一被試、同一段數(shù)據(jù)的情況很常見，導(dǎo)致這些分類結(jié)果并不能真實評價實際分類效果。

4 總結(jié)與展望

回顧心肺音智能診斷技術(shù)研究工作可見，目前的研究尚停留在較初級階段，距離產(chǎn)品化目標較遠，主要問題包括以下3方面：（1）可用的公開心肺音數(shù)據(jù)庫資料匱乏、數(shù)據(jù)的多樣性較差、數(shù)據(jù)分類較為粗糙；（2）心肺音信號處理易被忽視，針對異常聽診信號的效果未得到合理驗證，且未在最終分離效果上有所體現(xiàn)；（3）人工智能分類方法缺少大數(shù)據(jù)支持，且訓練和分類標準不合理，存在重復(fù)使用同一被試數(shù)據(jù)的情況，導(dǎo)致分類結(jié)果不能真實評價實際分類效果。而未來心肺音智能診斷技術(shù)的發(fā)展趨勢主要包括以下3個方面：（1）種類完備、數(shù)據(jù)豐富的心肺音數(shù)據(jù)庫將是未來的研究方向，建立完備的分型心肺音數(shù)據(jù)庫不僅有利于逐步提高人工智能輔助聽診的準確性，還能為臨床科研提供依據(jù)，提高醫(yī)師對心肺音的認知和診斷水平；（2）心肺音聲學前端處理技術(shù)將聚焦電子聽診器在實際使用場景中的適用性問題，并與心肺音分離技術(shù)融合，構(gòu)建統(tǒng)一的心肺音質(zhì)量標準；（3）AI 心肺音分類技術(shù)利用完備的分型心肺音數(shù)據(jù)庫，采用更合理的數(shù)據(jù)方案，將實現(xiàn)更精確的分類效果，對心肺疾病進行有效的輔助診斷。