陳訓(xùn)藝, 夏焙, 陳偉玲

1汕頭大學(xué)醫(yī)學(xué)院深圳兒科臨床學(xué)院(廣東深圳 518038); 2深圳市兒童醫(yī)院超聲科(廣東深圳 518038)

先天性心臟病(簡稱先心病)是我國最常見的出生缺陷,也是導(dǎo)致新生兒和嬰幼兒死亡的主要原因。超聲心動圖是先心病首選的篩查和術(shù)前診斷方法。但兒科對象的年齡跨度較大,操作的復(fù)雜性和可重復(fù)性一直是臨床工作的難點。在不同層級的醫(yī)院之間,兒科心臟超聲報告與專家診斷意見不一致率高達(dá)38%,約60%可能影響治療方案及治療效果[1]。歐洲超聲心動圖學(xué)會(European Association of Echocardiography,EAE)指南建議,初級超聲醫(yī)師應(yīng)接受至少半年的培訓(xùn),完成至少350次經(jīng)胸超聲心動圖檢查方給予上崗,旨在提高醫(yī)療安全[2]。優(yōu)秀的超聲心動圖醫(yī)生培養(yǎng)困難一直是行業(yè)內(nèi)存在的問題。人工智能(artificial intelligence,AI)是一種能夠模擬、擴展人類智能及執(zhí)行相關(guān)任務(wù)的新技術(shù)方法。假設(shè)AI方法可獲得與專家接近的診斷水平,將極大的提高對先心病的篩查和診斷效率。本文就深度學(xué)習(xí)在兒科先心病超聲心動圖診斷中的應(yīng)用進展進行綜述。

1 AI在超聲心動圖的基本方法

1.1 機器學(xué)習(xí)與深度學(xué)習(xí)

1.1.1 機器學(xué)習(xí)(machining learning,ML) ML的基本原理是從數(shù)據(jù)中學(xué)習(xí)并獲得預(yù)測結(jié)果輸出,依據(jù)學(xué)習(xí)方法分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)[3],這3種學(xué)習(xí)方法各具優(yōu)勢,需要綜合擬解決的問題難度和數(shù)據(jù)類型,達(dá)到先心病診斷要求而綜合舍取。

1.1.2 深度學(xué)習(xí)(deep learning,DL) DL是機器學(xué)習(xí)的一個子集,經(jīng)輸入大規(guī)模的高維度數(shù)據(jù),構(gòu)建深層的人工神經(jīng)網(wǎng)絡(luò)并進行經(jīng)驗學(xué)習(xí)訓(xùn)練,從而獲得精準(zhǔn)的預(yù)測模型。近些年來在大數(shù)據(jù)、模型、GPU三要素加持下,在心臟影像研究領(lǐng)域中,DL搭建出了一系列優(yōu)秀的網(wǎng)絡(luò),包括全連接網(wǎng)絡(luò)(fully connected network,FCN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)、卷積神經(jīng)網(wǎng)絡(luò)(convolution neural networks,CNN)等,其中CNN為當(dāng)前DL在醫(yī)學(xué)領(lǐng)域發(fā)展的最受關(guān)注網(wǎng)絡(luò),其主流算法有Resnet、U-Net、DeepLab、SqueezeNet、GoogLeNet等[4],這已是在先心病研究中較為常用的網(wǎng)絡(luò)模型。

1.2 圖像分類與分割 AI研究兒科先心病的基本步驟包括對標(biāo)準(zhǔn)切面自動識別、心臟結(jié)構(gòu)的自動分割和心臟功能自動評估等,獲得圖像診斷的預(yù)測模型,進而實現(xiàn)對結(jié)構(gòu)性心臟病的診斷。其中,圖像分類是結(jié)構(gòu)識別、分割、定位和定量的基礎(chǔ)。

1.2.1 圖像分類 圖像分類是將先心病圖像分類為具有醫(yī)學(xué)意義的不同類別。圖像分類的傳統(tǒng)流程包含特征提取與分類兩個模塊。常用的分類網(wǎng)絡(luò)有Alexnet、VGG Resnet、Resnet、Densenet、SqueezeNet GoogLeNet[5]。視圖分類是實現(xiàn)自動超聲心動圖診斷的初始步驟。一套完整的心臟檢查可能有70多個視頻,但由于先心病的結(jié)構(gòu)、功能和心率差異較大,變異性相對較大,使先心病的圖像分類成為比較復(fù)雜的過程。雖然成人超聲心動圖切面的識別已經(jīng)取得了一些進展,已經(jīng)實現(xiàn)了對確定的靜態(tài)圖像進行識別,整體準(zhǔn)確率也達(dá)到了84%,但這些對兒科先心病的診斷還遠(yuǎn)遠(yuǎn)不夠。Gearhart等[6]構(gòu)建了小兒超聲心動圖視圖分類的CNN模型,實現(xiàn)了對27個切面的識別,總體準(zhǔn)確率達(dá)到了90.3%。這個模型是迄今為止研究報道中最為全面的兒科超聲心動圖視圖分類器,與已發(fā)表的成人超聲心動圖視圖分類模型相比,性能甚至更好,當(dāng)前國內(nèi)劉貽曼等[7]通過改進密集連接網(wǎng)絡(luò)(DenseNet),實現(xiàn)了15個兒童心臟超聲標(biāo)準(zhǔn)切面的自動識別,對兒童超聲心動圖切面自動識別領(lǐng)域有了進一步補充。

1.2.2 圖像分割 圖像分割是指按照病變心臟中擬識別的目標(biāo)結(jié)構(gòu),并結(jié)合圖像的相似性,將圖像劃分為不同區(qū)域,用于AI進行結(jié)構(gòu)的學(xué)習(xí)和識別,是計算機視覺和圖像處理領(lǐng)域的基本內(nèi)容。傳統(tǒng)的圖像分割方法如閾值法、邊界法、面積法等,是基于圖像的顏色、紋理和形狀等信息進行處理的。而AI采用的語義分割和實例分割具有更明顯的優(yōu)勢。語義分割[8]是將視覺圖像的輸入劃分為初步可解釋類別。實例分割是在目標(biāo)語義分割的基礎(chǔ)上,對同一個類別的影像進一步細(xì)化個體,得到更精細(xì)和準(zhǔn)確的分類,從而進一步識別結(jié)構(gòu)細(xì)節(jié),在醫(yī)學(xué)的意義是用于識別判斷先心病診斷所需要的病理或生理性結(jié)構(gòu)。先心病圖像分割的網(wǎng)絡(luò)框架主要有FCN、CNN和U-net等。這些分割網(wǎng)絡(luò)可以采用單一的,或綜合應(yīng)用多種模型方法進行影像結(jié)構(gòu)分割,目的是達(dá)到醫(yī)學(xué)專家級的精度和準(zhǔn)度。例如,Hu等[9]采用了FCN-Unet-GAN即雙網(wǎng)絡(luò)生成對抗網(wǎng)絡(luò)(BiSeNet),對小兒心尖四腔圖的結(jié)構(gòu)進行分割。

2 基于DL的超聲心動圖對先心病診斷分類

2.1 胎兒心臟畸形 在現(xiàn)行的分級醫(yī)療體系下,盡管80%的胎兒復(fù)雜心臟畸形得以診斷,但專業(yè)培訓(xùn)程度、操作者的經(jīng)驗、設(shè)備儀器等多因素影響,臨床上總體心臟畸形的產(chǎn)前檢出率仍低于30%,診斷的敏感性僅有40%～50%,值得研究應(yīng)用AI方法提高篩查的普適性和檢出率。Arnaout等[10]使用了1 326例的107 823張18～24周的胎兒超聲檢查圖像進行模型訓(xùn)練,采用基于CNN的Resnet,自動篩選出胎兒畸形的5個標(biāo)準(zhǔn)切面圖像。為了證明模型目標(biāo)是提出具有臨床特征的圖像,作者采用了顯著性映射和Grad-CAM,顯示了模型的圖像分割、分類和特征提取的關(guān)鍵像素或區(qū)域結(jié)果,打破了DL網(wǎng)絡(luò)工作運行過程中的“盲盒”過程。在獲得標(biāo)準(zhǔn)切面的識別后,Resnet模型還實現(xiàn)了對正常與16種常見畸形結(jié)構(gòu)的初步鑒別,并在內(nèi)部測試集4 108例胎兒中,獲得診斷效能為受試者工作特征(ROC)曲線下面積為0.99,敏感度和特異度分別達(dá)到95%和96%,陰性預(yù)測值達(dá)到100%。在這個Resnet模型的圖像特征識別中,采用了三血管圖的主動脈與肺動脈的相對大小,心尖四腔圖的室間隔角度與右心的相對大小,來識別法洛四聯(lián)癥與左心發(fā)育不良綜合征。同時應(yīng)用了改良的U-Net來識別四腔圖像中的心胸結(jié)構(gòu),實現(xiàn)對胎兒心胸比率、心軸和面積分?jǐn)?shù)的自動測算,取得了與文獻其他作者報道較為一致的結(jié)果。作者認(rèn)為,基于DL的Resnet可以使社區(qū)級別的產(chǎn)前篩查的敏感度及特異度增加1倍。國內(nèi)龔玉新團隊[11]使用的基于生成對抗網(wǎng)絡(luò)的卷積神經(jīng)網(wǎng)絡(luò),實現(xiàn)了在胎兒超聲心動圖四腔圖對畸形的初步自動篩查,在他們的內(nèi)部測試集中準(zhǔn)確率也高達(dá)85%。由此可見DL在輔助產(chǎn)前胎兒心臟畸形的篩查,已經(jīng)顯示出一定的潛力。

2.2 左心發(fā)育不良綜合征(hypoplastic left heart syndrome,HLHS) HLHS是以左心發(fā)育不全為特征的一組復(fù)雜畸形,手術(shù)單心室循環(huán)建立之后,遠(yuǎn)期預(yù)后級差,與并發(fā)癥心力衰竭、三尖瓣的結(jié)構(gòu)和功能異常有關(guān),故實現(xiàn)對三尖瓣的準(zhǔn)確分割成為HLHS治療方案與預(yù)后的關(guān)鍵。在對三尖瓣圖像分割中,經(jīng)食管超聲心動圖三維圖像優(yōu)于經(jīng)胸超聲心動圖三維圖像,但小兒經(jīng)食管超聲有一定局限性,研究多圍繞經(jīng)胸超聲心動圖展開。Herz等[12]采用全卷積神經(jīng)網(wǎng)絡(luò)對129例左心發(fā)育不良綜合征患兒的161組圖像展開研究,目標(biāo)是實現(xiàn)對小兒三尖瓣的精準(zhǔn)分割、定量評價和三尖瓣返流程度。在增加瓣環(huán)及瓣葉連接點標(biāo)志等注釋后進行了監(jiān)督學(xué)習(xí),獲得的分割模型的骰子系數(shù)(dice coefficient,DICE)達(dá)到0.86,平均邊界距離(mean boundary distance,MBD)達(dá)到0.35,平均分割精度與專家相似,重復(fù)檢測的一致性高于專家的檢測結(jié)果。這是文獻中報道的首個個基于DL的兒科先天性心臟病中瓣膜分割的模型,為進一步開拓小兒先心病瓣膜結(jié)構(gòu)和功能AI研究奠定了基礎(chǔ)。

2.3 室間隔缺損與房間隔缺損 室間隔缺損(ventricular septal defect,VSD)和房間隔缺損(atrial septal defect,ASD)同屬于兒科常見、相對簡單的先心病,但因不具備特別的心臟、血管的結(jié)構(gòu)異常,缺損的部位和大小較為局限,診斷的延遲率較高,甚至到成年人才得以診斷,從而引起肺炎和肺動脈高壓等并發(fā)癥。Wang等[13]提出了基于CNN和RNN的端到端框架,對靜態(tài)圖像及和視頻進行自動分析,采用的數(shù)據(jù)集包含1 308例,其中10%為固定測試集,應(yīng)用5個常用切面識別房間隔、室間隔,結(jié)合心房和心室容積大小變化,實現(xiàn)了對ASD與VSD的診斷。為了提高計算性能,彌補樣本不足導(dǎo)致的過擬合問題,作者在原AlexNet基礎(chǔ)上增加了深度可分離卷積(depthwise convolution,DSC)算法,進一步提高了網(wǎng)絡(luò)性能(5.4%),也減小了網(wǎng)絡(luò)的計算量(94%),最終在靜態(tài)圖像上,對正常心臟、ASD和VSD的診斷準(zhǔn)確率達(dá)到95.4%,具體到區(qū)分兩種間隔缺損的準(zhǔn)確率也有92.3%。在視頻圖像上診斷兩者的準(zhǔn)確率則分別達(dá)到93.9%、92.1%。而如果僅使用心尖四腔圖,診斷準(zhǔn)確率將會降低5%。因此,這是首個使用多視圖切面對先心病進行初步自動診斷的AI模型,比以往報道的單切面更加全面。Jiang等[14]使用深度學(xué)習(xí)模型于7個常用兒科超聲心動圖標(biāo)準(zhǔn)切面的二維及彩色多普勒圖像上,實現(xiàn)自動診斷包含ASD、VSD在內(nèi)的3種簡單先心病,準(zhǔn)確率可達(dá)92.3%。其他使用的卷積網(wǎng)絡(luò)模型輔助室間隔缺損和房間隔缺損的還有IFT-Net[15]、EchoNet[16]等網(wǎng)絡(luò)。

2.4 主動脈縮窄(coarctation of the aorta,CoA) CoA占先心病的4%～6%,重癥CoA是導(dǎo)管依賴性先心病,胎兒期和新生兒期診斷是決定嬰兒能否得以存活的關(guān)鍵。Coa病變進程受主動脈發(fā)育和流經(jīng)血流量影響,胎兒期的心腔的變化可以不明顯,產(chǎn)檢診斷的假陽性和假陰性較高,有較大的局限性,文獻報道的部分CoA的產(chǎn)前檢出率僅為21.7%～52%。新生兒期CoA的篩查成為超聲心動圖的重要內(nèi)容。Pereira等[17]提出了基于3個常用標(biāo)準(zhǔn)圖像,即胸骨旁長軸圖、心尖四腔心圖、胸骨上窩圖,采用機器學(xué)習(xí)的全自動算法實現(xiàn)了對新生兒CoA的自動診斷。該算法主要用堆疊降噪自動編碼器(SDAE)進行特征提取,支持向量機(SVM)進行分類。主要方法是經(jīng)胸骨上窩主動脈長軸圖及胸骨旁左室長軸圖上,觀察主動脈動脈導(dǎo)管相鄰處附近有無明顯的內(nèi)徑異常。其中心尖四腔圖雖然不能夠得出CoA的診斷,但可以提供左心室增大等間接診斷信息。采用兩個模型后,準(zhǔn)確率最高的是胸骨旁左室長軸圖與心尖四腔圖的組合。而基于上述3個圖像的運算,包含90例數(shù)據(jù)(26例CoA)的驗證集,最終結(jié)果為總錯誤率12.9%,假陽性率11.5%,假陰性率13.6%。盡管這一結(jié)果還有待提升,但仍然優(yōu)于采用心臟雜音加脈搏血氧儀進行篩查結(jié)果。盡管在先心病中CoA的占比不高,但鑒于CoA的嚴(yán)重不良預(yù)后,加強CoA診斷方法研究也有助于與其他復(fù)雜先心病的鑒別診斷。

2.5 動脈導(dǎo)管未閉(patent ductus arteriosus,PDA) PDA是最常見的先天性心臟病之一,約占先天性心臟病的10%～21%,僅次于房間隔缺損與室間隔缺損。PDA常無明顯臨床癥狀,晚期可引起嚴(yán)重肺動脈高壓,出現(xiàn)右向左分流時還能引起患兒發(fā)紺。盡管PDA的診斷并不困難,但初級醫(yī)生還是有一定概率會漏誤診PDA。Erno等[18]訓(xùn)練基于CNN的深度學(xué)習(xí)模型,在自動診斷PDA上敏感度達(dá)到0.83,特異度達(dá)到0.89,同樣的研究關(guān)于PDA的自動診斷還有Jiang等[14]。

3 AI超聲心動圖對先心病心臟功能的定量分析

左心室射血分?jǐn)?shù)(left ventricular ejection fraction,LVEF)是超聲心動圖最為常用的心臟收縮功能指標(biāo)。傳統(tǒng)手工勾畫圖像后獲得左心室舒張末期和收縮末期容積的方法獲得LVEF。這種方法在觀察者之間存在差異,對急重癥者耗時仍然較長。自動測量EF在成年人超聲心動圖中取得了較好的進展,Knackstedt等[19]應(yīng)用最新版,具有機器學(xué)習(xí)輔助計算模型TomTec工作站,獲得了接近專家診斷水平的LVEF,耗時僅8 s。Ouyang等[20]利用DL模型ECHO-NET實現(xiàn)了左心室的幀級語義分割,初步實現(xiàn)了對左心室舒張末期容積、每搏輸出量和射血分?jǐn)?shù)的自動計算。兒科LVEF自動計算的研究為數(shù)不多,Zuercher等[21]遷移了成年人的EchoNet-Dynamic模型,嘗試用于兒科患者。該數(shù)據(jù)集包含267例正常心臟、54例擴張型心肌病。經(jīng)改良EchoNet-Dynamic模型計算出兒科對象的LVEF,MAE為4.47%,均方根誤差(RMSE)為5.54%,平均絕對百分比誤差(MAPE)為7.57%、R2為0.87,這種應(yīng)用于成人預(yù)測模型在對心臟時空特征提取有一定幫助,但應(yīng)用于兒科仍有較大的局限性,尤其是成人與兒童心率和心臟解剖學(xué)大小、形狀的差異較大,仍然需要較大的兒科超聲心動圖數(shù)據(jù)進一步訓(xùn)練。

在兒科超聲心動圖心腔容積的計算中,也有采用的EchoNet-Peds[22]及MAEF-Net模型[23],但均還不足以獲得臨床診斷效果,關(guān)鍵問題還是DL模型中的分層級數(shù)據(jù)訓(xùn)練不足。

4 涉及AI的干預(yù)的超聲心動圖臨床試驗

AI技術(shù)在臨床醫(yī)療應(yīng)用以來,DL技術(shù)得以廣泛應(yīng)用,尤其是在疾病的篩查與分診、診斷與預(yù)后評估,以及決策支持與治療建議等諸多方面研究有了較大的進展,但仍然存在AI技術(shù)在臨床試驗中的倫理、法規(guī)的空白區(qū)域。現(xiàn)行的相關(guān)指南(SPIRIT和CONSORT)適用于傳統(tǒng)的健康干預(yù)措施和臨床研究,但并未充分解決AI系統(tǒng)特有的潛在問題。2020年9月9日,權(quán)威雜志《Nat Med》《BMJ》《The Lancet Digital Health》同步發(fā)了指南《Guidelines for clinical trial protocols for interventions involving artificial intelligence: the SPIRIT-AI extension》[24-26]和《Reporting guidelines for clinical trial reports for interventions involving artificial intelligence:the CONSORT-AI extension》[27-29],SPIRIT-AI和CONSORT-AI為如何設(shè)計、開展和報告涉及AI的臨床試驗提供了框架。其中SPIRIT-AI是對臨床試驗方案指南SPIRIT 2013的擴展,CONSORT-AI是對臨床試驗報告指南CONSORT 2010的擴展?；趯I的方法學(xué)和倫理學(xué),該指南分別在原有基礎(chǔ)上增加15及14個新條目,強調(diào)了新增條目對評估AI介入效果非常重要,包括對AI介入環(huán)節(jié)進行清晰的描述、使用說明、使用AI所需的技能、AI的集成環(huán)境、AI輸入和輸出、人機交互細(xì)節(jié)和提供錯誤案例分析等,目標(biāo)是提高臨床試驗的安全性和倫理性,這部指南為AI系統(tǒng)的超聲心動圖臨床試驗提供了第一個國際標(biāo)準(zhǔn),尤其是涉及先心病的診斷和治療。SPIRIT-AI、CONSORT-AI的推出,旨在幫助提高針對AI介入臨床試驗的透明度和完整性,解釋和嚴(yán)格評估臨床試驗設(shè)計的質(zhì)量以及報告結(jié)果存在偏倚的風(fēng)險,但其也有不足,其主要針對的是監(jiān)督學(xué)習(xí),并未對無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)提供研究準(zhǔn)則。

5 問題與展望

5.1 AI與數(shù)據(jù) 數(shù)據(jù)集的標(biāo)準(zhǔn)化不足,是DL超聲心動圖中的首要難點,這與多中心之間互通病例和存儲圖像不規(guī)范、不完整有關(guān),難以達(dá)到DL訓(xùn)練時對病例的“見多識廣“的要求;人工標(biāo)注的精度不足,用于訓(xùn)練的標(biāo)注應(yīng)該是正確的,但超聲專家因繁忙,往往是工科或醫(yī)科初級學(xué)生承擔(dān),標(biāo)注的誤差較大,影響了模型的準(zhǔn)確性。例如即使是當(dāng)前世界上最大的圖像識別數(shù)據(jù)庫ImageNet也存在著約6%的標(biāo)簽錯誤[30]。

5.2 AI與臨床 基于AI超聲心動圖是為了更好地解決臨床問題,而不是為了發(fā)展AI而將其與臨床問題強行掛鉤,本末倒置。AI與臨床醫(yī)生不應(yīng)該是競爭或者替代關(guān)系,兩者應(yīng)該是相互促進。AI可以幫助臨床醫(yī)生充分利用現(xiàn)有數(shù)據(jù),減輕人工負(fù)擔(dān);臨床醫(yī)生也可以利用自己的專業(yè)知識及臨床經(jīng)驗對AI模型的改善提出建議,促進AI模型的改良,并對AI作出的預(yù)測結(jié)果是否合格或正確做最終的定奪。

綜上所述,以DL為基礎(chǔ)的AI輔助小兒先心病的篩查和診斷,已經(jīng)初現(xiàn)出臨床應(yīng)用前景,應(yīng)用于臨床決策支持、智能地向臨床醫(yī)生提供有效的支持,或是將AI結(jié)果與患者的醫(yī)療條件和數(shù)據(jù)相關(guān)聯(lián),實現(xiàn)AI的真實場景應(yīng)用,仍需要多學(xué)科、多中心合作,建立完整公開數(shù)據(jù)庫,增強AI模型在兒科超聲先心病診斷的泛化能力。

利益相關(guān)聲明:所有作者均聲明不存在利益沖突。

作者貢獻說明:陳訓(xùn)藝負(fù)責(zé)檢索、翻譯文獻及論文撰寫;陳偉玲、夏焙負(fù)責(zé)指導(dǎo)和論文修改工作。