陳 萌,耿 辰,李郁欣,耿道穎,鮑奕仿#,戴亞康,*
基于模糊標(biāo)簽和深度學(xué)習(xí)的TOF-MRA影像腦動(dòng)脈瘤自動(dòng)檢測(cè)
陳 萌1,耿 辰2,李郁欣3,耿道穎3,鮑奕仿3#,戴亞康1,2*
1. 徐州醫(yī)科大學(xué) 醫(yī)學(xué)影像學(xué)院,江蘇 徐州 221000;2. 中國(guó)科學(xué)院蘇州生物醫(yī)學(xué)工程技術(shù)研究所,江蘇 蘇州 215000;3. 復(fù)旦大學(xué)附屬華山醫(yī)院 放射科,復(fù)旦大學(xué)醫(yī)學(xué)功能與分子影像研究所,上海 200000
腦動(dòng)脈瘤破裂造成的蛛網(wǎng)膜下腔出血致死致殘率極高,借助深度學(xué)習(xí)網(wǎng)絡(luò)輔助醫(yī)生實(shí)現(xiàn)高效篩查具有重要意義.為提高基于時(shí)間飛躍法磁共振血管造影(Time of Flight-Magnetic Resonance Angiography,TOF-MRA)的腦動(dòng)脈瘤自動(dòng)檢測(cè)的精度,本文基于模糊標(biāo)簽方式,提出一種基于變體3D U-Net和雙分支通道注意力(Dual-branch Channel Attention,DCA)的深度神經(jīng)網(wǎng)絡(luò)DCAU-Net,DCA模塊可以自適應(yīng)地調(diào)整通道特征的響應(yīng),提高特征提取能力.首先對(duì)260例病例的TOF-MRA影像預(yù)處理,將數(shù)據(jù)集分為174例訓(xùn)練集、43例驗(yàn)證集和43例測(cè)試集,然后使用處理后的數(shù)據(jù)訓(xùn)練和驗(yàn)證DCAU-Net,測(cè)試集實(shí)驗(yàn)結(jié)果表明DCAU-Net可以達(dá)到90.69%的敏感度,0.83個(gè)/例的假陽(yáng)性計(jì)數(shù)和0.52的陽(yáng)性預(yù)測(cè)值,有望為動(dòng)脈瘤篩查提供參考.
腦動(dòng)脈瘤;自動(dòng)檢測(cè);深度學(xué)習(xí);模糊標(biāo)簽;雙分支注意力
腦動(dòng)脈瘤是腦動(dòng)脈內(nèi)腔的局限性異常擴(kuò)大造成動(dòng)脈壁的一種瘤狀突出[1],一般情況下,由顱內(nèi)動(dòng)脈管壁局部的先天性缺失引起.腦動(dòng)脈瘤多發(fā)于Willis環(huán),在40~60歲人群中常見(jiàn),其破裂是導(dǎo)致蛛網(wǎng)膜下腔出血的主要原因[2].動(dòng)脈瘤性蛛網(wǎng)膜下腔出血占所有自發(fā)性蛛網(wǎng)膜下腔出血的85%[3],其臨床表現(xiàn)為癲癇發(fā)作、意識(shí)障礙、驟然劇烈頭痛和嘔吐等[4].然而,腦動(dòng)脈瘤的破裂沒(méi)有預(yù)兆,一旦破裂,患者的病情便會(huì)急速惡化,首次破裂的致死致殘率高達(dá)30%左右[5],同時(shí),還會(huì)誘發(fā)不同程度的腦血管痙攣和急性腦積水.因此,在早期篩查中發(fā)現(xiàn)動(dòng)脈瘤,分析動(dòng)脈瘤的大小、形狀、位置等對(duì)評(píng)估破裂風(fēng)險(xiǎn)、規(guī)劃治療方案十分重要[6].
醫(yī)學(xué)影像是醫(yī)師進(jìn)行篩查、診療、評(píng)估的關(guān)鍵工具,在診療過(guò)程中有著不容小覷的作用[7].目前,臨床對(duì)腦動(dòng)脈瘤的診斷以數(shù)字減影血管造影(Digital Subtraction Angiography,DSA)為“金標(biāo)準(zhǔn)”,但DSA的有創(chuàng)、患者易對(duì)造影劑過(guò)敏、耗時(shí)長(zhǎng)和檢查費(fèi)用高等缺點(diǎn)限制了其在臨床的廣泛應(yīng)用.最近數(shù)年,隨著計(jì)算機(jī)斷層掃描血管造影(Computed Tomography Angiography,CTA)和磁共振血管造影(Magnetic Resonance Angiography,MRA)技術(shù)的發(fā)展和完善,以上兩種方法對(duì)腦動(dòng)脈瘤的診斷準(zhǔn)確率幾乎一致并且已接近DSA[8],在腦動(dòng)脈瘤篩查的影響也逐年擴(kuò)大.其中,時(shí)間飛躍法磁共振血管造影(Time of Flight-Magnetic Resonance Angiography,TOF-MRA)無(wú)創(chuàng)并且無(wú)需造影劑,同時(shí)還具有血管顯示清晰、操作容易、圖像穩(wěn)定的優(yōu)點(diǎn)[9],因此成為常規(guī)體格檢查、門診篩查過(guò)程中最為常用的影像模態(tài)之一,同時(shí)三維影像與二維影像相比,具有更豐富的信息[10].
雖然血管造影技術(shù)在不斷發(fā)展,但是由于動(dòng)脈瘤形狀大小不一,且位于形態(tài)復(fù)雜的顱內(nèi)血管上,動(dòng)脈瘤的人工篩查依舊耗時(shí)耗力.隨著深度學(xué)習(xí)技術(shù)的發(fā)展,基于深度神經(jīng)網(wǎng)絡(luò)的方法可以實(shí)現(xiàn)腦動(dòng)脈瘤的自動(dòng)檢測(cè),從而輔助醫(yī)生篩查,提高診斷效率.Nakao等[11]基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)和最大密度投影(Maximum Intensity Projection,MIP)[12]率先研發(fā)出一套檢測(cè)腦動(dòng)脈瘤的計(jì)算機(jī)輔助診斷系統(tǒng),他們將圖像九個(gè)方向的MIP圖像進(jìn)行拼接輸入CNN,經(jīng)測(cè)試,該模型達(dá)到了70%的敏感度和0.26個(gè)/例的假陽(yáng)性計(jì)數(shù),但模型很難區(qū)分與動(dòng)脈瘤相似的血管堆疊區(qū)域,忽略了三維影像的空間、通道特征;Ueda等[13]基于ResNet-18[14]提出自動(dòng)檢測(cè)模型,將包含動(dòng)脈瘤的血管在內(nèi)的多種血管畸形輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練,克服了模型誤判的問(wèn)題,最終獲得了92.5%的敏感度和9個(gè)/例的假陽(yáng)性計(jì)數(shù),但假陽(yáng)性過(guò)高,無(wú)法達(dá)到臨床應(yīng)用水平;Sichtermann等[15]使用DeepMedic[16]檢測(cè)動(dòng)脈瘤,他們的工作側(cè)重于對(duì)比不同的數(shù)據(jù)預(yù)處理方式,最終模型在17例測(cè)試集上獲得了90%的敏感度;Geng等[17]對(duì)3D U-Net[18]進(jìn)行優(yōu)化,將血管分割后的圖像輸入到模型中,在35例測(cè)試集上獲得了82.9%的敏感度和0.86個(gè)/例的假陽(yáng)性計(jì)數(shù),敏感度仍待提高.綜上所述,由于動(dòng)脈瘤在腦部影像中的占比較小,容易和血管堆疊區(qū)域混淆,如何輔助醫(yī)生實(shí)現(xiàn)自動(dòng)檢測(cè)目前仍具有挑戰(zhàn)性.
本研究基于模糊標(biāo)簽的方式,醫(yī)生標(biāo)注時(shí)僅需涂鴉式標(biāo)注動(dòng)脈瘤的大致區(qū)域,而不需要進(jìn)行體素級(jí)別的標(biāo)注,極大提高了標(biāo)注的效率.同時(shí)提出一種基于變體3D U-Net[18]和雙分支通道注意力(Dual-branch Channel Attention,DCA)模塊的深度神經(jīng)網(wǎng)絡(luò)DCAU-Net,實(shí)現(xiàn)3D TOF-MRA影像中的腦動(dòng)脈瘤的自動(dòng)檢測(cè).DCA模塊可以在模型訓(xùn)練時(shí)自適應(yīng)地賦予特征通道權(quán)值,促使網(wǎng)絡(luò)關(guān)注那些對(duì)描述動(dòng)脈瘤區(qū)域有意義的通道特征.
本研究的實(shí)驗(yàn)數(shù)據(jù)來(lái)源于復(fù)旦大學(xué)附屬華山醫(yī)院,入組標(biāo)準(zhǔn)為:(1)患有囊狀、未破裂腦動(dòng)脈瘤的患者:(2)術(shù)前影像掃描包含3D TOF-MRA;(3)無(wú)嚴(yán)重運(yùn)動(dòng)偽影.在2014年3月至2021年3月采集的患者3D TOF-MRA影像,符合上述入組條件的病例共有260例,數(shù)據(jù)的人工標(biāo)注由三位低年資醫(yī)師和一位高年資醫(yī)師完成.本研究使用的數(shù)據(jù)均來(lái)源于臨床常規(guī)工作,同時(shí)本回顧性研究已獲得合作醫(yī)院機(jī)構(gòu)倫理委員會(huì)的批準(zhǔn).本研究選取43例病例的數(shù)據(jù)作為測(cè)試集,剩余217例病例的數(shù)據(jù)按4:1的比例劃分成訓(xùn)練集和驗(yàn)證集,如表1所示.訓(xùn)練集174名患者共有182個(gè)動(dòng)脈瘤,平均最大徑為5.48±3.29 mm,其中8名患者有雙發(fā)動(dòng)脈瘤;驗(yàn)證集中43名患者共有46個(gè)動(dòng)脈瘤,平均最大徑為5.42±3.25 mm,其中1名患者有雙發(fā)動(dòng)脈瘤,1名患有三發(fā)動(dòng)脈瘤;測(cè)試集中43名患者共有46個(gè)動(dòng)脈瘤,平均最大徑為5.48±3.82 mm,其中3位患者有雙發(fā)動(dòng)脈瘤.所有數(shù)據(jù)集的動(dòng)脈瘤區(qū)域分布中,頸內(nèi)動(dòng)脈區(qū)的動(dòng)脈瘤占比最多;椎動(dòng)脈區(qū)的動(dòng)脈瘤占比最少,其中測(cè)試集中沒(méi)有椎動(dòng)脈區(qū)動(dòng)脈瘤.?dāng)?shù)據(jù)集中有18%的1.5 T影像和82%的3 T影像,分別在GE Discovery MR750和Siemens Verio兩種儀器上進(jìn)行采集,表2詳細(xì)展示了不同儀器在采集不同場(chǎng)強(qiáng)數(shù)據(jù)時(shí)使用的參數(shù).
表1 患者信息表
表2 數(shù)據(jù)采集參數(shù)表
本文提出了一個(gè)腦動(dòng)脈瘤自動(dòng)檢測(cè)模型DCAU-Net,該方法的流程如圖1所示,輸入圖像后進(jìn)行數(shù)據(jù)預(yù)處理和模糊標(biāo)簽,接著劃分?jǐn)?shù)據(jù)集,得到訓(xùn)練集、驗(yàn)證集和測(cè)試集,接著對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)擴(kuò)增,訓(xùn)練DCAU-Net得到最佳模型后在測(cè)試集上進(jìn)行測(cè)試,輸出檢測(cè)結(jié)果.
圖1 腦動(dòng)脈瘤檢測(cè)流程圖
1.2.1 數(shù)據(jù)預(yù)處理
數(shù)據(jù)預(yù)處理的目的是盡可能保證數(shù)據(jù)的特征分布一致,以提高圖像的質(zhì)量,本研究進(jìn)行數(shù)據(jù)預(yù)處理時(shí),有如圖2所示的三個(gè)操作:
(1)N4場(chǎng)強(qiáng)校正[19].本研究使用N4場(chǎng)強(qiáng)校正使圖像的灰度分布均衡.
(2)圖像標(biāo)準(zhǔn)化.由于采用不同的儀器采集數(shù)據(jù),患者之間的圖像灰度分布范圍存在差異,本研究使用標(biāo)準(zhǔn)化的方法將所有圖像的灰度值標(biāo)準(zhǔn)化至[0, 1 024]之間.
(3)血管提取[17].本研究采用包圍盒自動(dòng)選取種子點(diǎn),區(qū)域自適應(yīng)生長(zhǎng)的方式提取標(biāo)準(zhǔn)化后圖像中的血管.
圖2 數(shù)據(jù)預(yù)處理流程
此外,為了保證網(wǎng)絡(luò)訓(xùn)練過(guò)程中有足夠的數(shù)據(jù),本研究對(duì)訓(xùn)練集進(jìn)行了數(shù)據(jù)擴(kuò)增,通過(guò)翻轉(zhuǎn)、離散高斯濾波和直方圖均衡化將訓(xùn)練集擴(kuò)增為原來(lái)的8倍.具體地講,先使用翻轉(zhuǎn)將原始訓(xùn)練集擴(kuò)增為原來(lái)的2倍;然后使用離散高斯濾波對(duì)原始訓(xùn)練集和翻轉(zhuǎn)后數(shù)據(jù)進(jìn)行擴(kuò)增,此時(shí)數(shù)據(jù)量為原始訓(xùn)練集的4倍;最后使用直方圖均衡化對(duì)現(xiàn)有的全部數(shù)據(jù)進(jìn)行擴(kuò)增,此時(shí)數(shù)據(jù)量為原始訓(xùn)練集的8倍.
1.2.2 模糊標(biāo)簽
醫(yī)學(xué)圖像的標(biāo)注依賴于醫(yī)生的專業(yè)知識(shí)和臨床經(jīng)驗(yàn),本研究使用患者的3D TOF-MRA影像,三維影像的體素?cái)?shù)量大,醫(yī)生進(jìn)行體素級(jí)別的標(biāo)注過(guò)程耗時(shí)耗力,因此本研究采用了模糊標(biāo)簽的方法,根據(jù)原始標(biāo)注的動(dòng)脈瘤(label=1,即掩膜圖像中值為1的區(qū)域)大小進(jìn)行不同尺度的膨脹,因而醫(yī)生僅需涂鴉式的標(biāo)出動(dòng)脈瘤的大致區(qū)域.具體來(lái)說(shuō),本研究統(tǒng)計(jì)了數(shù)據(jù)原始標(biāo)注的邊界體素坐標(biāo),計(jì)算所有邊界坐標(biāo)之間的歐式距離并取最大值,然后以原始標(biāo)注的質(zhì)心為原點(diǎn),最大歐氏距離為直徑膨脹原始標(biāo)注,膨脹后的球體可以將原始標(biāo)注完全包括在內(nèi),其示意圖如圖3所示,紅色代表原始標(biāo)簽,黃色為膨脹后的標(biāo)簽.
圖3 模糊標(biāo)簽示例
1.2.3 DCAU-Net網(wǎng)絡(luò)
本研究提出的DCAU-Net的具體結(jié)構(gòu)如圖4所示.在編碼路徑,除輸入層是3×3×3大小、步長(zhǎng)為1的卷積操作,每一層都由3×3×3大小、步長(zhǎng)為2的卷積塊和信息模塊組成,其中信息模塊是由兩層3×3×3大小、步長(zhǎng)為2的卷積層構(gòu)成,同時(shí)設(shè)置了丟棄概率為0.3的dropout層,并且在卷積塊和信息模塊間嵌入了殘差連接以減少特征的損失;除此之外,本文在步長(zhǎng)為2的卷積塊后依次插入一個(gè)DCA模塊.在解碼路徑,除輸出層是3×3×3大小、步長(zhǎng)為1的卷積操作以外,其他每一層由局部化模塊和上采樣模塊組成,局部化模塊包括3×3×3大小、步長(zhǎng)為1的卷積層和1×1×1大小的卷積層,其輸入是由上采樣和編碼路徑的信息模塊輸出按位相乘的結(jié)果,同時(shí)在倒數(shù)兩層局部化模塊以及最后一次卷積塊后加入分割層補(bǔ)充上采樣過(guò)程中造成的特征損失,最終的輸出是由三層分割層輸出相加后經(jīng)過(guò)激活層,得到預(yù)測(cè)結(jié)果.
圖4 DCAU-Net網(wǎng)絡(luò)結(jié)構(gòu)
動(dòng)脈瘤往往在TOF-MRA影像中占比很小,隨著神經(jīng)網(wǎng)絡(luò)深度的加深,能夠表達(dá)動(dòng)脈瘤區(qū)域的特征會(huì)隨著卷積次數(shù)的增多而減少甚至消失.為了保留這些對(duì)描述動(dòng)脈瘤有意義的特征,本研究在網(wǎng)絡(luò)中加入了DCA模塊,該模塊可以在網(wǎng)絡(luò)訓(xùn)練過(guò)程中給輸入特征自適應(yīng)地賦予權(quán)值,促使網(wǎng)絡(luò)關(guān)注具有豐富表達(dá)意義的特征,增強(qiáng)網(wǎng)絡(luò)的特征表達(dá)能力.DCA模塊的結(jié)構(gòu)如圖5所示,原尺寸為(為寬度,為高度,為深度,為通道數(shù))的特征圖輸入基于通道注意力原理提出的DCA模塊中,經(jīng)過(guò)圖中分支①,由于腦動(dòng)脈瘤在影像中往往表現(xiàn)為高信號(hào)區(qū)域,因此腦動(dòng)脈瘤的信息在特征圖中常表現(xiàn)為最大值,通過(guò)全局最大池化和卷積操作將特征圖壓縮成1×1×1×大小,可以更好地保留描述動(dòng)脈瘤區(qū)域有意義的信息;同時(shí)由于部分血管彎曲或堆疊的區(qū)域有時(shí)也會(huì)呈現(xiàn)高信號(hào),經(jīng)過(guò)圖中分支②能夠提取更完整的全局信息,減少模型對(duì)血管堆疊或彎曲區(qū)域的誤判,首先通過(guò)卷積核大小為1×1×1的卷積操作,壓縮通道得到尺寸為×1的新特征圖后對(duì)輸入的高度、寬度、深度三個(gè)維度進(jìn)行展平和置換操作,得到尺寸為1×的特征圖,同時(shí)將原輸入特征的維度展平得到的特征圖,將維度展平后的兩者進(jìn)行點(diǎn)乘和擴(kuò)張操作,得到尺寸為1×1×1×的全局特征圖;接著將分支①與分支②輸出的特征圖相加,接著通過(guò)卷積操作和激活函數(shù)給每一個(gè)通道都生成對(duì)應(yīng)權(quán)重,權(quán)重的取值范圍在0~1之間;最后,通過(guò)將DCA生成的特征圖疊加到輸入特征圖上得到輸出特征,以達(dá)到提高模型特征表達(dá)能力的效果.
圖5 雙分支通道注意力(DCA)模塊結(jié)構(gòu)
使用以下的指標(biāo)來(lái)評(píng)估分割性能:敏感度(Sensitivity)、假陽(yáng)性計(jì)數(shù)(False Positive count,F(xiàn)P count)、陽(yáng)性預(yù)測(cè)值(Positive Predicted Value,PPV),這些指標(biāo)的計(jì)算方式如(1)~(3)式所示,其中TP(True Positive)表示被正確分為動(dòng)脈瘤的區(qū)域數(shù)量,F(xiàn)N(False Negative)表示動(dòng)脈瘤區(qū)域被錯(cuò)誤分為血管區(qū)域的數(shù)量,F(xiàn)P(False Positive)表示被錯(cuò)誤分為動(dòng)脈瘤的血管區(qū)域的數(shù)量,Number of subjects表示受試者數(shù)目.敏感度能夠有效反映檢測(cè)結(jié)果對(duì)目標(biāo)區(qū)域的敏感程度;假陽(yáng)性計(jì)數(shù)能評(píng)估平均每例數(shù)據(jù)的假陽(yáng)性數(shù)量,小于3個(gè)/例模型則被認(rèn)為具有臨床應(yīng)用潛力;PPV能得到真實(shí)目標(biāo)區(qū)域在檢測(cè)出的陽(yáng)性區(qū)域的比例.
訓(xùn)練網(wǎng)絡(luò)時(shí),本文使用型號(hào)為GeForce RTX 2080 Ti的GPU,顯存11GB,訓(xùn)練時(shí)長(zhǎng)為24~28 h,主要軟件環(huán)境為:Python 3.6、CUDA 10.0、Keras 2.3.1、TensorFlow-GPU 2.0.0.相關(guān)參數(shù)設(shè)置如下:圖像大小128×128×128;迭代次數(shù)500次;批處理大小為1;訓(xùn)練采用早停法,初始學(xué)習(xí)率為5e-4,若10次迭代內(nèi)驗(yàn)證集上的損失值不降低,學(xué)習(xí)率下降為上一次的1/2,若50次迭代內(nèi)驗(yàn)證集上的損失值不降低,則學(xué)習(xí)停止;Adam[20]作為優(yōu)化器;Dice Loss[21]作為模型訓(xùn)練的損失函數(shù).
本研究使用43例外部測(cè)試集對(duì)訓(xùn)練好的模型進(jìn)行評(píng)估,DCAU-Net在Sensitivity、FP count、 PPV三個(gè)指標(biāo)上分別為90.69%,0.83個(gè)/例,0.52.根據(jù)檢測(cè)結(jié)果可以發(fā)現(xiàn),本文提出的模型檢測(cè)出了大部分的腦動(dòng)脈瘤,圖6展示了4例模型預(yù)測(cè)結(jié)果,紅色箭頭指向動(dòng)脈瘤區(qū)域,黃色區(qū)域代表膨脹標(biāo)簽,紅色區(qū)域代表模型預(yù)測(cè)結(jié)果.
圖6 DCAU-Net檢測(cè)到的4例動(dòng)脈瘤數(shù)據(jù)可視化圖. 第一行展示了檢測(cè)結(jié)果和標(biāo)簽疊加在原圖的效果圖,第二行展示了動(dòng)脈瘤區(qū)域的局部放大效果圖
其中頸內(nèi)動(dòng)脈區(qū)檢測(cè)到了94%的動(dòng)脈瘤(30/32,檢測(cè)到的動(dòng)脈瘤數(shù)量/動(dòng)脈瘤總數(shù));大腦中動(dòng)脈區(qū)檢測(cè)到了75%的動(dòng)脈瘤(3/4);大腦前動(dòng)脈區(qū)檢測(cè)到了86%的動(dòng)脈瘤(6/7),基底動(dòng)脈區(qū)檢測(cè)到了100%的動(dòng)脈瘤(3/3).在未檢測(cè)到的4例動(dòng)脈瘤中,動(dòng)脈瘤的最大徑范圍為2.53~6.45 mm,其中兩例的位置為頸內(nèi)動(dòng)脈區(qū),剩余兩例的位置分別為大腦中動(dòng)脈區(qū)和大腦前動(dòng)脈區(qū).將未檢測(cè)到的數(shù)據(jù)進(jìn)行可視化的結(jié)果如圖7所示,圖中箭頭和圓圈均指示腦動(dòng)脈瘤區(qū)域.從左至右分別是雙發(fā)頸內(nèi)動(dòng)脈區(qū)動(dòng)脈瘤、單發(fā)頸內(nèi)動(dòng)脈區(qū)動(dòng)脈瘤、單發(fā)大腦中動(dòng)脈區(qū)動(dòng)脈瘤以及大腦前動(dòng)脈區(qū)動(dòng)脈瘤.其中雙發(fā)動(dòng)脈瘤僅檢測(cè)出單個(gè)動(dòng)脈瘤,考慮到本研究使用數(shù)據(jù)中患有多發(fā)動(dòng)脈瘤的病人較少,網(wǎng)絡(luò)在訓(xùn)練過(guò)程中可能會(huì)因?yàn)閿?shù)據(jù)的不均衡性而發(fā)生漏檢的情況;其余三例單發(fā)動(dòng)脈瘤均表現(xiàn)為假陽(yáng)性,觀察預(yù)測(cè)結(jié)果和標(biāo)簽三維重建后的結(jié)果,發(fā)現(xiàn)假陽(yáng)性區(qū)域往往表現(xiàn)為血管彎曲或凸起的高信號(hào)區(qū)域.
圖7 DCAU-Net未檢測(cè)到的4例動(dòng)脈瘤數(shù)據(jù)的可視化圖. 第一行展示了原始影像,第二行展示了局部放大的動(dòng)脈瘤區(qū)域,第三行展示了三維重建后的局部圖像
在相同的實(shí)驗(yàn)數(shù)據(jù)和硬件環(huán)境下,本研究對(duì)比了DCAU-Net與現(xiàn)有的動(dòng)脈瘤檢測(cè)算法[14,15,17](訓(xùn)練參數(shù)參考原文獻(xiàn))的性能,繪制了不同模型的自由響應(yīng)接收者操作特征(Free-Response Receiver Operating Characteristic,F(xiàn)ROC)[22]曲線,F(xiàn)ROC曲線如圖8所示,橫軸代表假陽(yáng)性計(jì)數(shù),縱軸代表敏感度,目的是通過(guò)對(duì)比模型激活層在不同的輸出閾值下,討論模型的敏感度和假陽(yáng)性計(jì)數(shù),圖8每幅子圖中曲線收斂的第一個(gè)點(diǎn)的坐標(biāo)代表了最佳閾值下模型的敏感度和假陽(yáng)性計(jì)數(shù).在最佳閾值下,所有模型在測(cè)試集上的結(jié)果如表3所示.可以看出,與本研究提出的DCAU-Net在敏感度上表現(xiàn)最好(90.69%),與ResNet-18(51.16%)、DeepMedic(86.04%)、3D U-Net(81.39%)相比,分別增加了39.53%、4.65%、9.30%;在假陽(yáng)性計(jì)數(shù)這一指標(biāo)上,DCAU-Net的結(jié)果(0.83個(gè)/例)略高于ResNet-18(0.57個(gè)/例),這是由于后者漏檢的動(dòng)脈瘤數(shù)目較多,DeepMedic的假陽(yáng)性計(jì)數(shù)最高,達(dá)3.40個(gè)/例,由于臨床經(jīng)驗(yàn)認(rèn)為患者的動(dòng)脈瘤數(shù)目最多不超過(guò)三發(fā),因此高于3個(gè)/例假陽(yáng)性計(jì)數(shù)的模型應(yīng)用價(jià)值較低;在陽(yáng)性預(yù)測(cè)值指標(biāo)上,DCAU-Net同樣表現(xiàn)最好(0.52),與ResNet-18(0.44)、DeepMedic(0.21)、3D U-Net(0.39)相比,分別提高了0.08、0.32、0.13.綜合比較三項(xiàng)指標(biāo),本研究認(rèn)為DCAU-Net的檢測(cè)性能最好.
圖8 DCAU-Net與其他模型的自由響應(yīng)接收者操作特征(FROC)曲線
表3 本文方法與現(xiàn)有方法在測(cè)試集的結(jié)果對(duì)比
本文提出了一種用于自動(dòng)檢測(cè)3D TOF-MRA影像中腦動(dòng)脈瘤的深度學(xué)習(xí)模型,在數(shù)據(jù)預(yù)處理階段采用了模糊標(biāo)簽的方式來(lái)提高醫(yī)生標(biāo)注的效率,搭建深度學(xué)習(xí)模型DCAU-Net時(shí),設(shè)計(jì)了DCA模塊插入骨干網(wǎng)絡(luò)3D U-Net中,模型經(jīng)訓(xùn)練后在獨(dú)立外部測(cè)試集上進(jìn)行測(cè)試與評(píng)估.
測(cè)試集的結(jié)果表明,DCAU-Net可以檢測(cè)到大部分動(dòng)脈瘤,但是漏檢了頸內(nèi)動(dòng)脈區(qū)雙發(fā)動(dòng)脈瘤的一例,同時(shí)大腦中動(dòng)脈區(qū)和大腦前動(dòng)脈區(qū)的單發(fā)動(dòng)脈瘤未完全檢測(cè)到.針對(duì)頸內(nèi)動(dòng)脈區(qū)雙發(fā)動(dòng)脈瘤漏檢的情況,本研究統(tǒng)計(jì)發(fā)現(xiàn),頸內(nèi)動(dòng)脈區(qū)單發(fā)動(dòng)脈瘤數(shù)目的占比為全部頸內(nèi)動(dòng)脈區(qū)動(dòng)脈瘤的87.5%(28/32),因此在網(wǎng)絡(luò)訓(xùn)練時(shí)可能因?yàn)轭i內(nèi)動(dòng)脈區(qū)單發(fā)動(dòng)脈瘤過(guò)多,導(dǎo)致模型預(yù)測(cè)時(shí)忽略了多發(fā)動(dòng)脈瘤的可能性;而大腦中動(dòng)脈區(qū)和大腦前動(dòng)脈區(qū)的單發(fā)動(dòng)脈瘤數(shù)目較少,模型也可能因?yàn)閿?shù)據(jù)的不均衡性,在對(duì)這些區(qū)域進(jìn)行檢測(cè)時(shí)表現(xiàn)不好,因此在后續(xù)的研究工作中會(huì)研究數(shù)據(jù)分布的均衡性,嘗試采用例如按不同區(qū)域進(jìn)行數(shù)據(jù)擴(kuò)增的手段來(lái)均衡數(shù)據(jù)分布.
進(jìn)一步分析DCA模塊對(duì)網(wǎng)絡(luò)檢測(cè)性能的影響,發(fā)現(xiàn)使用DCA模塊的網(wǎng)絡(luò)與未使用DCA模塊的骨干網(wǎng)絡(luò)相比,敏感度提高了9.30%,假陽(yáng)性計(jì)數(shù)降低了0.26個(gè)/例,PPV提高了0.13,特別在敏感度這一指標(biāo)上,DCAU-Net檢測(cè)出了大部分的動(dòng)脈瘤,分析得出DCA模塊在網(wǎng)絡(luò)學(xué)習(xí)特征的過(guò)程中,促使網(wǎng)絡(luò)關(guān)注那些對(duì)描述腦動(dòng)脈瘤區(qū)域有著重要意義的特征通道,增強(qiáng)了網(wǎng)絡(luò)特征表達(dá)的能力.同時(shí)假陽(yáng)性計(jì)數(shù)也有所下降,假陽(yáng)性計(jì)數(shù)越低,模型應(yīng)用于臨床輔助醫(yī)生篩查的可能性和潛力越高.PPV作為反映真陽(yáng)性數(shù)目在所有陽(yáng)性數(shù)目中比值的指標(biāo),該項(xiàng)指標(biāo)的提升可以輔助證明模型能夠有效降低假陽(yáng)性.
本研究提出了一種針對(duì)3D TOF-MRA影像中腦動(dòng)脈瘤自動(dòng)檢測(cè)的深度學(xué)習(xí)模型DCAU-Net,該模型基于模糊標(biāo)簽的方式大大提高了醫(yī)生標(biāo)注數(shù)據(jù)的效率,同時(shí)引入了DCA模塊和3D U-Net變體,DCA模塊可以自適應(yīng)調(diào)整通道特征響應(yīng),加強(qiáng)模型的特征提取能力.在43名病例測(cè)試集上的測(cè)試結(jié)果表明,DCAU-Net可以達(dá)到90.69%的敏感度,0.83個(gè)/例的假陽(yáng)性計(jì)數(shù)和0.52的PPV.因此,DCAU-Net可以被認(rèn)為具有臨床應(yīng)用的潛力,有望輔助醫(yī)生進(jìn)行快速診斷.
無(wú)
[1] 鄒應(yīng)誠(chéng). 基于卷積神經(jīng)網(wǎng)絡(luò)的顱內(nèi)動(dòng)脈瘤檢測(cè)方法研究[D]. 武漢: 華中科技大學(xué), 2019.
[2] SUAREZ J I, TARR R W, SELMAN W R. Aneurysmal subarachnoid hemorrhage[J]. New Engl J Med, 2006, 354(4): 387-396.
[3] Chinese guidelines for diagnosis and treatment of subarachnoid hemorrhage2019[J]. Chinese Journal of Neurology, 2019, 52(12): 1006-1021.
中國(guó)蛛網(wǎng)膜下腔出血診治指南2019[J]. 中華神經(jīng)科雜志, 2019, 52(12): 1006-1021.
[4] 沈瑞樂(lè). 腦動(dòng)脈瘤形成、破裂與腦血管形態(tài)學(xué)類型相關(guān)性研究[D]. 鄭州: 鄭州大學(xué), 2016.
[5] JOSEPH J J, DONNER T W. Long-term insulin glargine therapy in type 2 diabetes mellitus: a focus on cardiovascular outcomes[J]. Vasc Health Risk Manag, 2015, 11: 107-116.
[6] SONOBE M, YAMAZAKI T, YONEKURA M, et al. Small unruptured intracranial aneurysm verification study: SUAVe study, Japan[J]. Stroke, 2010, 41(9): 1969-1977.
[7] LOU Y Z, LIU Y, JIANG H, et al. A deep learning algorithm for classifying meningioma and auditory neuroma in the cerebellopontine angle from magnetic resonance images[J]. Chinese J Magn Reson, 2020, 37(3): 300-310.
婁云重, 劉穎, 江華, 等. 基于MRI和深度學(xué)習(xí)的橋小腦角區(qū)腦膜瘤與聽(tīng)神經(jīng)瘤分類算法研究[J]. 波譜學(xué)雜志, 2020, 37(3): 300-310.
[8] SAILER A M, WAGEMANS B A, NELEMANS P J, et al. Diagnosing intracranial aneurysms with MR angiography: systematic review and meta-analysis[J]. Stroke, 2014, 45(1): 119-126.
[9] DAVIS W I, WARNOCK S H, HANSBERGER H R. Intracranial MRA: single volume vs. multiple thin slab 3D time-of-flight acquisition[J]. J Comput Assist Tomogr, 1993, 17(1): 15-21.
[10] WEI Z H, YAN S J, HAN B S, et al. Diagnosis of Alzheimer’s disease based on multi-output three-dimensional convolutional neural network[J]. Chinese J Magn Reson, 2021, 38(1): 92-100.
魏志宏, 閆士舉, 韓寶三, 等. 基于多輸出的3D卷積神經(jīng)網(wǎng)絡(luò)診斷阿爾茲海默病[J]. 波譜學(xué)雜志, 2021, 38(1): 92-100.
[11] NAKAO T, HANAOKA S, NOMURA Y, et al. Deep neural network-based computer-assisted detection of cerebral aneurysms in MR angiography[J]. J Magn Reson Imaging. 2018, 47(4): 948-953.
[12] SAKAI M, MURAYAMA S, GIBO M, et al. Can maximum intensity projection images with multidetector-row computed tomography help to differentiate between the micronodular distribution of focal and diffuse infiltrative lung diseases?[J]. J Comput Assist Tomogr, 2005, 29(5): 588-591.
[13] UEDA D, YAMAMOTO A, NISHIMORI M, et al. Deep learning for MR angiography: Automated detection of cerebral aneurysms[J]. Radiology, 2019, 290(1): 187-194.
[14] HE K M, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition: IEEE, 2016: 770-778.
[15] SICHTERMANN T, FARON A, SIJBEN R, et al. Deep learning-based detection of intracranial aneurysms in 3D TOF-MRA[J]. Am J Neuroradiol, 2019, 40(1): 25-32.
[16] KAMNITSAS K, LEDIG C, NEWCOMBE VFJ, et al. Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation[J]. Med Image Anal. 2017, 36: 61-78.
[17] GENG C, XIA W, HUANG L, et al. Automated computer-assisted detection system for cerebral aneurysms in time-of-flight magnetic resonance angiography using fully convolutional network[J]. Biomed Eng Online. 2020, 19: 38.
[18] ?I?EK ?, ABDULKADIR A, LIENKAMP S S, et al. 3D U-Net: Learning dense volumetric segmentation from sparse annotation[C]// Medical Image Computing and Computer-Assisted Intervention, Berlin, Heidelberg. USA: MICCAI, 2016: 424-432.
[19] GOYAL H, SANDEEP D, VENU R, et al. Normalization of data in data mining[J]. International Journal of Software and Web Sciences, 2014, 10: 32-33.
[20] DIEDERIK P K, JIMMY B. Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980, 2014.
[21] MACYSZYN L, AKBARI H, PISAPIA J M, et al. Imaging patterns predict patient survival and molecular subtype in glioblastoma via machine learning techniques[J]. Neuro-oncolog, 2015, 18(3): 417-425.
[22] EGANJ P, GREENBERG G Z, SCHULMAN A I. Operating characteristics, signal detectability, and the method of free response[J]. J Acoust Soc Am, 1961, 33: 993-1007.
Automatic Detection for Cerebral Aneurysms in TOF-MRA Images Based on Fuzzy Label and Deep Learning
1,2,3,3,3#,1,2*
1. School of Medical Imaging, Xuzhou Medical University, Xuzhou 221000, China; 2. Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences, Suzhou 215000, China; 3. Department of Radiology, Huashan Hospital, Fudan University, Institute of Functional and Molecular Medical Imaging, Fudan University, Shanghai 200000, China
Subarachnoid hemorrhage caused by the rupture of cerebral aneurysms is extremely fatal and disabling. It’s imperative for radiologists to achieve efficient screening with the help of deep learning-based models. To improve the detection sensitivity of time of flight-magnetic resonance angiography (TOF-MRA) images, this study proposed a neural network named DCAU-Net which is based on fuzzy labels, 3D U-Net variant, and dual-branch channel attention (DCA), and able to adaptively adjust the response of channel features to improve feature extraction capability. First, TOF-MRA images from 260 subjects were preprocessed, and the data were split into the training set (=174), validation set (=43) and testing set (=43). Then the preprocessed data were used for training and validating DCAU-Net. The results show that DCAU-Net scores 90.69% of sensitivity, 0.83 per case of false positive count and 0.52 of positive predicted value in the testing set, providing a promising tool for detecting cerebral aneurysms.
cerebral aneurysm, automatic detection, deep learning, fuzzy label, dual branch channel attention mechanism
TP394.1
A
10.11938/cjmr20223004
2022-05-24;
2022-07-20
國(guó)家自然科學(xué)基金資助項(xiàng)目(61672236);上海市科學(xué)技術(shù)委員會(huì)科技創(chuàng)新行動(dòng)計(jì)劃臨床醫(yī)學(xué)領(lǐng)域項(xiàng)目(19411951200);蘇州市科技發(fā)展計(jì)劃項(xiàng)目(SS202072).
* Tel: 15850168495, E-mail: daiyk@sibet.ac.cn;
# Tel: 13918182727, E-mail:bao_yifang@163.com.