国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于半監(jiān)督多尺度特征分解網(wǎng)絡(luò)的CTA圖像冠狀動(dòng)脈分割

2020-04-29 12:42:18趙鳳軍張涵陳一兵賀小偉宋小磊
關(guān)鍵詞:深度學(xué)習(xí)

趙鳳軍 張涵 陳一兵 賀小偉 宋小磊

摘要:CT血管造影圖像(CT angiography,CTA)已成為心血管疾病篩查、診斷和治療的重要依據(jù),從圖像中分割提取出冠狀動(dòng)脈對(duì)于形象展示冠脈解剖結(jié)構(gòu)、分析評(píng)估血流情況和疾病精準(zhǔn)診斷有重要意義。針對(duì)CTA圖像特點(diǎn),該文提出了一種只需少量標(biāo)記數(shù)據(jù)的半監(jiān)督深度學(xué)習(xí)方法進(jìn)行冠脈分割。由于不同層面圖像中冠脈血管直徑大小不一,該文構(gòu)建了包含編解碼模塊的多尺度網(wǎng)絡(luò)來有效分割不同尺寸冠脈,其中,編碼模塊中加入跳躍連接以獲取更豐富的特征信息,而解碼階段加入密集連接模塊來避免網(wǎng)絡(luò)過深產(chǎn)生的梯度消失。在測(cè)試時(shí),首先,使用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別包含冠脈的切片,然后,在篩選出的包含冠脈切片中使用前述訓(xùn)練網(wǎng)絡(luò)進(jìn)行冠脈分割,以進(jìn)一步減少由于半監(jiān)督學(xué)習(xí)中標(biāo)記過少而產(chǎn)生的過擬合現(xiàn)象。實(shí)驗(yàn)使用了28個(gè)心臟病病人的CTA數(shù)據(jù),冠脈三維結(jié)構(gòu)分割結(jié)果的靈敏度、特異性、準(zhǔn)確率、陽性預(yù)測(cè)值、陰性預(yù)測(cè)值與Dice系數(shù)分別為86.86%,99.79%,99.99%,66.12%,99.99%,0.721 6,優(yōu)于其他對(duì)比方法,證明該文提出的多尺度特征分解網(wǎng)絡(luò)能夠有效完成冠狀動(dòng)脈分割任務(wù)。

關(guān)鍵詞:冠狀動(dòng)脈分割;多尺度特征分解網(wǎng)絡(luò);深度學(xué)習(xí);半監(jiān)督學(xué)習(xí);CTA圖像

中圖分類號(hào):TP39

DOI:10.16152/j.cnki.xdxbzr.2020-04-007開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID):

Coronary artery segmentation from CTA images using asemi-supervised learning method with a multi-scaledecomposition network

ZHAO Fengjun1,2, ZHANG Han1,2, CHEN Yibing1,2,HE Xiaowei1,2, SONG Xiaolei1,2

(1.School of Information Science and Technology, Northwest University, Xi′an 710127, China;

2.Xi′an Key Lab of Radiomics and Intelligent Perception, Northwest University, Xi′an 710127, China)

Abstract: CT angiography (CTA) has been frequently used for screening, diagnosis and treatment of cardiovascular diseases, and segmentation of coronary arteries from 2D CTA slices can aid in visualization and analysis of coronary anatomy, assessment of blood flow and precise diagnosis. According to the scenery of CTA segmentation,? a semi-supervised deep learning method which only required a small amount of tag data is proposed. To adapt the varied diameters of vessels at different image slices,? a multi-scale networks with encoder and decoder modules is defined, whereas in encoder module skip connections were employed to capture more features and in decoder stage dense block were added to avoid gradient vanishing caused by too deep network. To overcome the overfitting phenomenon due to too few tagging in semi-supervised learning, in the test phase, the slices that contained coronary artery pixels were firstly selected by a convolutional neural network. The selected slices were then passed through previous mentioned training network to achieve coronary artery segmentation. The experiment used CTA data from 28 heart patients. We finally achieve the 3D result of coronary artery segmentation in CTA images. The sensitivity, specificity, accuracy, positive predictive value, negative predictive value and Dice coefficient are 86.86%, 99.79%, 99.99%, 66.12%, 99.99%, and 0.721 6, which are better than the contrasted methods. The experiments have demonstrated the effectiveness of the proposed multi-scale spatial decomposition network for segmentation of coronary artery.

Key words: coronary artery segmentation; multi-scale spatial decomposition network; deep learning; semi-supervised learning; computed tomography angiography

冠狀動(dòng)脈疾病是最常見的心臟病類型,也是目前導(dǎo)致人類死亡的重要原因之一。當(dāng)冠狀動(dòng)脈產(chǎn)生狹窄或被阻塞時(shí),流向心肌的血流量減少有可能導(dǎo)致心肌缺氧,從而會(huì)引起心絞痛、心肌梗死以及心律失常等致命后果[1]。

近年來,冠狀動(dòng)脈CT血管造影(CT angiography,CTA)由于無創(chuàng)、費(fèi)用低和多視角等的特點(diǎn),已成為心血管疾病篩查、診斷和治療的重要依據(jù)。在CTA斷層圖像中準(zhǔn)確分割提取出冠狀動(dòng)脈血管,對(duì)于形象展示冠脈解剖結(jié)構(gòu)、建模評(píng)估血流情況、疾病精準(zhǔn)診斷和治療決策有重要意義。然而,臨床醫(yī)生手動(dòng)跟蹤冠脈結(jié)構(gòu)異常較為困難,人工分析也非常耗時(shí),且診斷易受主觀因素影響。因此,CTA圖像中冠狀動(dòng)脈的精準(zhǔn)自動(dòng)分割具有重要的實(shí)際意義和臨床價(jià)值。

現(xiàn)有的冠脈分割方法主要包括主動(dòng)輪廓模型、區(qū)域生長(zhǎng)法、最小路徑法、匹配濾波法以及基于機(jī)器學(xué)習(xí)的方法等[2-5]。近幾年,越來越多的機(jī)器學(xué)習(xí)算法被應(yīng)用于血管分割領(lǐng)域,即將其看作像素分類問題,判斷每個(gè)像素是否為血管[6-8]。然而,傳統(tǒng)機(jī)器學(xué)習(xí)方法需要將自行設(shè)計(jì)的特征與分類器相結(jié)合,而特征設(shè)計(jì)的復(fù)雜性與不同分類器的選擇是應(yīng)用傳統(tǒng)機(jī)器學(xué)習(xí)方法的一大挑戰(zhàn)。深度學(xué)習(xí)算法則可以通過端到端學(xué)習(xí),直接從輸入圖像中輸出期望結(jié)果,尤其適用于擁有海量數(shù)據(jù)的醫(yī)學(xué)圖像分割場(chǎng)景。Liskowski等人首次在視網(wǎng)膜血管的分割中使用深度卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)[9],此后CNN在各類血管分割任務(wù)中得到了廣泛的應(yīng)用;Wu等人通過主成分分析和最近鄰檢索來訓(xùn)練CNN模型預(yù)測(cè)局部血管概率圖,并將結(jié)果映射到概率追蹤框架中來提取整個(gè)血管樹[10];Prentasic等人將CNN應(yīng)用于光學(xué)相干斷層成像血管造影中進(jìn)行血管分割[11];Maji等人提出了集合CNN用于血管分割[12],首先訓(xùn)練多個(gè)CNN來分割血管和非血管區(qū)域,然后求出多個(gè)CNN響應(yīng)的平均值。

盡管深度學(xué)習(xí)方法在血管分割中取得了一定成果,其用于心臟CTA圖像的冠脈分割仍存在巨大挑戰(zhàn)。第一,冠脈血管結(jié)構(gòu)復(fù)雜,直徑尺寸大小不一,且存在由于心臟跳動(dòng)產(chǎn)生的運(yùn)動(dòng)偽影;第二,冠脈分割方法大多以冠脈血管與背景區(qū)域的強(qiáng)度差別為基礎(chǔ),而心臟CTA圖像中存在一些與冠狀動(dòng)脈強(qiáng)度相似的組織器官,比如心臟腔室、肺動(dòng)靜脈、骨骼等,因此冠脈分割過程中容易將與冠脈強(qiáng)度相似的組織器官一并分割出來,造成過分割現(xiàn)象;第三,難以獲取大量標(biāo)簽數(shù)據(jù),深度學(xué)習(xí)中網(wǎng)絡(luò)模型的訓(xùn)練往往需要大量標(biāo)記數(shù)據(jù),而專家手工分割血管耗時(shí)耗力,且存在觀察者誤差,因此很難擁有大量冠狀動(dòng)脈血管標(biāo)簽。

針對(duì)上述挑戰(zhàn),本文提出一種半監(jiān)督多尺度特征分解網(wǎng)絡(luò)(multi-scale spatial decomposition network,MSDNet)實(shí)現(xiàn)心臟CTA圖像中冠狀動(dòng)脈的三維結(jié)構(gòu)分割。本文方法的主要貢獻(xiàn)在于:

1)針對(duì)不同層面圖像中冠脈血管直徑大小不一,構(gòu)建了改進(jìn)的多尺度特征分解網(wǎng)絡(luò),包括多尺度模塊、跳躍連接以及密集連接模塊。通過引入空洞卷積設(shè)計(jì)了多尺度模塊,以捕獲血管的多尺度信息;編碼階段加入跳躍連接獲得更豐富的特征信息;解碼階段加入密集連接模塊避免由于網(wǎng)絡(luò)過深而產(chǎn)生的梯度消失現(xiàn)象。

2)設(shè)計(jì)有監(jiān)督損失函數(shù)和無監(jiān)督損失函數(shù)組成總損失函數(shù)。結(jié)合大量無標(biāo)簽數(shù)據(jù)進(jìn)行冠脈分割模型訓(xùn)練,節(jié)省了專家手工分割的標(biāo)簽資源。

3)為了減少在測(cè)試數(shù)據(jù)的背景切片上進(jìn)行冠脈分割而產(chǎn)生過分割現(xiàn)象,本文提出基于一種帶有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)用于冠脈血管切片的識(shí)別,將含有血管的切片識(shí)別出來后再進(jìn)行冠狀動(dòng)脈分割。

1 相關(guān)工作

1.1 分解表征學(xué)習(xí)

學(xué)習(xí)與任務(wù)相關(guān)的良好特征是機(jī)器學(xué)習(xí)的長(zhǎng)久目標(biāo)[13]。一般來說,如果特征對(duì)于特定任務(wù)的有效性是可以解釋的,那么便被認(rèn)為是好的表征。在深度學(xué)習(xí)研究中,近年來提出一種新的學(xué)習(xí)方法被稱為分解(factorized)學(xué)習(xí),也叫作解糾纏(disentangled)學(xué)習(xí),該方法在醫(yī)學(xué)圖像分析中極具潛力[14]。分解學(xué)習(xí)的優(yōu)勢(shì)在于:一方面,可以保留與主要任務(wù)不直接相關(guān)的信息,而且可以將分解得到的獨(dú)立因素作為后續(xù)任務(wù)的輸入;另一方面,由于不同因素之間是相互獨(dú)立的,且這些因素表示了數(shù)據(jù)不同方面的特征。因此該方法為特征的可解釋性提供了依據(jù)。

現(xiàn)有研究者提出變分自編碼機(jī)(variational auto encoder,VAE)[15]和生成對(duì)抗網(wǎng)絡(luò)(generative adversarial networks,GAN)[16]來實(shí)現(xiàn)這種分解表征學(xué)習(xí)。Biffi等人使用VAE學(xué)習(xí)潛在向量來完成三維心臟分割[17],訓(xùn)練出可用于疾病診斷的心臟形狀模型。Mathieu等人將VAE和GAN思想進(jìn)行結(jié)合,分解學(xué)習(xí)已知因素和其他因素[18]。在醫(yī)學(xué)圖像任務(wù)中,獲取與解剖結(jié)構(gòu)相關(guān)的空間信息和與成像模態(tài)相關(guān)的信息均至關(guān)重要。本文將分解表征學(xué)習(xí)用于醫(yī)學(xué)圖像中,將原始圖像特征分解為與解剖結(jié)構(gòu)相關(guān)的空間圖譜(“解剖因素”)和與模態(tài)信息相關(guān)的高維向量(“模態(tài)因素”),從而對(duì)原始圖像進(jìn)行更好的表征。

1.2 半監(jiān)督學(xué)習(xí)

將深度學(xué)習(xí)應(yīng)用于醫(yī)學(xué)圖像時(shí),面臨的巨大挑戰(zhàn)包括數(shù)據(jù)收集過程繁瑣,以及對(duì)數(shù)據(jù)進(jìn)行標(biāo)記較為困難。因此,在醫(yī)學(xué)圖像處理中半監(jiān)督學(xué)習(xí)的研究獲得極大關(guān)注。通過半監(jiān)督學(xué)習(xí),我們將有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)結(jié)合起來訓(xùn)練,有效利用大量無標(biāo)簽數(shù)據(jù)的信息,提高分割精度。

GAN是目前較為流行的半監(jiān)督深度學(xué)習(xí)算法,該網(wǎng)絡(luò)包括生成器和鑒別器,生成器希望生成的假樣本能夠騙過鑒別器,而鑒別器則希望盡可能將原始樣本和生成樣本區(qū)分開來。生成器和鑒別器這兩個(gè)網(wǎng)絡(luò)完全獨(dú)立,單獨(dú)交替迭代訓(xùn)練,二者不斷博弈,直至生成器和鑒別器無法提升自己,便得到了較好的模型。Nie等人采用對(duì)抗學(xué)習(xí)和置信度網(wǎng)絡(luò)來進(jìn)行半監(jiān)督分割[19],Zhang等人提出深度對(duì)抗網(wǎng)絡(luò),利用未標(biāo)記圖像訓(xùn)練分割網(wǎng)絡(luò)模型[20]。Luc等人提出的方法中鑒別器對(duì)生成器產(chǎn)生的分割掩膜進(jìn)行分類[21],而Souly等人提出的方法中生成器用于增加數(shù)據(jù)集的大小,鑒別器用來執(zhí)行分割[22]。

2 方 法

2.1 方法概述

冠狀動(dòng)脈分割方法流程如圖1所示,由訓(xùn)練階段和測(cè)試階段兩部分組成。訓(xùn)練過程中,提取訓(xùn)練數(shù)據(jù)的二維切片送入MSDNet中進(jìn)行分割網(wǎng)絡(luò)的訓(xùn)練;測(cè)試過程中,首先,對(duì)測(cè)試數(shù)據(jù)中含有血管像素的切片進(jìn)行識(shí)別,然后,將這些冠脈血管切片送入已訓(xùn)練好的MSDNet模型中得到二維切片的分割結(jié)果,最后,按原圖尺寸將分割結(jié)果進(jìn)行三維重組得出冠狀動(dòng)脈分割三維結(jié)果。

2.2 分割網(wǎng)絡(luò)結(jié)構(gòu)及改進(jìn)

本文提出的MSDNet實(shí)現(xiàn)了特征分解表征,將與冠脈空間結(jié)構(gòu)相關(guān)的信息和像素強(qiáng)度相關(guān)信息(與成像模態(tài)相關(guān))分開學(xué)習(xí)。MSDNet由兩個(gè)相互連接的神經(jīng)網(wǎng)絡(luò)組成,分別為“分解器”網(wǎng)絡(luò)(decomposer)和“重構(gòu)器”網(wǎng)絡(luò)(reconstructor)?!胺纸馄鳌奔礊榫幋a過程,其將輸入的二維圖像(切片數(shù)據(jù))分解為兩個(gè)部分:一個(gè)類似于U-Net結(jié)構(gòu)的網(wǎng)絡(luò)將原圖生成二進(jìn)制掩膜形式的冠脈血管的空間圖譜(Mask),另一個(gè)通過多層卷積產(chǎn)生包含周圍結(jié)構(gòu)和像素強(qiáng)度相關(guān)信息的潛在矢量表示(Z)。掩膜是一種輸出像素與輸入像素一一對(duì)應(yīng)的圖像,具有空間性,而潛在特征向量的作用是學(xué)習(xí)血管周圍的一些拓?fù)浣Y(jié)構(gòu)以及必要的強(qiáng)度信息,允許多對(duì)多映射。解剖特征(Mask)和高維向量(Z)結(jié)合起來作為“重構(gòu)器”的輸入,并希望合成的重構(gòu)圖像與原圖盡可能相似,因此“重構(gòu)器”即為解碼過程。如果成功分解,二元掩膜可以作為重構(gòu)冠脈血管位置的重要指南。

圖2為MSDNet的網(wǎng)絡(luò)結(jié)構(gòu)圖,CB表示卷積模塊, DB表示密集連接模塊,MDC為多尺度空洞卷積模塊,虛線表示跳躍連接部分。分解器的最后一層通過激活函數(shù)sigmoid輸出血管的分割掩膜(Mask),從而得到原圖的分割結(jié)果。模型的空間圖譜包含下采樣的圖像信息,然后通過一系列的卷積和全連通層來獲得潛在向量Z,最后的輸出通過sigmoid函數(shù),得到有邊界范圍的潛在向量Z。在重構(gòu)器中使用了3個(gè)密集連接塊對(duì)原圖進(jìn)行重構(gòu)。

Mask和Z并不是明確獨(dú)立的,所以,訓(xùn)練過程中模型可以存儲(chǔ)所有需要的信息作為重構(gòu)器的輸入。本文在重構(gòu)器的空間特征輸入上應(yīng)用了一個(gè)階躍函數(shù)(即閾值)對(duì)前向輸出中的掩膜進(jìn)行二值化。在反向傳播期間存儲(chǔ)原始值并繞過階躍函數(shù),然后在原始的非二值掩膜上進(jìn)行更新。掩膜的二值化只發(fā)生在輸入端,二值化結(jié)果沒有送入鑒別器。

MSDNet的改進(jìn)主要包括以下3個(gè)方面:第一,為了使模型能夠適應(yīng)冠脈血管尺寸的變化,在分解器階段定義了多尺度模塊來獲取冠脈血管的多尺度特征;第二,在高維特征Z的獲取網(wǎng)絡(luò)中添加多層跳躍連接,將淺層信息融入到深層;第三,在重構(gòu)網(wǎng)絡(luò)中,引入密集連接模塊來獲取更加豐富的冠脈血管信息。

2.2.1 多尺度空洞卷積模塊 冠脈血管的一個(gè)顯著特點(diǎn)是血管直徑變化較大,這就要求冠脈血管分割算法能獲取多尺度的血管信息。然而,目前大多數(shù)基于CNN的血管分割方法都缺乏獲取多尺度特征的模塊。

本文基于Inception模塊的思想[23]。設(shè)計(jì)了一個(gè)基于并行結(jié)構(gòu)的多尺度卷積(multiscale dilated convolution,MDC)模塊。與Inception模塊相比,本文的模塊使用了空洞卷積,避免了大卷積核的使用。使用空洞卷積代替大卷積核可以有效減少參數(shù)量,提高網(wǎng)絡(luò)的非線性表達(dá)能力。空洞卷積是一種帶有空洞率r的卷積,它可以在不增加濾波器參數(shù)的情況下有效地?cái)U(kuò)大濾波器的視野??斩绰蕿閞的空洞卷積在相鄰濾波器值之間插入了r-1個(gè)零,因此,卷積核為k×k的濾波器便被擴(kuò)大為[k+(k-1)(r-1)]×[k+(k-1)(r-1)]。通過調(diào)整濾波器中不同的空洞率r,便可獲得不同的視野。本文使用不同的空洞率實(shí)現(xiàn)網(wǎng)絡(luò)中的MDC模塊來獲得圖像的多尺度信息。

MDC模塊由4個(gè)濾波器組成,3個(gè)3×3的空洞卷積,空洞率r分別為1,2,3,和一個(gè)空洞率r=3,卷積核為1×1的空洞卷積。通過不同的視野并行獲取多尺度信息后,再將4個(gè)通道連接起來??紤]到血管屬于小目標(biāo),因此在多次卷積操作后引入多尺度模塊不如在原圖輸入后便引入多尺度模塊。

2.2.2 跳躍連接 本文的分解器網(wǎng)絡(luò)基于U-Net結(jié)構(gòu),將原圖分解為空間特征Mask和高維特征Z??臻g特征獲取中,使用跳躍連接將下采樣層與上采樣層相連,而高維特征通過多次卷積、下采樣來實(shí)現(xiàn)??紤]到一次下采樣后可能會(huì)丟失大量的細(xì)節(jié)信息,在高維特征的獲取過程中加入了長(zhǎng)跳躍連接,如圖2中skip1,skip2,skip3,skip4為本文網(wǎng)絡(luò)中新添加的跳躍連接部分。在跳躍連接中,從低層到高層的連接均使用池化、卷積,最后相加完成。skip1對(duì)輸入尺寸32×32×64的特征進(jìn)行最大池化操作,其中,池化窗口7×7,步長(zhǎng)為7;skip2對(duì)輸入尺寸16×16×128的特征向量先進(jìn)行卷積,卷積核為3×3,通道為64,接著進(jìn)行最大池化,池化窗口4×4,步長(zhǎng)為4;skip3對(duì)輸入尺寸8×8×256的特征向量先進(jìn)行卷積,再進(jìn)行最大池化,卷積核為3×3,通道為64,池化窗口2×2,步長(zhǎng)為2;skip4對(duì)尺寸為4×4×512的特征向量進(jìn)行兩次3×3卷積,通道數(shù)分別為256和64,最后將這些跳躍連接結(jié)果與對(duì)應(yīng)尺寸的高維特征求和。跳躍連接可以將淺層的信息與更深層的信息結(jié)合,獲得更豐富的血管特征信息,適合于冠狀動(dòng)脈血管分割任務(wù)。

2.2.3 密集連接模塊 網(wǎng)絡(luò)的深度是獲得較好分割結(jié)果的重要因素,對(duì)于冠脈血管分割任務(wù),更深層次的網(wǎng)絡(luò)意味著提取的語義信息更豐富,因此分割結(jié)果會(huì)更好。然而,過深的網(wǎng)絡(luò)在訓(xùn)練過程中會(huì)產(chǎn)生梯度消失現(xiàn)象,導(dǎo)致?lián)p失函數(shù)難以收斂。為了解決此問題,研究者們提出了密集連接網(wǎng)絡(luò)[24],其增強(qiáng)了特征的有效傳遞,同時(shí)也能緩解網(wǎng)絡(luò)過深帶來的副作用。具體方法是將前面所有層的特征映射結(jié)合起來作為后面各層的輸入,公式表示為:Xl=Hl([X0,X1,…,Xl-1]),其中,[X0,X1,…,Xl-1]表示將0到l-1層的輸出特征做通道的合并。本文針對(duì)網(wǎng)絡(luò)過深的情況使用了密集連接模塊,如圖2重構(gòu)器部分所示。

2.2.4 分割網(wǎng)絡(luò)損失函數(shù)

本文使用f和g分別表示分解器和重構(gòu)器。輸入切片表示為Xi,經(jīng)過分解器f,分解得到掩膜M和16維的向量Z,這個(gè)過程表示為:f(Xi)={fM(Xi),fZ(Xi)}={M, Z}。 重構(gòu)器g將分解結(jié)果映射回原圖, 表示為g(fM(Xi),fZ(Xi))。

在半監(jiān)督學(xué)習(xí)中,數(shù)據(jù)來源有兩組,一組是有標(biāo)簽數(shù)據(jù)集SL={Xi,Mi},i=1,2,…,N,其中,Xi表示輸入數(shù)據(jù),Mi表示與其相對(duì)應(yīng)的標(biāo)簽,i表示有標(biāo)簽數(shù)據(jù)的數(shù)量;另一組為無標(biāo)簽數(shù)據(jù)集SU={Xj},j=1,2,…,Q,其僅包含數(shù)據(jù)Xj而沒有標(biāo)簽,j表示無標(biāo)簽數(shù)據(jù)的數(shù)量。訓(xùn)練過程中的損失函數(shù)由3類不同的損失函數(shù)組成,分別為重構(gòu)損失函數(shù)、有監(jiān)督損失函數(shù)和對(duì)抗損失函數(shù)。

1)重構(gòu)損失函數(shù):計(jì)算重構(gòu)圖1與原圖之間的誤差得到重構(gòu)損失函數(shù),計(jì)算公式為

Lrec(f,g)=EX[||X-g(f(X))||1]。

2)有監(jiān)督損失函數(shù):根據(jù)部分有標(biāo)簽數(shù)據(jù),設(shè)計(jì)了兩個(gè)有監(jiān)督損失函數(shù)。

a)分割結(jié)果與標(biāo)簽之間的Dice系數(shù)值作為第一個(gè)有監(jiān)督損失函數(shù),表示為

LM(f)=EX[Dice(MX,fM(X))]。

b)將標(biāo)簽與分解器得到的高維向量Z一起送入重構(gòu)器2中得到重構(gòu)圖,然后計(jì)算重構(gòu)圖2與原圖之間的平均絕對(duì)值誤差作為第二個(gè)有監(jiān)督損失函數(shù),表示為

LI(f,g)=EX[||X-g(MX,fZ(X))||1]。

3)對(duì)抗損失函數(shù):網(wǎng)絡(luò)的訓(xùn)練過程包含生成對(duì)抗的思想,重構(gòu)圖1看作關(guān)于原圖的偽圖片,解剖特征Mask即分割結(jié)果可以作為冠脈標(biāo)簽的偽圖片。根據(jù)生成對(duì)抗思想,本文定義的兩個(gè)對(duì)抗損失函數(shù)如下:

a)重構(gòu)圖1與原圖進(jìn)行比較,鑒別器為DX,則對(duì)抗損失AI為

AI(f,g,DM)=EX[DX(g(f(X)))2+(DX(X)-1)2],

b)分割結(jié)果與冠脈標(biāo)簽進(jìn)行比較,鑒別器為DM,則對(duì)抗損失AM為

AM(f)=EX,M[DM(fM(X))2+(DM(M)-1)2]。

網(wǎng)絡(luò)訓(xùn)練過程中,上述損失函數(shù)分別用于有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)中,有標(biāo)簽數(shù)據(jù)集的總損失函數(shù)LossL表示為

LossL=λ1LM(f)+λ2AM(f,DM)+λ3Lrec(f,g)+λ4LI(f,g)+λ5AI(f,g,DX),

無標(biāo)簽數(shù)據(jù)集的總損失函數(shù)LossU表示為

LossU=λ2AM(f,DM)+λ3Lrec(f,g)+λ5AI(f,g,DX)。

其中,λ表示各項(xiàng)的參數(shù)。

2.3 冠脈血管切片識(shí)別網(wǎng)絡(luò)

2.3.1 測(cè)試過程介紹 訓(xùn)練完成的MSDNet模型只能用于分割尺寸大小為64×64的二維圖像。為了使訓(xùn)練好的MSDNet模型能實(shí)現(xiàn)三維冠脈分割,首先,在測(cè)試數(shù)據(jù)中進(jìn)行64×64的切片(patch)提取,具體方法是從左上角取一個(gè)64×64的滑動(dòng)窗口,移動(dòng)步長(zhǎng)設(shè)置為S,實(shí)驗(yàn)中S取64,依次覆蓋整個(gè)圖像,則此移動(dòng)窗口的每一步都產(chǎn)生一個(gè)對(duì)應(yīng)的patch;接著,將順序采樣得到的patch送入血管切片分類網(wǎng)絡(luò)中,識(shí)別出含有冠脈像素的切片;然后,再將含有冠脈的patch送入訓(xùn)練好的MSDNet中,得到血管切片的二維分割結(jié)果;最后,將切片級(jí)的分割結(jié)果按照原圖中切片位置索引以及原圖大小組合起來,從而得到CTA圖像的三維冠狀動(dòng)脈分割結(jié)果。

2.3.2 識(shí)別網(wǎng)絡(luò)結(jié)構(gòu)及改進(jìn) 為了優(yōu)化送入分割網(wǎng)絡(luò)的數(shù)據(jù)并減少過分割現(xiàn)象,測(cè)試過程中使用帶有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)用于冠脈血管切片的識(shí)別,判斷出含有冠脈血管像素的二維切片。

冠脈血管切片識(shí)別網(wǎng)絡(luò)由卷積層和全連接層組成。其中,輸入圖片的尺寸為64×64×1,卷積層分為4層,每一層均由卷積、Relu和最大池化組成。第1層對(duì)原圖進(jìn)行卷積,卷積核尺寸為3×3,濾波器個(gè)數(shù)為64,最大池化的池化核是2×2,步長(zhǎng)為2,且采用有填充的池化(圖片外圍填充像素0);第2層卷積中濾波器個(gè)數(shù)為128,其他均和第一層一致;第3層包含了兩次卷積,卷積核尺寸是3×3,濾波器數(shù)量均為256,兩次卷積完成后進(jìn)行最大池化,池化核為2×2,步長(zhǎng)為2,且為有填充的池化;第4層包含兩次卷積,卷積核為3×3,濾波器個(gè)數(shù)均為512,兩次卷積完成后進(jìn)行最大池化,池化核為2×2,步長(zhǎng)為1,且為無填充的池化。卷積層完成之后,連接的是3個(gè)全連接層,前兩個(gè)全連接層的通道數(shù)是4 096,第3層根據(jù)分類類別而定,此處實(shí)現(xiàn)的是二分類,因此最終的通道數(shù)為2,最后的全連接層使用激活函數(shù)sigmoid輸出二分類結(jié)果。

為了使分類結(jié)果更加準(zhǔn)確,本文在每個(gè)卷積后加入注意力機(jī)制(convolutional block attention module,CBAM模塊)[25],且在損失函數(shù)中會(huì)加入L2正則化項(xiàng)來減少過擬合。網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)分別如表1所示。

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集和參數(shù)設(shè)置

3.1.1 數(shù)據(jù)集 本文使用的心臟CTA數(shù)據(jù)來自西門子雙源CT掃描儀(SOMATOM Definition Flash),帶有心電觸發(fā)與對(duì)比度增強(qiáng),管電壓為120 kVp,管電流為55 mAs??偣驳?8個(gè)心臟病人CTA圖像中14個(gè)處于心臟收縮期,14個(gè)處于心臟舒張期,圖像前兩維尺寸為512×512,第3維在197~276之間不等,灰度值在0~4 000之間。所有心臟CTA圖像的冠脈體素金標(biāo)準(zhǔn)均由兩位資深心臟病專家使用商用軟件MITK手動(dòng)標(biāo)注,將圖像體素標(biāo)記為冠狀動(dòng)脈血管目標(biāo)體素或非冠脈的背景體素。采集到的CTA圖像經(jīng)過重采樣,每個(gè)體素對(duì)應(yīng)0.5mm×0.5mm×0.5mm的真實(shí)空間。實(shí)驗(yàn)中隨機(jī)選取10個(gè)數(shù)據(jù)作為訓(xùn)練集,3個(gè)數(shù)據(jù)作為驗(yàn)證集,剩余15個(gè)作為測(cè)試集。

3.1.2 實(shí)驗(yàn)參數(shù)設(shè)置 冠脈分割的訓(xùn)練過程中迭代次數(shù)(epoch)設(shè)置為100,訓(xùn)練停止條件為驗(yàn)證集數(shù)據(jù)的Dice系數(shù)值連續(xù)十次迭代沒有升高。使用隨機(jī)梯度下降(SGD)優(yōu)化器,學(xué)習(xí)率固定為0.01,每次訓(xùn)練的批量大小設(shè)置為32。訓(xùn)練數(shù)據(jù)由兩部分組成,有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)。有標(biāo)簽數(shù)據(jù)的損失函數(shù)由LM,AM,Lrec,LI,AI組成,系數(shù)分別設(shè)置為10,10,5,5,5;無標(biāo)簽數(shù)據(jù)的損失函數(shù)由AM,Lrec,AI組成,系數(shù)分別設(shè)置為10,5,5。

冠脈切片識(shí)別實(shí)驗(yàn)中迭代次數(shù)設(shè)置為150,訓(xùn)練完150個(gè)epoch則訓(xùn)練停止,使用Adam優(yōu)化器,初始學(xué)習(xí)率為0.000 1,每隔兩個(gè)epoch學(xué)習(xí)率下降5%,每次訓(xùn)練的批量大小設(shè)置為32。

3.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

分割性能通過與專家手工分割的結(jié)果進(jìn)行對(duì)比來評(píng)估。定量分析分割算法性能時(shí),通常使用靈敏度、特異性、準(zhǔn)確率、陽性預(yù)測(cè)值、陰性預(yù)測(cè)值以及Dice系數(shù)作為計(jì)算性能指標(biāo)。其計(jì)算公式均與真陽(true positive,TP)、真陰(true negative,TN)、假陽(false positive,F(xiàn)P)和假陰(false negative,F(xiàn)N)相關(guān)。真陽表示被判定為正樣本實(shí)際上也是正樣本,真陰表示被判定為負(fù)樣本實(shí)際也是負(fù)樣本,假陽表示被判定為正樣本實(shí)際是負(fù)樣本,假陰表示被判定為負(fù)樣本實(shí)際是正樣本。

靈敏度(sensitivity)表示正確判斷正樣本的比率,計(jì)算公式為

Sensitivity=TPTP+FN。

特異性(specificity)表示正確判斷負(fù)樣本的比率,計(jì)算公式為

Sepcificity=TNTN+FP。

準(zhǔn)確率(accuracy)表示所有樣本中被正確識(shí)別的比率,計(jì)算公式為

Accuracy=TP+TNTP+FN+TN+FP。

陽性預(yù)測(cè)值(positive predictive value,PPV)表示預(yù)測(cè)出的正樣本中實(shí)際為正樣本的比率,計(jì)算公式為

PPV=TPTP+FP。

陰性預(yù)測(cè)值(negative predictive value,NPV)表示預(yù)測(cè)出的負(fù)樣本中實(shí)際為負(fù)樣本的比率,計(jì)算公式為

NPV=TNTN+FN。

Dice系數(shù)是一種集合相似度度量函數(shù),通常用于計(jì)算兩個(gè)樣本的相似度(值范圍為[0,1]),其計(jì)算公式為

Dice=2TPFP+FN+2TP

在實(shí)驗(yàn)階段,本文通過上述評(píng)價(jià)指標(biāo),將提出的分割方法與改進(jìn)前的方法以及其他分割方法進(jìn)行性能比較。

3.3 二維切片分割結(jié)果及分析

本文使用空間分解網(wǎng)絡(luò)(SDNet)作為分割結(jié)果的評(píng)價(jià)基準(zhǔn)[26]。該網(wǎng)絡(luò)原本用于MRI圖像上心肌的分割,本文對(duì)其網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)后用于CTA數(shù)據(jù)中冠狀動(dòng)脈的分割。為了驗(yàn)證本文提出改進(jìn)模塊的有效性,本節(jié)實(shí)驗(yàn)以測(cè)試數(shù)據(jù)二維切片分割結(jié)果的平均Dice系數(shù)作為評(píng)價(jià)標(biāo)準(zhǔn),每組實(shí)驗(yàn)進(jìn)行5次并將其平均值作為最終結(jié)果。

3.3.1 改進(jìn)模塊有效性驗(yàn)證 MSDNet在原網(wǎng)絡(luò)基礎(chǔ)上添加了3個(gè)改進(jìn)模塊,分別為跳躍連接、多尺度模塊以及密集連接模塊,為了驗(yàn)證其有效性,分別進(jìn)行了如表2所示的8組實(shí)驗(yàn),第1組實(shí)驗(yàn)為原始網(wǎng)絡(luò),第2到4組實(shí)驗(yàn)分別增添一種改進(jìn)模塊,第5到8組實(shí)驗(yàn)分別添加兩到三種改進(jìn)模塊。

表2中看出,實(shí)驗(yàn)2到4分別添加不同改進(jìn)模塊后,Dice系數(shù)值相比原網(wǎng)絡(luò)均有不同程度的提高,證明MSDNet中每一個(gè)改進(jìn)模塊對(duì)于冠狀動(dòng)脈的分割都是有效的。最終在原網(wǎng)絡(luò)基礎(chǔ)上同時(shí)添加3個(gè)改進(jìn)模塊可以得到最優(yōu)的分割結(jié)果,如實(shí)驗(yàn)8中結(jié)果所示。

3.3.2 半監(jiān)督方法有效性驗(yàn)證 為了定量的評(píng)估半監(jiān)督方法的有效性,本實(shí)驗(yàn)通過調(diào)整有標(biāo)簽數(shù)據(jù)和無標(biāo)簽數(shù)據(jù)的比例,來驗(yàn)證無標(biāo)簽數(shù)據(jù)在網(wǎng)絡(luò)訓(xùn)練中的有效性。實(shí)驗(yàn)分別在原始網(wǎng)絡(luò)和幾種改進(jìn)網(wǎng)絡(luò)上進(jìn)行模型訓(xùn)練,然后對(duì)測(cè)試集中二維切片的分割結(jié)果進(jìn)行比較。表3中第一列表示不同的網(wǎng)絡(luò)結(jié)構(gòu),改進(jìn)一表示在原始網(wǎng)絡(luò)基礎(chǔ)上添加多尺度模塊,改進(jìn)二表示在原始網(wǎng)絡(luò)基礎(chǔ)上添加跳躍連接,改進(jìn)三在原始網(wǎng)絡(luò)基礎(chǔ)上添加密集連接模塊,MSDNet為本文提出的網(wǎng)絡(luò)(包含3個(gè)改進(jìn)模塊)。訓(xùn)練過程中保持無標(biāo)簽數(shù)據(jù)量(4 448張或0張)不變,依次減少有標(biāo)簽數(shù)據(jù)的數(shù)量,如表3第1行所示,第2到5列分別表示有標(biāo)簽數(shù)據(jù)量為4 448張,2 224張,1 112張,556張切片。表3中,斜線(/)左邊的結(jié)果是無標(biāo)簽數(shù)據(jù)4 448張的Dice系數(shù)值,右邊的結(jié)果是無標(biāo)簽數(shù)據(jù)0張的Dice系數(shù)值。

從表3中看出,無論是否使用無標(biāo)簽數(shù)據(jù),分割結(jié)果的Dice系數(shù)均隨著有標(biāo)簽數(shù)據(jù)量的減少而逐漸降低,而使用無標(biāo)簽數(shù)據(jù)參與訓(xùn)練后的結(jié)果(左邊)普遍高于不使用無標(biāo)簽數(shù)據(jù)(右邊)的結(jié)果。當(dāng)訓(xùn)練過程中使用4 448張無標(biāo)簽數(shù)據(jù)時(shí),即使有標(biāo)簽數(shù)據(jù)僅剩下556張切片,分割結(jié)果的Dice系數(shù)仍然可以達(dá)到0.5以上,而此時(shí)不使用無標(biāo)簽數(shù)據(jù)的結(jié)果在0.3或0.4左右,這表明無標(biāo)簽數(shù)據(jù)在網(wǎng)絡(luò)訓(xùn)練過程中發(fā)揮了極大作用,特別是在有標(biāo)簽數(shù)據(jù)量較少的時(shí)候,無標(biāo)簽數(shù)據(jù)對(duì)模型的優(yōu)化作用更加明顯。另外,與原始網(wǎng)絡(luò)和其他3種改進(jìn)網(wǎng)絡(luò)相比,本章提出的MSDNet網(wǎng)絡(luò)在不同數(shù)據(jù)量的實(shí)驗(yàn)中,均取得了最高的Dice系數(shù)值。

3.4 三維分割結(jié)果與現(xiàn)有方法進(jìn)行比較

上面實(shí)驗(yàn)對(duì)改進(jìn)模塊以及無標(biāo)簽數(shù)據(jù)有效性的證明均建立在測(cè)試數(shù)據(jù)的二維切片上。為了驗(yàn)證本文方法在三維分割結(jié)果上的有效性,我們對(duì)測(cè)試數(shù)據(jù)的二維切片進(jìn)行三維重組得到冠狀動(dòng)脈的三維分割結(jié)果。同時(shí),實(shí)驗(yàn)將本文提出的冠狀動(dòng)脈分割方法MSDNet和現(xiàn)有的一些分割方法進(jìn)行比較,對(duì)比方法包括Vesselness濾波法[27],雙高斯濾波法(Bi-Gauss)[28],U-Net網(wǎng)絡(luò)[29],帶有多層短連接的全卷積網(wǎng)絡(luò)(FCNRes)[30], 以及SDNet網(wǎng)絡(luò)[25]。 因?yàn)閂esselness和Bi-Gauss均為圖像增強(qiáng)的方法, 所以使用不同的閾值進(jìn)行后處理會(huì)得到不同的分割結(jié)果。 圖4(c)和(d)所示二者的分割結(jié)果均是根據(jù)ROC曲線得到最優(yōu)閾值處理的結(jié)果。 由分割結(jié)果看出, 這兩種濾波方法可以分出冠脈的主干血管, 而對(duì)于一些較細(xì)小的血管卻難以分割出來, 而且在主動(dòng)脈入口部位產(chǎn)生了較大的錯(cuò)分現(xiàn)象, 其中, Bi-Guass濾波方法的錯(cuò)分在兩者間更嚴(yán)重一些, 因此, 其分割指標(biāo)相對(duì)更低一些, 如表4中第二三行所示。FCNRes網(wǎng)絡(luò)采用全卷積方式,加入殘差模塊建立了更深的網(wǎng)絡(luò),分割結(jié)果如圖4(e)所示,此方法能將冠脈主干及部分細(xì)小血管分割出來,然而容易將過多背景像素錯(cuò)分。U-Net是現(xiàn)在最流行的醫(yī)學(xué)圖像分割網(wǎng)絡(luò)之一,本實(shí)驗(yàn)構(gòu)建了三維U-Net網(wǎng)絡(luò),并將其用于CTA數(shù)據(jù)中的冠狀動(dòng)脈分割,分割結(jié)果如圖4(f)所示,可以看出,U-Net網(wǎng)絡(luò)不僅能分出冠脈主干,還能分出部分細(xì)小的血管,然而分出的細(xì)小血管會(huì)存在間斷現(xiàn)象且容易將血管遠(yuǎn)端漏分。MSDNet在SDNet網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行了改進(jìn),增加了跳躍連接、多尺度模塊和密集連接模塊,二者的冠脈分割結(jié)果如圖4中(g)和(h)所示。可以看出,SDNet網(wǎng)絡(luò)分割的冠脈結(jié)構(gòu)存在部分血管間斷現(xiàn)象,而本文的改進(jìn)方法對(duì)其進(jìn)行了改善,得到了更為連貫的冠脈結(jié)構(gòu)。圖4(b)為冠脈的金標(biāo)準(zhǔn),通過與其進(jìn)行比較可以看出,本文的方法不僅能將冠脈主干分割出來,而且能夠分割出更多的細(xì)小血管,且冠脈結(jié)構(gòu)更為連貫。

表4中給出了幾種方法的冠脈分割結(jié)果在準(zhǔn)確率(Acc)、靈敏度(Sen)、特異性(Sep)、陽性預(yù)測(cè)值(PPV)、陰性預(yù)測(cè)值(NPV)以及Dice系數(shù)上的結(jié)果??梢钥闯觯c其他方法相比,本文提出的MSDNet網(wǎng)絡(luò)在準(zhǔn)確率、靈敏度、陽性預(yù)測(cè)值以及Dice系數(shù)上均取得最高值。其中,靈敏度(86.86%)最高反映出本文的方法能更多地將冠脈分割出來,Dice系數(shù)(0.721 6)最高表示本文分割的冠脈結(jié)構(gòu)與金標(biāo)準(zhǔn)更為接近。

4 結(jié) 語

本文提出了用于心臟CTA圖像中冠狀動(dòng)脈分割的一種半監(jiān)督多尺度特征分解網(wǎng)絡(luò)的深度學(xué)習(xí)方法。在心臟CTA圖像中,針對(duì)心臟內(nèi)外與冠脈強(qiáng)度相似的組織器官對(duì)分割結(jié)果的影響,本文設(shè)計(jì)含有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)對(duì)實(shí)驗(yàn)數(shù)據(jù)中的二維切片進(jìn)行二分類,識(shí)別出含有冠狀動(dòng)脈血管像素的切片;針對(duì)標(biāo)簽數(shù)據(jù)稀少的挑戰(zhàn),本文使用半監(jiān)督多尺度特征分解網(wǎng)絡(luò)用于冠狀動(dòng)脈分割。該網(wǎng)絡(luò)包括3個(gè)方面的改進(jìn):①多尺度模塊;②跳躍連接;③密集連接模塊。本文方法最終實(shí)現(xiàn)了CTA圖像中冠狀動(dòng)脈的三維分割,分割結(jié)果優(yōu)于實(shí)驗(yàn)中的其他對(duì)比方法。實(shí)驗(yàn)證明了本文的多尺度特征分解網(wǎng)絡(luò)在冠狀動(dòng)脈分割上的優(yōu)越性,具有較大的臨床應(yīng)用潛力。

參考文獻(xiàn):

[1] ZHOU C, CHAN H P, CHUGHTAI A, et al. Automated coronary artery tree extraction in coronary CT angiography using a multiscale enhancement and dynamic balloon tracking (MSCAR-DBT) method[J]. Computerized Medical Imaging and Graphics, 2012, 36(1):1-10.

[2] ZHAO F J, CHEN Y R, HOU Y Q, et al. Segmentation of blood vessels using rule-based and machine-learning-based methods: A review[J]. Multimedia Systems, 2019, 25(2):109-18.

[3] 楊棟. 面向CTA圖像的冠脈血管分割算法研究和血管狹窄度分析[D]. 杭州:浙江大學(xué),2015.

[4] 王宇慧. 基于主動(dòng)形狀模型的醫(yī)學(xué)圖像分割方法研究[D]. 西安:西北大學(xué),2015.

[5] TAYEBI R M , SULAIMAN P S B , WIRZA R , et al. Coronary artery segmentation in angiograms with pattern recognition techniques:A survey[C]∥2013 International Conference on Advanced Computer Science Applications and Technologies (ACSAT). IEEE, 2013.

[6] YOU X, PENG Q, YUAN Y, et al. Segmentation of retinal blood vessels using the radial projection and semi-supervised approach[J]. Pattern Recognition, 2011, 44(10):2314-24.

[7] 朱承璋,向遙,鄒北驥,等.基于分類回歸樹和AdaBoost的眼底圖像視網(wǎng)膜血管分割[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2014,26(3):445-451.

ZHU C Z,XIANG Y,ZOU B J,et al.Retinal vessel segmentation in fundus images using CART and AdaBoost[J].Journal of Computer-Aided Design & Computer Graphics, 2014,26(3):445-451.

[8] SCHNEIDER M, HIRSCH S, WEBER B, et al. Joint 3-D vessel segmentation and centerline extraction using oblique Hough forests with steerable filters[J]. Medical Image Analysis, 2015, 19(1):220-249.

[9] LISKOWSKI P, KRAWIEC K. Segmenting retinal blood vessels with deep neural networks[J]. IEEE Transactions on Medical Imaging, 2016, 35(11):2369-2380.

[10]WU A, XU Z Y, GAO M C,et al. Deep vessel tracking: A generalized probabilistic approach via deep learning[C]∥2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI). IEEE, 2016.

[11]PRENTASIC P, HEISLER M, MAMMO Z, et al. Segmentation of the foveal microvasculature using deep learning networks[J]. Journal of Biomedical Optics, 2016, 21(7):075008.

[12]MAJI D, SANTARA A, MITRA P, et al. Ensemble of deep convolutional neural networks for learning to detect retinal vessels in fundus images[EB/OL].2016:arXiv:1603.04833[cs.LG].https:∥arxiv.org/abs/1603.04833.

[13]BENGIO Y, COURVILLE A, VINCENT P. Representation learning: A review and new perspectives[EB/OL].2012:arXiv:1206.5538[cs.LG].https:∥arxiv.org/abs/1206.5538.

[14]CHEN X, DUAN Y, HOUTHOOFT R, et al. InfoGAN: Interpretable representation learning by information maximizing generative adversarial nets[EB/OL].2016 :arXiv:1606.03657 [cs.LG].https:∥arxiv.org/abs/1606.03657.

[15]KINGMA D P, WELLING M. Auto-encoding variational Bayes[EB/OL].2013:arXiv:1312.6114 [cs.LG].https:∥arxiv.org/abs/1312.6114.

[16]GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial networks[EB/OL].2014: arXiv:1406.2661 [cs.LG].https:∥arxiv.org/abs/1406.2661.

[17]BIFFI C, OKTAY O, TARRONI G, et al. Learning interpretable anatomical features through deep generative models: Application to cardiac remodeling[M]∥Medical Image Computing and Computer Assisted Intervention - MICCAI 2018. Cham: Springer International Publishing, 2018: 464-471.

[18]MATHIEU M, ZHAO J, SPRECHMANN P, et al. Disentangling factors of variation in deep representations using adversarial training[EB/OL].2016: arXiv:1611.03383 [cs.LG].https:∥arxiv.org/abs/1611.03383.

[19]NIE D, GAO Y Z, WANG L, et al. ASDNet: Attention based semi-supervised deep networks for medical image segmentation[M]∥Medical Image Computing and Computer Assisted Intervention - MICCAI 2018. Cham: Springer International Publishing, 2018: 370-378.

[20]ZHANG Y Z, YANG L, CHEN J X, et al. Deep adversarial networks for biomedical image segmentation utilizing unannotated images[M]∥Medical Image Computing and Computer Assisted Intervention - MICCAI 2017. Cham: Springer International Publishing, 2017: 408-416.

[21]LUC P, COUPRIE C, CHINTALA S, et al. Semantic segmentation using adversarial networks[EB/OL].2016: arXiv:1611.08408 [cs.CV].https:∥arxiv.org/abs/1611.08408.

[22]SOULY N, SPAMPINATO C, SHAH M. Semi and weakly supervised semantic segmentation using generative adversarial network[EB/OL].2017:arXiv:1703.09695 [cs.CV].https:∥arxiv.org/abs/1703.09695.

[23]SZEGEDY C, LIU W, JIA Y Q, et al. Going deeper with convolutions[EB/OL].2014: arXiv:1409.4842[cs.CV].https:∥arxiv.org/abs/1409.4842.

[24]HUANG G, LIU Z, MAATEN L V D, et al. Densely connected convolutional networks[C]∥Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR).Honolulu:IEEE,2017,2261-2269.

[25]WOO S, PARK J, LEE J Y, et al. CBAM: Convolutional block attention module[M]∥Computer Vision - ECCV 2018. Cham: Springer International Publishing, 2018: 3-19.

[26]CHARTSIAS A, JOYCE T, PAPANASTASIOU G, et al. Factorised spatial representation learning: Application in semi-supervised myocardial segmentation[EB/OL].2018: arxiv:1803.07031 [cs.CV]:https:∥arxiv.org/abs/1803.07031.

[27]SATO Y, NAKAJIMA S, SHIRAGA N, et al. Three-dimensional multi-scale line filter for segmentation and visualization of curvilinear structures in medical images[J].Medical Image Analysis, 1998, 2(2):143-168.

[28]XIAO C Y, STARING M, WANG Y N, et al. Multiscale Bi-Gaussian filter for adjacent curvilinear structures detection with application to vasculature images[J]. IEEE Transactions on Image Processing, 2013,22(1):174-188.

[29]RONNEBERGER O, FISCHER P, BROX T. U-net: Convolutional networks for biomedical image segmentation[M]∥Lecture Notes in Computer Science. Cham: Springer International Publishing, 2015: 234-241.

[30]HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[EB/OL].2015:arXiv:1512.03385 [cs.CV].https:∥arxiv.org/abs/1512.03385.

(編 輯 李 靜)

猜你喜歡
深度學(xué)習(xí)
從合坐走向合學(xué):淺議新學(xué)習(xí)模式的構(gòu)建
面向大數(shù)據(jù)遠(yuǎn)程開放實(shí)驗(yàn)平臺(tái)構(gòu)建研究
基于自動(dòng)智能分類器的圖書館亂架圖書檢測(cè)
搭建深度學(xué)習(xí)的三級(jí)階梯
有體驗(yàn)的學(xué)習(xí)才是有意義的學(xué)習(xí)
電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識(shí)別研究
利用網(wǎng)絡(luò)技術(shù)促進(jìn)學(xué)生深度學(xué)習(xí)的幾大策略
考試周刊(2016年94期)2016-12-12 12:15:04
MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
莱芜市| 莲花县| 北海市| 体育| 广南县| 吉安县| 醴陵市| 大丰市| 遵义市| 新民市| 台中市| 仙居县| 八宿县| 同江市| 大新县| 璧山县| 扎囊县| 綦江县| 醴陵市| 胶州市| 彭泽县| 濉溪县| 丽水市| 绥棱县| 秦皇岛市| 昌平区| 嫩江县| 宁夏| 朝阳区| 乌兰察布市| 绥阳县| 博罗县| 思茅市| 新乐市| 金华市| 理塘县| 广丰县| 万山特区| 客服| 泽州县| 英吉沙县|