楊澤鵬,李娜,張保昌,吳宗翰,楊俊,周壽軍△
(1. 華南理工大學(xué)廣州學(xué)院,廣州 510800;2. 深圳先進(jìn)技術(shù)研究院,深圳 518055; 3. 火箭軍廣州特勤療養(yǎng)中心,廣州 510515)
血管疾病是人類面臨的重大疾病之一[1]。目前,針對(duì)血管疾病的診斷仍然依賴于各種血管造影技術(shù),主要包括X射線/數(shù)字減影血管造影(DSA)、磁共振血管造影(MRA)、 計(jì)算機(jī)斷層掃描血管造影(CTA)和超聲血管造影。隨著圖像處理技術(shù)的快速發(fā)展,計(jì)算機(jī)輔助診療正在逐步成為現(xiàn)實(shí)。然而,由于成像模態(tài)和解剖學(xué)成像部位的多樣性,血管造影圖像的分割仍然是一個(gè)極具挑戰(zhàn)的問(wèn)題。近年來(lái),已有相關(guān)文獻(xiàn)對(duì)一些經(jīng)典的模型驅(qū)動(dòng)的血管分割方法進(jìn)行了總結(jié)[2],隨著血管分割技術(shù)的快速發(fā)展和特殊應(yīng)用需求,新穎的模型驅(qū)動(dòng)的方法得以繼續(xù)發(fā)展,其精度和計(jì)算效率不斷提高。此外,大數(shù)據(jù)和人工智能技術(shù)的快速發(fā)展,使得基于數(shù)據(jù)驅(qū)動(dòng)的血管分割方法應(yīng)運(yùn)而生。我們對(duì)近年來(lái)前沿的血管分割方法進(jìn)行回顧,并分為基于模型驅(qū)動(dòng)和基于數(shù)據(jù)驅(qū)動(dòng)。前者主要包括統(tǒng)計(jì)模型法、形變模型法、基于跟蹤的方法、混合模型法;后者主要包括基于特征構(gòu)造的分類器學(xué)習(xí)方法和深度學(xué)習(xí)方法。各方法的主要特點(diǎn),見(jiàn)表1。
表1當(dāng)前主要的血管分割方法的分類和描述
Table1Classification and description of current vessel segmentation methods
方法與分類概念和特點(diǎn)模型驅(qū)動(dòng)統(tǒng)計(jì)模型法用特定的混合概率分布擬合血管與背景像素的灰度分布。形變模型法圖像內(nèi)定義的曲線或者曲面在內(nèi)外力的工作下移動(dòng)和變形,向目標(biāo)輪廓演化。主要分為參數(shù)形變模型和幾何形變模型?;诟櫟姆椒ㄍㄟ^(guò)局部特定條件來(lái)約束種子點(diǎn)對(duì)血管結(jié)構(gòu)進(jìn)行提取,包括基于模型的跟蹤和基于MCP的跟蹤算法?;旌夏P头?lián)合使用多種基于模型驅(qū)動(dòng)的分割方法。數(shù)據(jù)驅(qū)動(dòng)基于特征構(gòu)造的分類器集成方法根據(jù)數(shù)據(jù)特征和標(biāo)記值判別血管目標(biāo)。深度學(xué)習(xí)方法通過(guò)卷積神經(jīng)網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)圖像特征并判別血管結(jié)構(gòu)。
基于模型驅(qū)動(dòng)的分割方法是指根據(jù)待處理數(shù)據(jù)中感興趣區(qū)域的相關(guān)特征(如灰度,形狀等)預(yù)設(shè)一個(gè)模型與目標(biāo)區(qū)域的同類特征進(jìn)行擬合或匹配,從而完成目標(biāo)分割。此方法面臨的主要問(wèn)題包括難以找到適合數(shù)據(jù)的模型和正確估計(jì)模型的參數(shù)。
統(tǒng)計(jì)模型法是指直接將圖像的各個(gè)像素或體素當(dāng)作單獨(dú)的樣本,然后用一個(gè)有限混合概率模型去擬合這些樣本所服從的分布,通過(guò)各種參數(shù)估計(jì)算法得到一個(gè)完整的統(tǒng)計(jì)模型,最后由最大后驗(yàn)概率對(duì)這些樣本進(jìn)行分割,見(jiàn)圖1。近年來(lái),統(tǒng)計(jì)模型法主要應(yīng)用于腦血管的分割[3-5],其中,有限混合模型的構(gòu)造和模型參數(shù)估計(jì)是關(guān)鍵。統(tǒng)計(jì)模型法因其可快速自動(dòng)地實(shí)現(xiàn)血管分割受到研究者的青睞。然而,現(xiàn)有的統(tǒng)計(jì)學(xué)模型主要利用特定解剖學(xué)部位圖像的空間灰度的統(tǒng)計(jì)學(xué)信息,忽略了空間形狀先驗(yàn),因此產(chǎn)生不連續(xù)的分割結(jié)果;Zhou等[3]通過(guò)引進(jìn)馬爾可夫隨機(jī)場(chǎng)和多模態(tài)領(lǐng)域系統(tǒng)提高了統(tǒng)計(jì)學(xué)模型的分割性能。假如結(jié)合空間血管的復(fù)雜先驗(yàn)信息,分割結(jié)果的完整性、精確性、有效性將獲得極大提升。
圖1基于統(tǒng)計(jì)學(xué)模型分割的基本工作流程(左右兩側(cè)分別是輸入圖像和分割結(jié)果的最大密度投影)
Fig.1Basic workflow of segmentation based on statistical model(the left and right figures are the maximum densityprojections of input image and segmentation result respectively)
形變模型又稱為活動(dòng)輪廓模型(active contour model, ACM)或者‘蛇’模型(Snake)[6],它通過(guò)在圖像內(nèi)定義的曲線和曲面來(lái)描述目標(biāo)的邊緣,并在內(nèi)力和外力的作用下移動(dòng)和變形,以此向目標(biāo)輪廓演化;期間,內(nèi)力保持曲線平滑,外力吸引曲線向血管邊界靠近。由于ACM需要初始化來(lái)啟動(dòng)變形過(guò)程,因此該模型的局限性在于其魯棒性受制于模型對(duì)初始位置和噪聲的敏感性。鑒于ACM的構(gòu)造相對(duì)簡(jiǎn)單,可結(jié)合不同的外力和內(nèi)力進(jìn)行優(yōu)化,尤其是針對(duì)模型的外力優(yōu)化。研究者能夠依據(jù)不同血管分割環(huán)境,設(shè)計(jì)不同的測(cè)度并建立相應(yīng)的外力[7-9]。當(dāng)前,形變模型的熱點(diǎn)問(wèn)題是針對(duì)形狀、大小各異的血管目標(biāo),如何將外力引導(dǎo)的形變約束和目標(biāo)幾何的先驗(yàn)知識(shí)相結(jié)合進(jìn)行分割[8-9]。
基于跟蹤的血管分割是一種基于局部測(cè)度的方法,需要確定種子點(diǎn)以及引導(dǎo)跟蹤過(guò)程的局部約束條件。初始種子點(diǎn)可以手工或自動(dòng)設(shè)定,如利用匹配濾波算法獲取血管種子點(diǎn)[10],相比于其他血管分割算法,跟蹤法最大的優(yōu)勢(shì)是能夠保證血管結(jié)構(gòu)的連續(xù)性。目前,主要的血管跟蹤方法為基于模型跟蹤(model-based tracking,MBT)和基于最小代價(jià)路徑(minimum-cost path, MCP)。
MBT方法通過(guò)在原始圖像中跟蹤預(yù)定義的局部血管模型來(lái)實(shí)現(xiàn)[11-12],常用的局部模型為橢圓截面或圓柱體結(jié)構(gòu),跟蹤的每一步均通過(guò)尋找模型與局部圖像數(shù)據(jù)的最佳匹配結(jié)果來(lái)確定下一個(gè)模型的位置和方向。通常,強(qiáng)度或者梯度特征被用來(lái)獲取最佳匹配測(cè)度。
血管造影成像涉及多種數(shù)據(jù)模態(tài)以及個(gè)體化血管形態(tài)和病理特征,單一的分割方法難以解決血管影像分割問(wèn)題。為此,研究者們通過(guò)綜合運(yùn)用多種模型來(lái)達(dá)到最優(yōu)分割效果。Tian 等[16]結(jié)合統(tǒng)計(jì)信息與血管形狀信息,提出了一種新的活動(dòng)輪廓模型來(lái)分割腦血管。Zhao等[17]考慮到基于水平集的方法可以使活動(dòng)輪廓收斂到血管邊界,而基于區(qū)域生長(zhǎng)的方法可以獲取具有相似灰度的目標(biāo)區(qū)域,因此結(jié)合這兩種方法能有效分割出視網(wǎng)膜造影數(shù)據(jù)中的血管。與此類似,Zeng等[18]提出了一種使用三維區(qū)域生長(zhǎng)和混合活動(dòng)輪廓模型的自動(dòng)肝血管分割方法;Goceri等[19]結(jié)合圖像中不同的像素強(qiáng)度分布,在Kmeans聚類獲得的粗分割結(jié)果上采用形態(tài)學(xué)算子實(shí)現(xiàn)了肝血管分割。
上述基于模型驅(qū)動(dòng)的四類代表性方法主要根據(jù)血管造影數(shù)據(jù)的灰度和形狀等信息,通過(guò)預(yù)設(shè)一個(gè)模型與目標(biāo)區(qū)域的同類特征進(jìn)行擬合或匹配,從而完成血管分割。模型驅(qū)動(dòng)的方法主要優(yōu)勢(shì)是計(jì)算效率可控,參數(shù)選擇可通過(guò)經(jīng)驗(yàn)和算法估計(jì)得到,并且在正則化建模前提下,可以通過(guò)學(xué)習(xí)自適應(yīng)選擇參數(shù)來(lái)提高分割精度。模型驅(qū)動(dòng)的方法存在對(duì)圖像的空間尺度、數(shù)據(jù)模態(tài)、血管的局部和全局特征有較大的依賴性,統(tǒng)一模型很難適應(yīng)不同數(shù)據(jù)環(huán)境等問(wèn)題和瓶頸。為此,基于數(shù)據(jù)驅(qū)動(dòng)的方法是另一有效的研究策略。
近年來(lái),基于數(shù)據(jù)驅(qū)動(dòng)的血管分割方法成為人工智能研究的主流方法。依據(jù)數(shù)據(jù)特征提取方式,數(shù)據(jù)驅(qū)動(dòng)的方法可以劃分為基于特征構(gòu)造的分類器集成方法[20-23]和深度學(xué)習(xí)方法[24-28]兩類。前者是典型的機(jī)器學(xué)習(xí)方法,結(jié)合一些濾波算子甚至手工勾繪方式,從輸入圖像中獲取更高層次的特征(即所謂的特征構(gòu)造),并通過(guò)一個(gè)分類器或多個(gè)分類器組合的方式對(duì)已提取的特征進(jìn)行分類,從而完成血管的分割任務(wù)。隨著科學(xué)計(jì)算的硬件處理能力不斷提升,深度學(xué)習(xí)方法近幾年再次出現(xiàn)在大量研究工作中,它摒棄了繁瑣復(fù)雜的特征構(gòu)造步驟,能夠在無(wú)人工干預(yù)的情況下促使模型獨(dú)自完成分類特征的學(xué)習(xí)和篩選這一復(fù)雜過(guò)程[29]。相對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí),深度學(xué)習(xí)需要更龐大且全面的數(shù)據(jù)庫(kù),通過(guò)數(shù)據(jù)挖掘獲取潛在的高層抽象特征,并建立準(zhǔn)確的監(jiān)督機(jī)制。由于深度學(xué)習(xí)能夠提取出傳統(tǒng)機(jī)器學(xué)習(xí)難以提取的高層特征,因此深度學(xué)習(xí)展現(xiàn)出了更加顯著的優(yōu)越性。圖2表明了兩者的區(qū)別。
圖2傳統(tǒng)機(jī)器學(xué)習(xí)與深度學(xué)習(xí)方法的比較
(a).數(shù)據(jù)依賴性;(b).硬件需求;(c).特征可解釋性;(d)特征規(guī)模
Fig.2Comparison between traditional machine learning and deep learning methods
(a).data dependence;(b).hardware requirement;(c).feature interpretability;(d).feature scale
該方法的基本規(guī)則是多類特征驅(qū)動(dòng)的分類與聯(lián)合判別策略,該規(guī)則下的血管判別兼顧了不同數(shù)據(jù)特征和分類標(biāo)記,每個(gè)訓(xùn)練樣本組成包括逐個(gè)像素點(diǎn)的位置、提取的特征向量(如像素強(qiáng)度,濾波響應(yīng))和標(biāo)記值。Rodrigues等[30]利用支持向量機(jī)(SVM)將視網(wǎng)膜血管從光學(xué)相干斷層掃描圖像中分割出來(lái)。Zheng等[20]建立了一個(gè)以心臟重心為原點(diǎn)的坐標(biāo)系統(tǒng),提取每個(gè)體素在該坐標(biāo)系下的幾何特征,并且對(duì)增強(qiáng)后的圖像數(shù)據(jù)提取了梯度特征,再利用概率提升樹(shù)(PBT)來(lái)分割冠狀動(dòng)脈。Fraz等[21]和Soares等[22]研究了Gabor濾波器[23]和高斯濾波器組合的特征向量生成算法,其中基于特征的AdaBoost分類器的視網(wǎng)膜血管分割還可以使用多特征構(gòu)造方式。
深度學(xué)習(xí)方法的實(shí)現(xiàn)主要采用卷積神經(jīng)網(wǎng)絡(luò)(CNN),在此基礎(chǔ)上的全卷積神經(jīng)網(wǎng)絡(luò)(FCN)和U-net網(wǎng)絡(luò)能夠?qū)?shù)據(jù)進(jìn)行端到端的訓(xùn)練,從而高效地定位圖像目標(biāo)[31]。Dasgupta等[24]和Mo等[25]利用FCN分割視網(wǎng)膜血管。Ronneberger等[26]改進(jìn)了FCN網(wǎng)路結(jié)構(gòu)并提出U-Net網(wǎng)絡(luò)。之后,很多研究在U-Net網(wǎng)絡(luò)框架上進(jìn)行了一系列的改進(jìn)[27-28],Tetteh 等[28]將二維的U-Net網(wǎng)絡(luò)改進(jìn)為三維網(wǎng)絡(luò)結(jié)構(gòu),并提出了DeepVesselNet網(wǎng)絡(luò),成功用于核磁共振血管造影數(shù)據(jù)的腦血管結(jié)構(gòu)分割、中心線提取和分支點(diǎn)探測(cè)。由于大多數(shù)方法都依賴于網(wǎng)絡(luò)的深度,并且需要大樣本,Wang等[32]提出一種新穎的循環(huán)U-net架構(gòu),既保留了原始U-Net的緊湊性又提高了網(wǎng)絡(luò)的分割性能。
我們對(duì)近年來(lái)一些前沿的血管分割方法進(jìn)行了回顧,通過(guò)對(duì)這些方法進(jìn)行分析發(fā)現(xiàn):造影圖像存在強(qiáng)度不均勻性、噪聲、運(yùn)動(dòng)偽影等引起的圖像特征不清晰和結(jié)構(gòu)不明確等問(wèn)題仍是血管分割的主要瓶頸。模型驅(qū)動(dòng)的血管分割取決于數(shù)據(jù)的一些先驗(yàn)知識(shí),由于不同成像模態(tài)的數(shù)據(jù)或者不同組織器官下的血管具有不同的先驗(yàn)信息,使得模型驅(qū)動(dòng)的方法很難具有通用性。目前,僅Lu等[5]在這方面進(jìn)行了探索。他們基于多尺度濾波和統(tǒng)計(jì)學(xué)模型提出了一個(gè)普適的血管分割算法。此外,基于模型的分割技術(shù)需要在參數(shù)設(shè)置、模型擬合、血管骨架線跟蹤過(guò)程中常常需要干預(yù),使得這些方法難以自動(dòng)化并且對(duì)初始參數(shù)敏感;有些基于模型的分割技術(shù)是無(wú)參數(shù)的(例如幾何形變模型),但它們受分辨率的限制,計(jì)算過(guò)程中需要的時(shí)間成本高。因此,減少模型驅(qū)動(dòng)方法中的用戶交互或者采用一些并行的算法來(lái)提高計(jì)算效率,依然是這類方法研究的重點(diǎn)。另外,當(dāng)前臨床方面的主要需求之一是分析病理血管的情況,然而大多數(shù)血管分割的方法受限于對(duì)健康血管的一些假設(shè)(比如線性或者圓形橫斷面)。對(duì)于含有病變的血管,這些假設(shè)或許不太適用,因此,對(duì)病理血管創(chuàng)建有效的模型也是當(dāng)前和未來(lái)研究面臨的挑戰(zhàn)性問(wèn)題。
總體來(lái)看,數(shù)據(jù)驅(qū)動(dòng)的血管分割方法,尤其是深度學(xué)習(xí)方法,能夠獲得更加精確的結(jié)果。但由于缺乏公開(kāi)的訓(xùn)練數(shù)據(jù)集,大多數(shù)基于深度學(xué)習(xí)的血管分割方法僅僅用于視網(wǎng)膜血管;對(duì)于其他組織(腦部或肝臟等)的血管,其成像數(shù)據(jù)多為三維,并且其血管結(jié)構(gòu)復(fù)雜,通過(guò)手工標(biāo)注的方式構(gòu)建相應(yīng)的訓(xùn)練數(shù)據(jù)非常耗時(shí)。因此,通過(guò)使用半監(jiān)督或者結(jié)合模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)的方法來(lái)克服缺乏大量金標(biāo)準(zhǔn)成為當(dāng)下研究的熱點(diǎn)。此外,基于模型驅(qū)動(dòng)與數(shù)據(jù)驅(qū)動(dòng)結(jié)合的方法進(jìn)行血管造影分割是另一重要研究趨勢(shì),深度學(xué)習(xí)的良好泛化能力必將有助于將血管分割技術(shù)應(yīng)用于臨床的疾病診斷和手術(shù)計(jì)劃。