成銘揚(yáng)，李 亮

(1.清華大學(xué) 工程物理系，北京 100084；2.危爆物品掃描探測技術(shù)國家工程實(shí)驗(yàn)室，清華大學(xué)，北京 100084)

0 引言

數(shù)字減影血管造影技術(shù)(digital subtraction angiography, DSA)是指將通過X線探測設(shè)備掃描獲得的人體同一部位的兩幀影像傳送到計(jì)算機(jī)，將模擬信號轉(zhuǎn)換為數(shù)字信號，通過圖像處理將造影片上的骨與軟組織消除，僅在影像中獲得血管的成像技術(shù)[1]，它廣泛應(yīng)用于人體神經(jīng)系統(tǒng)和各類血管性疾病的檢測和治療[2]。

其中，DSA可分為三類：時間減影、能量減影和混合減影[3]，時間減影和能量減影因其各自優(yōu)缺點(diǎn)在臨床中有不同的應(yīng)用。時間減影能有效消除造影血管外的背景區(qū)域(骨或軟組織)，但需要對人體進(jìn)行兩次掃描，輻射劑量較大且容易受到兩次照射間非碘化組織運(yùn)動所造成的運(yùn)動偽影。能量減影的常見方式為雙能減影，主要通過兩種方法來實(shí)現(xiàn)：①使用兩種不同kVp峰值的X射線分別曝光。②使用能將衰減后的X射線進(jìn)行能量分離的探測器系統(tǒng)(一次曝光法[4])。雖然能量減影可以避免兩次掃描所帶來的不利影響，但依舊很難消除骨骼等組織對減影圖像的影響[3]。

近年來,深度學(xué)習(xí)網(wǎng)絡(luò)的研究發(fā)展趨于成熟[5]，為消去人體其他組織的影像以凸顯血管或病灶部位提供了許多新的解決方法，如基于CNN的X線胸片骨抑制技術(shù)[6]、人體肺結(jié)節(jié)的識別[7]等。通過輸入待轉(zhuǎn)換的圖像至神經(jīng)網(wǎng)絡(luò)，對應(yīng)的輸出為理想轉(zhuǎn)換后的圖像，以此訓(xùn)練神經(jīng)網(wǎng)絡(luò)參數(shù)，縮小轉(zhuǎn)換后圖像與待轉(zhuǎn)換圖像的差異，可以實(shí)現(xiàn)原圖向目標(biāo)圖像的轉(zhuǎn)換。

本文第1部分闡述雙層探測器實(shí)現(xiàn)血管減影的相關(guān)研究及其原理，并簡單介紹U-net等神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)上的應(yīng)用；第2部分將詳細(xì)介紹本文所采用的神經(jīng)網(wǎng)絡(luò)模型和損失函數(shù)；第3部分是實(shí)驗(yàn)步驟、圖像評價(jià)指標(biāo)和結(jié)果的對比分析，驗(yàn)證U-net網(wǎng)絡(luò)在雙能血管減影應(yīng)用的有效性和優(yōu)點(diǎn)；第4部分是總結(jié)與展望。

1 概述

1.1 數(shù)字減影血管造影技術(shù)

時間減影以時間作為參數(shù)，用X射線攝取一張注射造影劑之前的掩模像進(jìn)行存儲。然后在血管中注射碘造影劑，等待一段時間造影劑遍布血管后再攝取一張含碘的造影像。兩張圖像相減，相同部分消除，含造影劑的血管部分凸顯。

能量減影以射線能量為參數(shù)，利用了兩種物質(zhì)對不同能量的X射線的衰減程度不一樣的原理，其中一種物質(zhì)在大于某一X射線能量時衰減曲線發(fā)生了跳變，而其他物質(zhì)衰減曲線連續(xù)且變動較小，如利用碘元素的k-edge特性減影[8]。能量減影從實(shí)現(xiàn)形式上可以分為雙源kVp技術(shù)和雙層探測器系統(tǒng)。因側(cè)重于實(shí)現(xiàn)一次曝光法以及實(shí)驗(yàn)設(shè)備限制，本文選擇通過后者來完成雙能量血管減影算法的實(shí)現(xiàn)。

1.2 雙能減影圖像分離原理

血管造影圖主要由含碘血管和背景組織組成。高能射線和低能射線的能量分別為Ehigh和Elow，初始入射的X射線強(qiáng)度和透射后的X射線強(qiáng)度分別為I0和I，含碘血管和背景物質(zhì)的厚度分別為x1和x2，其X射線衰減系數(shù)分別為u1和u2。根據(jù)比爾定律有：

(1)

雙能DSA減影需要減去x2以留下待觀察的含碘血管，所以對(1)進(jìn)行等式變換后再取負(fù)對數(shù)得到式(2)：

(2)

為消去含x2的項(xiàng)，我們分別對(2)中式子分別乘以系數(shù)[9]后相減得到式(3)：

s=(Nl*u1(Elow)-Nh*u1(Ehigh))*x1+

(Nl*u2(Elow)-Nh*u2(Ehigh))*x2

(3)

因此，只要滿足式(4)即能消去除了含碘血管外的物質(zhì)。

(4)

1.3 雙層探測器

最早的一次曝光法是由Speller[10]提出的，目的是為了消除兩次曝光法間隔人體的呼吸、心跳以及部位移動等產(chǎn)生的偽影，但減影圖像組織對比度和信噪比都不理想。如想達(dá)到兩次曝光法的效果，則需提高X射線的曝光劑量[11]。

本實(shí)驗(yàn)通過雙層探測器來實(shí)現(xiàn)一次曝光法，即把分別對低能X射線和高能X射線敏感的探測器復(fù)合在一起，在兩層探測器之間加一層過濾層以濾掉低能光子使其不進(jìn)入高能探測器。Linxi Shi等[12]研究了雙層平板探測器的基本特性以及在二維和三維下的成像能力。Minghui Lu等[13]以動態(tài)雙層非晶矽平板探測器進(jìn)行雙能錐束CT掃描，進(jìn)行材料分解以探究其在雙能成像中的成像性能；以及Chumin Zhao等[14]比較雙源模式和雙層探測器兩種方式對骨密度測量準(zhǔn)確性的影響。

1.4 深度學(xué)習(xí)在醫(yī)學(xué)影像領(lǐng)域的研究進(jìn)展

目前深度學(xué)習(xí)在醫(yī)學(xué)圖像分割、醫(yī)學(xué)圖像識別、計(jì)算機(jī)輔助診斷等醫(yī)學(xué)影像處理方面應(yīng)用廣泛，其中應(yīng)用到的模型主要有SAE、DBN、CNN、U-net、GAN以及FCNN[15]等神經(jīng)網(wǎng)絡(luò)。近年來，隨著計(jì)算機(jī)計(jì)算能力的逐漸提升，深度學(xué)習(xí)網(wǎng)絡(luò)逐漸由特征輸入轉(zhuǎn)變?yōu)橹苯訉D像的灰度值輸入，稱為基于像素的機(jī)器學(xué)習(xí)方法[16]。能量減影的缺點(diǎn)在于無法消除骨骼對減影圖像的影響，為消除該影響，可以采用級聯(lián)式多尺度基于卷積神經(jīng)網(wǎng)絡(luò)的骨抑制技術(shù)[17]。此外，加速卷積網(wǎng)絡(luò)和多分辨率卷積網(wǎng)絡(luò)[6]在胸片雙能減影的骨組織去除中也具有良好的效果。也可以將骨骼視作圖像中的噪聲信息，利用U-net網(wǎng)絡(luò)的跳躍連接和殘差學(xué)習(xí)的策略完成胸片中肋骨的抑制[18]。而深度學(xué)習(xí)在CT血管造影的血管分割中也起到很大作用，例如Vessel-VNet網(wǎng)絡(luò)對血管區(qū)域進(jìn)行分割提取[19]。

2 算法設(shè)計(jì)與實(shí)現(xiàn)

2.1 U-net網(wǎng)絡(luò)結(jié)構(gòu)

本文使用的改進(jìn)U-net神經(jīng)網(wǎng)絡(luò)模型如圖1所示，U-net網(wǎng)絡(luò)[20]由兩部分構(gòu)成：前半部分主要是由卷積層和池化層構(gòu)成的收縮路徑，用于提取圖像各個層次的特征；后半部分是與收縮路徑對稱的擴(kuò)張路徑，用于精準(zhǔn)定位，主要通過卷積層和上采樣實(shí)現(xiàn)。兩個網(wǎng)絡(luò)呈對稱關(guān)系，形成U型。U-net網(wǎng)絡(luò)的收縮路徑每一層均由兩次卷積和一次池化構(gòu)成，卷積層為隨機(jī)生成且符合正態(tài)分布的3×3矩陣，為使得卷積前后圖像尺寸不變采用填充模式。池化層采用2×2的平均池化矩陣使圖像長寬尺寸各縮小一半，在每層的輸出部分都采用了ReLU函數(shù)作為激活函數(shù)，池化后下一層的卷積層卷積核個數(shù)均為上層的兩倍，得到的特征圖也會加倍。擴(kuò)張路徑每層均由兩次卷積和一次上采樣構(gòu)成，上采樣部分采用最近鄰插值法進(jìn)行填充，避免了反卷積所造成的圖像“棋盤格”效應(yīng)，每上采樣一次圖像長寬尺寸各增加一倍。上采樣后下層的卷積核個數(shù)均為上層的一半，使得特征圖數(shù)量減半。最后一層卷積層的卷積核個數(shù)為1，特征圖輸出為1，得到與高能圖像對應(yīng)的預(yù)測低能圖像。

圖1 U-net神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

其中，改進(jìn)的結(jié)構(gòu)為：將U-net網(wǎng)絡(luò)每次進(jìn)行池化后得到的特征圖進(jìn)行一次最近鄰插值法填充，得到與原圖尺寸一樣的特征圖，用原圖減去特征圖得到高頻分量圖,如圖2。高頻分量圖可以很好地增強(qiáng)圖中因注射造影劑后在背景圖中凸顯出的血管邊緣。而跳接結(jié)構(gòu)則將U-net網(wǎng)絡(luò)每層所得到的高頻分量圖與對應(yīng)的上采樣圖拼接，實(shí)現(xiàn)對每層高頻分量圖的有效利用以及多尺度特征融合。

圖2 高頻分量圖

本文將輸入圖像的初始卷積核個數(shù)n設(shè)置為16或32個，在其基礎(chǔ)上分別觀察是否加入高頻分量圖對結(jié)果的影響。設(shè)置卷積核的個數(shù)應(yīng)考慮到實(shí)際的醫(yī)院應(yīng)用場景并沒有足夠的條件應(yīng)用GPU集群，需要盡可能在單塊GPU上運(yùn)行實(shí)現(xiàn)網(wǎng)絡(luò)；以及需要考慮網(wǎng)絡(luò)結(jié)構(gòu)過大帶來的過多參數(shù)影響，會導(dǎo)致網(wǎng)絡(luò)過擬合并在減影后消除血管區(qū)域。

2.2 損失函數(shù)

網(wǎng)絡(luò)的實(shí)質(zhì)是解決圖像回歸的問題，因此損失函數(shù)需要很好地反映出預(yù)測圖像和真實(shí)圖像間的差異性。常用來描述兩幅圖像間差異性的指標(biāo)為L1損失函數(shù)和L2損失函數(shù),如下式所示：

(5)

(6)

L1損失函數(shù)為平均絕對值誤差(MAE)，L2損失函數(shù)為平均平方損失函數(shù)(MSE)。L2比L1對異常數(shù)據(jù)更敏感，平方項(xiàng)的懲罰會導(dǎo)致異常數(shù)據(jù)引起更大的損失。而且L2損失函數(shù)的梯度隨接近真實(shí)值而不斷減少容易陷入局部最優(yōu)值。文章[21]證明神經(jīng)網(wǎng)絡(luò)在圖像回歸中的訓(xùn)練中，L1作為損失函數(shù)所能達(dá)到的訓(xùn)練效果比L2更好。

SSIM[22]分別從圖像的亮度、對比度和結(jié)構(gòu)相似性三個角度對比兩張圖像間的相似性。其公式如下：

(7)

(8)

Ms-SSIM的數(shù)學(xué)意義為：值為0時表示兩張圖像完全不相似，為1時表示完全相似為同一張圖。因此可以推出能應(yīng)用于損失函數(shù)最小化的LMs-SSIM公式如式(9)：

LMs-SSIM=1-Ms-SSIM(p)

(9)

Ms-SSIM和SSIM對圖像的均勻偏差并不敏感，會導(dǎo)致圖像在亮度或顏色上變得暗淡。而L1損失函數(shù)可以很好地保持圖像亮度和顏色不變化，取二者加權(quán)之和作為本文的損失函數(shù)，其中權(quán)重α=0.84[22]。本文所用的損失函數(shù)如式(10)：

(10)

3 實(shí)驗(yàn)驗(yàn)證

3.1 實(shí)驗(yàn)儀器

為了驗(yàn)證本文所提出的神經(jīng)網(wǎng)絡(luò)的有效性，本文擬設(shè)置完整的實(shí)驗(yàn)方案，并從實(shí)驗(yàn)室中采集相關(guān)的實(shí)驗(yàn)數(shù)據(jù)驗(yàn)證結(jié)論。所用到的儀器設(shè)備如下：① X光機(jī)：實(shí)驗(yàn)所用的射線源為日本HAMAMATSU公司所生產(chǎn)的微焦點(diǎn)X光機(jī)，型號為L12161-07，實(shí)驗(yàn)所使用電壓為140 kV。② 雙層探測器：實(shí)驗(yàn)中使用的是康眾公司提供的雙層探測器，像素大小為1536×1536，單個像素尺寸為100 μm×100 μm。探測器兩層間間隙可以放置厚度不一的銅片，實(shí)驗(yàn)中放置1 mm厚的銅片。③ 醫(yī)療頭模：采用KYOTO KAGAKU 公司生產(chǎn)的人體頭部模型，重6.5 kg、高 33 cm。為了模擬血管的分布，使用內(nèi)徑與血管相當(dāng)、粗細(xì)略有不同的硅膠軟管，軟管內(nèi)灌注碘化鈉溶液，溶液的碘濃度和醫(yī)用造影劑碘佛醇的碘濃度相等(320 mg/ml)，然后將灌注有溶液的軟管彎曲、固定于頭部模型上模擬腦血管的走向。頭模以及黏貼的軟管、雙層探測器及銅片如圖3所示。④ 訓(xùn)練神經(jīng)網(wǎng)絡(luò)使用的GPU為單塊GTX 1080ti，顯卡內(nèi)存為11 GB。

圖3 實(shí)驗(yàn)儀器擺放圖

3.2 實(shí)驗(yàn)步驟及圖像處理

實(shí)驗(yàn)的具體步驟如下：①用X光射線照射空氣并由雙層探測器接收高低能圖像，作為本底圖，探測器接收圖像時每次拍攝都存儲100幀圖像。②置物臺上放置醫(yī)用頭模，啟動X光源照射頭模，并旋轉(zhuǎn)醫(yī)療頭模，雙層探測器上接收到每個角度下頭模的低能圖像和高能圖像。多角度的頭模圖像作為該神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集。③配置好一定濃度的NaI溶液充當(dāng)造影劑，用注射器將NaI溶液充盈至多根軟管內(nèi)，并用透明膠帶將每根軟管粘貼在頭模上，模擬腦部血管走向。④拍攝多張角度下含碘頭模的高低能圖像，作為神經(jīng)網(wǎng)絡(luò)的驗(yàn)證集以及測試集。⑤處理圖像數(shù)據(jù)：每張圖像尺寸為1536×1536，每一個角度下每張低能或高能圖像都有100幀圖像，將100幀數(shù)字圖像進(jìn)行逐像素疊加，減小背景噪聲對圖像的影響。再將神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集中每一張圖像的低能圖和高能圖分別與本底圖的低能圖和高能圖相除后取負(fù)對數(shù)，得到處理后的數(shù)據(jù)集。

3.3 評價(jià)指標(biāo)

PSNR指標(biāo)為峰值信噪比，常用于對比壓縮后圖像與原圖像的圖像質(zhì)量，是最廣泛使用的評鑒畫質(zhì)的客觀量測法之一。PSNR公式如下：

(11)

式中，MSE即式(6)的L2損失函數(shù)，(2n-1)為圖像信號值最大值。又因?yàn)槿搜垡曈X對于誤差的敏感度并不是絕對的，其感知結(jié)果會受到周圍臨近區(qū)域的影響，所以需要考慮亮度，對比度和空間結(jié)構(gòu)的相似性，需要用到SSIM指標(biāo)，如式(7)所示。因訓(xùn)練集僅包含頭模而不含碘液的數(shù)據(jù)，評價(jià)指標(biāo)PSNR和SSIM也僅需考慮非碘液區(qū)域的擬合效果，應(yīng)排除血管區(qū)域數(shù)據(jù)的影響。

CNR為對比度噪聲比，是衡量圖像對比度的一個重要指標(biāo)，旨在評價(jià)減影圖像中血管區(qū)域內(nèi)外的強(qiáng)度差。如式(11)：

(12)

其中,blood為減影圖像中選取的血管ROI區(qū)域，而background則為減影圖像中選取的背景ROI區(qū)域。u(x)為取均值函數(shù)，σ(x)為取方差函數(shù)。

3.4 實(shí)驗(yàn)結(jié)果

本文共設(shè)置了6組實(shí)驗(yàn)：①在注射造影劑前后各拍攝一張照片，利用時間減影的原理作出減影圖像。②使用多項(xiàng)式擬合20組頭模低能圖和高能圖的數(shù)據(jù)集，并將多項(xiàng)式應(yīng)用于頭模含碘圖像的轉(zhuǎn)換。③U-net神經(jīng)網(wǎng)絡(luò)初始卷積個數(shù)n=16，無高頻分量圖，即用原圖進(jìn)行跳接。④初始卷積個數(shù)n=16，有高頻分量圖。⑤初始卷積個數(shù)n=32，無高頻分量圖。⑥初始卷積個數(shù)n=32，有高頻分量圖。

③至⑥組實(shí)驗(yàn)的模型都以0.1作為初始學(xué)習(xí)率來訓(xùn)練，經(jīng)過100次迭代后衰減至0.005?？偣灿?xùn)練100個周期，取周期中損失函數(shù)值最小的模型作為最終的測試集模型。模型①使用冪次項(xiàng)最合適的多項(xiàng)式擬合頭模數(shù)據(jù)，得到多項(xiàng)式模型。對各模型輸入含碘的高能頭模圖像，輸出為預(yù)測的含碘低能頭模圖像。并通過預(yù)測含碘低能圖像與實(shí)際含碘低能圖像相減獲得血管減影圖和ROI區(qū)域，如圖4所示?？梢?，多項(xiàng)式擬合模型的減影結(jié)果受到較大的噪聲影響；n=32的減影圖像相較于n=16的減影圖像在顱骨等區(qū)域消去得更徹底；包含了高頻分量圖作為跳接結(jié)構(gòu)的減影圖在血管區(qū)域的細(xì)節(jié)凸顯中表現(xiàn)更好，驗(yàn)證了所提出模型的優(yōu)越性。

圖4 各模型減影結(jié)果圖像(第一行)ROI區(qū)域(第二行)

計(jì)算預(yù)測含碘低能圖像與實(shí)際含碘低能圖像之間的PSNR和SSIM指標(biāo)，再計(jì)算其減影圖像的CNR指標(biāo)。具體數(shù)據(jù)如下表1所示。

表1 各模型性能對比

PSNR和SSIM都是衡量兩張圖像相似性的指標(biāo)，數(shù)值越大表示圖像相似性越高。由表1數(shù)據(jù)可以得知：① U-net網(wǎng)絡(luò)轉(zhuǎn)換的高能圖像在指標(biāo)上更接近其低能圖像，證明了深度學(xué)習(xí)在圖像數(shù)據(jù)擬合中比傳統(tǒng)的數(shù)據(jù)擬合方法更精確。② 當(dāng)初始卷積個數(shù)為32時，網(wǎng)絡(luò)模型規(guī)模增大，擬合的效果顯著提升，擬合圖像比初始卷積個數(shù)為16時更相似。③ 當(dāng)跳接結(jié)構(gòu)為提取的高頻分量圖時，轉(zhuǎn)換圖像的相似性有較大提升，證明了用更能代表圖像特征的高頻分量圖作為跳接圖像，可以顯著提高圖像的轉(zhuǎn)化效果。④ 在減影圖像結(jié)果的對比中，深度學(xué)習(xí)的方法更勝一籌。當(dāng)U-net初始卷積個數(shù)越多，并且跳接圖像為高頻分量圖時，PSNR提高約24.44%，SSIM提高約3.35%，CNR提高約114.5%。

可見，高能含碘圖像經(jīng)過該模型轉(zhuǎn)換后，非血管區(qū)域數(shù)值更接近，減影圖像效果的對比度噪聲比大大提高，圖像中血管的凸顯程度更明顯。

4 總結(jié)展望

本文基于U-net網(wǎng)絡(luò)實(shí)現(xiàn)了醫(yī)療頭模血管的雙能量減影，通過設(shè)置實(shí)驗(yàn)對照組證明了U-net深度學(xué)習(xí)框架相較于傳統(tǒng)擬合方法的優(yōu)越性。此外，適當(dāng)增加網(wǎng)絡(luò)的規(guī)模和改進(jìn)U-net跳接結(jié)構(gòu)的跳接圖可以有效地提高網(wǎng)絡(luò)的學(xué)習(xí)能力。使用U-net網(wǎng)絡(luò)擬合數(shù)據(jù)可以減弱或消除腦部其他組織對造影血管的影響，為醫(yī)生提供合適精確的診療手段，可以作為今后血管造影領(lǐng)域的研究方向。

在用U-net進(jìn)行圖像擬合的過程中，可以觀察到減影結(jié)果中仍存在大量的骨骼區(qū)域，這是因?yàn)榫W(wǎng)絡(luò)對于結(jié)構(gòu)信息復(fù)雜的區(qū)域無法做到更為精細(xì)的擬合而存在的誤差，可以改進(jìn)的方向主要有兩個：①對血管區(qū)域作更精準(zhǔn)的標(biāo)定且量化疊加在損失函數(shù)上，令其不會在訓(xùn)練的過程中因過擬合而被減去，神經(jīng)網(wǎng)絡(luò)可以做更多輪的迭代。②選用更適用于圖像轉(zhuǎn)換或風(fēng)格遷移的生成對抗式網(wǎng)絡(luò)GAN,通過更為精準(zhǔn)的生成損失函數(shù)和對抗損失函數(shù)來趨近于低能圖像的數(shù)值。

除去對該算法本身擬合效果的改進(jìn)外，該研究結(jié)果還可以用于多角度下三維重建腦部血管的減影方法，通過收集各個角度下該減影算法得出的血管圖進(jìn)行三維腦部血管重建，可以為醫(yī)療人員提供更豐富的輔助診療手段。