楊倩梅，張學軍*,2，寧小霞

(1.廣西大學 計算機與電子信息學院，廣西 南寧 530004；2.廣西多媒體通信與網(wǎng)絡技術(shù)重點實驗室，廣西 南寧 530004)

0 引言

血管是人體最重要的組織之一，為各個器官組織輸送氧氣和營養(yǎng)，維持其正常的形態(tài)和功能。血管一旦出現(xiàn)病變，將對人們的健康產(chǎn)生嚴重的影響。經(jīng)驗豐富的醫(yī)生可以通過血管的形態(tài)、口徑等重要參數(shù)來判斷是否病變，從而更好地進行疾病的診斷。然而，目前我國的影像診斷還是醫(yī)生根據(jù)臨床經(jīng)驗進行肉眼觀察及手動分割，不僅耗時耗力，甚至會出現(xiàn)漏診誤診。醫(yī)學圖像中血管的自動分割及三維可視化，不僅可以應用于醫(yī)學教學、手術(shù)模擬，還可以用于疾病的術(shù)前規(guī)劃和手術(shù)治療中。

CT圖像中的血管對比度低，且結(jié)構(gòu)比較復雜。傳統(tǒng)的血管分割方法主要有閾值法、區(qū)域生長法、形態(tài)學法、匹配濾波法等。PUN[1]首先在提出了基于最大熵原則選擇閾值的方法，SAHOO等[2]提出了用Renyi熵代替常規(guī)熵的最大熵原則,YEN等[3]提出用最大相關(guān)性原則選擇閾值。區(qū)域生長法是由ADAMS等[4]首先提出的，SENHU等[5]先標記肝靜脈的種子點，沿著標記的血管的分支用變化的閾值循環(huán)漸漸地找出血管系統(tǒng),CHI等[6]利用區(qū)域特征提出一種基于血管上下文的表決系統(tǒng)來分割血管。區(qū)域生長法普遍需要手工標記種子點，而且耗時較長。

TALEB-AHMED等[7]等提出了一種基于數(shù)學形態(tài)學的半自動分割算法，ZANA等[8]使用形態(tài)學濾波和可識別線性一致曲率結(jié)構(gòu)的交叉曲率演化方法來分割血管。Ayala[9]等使用不同長度的模糊集結(jié)構(gòu)單元改進文獻[18]提出的算法。SUN等[10]通過綜合多尺度形態(tài)學增強、模糊濾波和分水嶺變換來提取造影圖像中的血管樹。MIRI等[11]等使用快速離散曲波變換和多結(jié)構(gòu)數(shù)學形態(tài)學來精確定位血管邊緣。

CHAUDHURI等[12]使用探測技術(shù)檢查匹配濾波的響應，通過迭代過程并不斷改變閾值將像素劃分為血管和非血管兩類。POLI等[13]使用了一組高斯核線性組合而成的多方向線性濾波器來提取血管。Frangi等[14]使用基于 Hessian 矩陣的多尺度線增強濾波器來分割血管狀結(jié)構(gòu)。LU等[15]提出了一種跟蹤帶分叉的冠狀動脈邊界的方法。

此外，還有機器學習的方法，人工神經(jīng)網(wǎng)絡(artificial neural networks, ANN)常用于對肺CT，大腦MRI及乳腺癌X線圖像分割中。秦志光等[16]用多模態(tài)卷積神經(jīng)網(wǎng)絡(convolution neural networks, CNN)有效分割出了腦血管影像，王釧[17]實現(xiàn)了基于卷積神經(jīng)網(wǎng)絡對頸動脈和小鼠下肢血管的分割。然而，卻很少有人使用卷積神經(jīng)網(wǎng)絡的方法去分割肝臟靜脈血管。只有LBRAGIMOV[18]等提出了一種神經(jīng)網(wǎng)絡的算法去分割CT肝臟中的門靜脈，最終得到的DSC=0.83。

傳統(tǒng)的血管分割算法普遍需要人工參與，不能自動分割出血管，因個體差異且CT成像的設備不一樣，很難用同一個算法去分割出CT中的血管。機器學習的方法也存在小血管和低對比度血管分割效果差的問題。而且醫(yī)學影像灰度在各個區(qū)域里分布不均勻，病變區(qū)域分割也會出現(xiàn)問題。本文提出了一種基于深度學習的三維卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)來對腹部CT肝臟中的靜脈進行自動分割，得到了不錯的分割效果。

1 圖像預處理

原始CT圖像在肝臟區(qū)域的對比度相對較低，將增加肝臟靜脈血管分割的難度?；叶茸儞Q是一種簡單可行的方法，本文可以通過灰度變換來使原始CT圖像中肝臟血管與其余背景圖像之間的對比度增強。本文所采用的是線性灰度變換，灰度變換的公式為如式(1)所示：

(1)

式中fmax為CT圖像中血管灰度值的最大值，fmin為圖像中血管灰度值的最小值。原CT圖像中灰度值的變換范圍為[0,255],經(jīng)過灰度變換后CT圖像中的血管對比度增強，其余背景圖像的灰度值相對得到抑制。原始CT圖像如圖1所示，經(jīng)過灰度變換后的圖像如圖2所示。

圖1 原始CT圖像

Fig.1 Original CT image

圖2 灰度變換后的CT圖像

Fig.2 CT image after gradation transformation

不同于其他圖像，醫(yī)學圖像樣本數(shù)量少，不易獲取，并且樣本標記需要專業(yè)醫(yī)師完成，需要耗費大量的人力，因此，在模型訓練時很難像其他圖像一樣獲取數(shù)萬甚至數(shù)十萬樣本。而深度學習網(wǎng)絡訓練時樣本數(shù)量過少容易產(chǎn)生過擬合現(xiàn)象，訓練得到的模型泛化能力較差。因此，需要對醫(yī)學圖像進行分割，增加樣本數(shù)據(jù)量。血管識別分割任務是像素級的識別，網(wǎng)絡訓練后需要對每一個圖像子塊Vi中的最中心點的像素進行分類，如果是血管，將其灰度值設置為255，非血管設置為0。

每張CT圖像只包含像素點在二維平面上與其他像素點的相關(guān)性，訓練過程中以二維子圖為輸入，只能提取像素點在平面上的特征，則損失了相鄰CT圖像中像素點的相關(guān)性。而實際中，每張肝臟CT圖像都是肝臟切片圖，多張連續(xù)的CT圖像能夠反映圖像像素點的三維信息。不同于傳統(tǒng)的血管識別算法以二維圖像作為網(wǎng)絡的輸入，本文提出的識別算法以三維圖像塊作為卷積神經(jīng)網(wǎng)絡的輸入，提取肝臟血管的三維特征。因此，在對一張肝臟CT圖像進行識別時，需要取此圖像前后各N張圖像，與此CT圖像構(gòu)成三維CT圖像V。以大小為M×M矩陣為滑動窗口，V被分割成大小(2N+1)×M×M的子塊Vi。以每個圖像子塊中心像素點的類別作為此子塊的類別，通過窗口滑動的方式對V進行分割，理論上，V可分割的子圖數(shù)與一張圖像像素點個數(shù)一致。

2 血管分割算法

神經(jīng)網(wǎng)絡或支持向量機(support vector machine, SVM)等一些傳統(tǒng)的機器學習識別分類方法需要人為設計特征量，機器學習算法的性能依賴于所提取的特征的準確度。而深度學習的核心是特征學習，旨在通過分層網(wǎng)絡獲取分層次的特征信息，從而解決以往需要人工設計特征的重要難題，這是深度學習與傳統(tǒng)機器學習算法的主要的不同。

一般認為人對外界的認知是從局部到全局的，而圖像的空間聯(lián)系也是局部的像素之間聯(lián)系比較緊密，距離較遠的像素之間相關(guān)性則比較弱。因此，每個神經(jīng)元沒有必要對全局圖像進行感知，只需要對局部進行感知即可，然后在更高層將局部信息綜合起來得到全局信息。參數(shù)共享主要是指每個神經(jīng)元的參數(shù)在本地連接中是相同的，并且在圖像中共享卷積核。由于卷積核只能學習一種特征，這可能導致特征提取不足，因此可以通過添加多個卷積核來學習多個特征。

2.1 卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)

常見卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)見圖3，主要包括卷積層，激活函數(shù)，池化層，全連接層，有些網(wǎng)絡還有批量歸一化(BN)層。

圖3 常見卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡的主要通過卷積來實現(xiàn)，具體如式(2)所示:

(2)

其中K是卷積核，XL是L層的輸出，它是(L+1)層的輸入，X0是原始數(shù)據(jù)。低級卷積提取圖像的局部特征，并將獲得的特征圖用作下一層的輸入，并將本地信息集成在下一層中，直到最終獲得全局特征。

基于三維卷積神經(jīng)網(wǎng)絡血管分割算法結(jié)構(gòu)如圖4所示。首先，分割后的大小為(2N+1)×M×M的圖像塊作為卷積神經(jīng)網(wǎng)絡的輸入。然后，6塊卷積層進行串聯(lián)，每個塊由3×3×3和1×1×1的卷積核組合在一起，激活函數(shù)使用ReLu函數(shù)，池化層采用最大值池化。此外，在后3塊中引入了BN層。卷積層之后是全連接層和BN層。最后，采用cross-entropy損失函數(shù)計算損失并更新網(wǎng)絡的參數(shù)。

圖4 基于三維卷積神經(jīng)網(wǎng)絡血管分割算法的網(wǎng)絡結(jié)構(gòu)

2.2 設定卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)參數(shù)

三維卷積神經(jīng)網(wǎng)絡卷積操作每一層的輸入都是三維圖像。在三維卷積神經(jīng)網(wǎng)絡中，卷積操作如圖5所示。輸入有5張圖像，從前向后編號分別為A、B、C、D、E、；黃色的卷積核在A、B和C三張圖像組成的三維圖像中滑動；粉色的卷積核，在B、C和D三張圖像組成的三維圖像中滑動；橙色的卷積核，在C、D和E三張圖像組成的三維圖像中滑動。多個卷積核對輸入圖像進行卷積操作，生成多個特征圖，然后將特征圖進行堆疊，形成新的三維圖像，作為下一層網(wǎng)絡的輸入，進行新一輪的卷積操作。對于輸入層，假設輸入圖像為M，卷積核大小為a×a×a，則至少需要(M+1-a)個卷積核，輸出層特征圖個數(shù)也是(M+1-a)，也可以多個卷積核在相同的圖層進行卷積，得到更多的特征圖。神經(jīng)網(wǎng)絡的深度也受輸入圖像個數(shù)和卷積核尺寸的約束，要確保每一個卷積層輸入三維圖像深度不小于卷積核的深度。

圖5 多卷積層卷積流程

在卷積核尺寸選擇的過程，大尺寸的卷積核可以通過小尺寸的卷積核多層卷積堆疊得到，并且小尺寸的卷積核計算量要小于使用大尺寸的卷積核。此外，卷積核越大，要求輸入層圖像數(shù)量越多，在輸入層圖像數(shù)目一定的情況下，卷積核尺寸越大，神經(jīng)網(wǎng)絡的深度越小。因此，在三維卷積神經(jīng)網(wǎng)絡中，選擇3×3×3大小的卷積核。

池化層在卷積神經(jīng)網(wǎng)絡中主要用來降低特征維度，只保留提取出來的主要特征。除此之外，池化層能夠?qū)崿F(xiàn)非線性變換，增加網(wǎng)絡的學習能力。并且，池化層可以增大感知視野。具有平移不變性、尺度不變性。池化層主要分為兩類：最大值池化和均值池化。最大值池化輸出的是滑動窗口中最大值，而均值池化輸出的是滑動窗口中的均值。鑒于最大值池化能更好地保留圖像的紋理信息，本文在網(wǎng)絡中采用最大值池化。

由于卷積是線性變換，如果網(wǎng)絡結(jié)構(gòu)中只使用卷積層，每一層的輸出都是輸入的線性變換，此時，無論網(wǎng)絡怎么構(gòu)建，輸出都是輸入的線性變換。線性模型的表達力較差，無法完成非線性分類的任務。激活函數(shù)能夠通過非線性函數(shù)把特征保留并映射到非線性空間，這也是神經(jīng)網(wǎng)絡能完成非線性任務的關(guān)鍵。激活函數(shù)最常用的有simoid、tanh、ReLu等幾種。由于使用ReLu激活函數(shù)收斂較快，而且不會出現(xiàn)梯度飽和的現(xiàn)象，此外，ReLu函數(shù)相比于simoid和tanh函數(shù)計算比較簡單，所以本文在網(wǎng)絡結(jié)構(gòu)中使用ReLu作為激活函數(shù)。

Batch Normalization是由google提出的一種訓練優(yōu)化方法。使用BN層不但能夠解決梯度消失與梯度爆炸的問題，還可以加快網(wǎng)絡學習速率。此外，BN層還可以替代drop out減小網(wǎng)絡過擬合的風險。BN層可以放在網(wǎng)絡中的任何位置，但是一般放在線性變換之后，非線性變換之前。

全連接層的每一個結(jié)點都與上一層的所有結(jié)點相連，用來把前面網(wǎng)絡結(jié)構(gòu)提取到的特征綜合起來。全連接層在整個網(wǎng)絡結(jié)構(gòu)中起分類器的作用。卷積層、池化層、激活函數(shù)等操作是把原始數(shù)據(jù)映射到隱層特征空間，而全連接層的作用是將特征映射到樣本的標記空間中。全連接層由于采取每個結(jié)點都和上層結(jié)點互連的方式，所以此層的參數(shù)非常多。

3 血管分割實驗

本文提出的算法將目標分割任務轉(zhuǎn)化為常見的二分類任務。與傳統(tǒng)方法不同，本文提出的算法使用三維數(shù)據(jù)作為原始輸入數(shù)據(jù)。在實驗中，原始CT圖像的尺寸為512×512，格式為bmp，分割的圖像塊用作輸入樣本。在實驗中，使用每個像素作為分段樣本，足夠的樣本大小可以避免欠擬合。此外，本文使用BN層來避免過度擬合。分別有14 976個正樣本和負樣本，其中75 %被用作訓練集，25 %被用作測試集，此外，訓練集和測試集不交叉。所有訓練樣本隨機分為256批次，實驗設置50個周期。圖像分割尺寸設定為11×11×11、11×25×25、11×31×31、11×49×49、11×65×65，通過比較不同分割大小下識別結(jié)果的準確性來選擇最佳分割尺寸。

本實驗中血管的分割結(jié)果主要通過Dice相似系數(shù)(DSC)，精確度Pr和召回率Re來評估。其計算公式如下：

DSC=2TP/(2TP+FN+FP),

(3)

Pr=TP/(TP+FP),

(4)

Re=TP/(TP+FN),

(5)

TP是真陽性，表明血管的自動分割和手動分割的結(jié)果是一致的;FP為假陽性，表明自動分割與手動分割結(jié)果不一致，非血管被錯誤地分類為血管;FN是假陰性，將血管錯誤分類為背景圖像。

本文通過tensorboard進行實時觀察訓練集和測試集準確率，樣本尺寸為11×25×25時，訓練集和測試集準確率及損失率變化曲線見圖6；樣本尺寸為11×49×49時，訓練集和測試集準確率及損失率變化曲線見圖7。從圖6、圖7中可以看出，訓練樣本為11×25×25的訓練集和測試集趨于穩(wěn)定之后的準確率略高于訓練樣本為11×49×49的訓練集和測試集準確率，也表明了訓練樣本大小為11×25×25時，訓練出來的血管識別模型的性能更具有一定的優(yōu)越性。

(a)訓練集的準確率

(b)訓練集的損失率

(c)測試集的準確率

(d)測試集的損失率

圖6 尺寸為11×25×25時，訓練集和測試集準確率及損失率變化曲線

Fig.6 Accuray and loss rate curves of training and validation sets when size is 11×25×25

(a)訓練集的準確率

(b)訓練集的損失率

(c)測試集的準確率

(d)測試集的損失率

圖7 尺寸為11×49×49時，訓練集和測試集準確率和損失率變化曲線

Fig.7 Accuray and loss rate curves of training and validation sets when size is 11×49×49

表1 三維模型的DSC，準確率，召回率

表2 二維模型的DSC，準確率，召回率

從表1和表2可以看出，所提出的三維卷積神經(jīng)網(wǎng)絡算法的DSC，準確度和召回率明顯優(yōu)于使用二維數(shù)據(jù)作為輸入的時候，這表明用作輸入的三維數(shù)據(jù)可以提取更多的血管特征。通過比較不同樣本大小的實驗結(jié)果，筆者可以注意到，當單張圖像樣本大小為25×25時，無論二維或三維數(shù)據(jù)如何，實驗結(jié)果都是最佳的，有可能是因為當樣本大小為25×25時能夠極大程度上保留血管圖像的信息，樣本間的差異不會特別大，因此通過多層卷積神經(jīng)網(wǎng)絡能夠更好地學習到血管的特征。圖8表示用所提出的算法分割得到的血管和人工手動分割的血管的一個對比圖。圖9是使用25張連續(xù)的CT圖像的血管的三維可視化。雖然大多數(shù)血管可以使用本文提出的網(wǎng)絡結(jié)構(gòu)來識別，如圖9(b)所示，但仍有一些非血管被錯誤分類成血管。在未來的實驗中，本文仍然需要做很多工作來改善這些問題。

(a)原始CT圖像

(b)手動分割結(jié)果

(c)實驗分割結(jié)果

圖8 金標準和實驗分割結(jié)果對比

Fig.8 Comparison of gold standard and experimental segmentation results

(a)金標準

(b)實驗分割結(jié)果

圖9 三維血管分割

Fig.9 Three-dimensional vascular segmentation

4 總結(jié)

本文提出了一種基于三維卷積神經(jīng)網(wǎng)絡的肝靜脈分割算法。在提出的算法中，本文將分割任務轉(zhuǎn)換為分類任務,通過對每個圖像子塊中心的位置點的像素進行分類來實現(xiàn)血管分割。另外，以像素為單位的分類可以解決CT圖像樣本較少的問題。所提出的算法將三維數(shù)據(jù)作為輸入,通過多層的卷積神經(jīng)網(wǎng)絡可以提取CT圖像的三維特征，而不限于平面特征。實驗結(jié)果表明，該算法能夠有效地分割血管。DSC能達到92.43 %，準確率和召回率分別達到86.11 %和99.76 %。然而，該算法需對CT圖像做子圖像塊的分割，分割存在大量重疊，這導致算法的計算復雜性增加。在未來的工作中，本文將嘗試新的方法來實現(xiàn)有效的血管分割，同時降低時間復雜度。