邵 凱，張云峰，包芳勛，鄭 勇，秦 超，張彩明

(1.山東財經大學 a.計算機科學與技術學院，b.山東省數字媒體技術重點實驗室，濟南 250014；2.山東大學 a.數學學院，b.計算機科學與技術學院，濟南 250100)

冠心病的預防和治療是目前臨床診斷研究的重點。冠脈CT血管造影(coronary computed tomography angiograph,CCTA)是對抗冠狀動脈疾病最有價值的診斷研究之一[1]。準確的CCTA圖像分割是冠心病臨床診斷和治療提供可靠依據的關鍵。

以往的醫(yī)學分割方法包括但不局限于閾值分割[2-3]、區(qū)域生長法[4]和活動輪廓模型[5]等，這些方法已有廣泛的應用。然而，在CCTA圖像中，感興趣區(qū)域(region of interest，RoI)與背景區(qū)域間的灰度值不存在顯著差異，并且閾值、標準的選擇和初始輪廓曲線需要人工干預，這使得傳統(tǒng)方法難以實現高精度的自動分割。

近年來，實現自動分割的方法受到了人們的關注。根據處理對象的粒度大小，分割方法可分為基于像素的方法[6-10]和基于區(qū)域的方法[11-14]。對于基于像素的方法，網絡提取用于處理像素的視覺特征和語義信息來實現圖像分割。SHEN et al[7]使用全卷積神經網絡(fully convolutional network，FCN)學習冠狀動脈的語義特征實現分割。對于較復雜的圖像，RoIs的自動選擇可以去除大部分的背景信息干擾，得到更好的分割結果?；趨^(qū)域的方法可以通過目標檢測方法自動提取RoIs，并在RoIs上進行分割。Mask RCNN[11]是一種典型的基于區(qū)域的網絡，該網絡在Faster RCNN[12]網絡基礎上擴展而來，利用殘差網絡[13](residual network，ResNet)和特征金字塔網絡(feature pyramid network，FPN)提取圖像特征，然后利用區(qū)域建議網絡(region proposal network，RPN)提取RoIs，最后，并行的FCN層實現了對每個RoIs的分割。ANANTHARAMAN et al[14]將Mask RCNN應用于口腔病理醫(yī)學領域，并取得了良好的效果。LIU et al[15]通過改進RPN中錨點的選擇標準來提高超聲圖像分割精度。溫堯樂等[16]通過增強FPN網絡低層特征提高分割準確度。對于邊界不清、特征不明顯的CCTA圖像，Mask RCNN網絡特征描述能力不足。

由于機器學習分割方法的實現依賴于醫(yī)學圖像的特征信息，因此邊界特征和分形特征等幾何特征對CCTA圖像分割非常重要。HAN et al[17]利用局部邊界特征和形狀特征實現了冠狀動脈CTA圖像中冠狀動脈的自動跟蹤。然而，CCTA圖像的邊界不清晰，使Mask RCNN網絡提取的特征不完備。WANG et al[18]使用分形維數來識別視網膜血管。冠狀動脈血管具有不同尺度的自相似性，即分形特征。不同的形態(tài)結構具有不同的分形維數，可以用分形維數區(qū)分不同的器官組織和血管。在Mask RCNN網絡引入分形特征可以進一步增強特征描述，從而提高分割精度。

本文提出一種融合了幾何特征的Mask RCNN網絡來實現冠狀動脈分割。首先提出了一種邊界提取方法來生成有效的邊界特征，通過增強邊界特征來解決冠脈邊界不清晰的問題。其次，通過分形維數來表示冠脈不同尺度下的自相似性，即分型特征。融合分形特征可以提高網絡的分形特征描述能力，解決特征不明顯的問題。最后，在網絡中添加一個特征融合層，目的是將邊界特征和分形特征融合到原始特征圖中。網絡采用新的特征圖實現CCTA圖像分割。

1 本文方法

本文研究了將幾何特征融合到Mask RCNN網絡來提高圖像分割精度的方法。圖1給出了提出方法的框架。首先，提出了一種邊界提取方法，在不影響輸入圖像結構的情況下提取邊界特征。其次，根據冠狀動脈具有不同尺度下的自相似性，通過分形模型提取分形特征。最后，利用特征融合層將邊界特征、分形特征和原特征圖融合為新的特征圖。區(qū)域建議網絡使用新的特征圖生成更精確的檢測框，全卷積網絡生成更接近Ground Truth(GT)的遮罩。

1.1 邊界特征提取

由于CCTA圖像成像方式的影響，冠脈血管與其他組織之間的邊界不清晰。為了增強邊界特征，本文利用非下采樣輪廓波變換(nonsubsampled contourlet transform，NSCT)算法和Canny算子提取圖像邊界特征。

圖1 基于Mask RCNN的融合幾何特征的冠狀動脈分割方法基本框架圖Fig.1 Framework of coronary artery segmentation method based on Mask RCNN integrated with geometric features

NSCT算法是基于非下采樣金字塔(nonsubsampled pyramid，NSP)和非下采樣方向濾波器組(nonsubsampled directional filter bank，NSDFB)的一種變換。如圖2所示，通過NSP處理，輸入圖像被處理為高通部分和低通部分，然后通過NSDFB處理將高通部分分成多個方向的子帶，即不同方向的高頻信息。雖然NSCT方法提取的結果包含了更多的細節(jié)但是邊界主輪廓可能是不連續(xù)的。Canny算子可以檢測出完整的輪廓，因此本文利用Canny算子處理NSP生成的低通部分。將NSCT算法和Canny算子提取的高頻信息疊加作為邊界特征，此邊界特征包含完整的邊界主輪廓和更多的細節(jié)特征。網絡通過融合邊界特征增強冠狀動脈與其他組織的邊界特征信息，減少冠脈血管壁不清晰的影響，提高檢測和分割的準確性。

圖2 邊界提取算法Fig.2 Boundary extraction algorithms

為了驗證邊界特征提取方法的合理性，本文提供了不同邊界提取算法的結果，如圖3所示。本文的方法可以在保證邊界連續(xù)性的同時突出主輪廓并生成更詳細的邊界特征。

圖3 邊界提取算法對比Fig.3 Comparison of boundary extraction algorithms

1.2 分形特征提取

特征提取的質量對Mask RCNN網絡的分割精度至關重要。待分割區(qū)域的特征不明顯使得網絡對冠脈的分割精度不高。為了進一步提高分割精度，本文將分形特征引入到Mask RCNN中。

圖4 分形特征提取Fig.4 Fractal feature extraction

在CCTA圖像中，冠狀動脈血管在不同尺度上具有自相似性，即分形特征，可以用分形維數來表示。如圖4所示，粗糙區(qū)域的分形維數大于光滑區(qū)域。分形維數的大小和在一定區(qū)域內的分布可以用來區(qū)分不同的血管。為了計算分形維數，本文利用分形插值函數將圖像映射為有理分形曲面，有理分形曲面的盒維數計算方法如下所示[19]：

(1)

式中：S為尺度因子矩陣；τ(i,j)=(i-1)×N+j，代表了集合{(i,j):i,j=1,2,…,N}的列舉，τ-1(N)用于將τ(i,j)映射到位置(i,j)上，則分形維數的盒維數D表示為：

(2)

(3)

其中si,j為尺度因子，則公式(2)可以變換為：

(4)

將整幅圖像的分形維數D映射為分形特征矩陣，即提取的分形特征。

1.3 預測階段

1.3.1特征融合

如圖5所示，為了將邊界特征和分形特征融合到特征圖中，我們增加了一個特征融合層。邊界特征和分形特征通過裁剪層和特征融合層融合到特征圖中。裁剪層使用1×1卷積操作保證邊界特征圖、分形特征圖和原特征圖的特征維度相同，使用上采樣和下采樣操作保證特征的尺寸大小統(tǒng)一。

圖5 特征融合Fig.5 Feature fusion

Add特征融合操作[13,20]可以豐富特征的信息量，對于冠脈小目標和模糊對象的檢測和分割都有幫助。本文的特征融合層采用add特征融合操作，將邊界特征和新的分形特征融合到原始特征圖中，特征融合公式如下：

Fnew=Fboundary⊕Dfractal⊕Foriginal.

(5)

式中：Fnew為新的特征圖，Fboundary、Dfractal和Foriginal分別為邊界特征、分形特征和原網絡特征。本文采用的特征融合方式可以豐富底層特征，在保留背景信息的同時增加了特征信息并增強了細節(jié)特征。

1.3.2提取感興趣區(qū)域

Mask RCNN使用RPN網絡來提取冠狀動脈RoIs.首先，RPN的滑動窗口在特征圖中移動，每個特征像素對應的原始圖像位置生成15個錨，大小為(8,16,32,64,128)，寬高比為(0.5,1,2).然后將錨輸入到大小為1×1的回歸分類層中，確定類別和位置。最后，用非極大值抑制方法調整錨的位置，最終選定的錨被認為是RoIs的建議框(Proposals).由于融合了幾何特征，最終的建議框會更加準確。

1.3.3預測遮罩

Mask RCNN網絡預測階段的分割分支由FCN為每個RoI區(qū)域生成遮罩。為了提高分割精度，在分割分支前添加了一個Head結構，其利用反卷積操作進行分辨率的提升并減少通道個數，擴展了輸入數據的維數。為了保證恢復更多的細節(jié)，網絡融合了分類、檢測和分割三個分支的輸出?；谶@3個分支，Mask RCNN網絡的多任務損失如下：

L=Lcls+Lbox+Lmask.

(6)

(7)

(8)

Lmask(cls_k)=Sigmoid(cls_k) .

(9)

2 實驗結果與分析

2.1 實驗數據集

本實驗使用來自山東大學齊魯醫(yī)院放射科的冠狀動脈數據集進行訓練和測試。數據集由10個受試者的CCTA圖像組成，詳細信息見表1。

該數據集的冠脈圖像的人工分割GT圖是由多位經驗豐富的放射科醫(yī)師完成的。分割的黃金標準是CCTA圖像中所有冠脈區(qū)域都對應于一個GT標簽圖。

表1 數據集的詳細信息Table 1 Details of the dataset

2.2 評價指標

為了驗證本文方法的分割性能，實驗采用常用于醫(yī)學圖像分割任務的指標[21]：平均精確度(average precision，PA)、召回率(R)，Dice系數、體積重疊誤差(volumetric overlap error，EVO)、相對容積差(relative volume difference，DRV)、平均對稱面距離(average symmetric surface distance，DAS)、均方根對稱面距離(root mean square symmetric surface distance，DRMS)和最大對稱面距離(maximum symmetric surface distance，DMSS).

(10)

真正類(true positives，PT)是通過計算超過某個預定義閾值IoU(intersection over union)的預測正確的個數。假正類(false positives，PF)和假負類(false negatives，NF)分別由未匹配的預測實例數和真實實例數決定。AP70被認為是IoU閾值大于0.7的平均精度。AP70的值越大，檢測性能越好。

(11)

A表示分割結果區(qū)域，B表示參考區(qū)域，S表示任意一個曲面體素點。Dice系數用來衡量分割的性能，取值范圍在[0,100]之間，0表示沒有分割成功區(qū)域，100表示完美的分割。

(12)

(13)

EVO值為0表示完全分割。DRV為0意味著A和B的體積相同。DRV的優(yōu)點是它提供了體積信息，這對于病灶的分割是很重要的。

(14)

(15)

對于A的每個表面體素，用L2范數計算到B的最近表面體素的歐氏距離。對于對稱，從B的表面體素到A的表面體素重復相同的過程。DAS代表平均距離，0 mm代表完美分割。DRMS的計算過程與DAS相似，只是需要計算均方誤差。

DMSS(A,B)=max{maxa∈S(A)minb∈S(B)‖a-b‖,
maxb∈S(B)mina∈S(A)‖b-a‖} .

(16)

DMSS是計算最大的歐氏距離，其值為0 mm代表完美分割。

2.3 實驗結果

2.3.1融合不同特征的消融實驗

本文在冠脈數據集進行了實驗，圖6給出了消融實驗分割結果。從圖6(f)的視覺上看，我們的方法可以正確地檢測出感興趣的區(qū)域，并且分割結果幾乎完全覆蓋感興趣區(qū)域。圖6(g)中的紅線代表分割的結果，綠線代表人工標記的結果。由于加入了邊界特征和分形特征，相比于原網絡的結果來看，本文方法的結果更加接近GT.從表2可以看出，添加邊界特征和分形特征的客觀數據比原始Mask RCNN的客觀數據好。從圖7中可以看出，提出方法的Dice系數保持在0.85左右并且最大值和最小值之間的差異較小，沒有極值。從圖7(d)，(e)和(f)可以看出，本文方法與人工標注的誤差較小。綜上所述，將幾何特征整合到網絡中，增強網絡特征描述，提高了模型的分割精度。

圖6 消融實驗結果Fig.6 Ablation experiment results

表2 消融實驗的評價指標Table 2 Evaluation index comparison of ablation experiment

圖7 評估指標的箱形圖比較Fig.7 Box plot comparison of evaluation indicators

2.3.2與其他網絡的對比試驗

本文方法與經典的FCN[6]網絡、UNet[8]網絡和DeepLab[9]網絡進行了對比實驗，結果如圖8所示。缺乏清晰的邊緣和較少的特征將限制FCN網絡的分割能力。UNet網絡的真陽性分割結果較好，但錯誤分割結果較多。DeepLab的分割結果良好，但在視覺上，本文方法的分割結果更好。圖8(f)中，紅線為本文方法結果，綠線為GT，可以看出我們的方法更加貼合GT.為了便于比較，Dice、EVO和DRV的數值和箱形圖如表3和圖9所示。DAS、DRMS和DMSS這三個指標計算了分割結果與GT之間的距離關系。FCN和UNet實驗結果中，DAS、DRMS和DMSS值明顯高于提出方法的客觀值。由于UNet的分割結果中，有較多的分割錯誤結果，DMSS的值超過了100 mm，其中3個指標超過100 mm的數值未被記錄。從圖9(a)中20幅隨機測試圖像的Dice指標可以看出，本文方法的值明顯高于其他方法。圖9(b)顯示了測試數據集上Dice，EVO和DRV的平均值。本文方法的Dice值遠遠高于其他方法，這表明我們的方法具有更好的分割能力。本文方法的EVO和DRV值均小于其他方法，并且沒有出現極值，并且都在一個更小的范圍內，這表明提出的方法分割精度更高、更健壯。

表3 與DeepLab、FCN和UNet對比試驗的評價指標Table 3 Evaluation index of comparison experiment with DeepLab, FCN and UNet

圖9 提出的方法與DeepLab、FCN和UNet的評價指標客觀值比較Fig.9 Objective value comparison of the evaluation index of the proposed method, DeepLab, FCN, and UNet

3 結論

本文將融合幾何特征的Mask RCNN模型應用到CCTA圖像分割中。首先，為了提高分割精度，提出了一種邊界提取算法來提取邊界特征，圖像的高頻信息由NSCT提取，Canny算子對低頻信息進行處理，將兩種提取的結果疊加為最終的邊界特征，解決了醫(yī)學圖像邊界不清晰的問題。然后，考慮到在特征較少的圖像中突出特征表示有助于提高分割精度，本文將分形特征引入到特征提取網絡中。最后，將生成的邊界特征和分形特征融合到特征圖中。分割網絡使用新的特征圖來生成分割遮罩。在冠狀動脈數據集的實驗結果表明，本文的方法是可行的，可以提高醫(yī)學圖像分割的準確性。

雖然提出的方法得到了很好的結果，但是對于較大的圖像，分割網絡的運行速度有待提高，這是因為，為了提取更精細的分形特征，對圖像的每個像素都計算其分形維數，計算量較大。分析如何設計一種分形卷積神經網絡來提取分形特征是今后需要研究的問題。