閆歡蘭，陸慧娟，葉敏超，嚴 珂，金 群，徐一格

1(中國計量大學(xué) 信息工程學(xué)院，杭州 310018)2(早稻田大學(xué) 人間科學(xué)學(xué)術(shù)院，所澤 359-1192，日本)

1 引 言

世界上每年有超過1400萬新的癌癥，其中肺癌和乳腺癌更常見.每年有820萬人死于癌癥[1]，最常見的死因是肺癌.通過醫(yī)學(xué)CT圖像[2]是一種應(yīng)用廣泛的疾病診斷方式，該模態(tài)圖像上的CT值為醫(yī)生提供了大量有用的數(shù)據(jù)信息.然而，不斷增加的圖像數(shù)據(jù)也給人工閱片帶來了巨大挑戰(zhàn).不同醫(yī)生的主觀意識偏差或者過度疲勞等因素會導(dǎo)致效率低下甚至誤判.因此，用計算機輔助的方法對肺癌進行診斷是非常必要的.

肺結(jié)節(jié)分割在計算機輔助診斷肺癌中起著非常重要的作用，醫(yī)生可以根據(jù)分割出來的病灶的形狀來判斷其類別，例如肺結(jié)節(jié)可分為炎性結(jié)節(jié)，良性結(jié)節(jié)和惡性結(jié)節(jié).但肺結(jié)節(jié)分割任務(wù)仍面臨著巨大挑戰(zhàn)：首先，肺結(jié)節(jié)的大小，形狀和位置有很大的變化；此外，肺結(jié)節(jié)的邊界相當(dāng)模糊，導(dǎo)致深度網(wǎng)絡(luò)模型對特征的提取不夠充分，因此需要結(jié)節(jié)邊緣銳化處理.

Mask R-CNN在COCO數(shù)據(jù)集上的檢測效果最好，并且它是一個非常靈活的可移植的網(wǎng)絡(luò)模型，其使用雙線性插值下采樣來計算候選框的四個坐標(biāo)值，使其最大化接近目標(biāo)的真實區(qū)域.小目標(biāo)對位移非常敏感，這一改進非常有利于小目標(biāo)的分割，因此本文提出了基于Mask R-CNN的算法來對肺結(jié)節(jié)進行分割.主要工作分為三個階段.第一階段，結(jié)合Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)模型對數(shù)據(jù)集讀取的特點，本文采用密集標(biāo)簽方式，將目標(biāo)結(jié)節(jié)邊緣所有的像素坐標(biāo)提取出來作為標(biāo)簽數(shù)據(jù).第二階段，采用Sobel算子對高放射密度的區(qū)域進行銳化處理，然后再使用閾值分割的方法將噪聲過濾掉，使模型獲取目標(biāo)有用的信息.第三階段，訓(xùn)練和測試模型，得出結(jié)論.

傳統(tǒng)的分割方法對背景復(fù)雜的圖像分割效果較差，參數(shù)設(shè)置非常依賴相人工經(jīng)驗，但方法簡單有效，本文將傳統(tǒng)的圖像處理方法做特征增強處理，將其與深度學(xué)習(xí)的方法相結(jié)合，實現(xiàn)端對端的自動分割肺結(jié)節(jié)的效果，并且取得了較高的精度，能為醫(yī)生提供有效的輔助診斷.

2 相關(guān)工作

隨著計算機技術(shù)的發(fā)展和醫(yī)學(xué)數(shù)據(jù)的不斷增加，一直以來有很多學(xué)者致力于醫(yī)學(xué)圖像處理.焦慶磊[3]等人在俊卷積神經(jīng)網(wǎng)絡(luò)分類任務(wù)中融合位置和尺寸信息，采用特征金字塔上采樣的結(jié)構(gòu)來保留圖片信息，從而在胸部X光數(shù)據(jù)集JSRT上實現(xiàn)了較高的檢測精度和較低的假陽性率.由于胸膜粘附結(jié)點與肺實質(zhì)周圍的灰度值類似，出現(xiàn)過度分割的問題，孫紅[4]等人提出了一種基于Graham掃描法和Harris角點檢測算法對263張CT樣本上的胸膜肺結(jié)節(jié)進行有效的分割.Choi W J[5]等人提出了一種基于三維形狀的特征描述符來檢測CT掃描圖中的肺結(jié)節(jié).Xie Hongtao[6]等人在2D CNN網(wǎng)絡(luò)上添加兩個RPN(Region Proposal Network)和反卷積層來檢測肺結(jié)節(jié).

目標(biāo)的邊緣中包含著豐富的信息[7]，因此邊緣提取對于模型進行目標(biāo)分割來非常有必要.Sa Jiming[8]等人使用Sobel算子提取邊緣的灰度信息來改進Otsu分割算法，Liu Yu[9]等人使用Sobel算子計算梯度緩沖從而識別圖像的幾何特征.與Prewitt和Robert算法相比，Sobel的邊緣檢測效率更好[10]，因此，本文將Sobel算子對胸部CT圖像進行卷積操作，從而實現(xiàn)邊緣銳化的效果.

2014年Ross Girshick[11]等人提出R-CNN，該算法不僅大大提高了訓(xùn)練的速度，在PASCAL VOC 2010數(shù)據(jù)集上，還實現(xiàn)了mAP從35.1% 到53.7%的飛躍式提高.2016年Shaoqing Ren[12]等人提出Faster R-CNN算法，該算法提出RPN，為模型的訓(xùn)練進一步縮短了時間，并實現(xiàn)了端對端的訓(xùn)練.Kaiming He[13]等人提出Mask R-CNN，該網(wǎng)絡(luò)繼承了Faster R-CNN的訓(xùn)練時間短準(zhǔn)確率高性能，其更好地保留了目標(biāo)的位置信息.該網(wǎng)絡(luò)還添加一個分支進行目標(biāo)分割，避免類與類之間的競爭關(guān)系，將多類分割簡化為二類分割問題.因此我們將該網(wǎng)絡(luò)移植到肺結(jié)節(jié)分割任務(wù)作為研究的基礎(chǔ).

3 結(jié)合Sobel和Mask R-CNN 的肺結(jié)節(jié)分割

本文在傳統(tǒng)的Mask R-CNN上加一層Sobel卷積層做邊緣銳化，然后用閾值分割來處理Sobel卷積時制造的噪聲，其網(wǎng)絡(luò)總體框架如圖 1所示.

圖1 結(jié)合邊緣銳化Mask R-CNN的肺結(jié)節(jié)分割網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Lung cancer segmentation network structure

經(jīng)Sobel卷積和閾值分割這兩步處理后，目標(biāo)區(qū)域強化后的圖像輸入到支撐網(wǎng)絡(luò)中，ResNet-50結(jié)合FPN網(wǎng)絡(luò)做下采樣、池化、下采樣后生成高維特征圖，經(jīng)滑動窗口卷積后再經(jīng)RPN網(wǎng)絡(luò)中3×3的主干卷積神經(jīng)網(wǎng)絡(luò)過濾重疊特征，然后經(jīng)過兩個1×1的卷積神經(jīng)網(wǎng)絡(luò)生成錨框坐標(biāo)和前景背景得分，接著進行RoI Align Pooling，輸出的特征圖分別進入分類和分割兩個分支，在檢測任務(wù)分支中分類任務(wù)完成后，再進行分割.

在訓(xùn)練時，Sobel卷積層并不參與訓(xùn)練，因為其參數(shù)變化將改變銳化效果，產(chǎn)生不可控結(jié)果.考慮到肺結(jié)節(jié)較小，并且形狀多變，首先使用深層網(wǎng)絡(luò)ResNet-101-FPN作為Backbone進行訓(xùn)練效果，同時與ResNet-50-FPN進行對比.測試結(jié)果表明ResNet-50-FPN在訓(xùn)練時間上耗時少，如表 1所示，平均精度也比ResNet-101-FPN略高.

表1 兩個Backbone訓(xùn)練速度
Table 1 Speed of two Backbones

Backbone時間(/epoch)ResNet-101-FPN2398sResNet-50-FPN1252s

Backbone和RPN部分進行梯度下降的反向傳播訓(xùn)練.RPN訓(xùn)練生成錨框時，由于在512×512像素規(guī)模的癌癥CT影像中，癌癥病灶部分只有幾百個甚至幾十個像素點，所以我們調(diào)整了錨框的大小，以適應(yīng)目標(biāo)大小特征.設(shè)定以每個像素為中心生成3個長寬比為0.5，1，2的錨框，尺寸由原始的32，64，128，256，512像素更改為8，16，32像素.本文分別在這兩個尺寸隨機選取十個錨框展示，如圖2(a)是原始尺度的錨框，由于錨框太大已超出結(jié)節(jié)視野區(qū)外.圖2(b)是修改后的錨框，調(diào)節(jié)后的錨框的大小基本適應(yīng)肺結(jié)節(jié)的大小，分布也相對合理.

圖2 原始的錨框尺度Fig.2 Original scale of anchor box

每幅圖形生成256個錨框，篩選錨框時，原文基于IoU為0.5的閾值來篩選，但由于大部分的錨框都是背景信息，我們采取如表2更加嚴格的規(guī)則.選取置信度高的框作為訓(xùn)練樣本.其余的框不參與RPN訓(xùn)練.設(shè)置NMS=0.7，即當(dāng)IoU>0.7時采取非極大抑制操作，以保證有足夠有質(zhì)量的錨框作為訓(xùn)練樣本.

表2 錨框的選擇規(guī)則
Table 2 Selection rules of anchor box

篩選類別規(guī)則正類樣本IoU>0.7負類樣本IoU<0.3

3.1 索貝爾(Sobel)卷積層

Sobel算子是一種常用的圖片銳化處理的算法，它是一階差分算子[14]，結(jié)合了高斯平滑和微分求導(dǎo).其通過計算鄰近像素點灰度值之間的差異，來檢測出邊緣部分.本文將Sobel算子引入該Mask R-CNN模型，作為圖片輸入的第一層卷積層，來對病灶邊緣部分的像素點進行增強.該算法首先進行鄰域加權(quán)平均，然后再進行一階微分，檢測出邊緣.

圖3 索貝爾算子Fig.3 Sobel operator

該算法使用兩個矩陣來對原圖進行卷積運算以計算出水平和垂直兩個方向的灰度差分(偏導(dǎo))的估計值.如圖 3所示，圖3(a)表示水平梯度方向，檢測垂直邊緣，圖3(b)表示垂直梯度方向，檢測水平邊緣.

然后求出圖片灰度值的梯度值G，求法如公式(1).

(1)

其中Gx和Gy分別是經(jīng)Sobel算子后水平方向上的梯度和垂直方向的梯度，計算公式分別為公式(2)、公式(3).

Gx=[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]-

[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]

(2)

Gy=[f(x-1,y-1)+2*f(x,y-1)+f(x+1,y-1)]- [f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]

(3)

用Sobel算子以步長為1在原圖全圖上做卷積操作，進行邊緣檢測，高通濾波被增強，如圖4所示，Sobel卷積核處理后目標(biāo)與背景對比更加鮮明了，癌癥部位被加強的同時，由于結(jié)節(jié)部位與周邊環(huán)境放射密度相近，結(jié)節(jié)周圍環(huán)境也同樣被加強，造成噪聲干擾，接下來用閾值分割來處理，詳見3.2.

3.2 閾值分割

閾值分割法是圖像分割中比較經(jīng)典的方法，它利用圖像中要提取的目標(biāo)與背景在灰度上的差異，通過設(shè)置閾值把像素分級成若干類，從而實現(xiàn)目標(biāo)與背景的分離[15].通過判斷圖像中每一個像素點的特征屬性是否滿足閾值的要求，來確定圖像中的該像素點是屬于目標(biāo)區(qū)域還是背景區(qū)域，從而加強目標(biāo)區(qū)域，過濾噪聲.該算法用數(shù)學(xué)表達式來表示，則可設(shè)原始圖像f(x，y)，T為閾值，分割圖像時則滿足公式(4).

(4)

本文將閾值分割算法用于模型中，為了數(shù)據(jù)增強，使后期的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)更有利于癌癥部分的信息.最終圖片中的高通波被增強，并且噪聲有所減弱，達到了目標(biāo)與背景對比度增大的目的.如算法1，其中img是經(jīng)Sobel卷積后的灰度矩陣，maxval=255是灰度值上限，highwave是高通濾波，lowwave是低通濾波，這兩者做濾波后相減，確定最終圖像的灰度值，達到最終的降噪效果.

圖4 癌癥結(jié)節(jié)放大圖Fig.4 Partial enlargement of lung nodule

如圖 4所示，從肺結(jié)節(jié)放大的部分我們可以看出，閾值分割處理后的結(jié)果相比于Sobel卷積操作后的特征圖而言，有著一定的去噪效果，但又未破壞Sobel加強后結(jié)節(jié)的邊緣信息.

算法1.Threshold Segmentation Strategy

1.procedureThreshold(img，highwave，lowwave)

2. img1=img

3. img2=img

4.ifimg1>lowwavethen

5. img1=maxval

6.else

7. img1=0

8.endif

9.ifimg2>highwavethen

10. img2=maxval

11.else

12. img2=0

13.endif

14. img ← img-(img1-img2)

15.returnimg

16.endprocedure

4 實驗結(jié)果及分析

本實驗數(shù)據(jù)集 LIDC-IDRI是由美國國家癌癥研究所發(fā)起收集的，由胸部醫(yī)學(xué)圖像文件(如CT、X光片)和對應(yīng)的診斷結(jié)果病變標(biāo)注組成.在結(jié)節(jié)所有的像素的坐標(biāo)標(biāo)記中，選取所有邊緣的像素坐標(biāo)進行標(biāo)記，由于不含肺結(jié)節(jié)的切片不利于模型訓(xùn)練，本文對1010個病人中6889張帶結(jié)節(jié)(包含了大于等于3毫米和小于3毫米的結(jié)節(jié))的CT切片進行了可視化和標(biāo)簽提取處理，并按照4：1的比例劃分訓(xùn)練集和測試集，訓(xùn)練集與測試相互獨立.

① IoU=0.5的mAP值：當(dāng)預(yù)測圖片IoU大于等于0.5時，S為1；小于0.5時，S為0.

② IoU=0.7的mAP值：當(dāng)預(yù)測圖片IoU大于等于0.7時，S為1；小于0.7時，S為0.

表3 實驗結(jié)果
Table 3 Experimental results

算 法mAP@0.5mAP@0.7漏檢率/張MaskR-CNN0.5570.3640.17改進MaskR-CNN0.7060.4180.086Sobel+改進MaskR-CNN0.7220.4610.067

在IoU為0.5的情況下，本文中的網(wǎng)絡(luò)模型測試結(jié)果比傳統(tǒng)的Mask R-CNN提升了1.6%，在IoU為0.7的情況下，提高了4.3%，相對傳統(tǒng)的Mask R-CNN網(wǎng)絡(luò)模型而言，該模型表現(xiàn)較好.

本文中ROC曲線如圖5所示，橫坐標(biāo)是FPR(false positive rate)，縱坐標(biāo)是TPR(true positive rate).本文所采用的方法在每張圖上的假陽性比Devinder Kumar等人的深度特征提取算法低16.4%，并在此基礎(chǔ)上的敏感性比馮寶等人的小波能量和漢森形狀指數(shù)算法高出1.5%，比Devinder Kumar等人高出8.15%，總的來說，融合邊緣銳化的深度學(xué)習(xí)算法在較低的假陽性率上獲得了較高的敏感度，如表4中的評價指標(biāo)所示.

圖5 結(jié)合Sobel Mask R-CNN 的ROC曲線Fig.5 ROC curve of Mask R-CNN combined with Sobel

表4 評價標(biāo)準(zhǔn)
Table 4 Metrics of results

算 法 假陽性率敏感度DevinderKumar[16]0.390.8335馮寶[17]0.160.90本文方法0.2260.915

實驗圖如圖6所示，大結(jié)節(jié)的分割情況如圖6(a)和圖6(b)所示，圖6(c)和圖6(d)是對小結(jié)節(jié)的分割情況.本模型由于用了Sobel卷積進行增強處理，增強了網(wǎng)絡(luò)對細節(jié)的感知，所以對較小的結(jié)節(jié)有著較好的分割效果，雖然細節(jié)上有個別線條分割不夠準(zhǔn)確，但是仍為醫(yī)生診斷肺癌提供了大量信息，包括結(jié)節(jié)形狀和位置等信息，而且分割出了不易發(fā)現(xiàn)的10×10像素級別的超細小結(jié)節(jié)，幫助患者抓住了最佳治療時機.

圖6 結(jié)節(jié)分割實例Fig.6 Segmentation instances of nodule

5 總結(jié)與展望

傳統(tǒng)的網(wǎng)絡(luò)模型Mask R-CNN在對COCO數(shù)據(jù)集的處理上有著公認的良好效果，本文在此模型上加了一層Sobel卷積層，然后用閾值分割對特征圖進行去噪處理，在一定程度上提高了分割精度，但總體分割精度還是偏低，需要對模型進行進一步的研究和改進.

通過對實驗結(jié)果的進一步觀察和分析，由于灰度圖信息沒有三通道的圖片包含的信息豐富，如果將圖片轉(zhuǎn)化為三通道，各個通道分別進行特征增強，然后進行通道疊加可能會有更好的實驗效果.后續(xù)研究工作有望圍繞這個方面進行改進.