程舸帆 何良華

摘要：為提升針對(duì)醫(yī)學(xué)圖像的弱監(jiān)督語義分割性能，本文從種子線索的生成出發(fā)，在CAM網(wǎng)絡(luò)訓(xùn)練中引入多空洞卷積率的空洞卷積，以從圖像級(jí)別的標(biāo)注中產(chǎn)生密集位置預(yù)測(cè)，擴(kuò)大響應(yīng)范圍。實(shí)驗(yàn)證明本文提出的分割模型在CAMELYON16數(shù)據(jù)集上能得到10個(gè)百分點(diǎn)的提升，并通過實(shí)驗(yàn)結(jié)果圖證明本文模型可在僅有圖像及標(biāo)簽已知的情況下為醫(yī)生的診斷提供參考。

關(guān)鍵詞：弱監(jiān)督學(xué)習(xí);語義分割;乳腺癌數(shù)據(jù)集;卷積神經(jīng)網(wǎng)絡(luò);空洞卷積

中圖分類號(hào)：TP311? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2022）03-0007-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

隨著科學(xué)技術(shù)的快速發(fā)展，計(jì)算機(jī)性能的飛速提升，近年來智能醫(yī)療得到了長(zhǎng)足的發(fā)展。其中，醫(yī)學(xué)圖像分割能夠自動(dòng)化地實(shí)現(xiàn)影像數(shù)據(jù)的組織、病灶等區(qū)域的劃分，能夠?yàn)獒t(yī)生提供參考，一定程度上緩解了目前醫(yī)生人才短缺的問題。而基于弱監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像分割方法研究，實(shí)現(xiàn)了人工制作標(biāo)簽和分割性能之間的平衡，僅利用圖像級(jí)標(biāo)簽就能夠?qū)崿F(xiàn)像素級(jí)的預(yù)測(cè)，大大消除了人工制作標(biāo)簽的繁瑣，推動(dòng)了醫(yī)學(xué)圖像分割領(lǐng)域的發(fā)展。

如今大多數(shù)弱監(jiān)督語義分割網(wǎng)絡(luò)框架是在由 Alexander Kolesnikov等人[1]提出的SECNet的基礎(chǔ)上衍生而來的，雖然SECNet在Pascal voc2012[2]數(shù)據(jù)集上的表現(xiàn)優(yōu)于傳統(tǒng)弱監(jiān)督語義分割方法，如CCNN[3]，EM-Adapt[4]等，但是其還是存在存在分割區(qū)域不完整、分割結(jié)果不準(zhǔn)確等問題。對(duì)于特異性較強(qiáng)的數(shù)據(jù)集如醫(yī)學(xué)圖像數(shù)據(jù)集，SECNet的局限性就會(huì)更明顯。

為了解決SECNet無法精準(zhǔn)地定位像素級(jí)目標(biāo)區(qū)域以得到高質(zhì)量的目標(biāo)邊緣的問題，我們從種子標(biāo)簽的生成出發(fā)，引入多擴(kuò)張率的空洞卷積使目標(biāo)響應(yīng)區(qū)域增大。這樣偽像素級(jí)標(biāo)簽?zāi)軌蚋玫刭N近圖像本身病灶區(qū)域，使其分割性能得到明顯提升。

1 相關(guān)工作

1.1 類激活映射圖

在分類網(wǎng)絡(luò)訓(xùn)練中，類激活映射圖（class activation map）[5]可以幫助我們了解到網(wǎng)絡(luò)關(guān)注圖片的哪塊區(qū)域，可以實(shí)現(xiàn)對(duì)圖片前景區(qū)域的初步定位。CAM的主干網(wǎng)絡(luò)可以為任意一種常用的卷積神經(jīng)網(wǎng)絡(luò)模型如ResNet、VggNet等，但是用了GAP（global average pooling）[6]來代替網(wǎng)絡(luò)的全連接層，這不僅能大大減少參數(shù)量，也使每個(gè)特征通道與其權(quán)重一一對(duì)應(yīng)，實(shí)現(xiàn)了定位能力。

1.2 條件隨機(jī)場(chǎng)

條件隨機(jī)場(chǎng)（conditional random filed）[7]經(jīng)常用作對(duì)語義分割網(wǎng)絡(luò)的輸出做后處理，使分割結(jié)果更為精細(xì)。CRF中的一元?jiǎng)菽苡煞指罹W(wǎng)絡(luò)給出的類別概率得到，二元?jiǎng)菽苋Q于圖像上每?jī)蓚€(gè)像素點(diǎn)間的相似性，具體由像素點(diǎn)的距離與顏色決定。隨著CRF的多輪迭代，可以對(duì)深度神經(jīng)網(wǎng)絡(luò)的輸出進(jìn)行細(xì)節(jié)補(bǔ)充。

2 基于弱監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像分割模型

本論文提出的弱監(jiān)督語義分割模型以SECNet為基礎(chǔ)，為了提升性能，引入了不同空洞率的空洞卷積，使CAM圖的初始定位更加準(zhǔn)確。具體模型結(jié)構(gòu)如圖1所示：

2.1 使用多空洞卷積率的CAM

弱監(jiān)督圖像分割最大的挑戰(zhàn)在于如何精準(zhǔn)地定位像素級(jí)目標(biāo)區(qū)域以得到高質(zhì)量的目標(biāo)邊緣，而使用基礎(chǔ)3*3卷積的CAM在分割大的目標(biāo)時(shí)在目標(biāo)物體處不集中，其不足以從圖像級(jí)別的標(biāo)注中產(chǎn)生密集位置預(yù)測(cè)。為了解決這個(gè)問題，我們?cè)谔卣魈崛【W(wǎng)絡(luò)最后一層引入空洞率分別為2，4，6的空洞卷積（如圖2所示），不同空洞率的空洞卷積不但可以擴(kuò)大核的感受野，更重要的是還能將環(huán)境的判別信息推廣轉(zhuǎn)換至類別不明確的區(qū)域。

我們使用[H0]和[Hi] （i = 1...n，n為空洞卷積率）代表分別由標(biāo)準(zhǔn)卷積與不同卷積率卷積得到的定位圖，最終的定位圖由以下公式得到：[H=H1+1ndi=2ndHi]

如圖3所示從左至右依次是普通卷積得到的種子線索、采用多卷積率并平均后的種子線索、ground_truth，可以看到引入不同空洞卷積率后定位像素級(jí)目標(biāo)區(qū)域準(zhǔn)確率大幅提升。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本論文實(shí)驗(yàn)均基于CAMELYON16數(shù)據(jù)集[8]。此數(shù)據(jù)集由CAMELYON16比賽提供，在本篇論文中我們使用此數(shù)據(jù)集來進(jìn)行乳腺癌圖像的弱監(jiān)督語義分割。該數(shù)據(jù)集由270張被蘇木素伊紅染色的全片乳腺癌病理圖像（whole-silde images，wsi）組成.由于全片病理圖像屬于超大分辨率圖像，每張圖片大小超過2GB，每張癌癥圖像上也包括多個(gè)癌癥像素點(diǎn)區(qū)域。為了將圖像能夠送入網(wǎng)絡(luò)處理，我們需要對(duì)WSI圖像進(jìn)行預(yù)處理，即利用數(shù)據(jù)集中專家給出的像素級(jí)標(biāo)簽——xml文件來對(duì)每張圖片進(jìn)行切割。利用xml文件中癌癥區(qū)域與非癌癥區(qū)域的中心點(diǎn)坐標(biāo)將原始超大圖像切割成若干大小為512*512的圖像。經(jīng)過切割與篩選，最終我們得到癌癥圖像與正常圖像各900張，我們隨機(jī)選取其中800張為訓(xùn)練數(shù)據(jù)，100張為測(cè)試數(shù)據(jù)。然后對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行水平旋轉(zhuǎn)，垂直旋轉(zhuǎn)，水平加垂直旋轉(zhuǎn)、[90°]? 、[180°]? ? 以及? [270°]? 六種操作，將數(shù)據(jù)集擴(kuò)大至原來7倍。

3.2 訓(xùn)練流程

本文實(shí)驗(yàn)主要考慮原SECNet模型與經(jīng)過本文改善的模型SECNet+Atrous，下面的訓(xùn)練流程對(duì)兩個(gè)模型均一致：

本文實(shí)驗(yàn)基于python3.8環(huán)境與pytorch1.0框架，顯卡為NVIDIA GEFORCE 1080Ti。使用像素準(zhǔn)確率（PA），Miou與Dice三種評(píng)價(jià)指標(biāo)進(jìn)行模型評(píng)測(cè)。所有訓(xùn)練圖像的大小均為512*512，batchsize為15。優(yōu)化算法為動(dòng)量為0.9，學(xué)習(xí)率為0.001的SGD優(yōu)化算法。在訓(xùn)練CAM得到初步種子線索時(shí)，分類網(wǎng)絡(luò)框架使用VGG16，并把網(wǎng)絡(luò)最后的全連接層修改為GAP層，分割網(wǎng)絡(luò)模型框架使用deeplabv3+，CRF的迭代次數(shù)設(shè)置為10。除此以外，實(shí)驗(yàn)還進(jìn)行了全監(jiān)督對(duì)比實(shí)驗(yàn)，采用FCN[9]全監(jiān)督模型，對(duì)實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行全監(jiān)督語義分割訓(xùn)練，并與弱監(jiān)督語義分割結(jié)果進(jìn)行對(duì)比。

3.3 結(jié)果分析

由表1和圖6分析可得，將CAM網(wǎng)絡(luò)中普通卷積改為多空洞卷積后，響應(yīng)區(qū)域能適當(dāng)擴(kuò)大，變得更完整，性能提升顯著，MIOU提高了10個(gè)百分點(diǎn)左右。雖然弱監(jiān)督語義分割的性能距離全監(jiān)督還有較大差距，但是他們的已知條件就不是同一層次的，全監(jiān)督訓(xùn)練所需的像素級(jí)標(biāo)簽需要耗費(fèi)巨大的精力才能得到。故在已知條件有限的情況下，弱監(jiān)督語義分割能為醫(yī)生的診斷提供參考。

4.結(jié)論

本文提出的基于弱監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像分割模型，在種子線索的生成中引入多卷積率的空洞卷積使分割結(jié)果中病灶區(qū)域更完整，更準(zhǔn)確地對(duì)每一像素點(diǎn)進(jìn)行分類。并通過對(duì)比實(shí)驗(yàn)證明了本文方法的有效性。

參考文獻(xiàn)：

[1] Kolesnikov A，Lampert C H.Seed，expand and constrain：three principles for weakly-supervised image segmentation[C]//Computer Vision - ECCV 2016，2016.

[2] Everingham M， Winn J. The pascal visual object classes challenge 2012 （voc2012） development kit[J].Pattern Analysis，Statistical Modelling and Computational Learning， Tech. Rep，2011，8.

[3] Pathak D，Kr?henbühl P，Darrell T.Constrained convolutional neural networks for weakly supervised segmentation[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2015：1796-1804.

[4] Papandreou G，Chen L C，Murphy K P，et al.Weakly-and semi-supervised learning of a deep convolutional network for semantic image segmentation[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015，Santiago，Chile.IEEE，2015：1742-1750.

[5] Zhou B L，Khosla A，Lapedriza A，et al.Learning deep features for discriminative localization[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：2921-2929.

[6] Lin M，Chen Q，Yan S.Network In Network[J].Computer Science，2013.

[7] Krhenbühl， Philipp，? Koltun V . Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials[J].Curran Associates Inc，2012.

[8] Camelyon 2016. 2016. https：//camelyon16.grand-challenge.org

[9] Shelhamer E，Long J，Darrell T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（4）：640-651.

【通聯(lián)編輯：梁書】