王方鑫 何良華

關(guān)鍵詞：深度學(xué)習(xí)；弱監(jiān)督；醫(yī)學(xué)圖像分割；注意力機(jī)制

1 概述

近年來，隨著醫(yī)學(xué)成像技術(shù)的不斷發(fā)展，人工智能被越來越多地應(yīng)用到了醫(yī)療圖像分析領(lǐng)域，可以幫助醫(yī)生進(jìn)行一些輔助醫(yī)療功能，從而更好地對患者進(jìn)行手術(shù)治療。目前，基于全監(jiān)督的圖像分割雖然取得了較好的分割結(jié)果，但是由于醫(yī)學(xué)圖像數(shù)據(jù)標(biāo)注任務(wù)復(fù)雜，逐像素標(biāo)記任務(wù)量大，因此還需要具備專業(yè)醫(yī)學(xué)領(lǐng)域的知識，全監(jiān)督并不能非常好地發(fā)揮它的作用。為了克服這些困難，研究人員嘗試通過簡單易獲取的弱標(biāo)簽，通過使用弱監(jiān)督的方法進(jìn)行醫(yī)學(xué)圖像的分割，取得了一定的分割效果。

2 相關(guān)工作

2.1 類激活圖

在弱監(jiān)督中，CAM[1]是將圖像標(biāo)簽轉(zhuǎn)換為像素級偽標(biāo)簽的重要手段。它可以生成易于人類理解的熱力圖，用來定位圖像中和類別緊密相關(guān)的區(qū)域，在深度學(xué)習(xí)的可解釋性方向也有著較大的作用。2017年，Selvaraju等人提出了Grad-CAM[2]，這個改進(jìn)的模型結(jié)構(gòu)解決了CAM存在的一個比較明顯缺點，就是為了計算最終全局平均池化（GAP） 中的權(quán)重，需要替換掉原始模型的全連接層，重新進(jìn)行模型訓(xùn)練。Grad-CAM 并不需要修改網(wǎng)絡(luò)結(jié)構(gòu)，也不需要再次訓(xùn)練。2017年，Chattopadhyay等人提出了Grad-CAM++[3]，引入了輸出梯度對特定位置的像素級別加權(quán)，對每個像素在特征圖的重要性進(jìn)行了衡量，并且這個方法相較于先前的Grad-CAM，有更好的效果。

2.2 注意力機(jī)制

注意力模塊可以集成到現(xiàn)有的卷積網(wǎng)絡(luò)中，可以提升CNN整體的性能。Ashish[4]等人第一次提出通過自注意力機(jī)制來獲取全局的依賴關(guān)系，并將其用于機(jī)器翻譯。Zhang[5]等人介紹了自注意力機(jī)制，用來更好地去學(xué)習(xí)得到一個圖像生成器。Wang[6]等人主要探索了注意力機(jī)制應(yīng)用到圖像和視頻的有效性。Wang[7]提出了使用編碼器注意力模塊的殘差注意力網(wǎng)絡(luò)，通過優(yōu)化特征圖，網(wǎng)絡(luò)性能得到了提升，對噪聲也具備了一定的魯棒性。2017年，Hu[8]等人提出了SELayer的注意力模塊，這個模型能夠通過融合每層的局部感受野的空間和通道的信息來構(gòu)建信息特征，在略微增加計算成本的情況下，顯著提升CNN的性能。

3 基于種子線索的弱監(jiān)督分割

3.1 弱監(jiān)督分割框架

本文選取的是一種通用的弱監(jiān)督圖像分割框架。分割框架主要包含兩個部分，一個是分類分支，一個是語義分割分支。分類分支主要用于生成像素級標(biāo)注的標(biāo)簽，原始的CAM生成的區(qū)域中，可信度較高的是標(biāo)記區(qū)域，可信度較低的是未標(biāo)記區(qū)域。這些標(biāo)簽用于后續(xù)語義分割的計算。語義分割分支主要用來預(yù)測圖像的像素級標(biāo)注，這里使用了一個聯(lián)合損失函數(shù)，綜合考慮了已經(jīng)標(biāo)注的標(biāo)簽、像素位置等因素。弱監(jiān)督分割框架的結(jié)構(gòu)如圖1所示。

3.2 基于注意力機(jī)制的類激活圖生成框架

像素級的標(biāo)注標(biāo)簽的質(zhì)量會直接影響網(wǎng)絡(luò)的分割精度。直接通過原始的類激活圖生成分支輸出的類激活圖僅僅關(guān)注了目標(biāo)區(qū)域最為顯著的核心區(qū)域，這樣會導(dǎo)致通過該分支生成的弱監(jiān)督圖像的偽標(biāo)簽較為稀疏，從而直接影響弱監(jiān)督的分割精度。

注意力機(jī)制可以通過權(quán)重大小來模擬人在處理信息的注意力的側(cè)重，從而提高性能和分割精度，本文在原始的類激活圖生成分支外引入注意力分支?；谧⒁饬C(jī)制的類激活圖生成框架如圖2所示。

本文的SAM模塊利用主干網(wǎng)絡(luò)輸出的特征圖進(jìn)行維度變化生成親密度矩陣，通過親密度矩陣向原始分支補(bǔ)充目標(biāo)的信息，優(yōu)化原始的特征激活映射圖，從而提高生成偽標(biāo)簽的完整性。SAM模塊如圖3所示。

本文中的CBAM模塊主要包含通道注意力和空間注意力維度。通道注意力在通道維度不變，壓縮空間維度。該模塊關(guān)注輸入圖片中有意義的信息。空間注意力在空間維度不變，壓縮通道維度，該模塊關(guān)注的是目標(biāo)的位置信息。CBAM模塊如圖4所示。

4 實驗結(jié)果分析

4.1 實驗數(shù)據(jù)集

本文選取的數(shù)據(jù)集來自醫(yī)學(xué)圖像頂級會議MICCAI 組織的“ISIC 皮膚病理圖像分割和分類比賽”。輸入數(shù)據(jù)分為良性和惡性皮膚癌病變圖像，病變區(qū)域是從多個醫(yī)學(xué)機(jī)構(gòu)的皮膚癌患者的歷史樣本中，通過各種類型的皮膚鏡從所有的解剖部位提取得到的（不包括指甲和黏膜）。掩碼圖像編碼是單通道的8位PNG圖像，標(biāo)注了病灶區(qū)域和良性區(qū)域，所有的數(shù)據(jù)都是由具有皮膚鏡專業(yè)知識的皮膚科醫(yī)生進(jìn)行標(biāo)注和核查的。本次實驗一共選取病變和良性圖像共2000張圖像。

4.2 實驗流程

本文選取SECNet 作為基準(zhǔn)模型和筆者提出的基于注意力機(jī)制弱監(jiān)督分割模型進(jìn)行對比。實驗基于Python3.6 環(huán)境和Pytorch1.0 框架，使用兩塊NVIDIA GEFORCE 3090 GPU 進(jìn)行訓(xùn)練和測試。實驗的訓(xùn)練圖像和測試圖像長寬尺寸都被固定為512，batch size 設(shè)置為32，訓(xùn)練100 epoch，數(shù)據(jù)增強(qiáng)方便采用了隨機(jī)剪切、隨機(jī)翻轉(zhuǎn)，優(yōu)化算法選取了隨機(jī)梯度下降（SGD） ，初始學(xué)習(xí)率設(shè)置為0.001，動量設(shè)置為0.9。

4.3 實驗結(jié)果

原始的類激活圖和引入注意力機(jī)制生成的類激活圖對比如圖5所示。可以看到，當(dāng)引入注意力分支后，有效解決了先前類激活圖關(guān)注區(qū)域較為集中的問題，新模型生成的類激活圖關(guān)注區(qū)域更加完整，從而可以提高弱監(jiān)督圖像整體的分割精度。

實驗結(jié)果如表1所示，從結(jié)果中可以得知，引入注意力機(jī)制的弱監(jiān)督模型相較于先前弱監(jiān)督模型在分割精度上有明顯提升，這表明注意力機(jī)制學(xué)習(xí)到了圖像中不同類的區(qū)別以及位置關(guān)系信息，從而生成的弱監(jiān)督偽標(biāo)簽相較于直接通過CAM生成的更加完整和精確，進(jìn)而直接提高了弱監(jiān)督分割的整體精度。和全監(jiān)督模型Unet相比，改進(jìn)后的模型分割精度有一定的差距，但是弱監(jiān)督模型不需要大量真實精確標(biāo)注訓(xùn)練的數(shù)據(jù)集，僅需要提供圖像級的數(shù)據(jù)標(biāo)簽就可以解決醫(yī)療領(lǐng)域像素級標(biāo)注數(shù)據(jù)集不足的問題，這具有非常重要的研究意義。

5 總結(jié)

文章通過弱監(jiān)督的手段實現(xiàn)了黑色素瘤圖像的分割。針對通過CAM生成弱監(jiān)督偽標(biāo)簽較為稀疏的問題，文章引入了注意力分支，從而使得生成的偽標(biāo)簽更加完整，而且在ISIC數(shù)據(jù)集上進(jìn)行了測試，分割精度得到了明顯提高。文章在不使用大量像素級標(biāo)簽的情況下，對黑色素瘤圖像完成較為準(zhǔn)確的分割，具有一定的應(yīng)用價值。