關(guān)鍵詞：病理圖像；弱監(jiān)督；實(shí)例；語(yǔ)義分割；像素級(jí)標(biāo)簽

0 引言

組織病理學(xué)的圖像分析已經(jīng)逐漸成為癌癥病情分析的重要輔助手段[1]。近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)在癌癥病理圖片的自動(dòng)分類(lèi)與分割方面已經(jīng)取得了許多突破性成效[2]。這些方法通常需要大量的人工與時(shí)間成本。目前主流的癌癥病理圖像分割中，每一張病理圖像都需要對(duì)應(yīng)的像素級(jí)標(biāo)簽[3]，為了減少對(duì)像素級(jí)標(biāo)簽的需求以及減少成本，許多研究人員提出了弱監(jiān)督語(yǔ)義分割用于癌癥病理圖像分割，只需要圖像級(jí)標(biāo)簽即可[4]。在弱監(jiān)督語(yǔ)義分割中，用于分割的偽標(biāo)簽也是決定準(zhǔn)確度的關(guān)鍵，偽標(biāo)簽越接近真實(shí)的專(zhuān)家標(biāo)注的標(biāo)簽，則分割的精度越高[5]。

本文提出了一個(gè)弱監(jiān)督學(xué)習(xí)框架用于組織病理學(xué)圖像分割。主要有三個(gè)步驟：首先，使用組合多實(shí)例學(xué)習(xí)（cMIL）方法從原始圖像級(jí)數(shù)據(jù)集中使用實(shí)例級(jí)標(biāo)簽構(gòu)建高質(zhì)量的實(shí)例級(jí)數(shù)據(jù)集。其次，提高偽標(biāo)簽精度，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)實(shí)例數(shù)據(jù)集中癌癥病理圖片進(jìn)行特征提取，提取癌癥區(qū)域并且將其制作成像素級(jí)的偽標(biāo)簽。最后，再訓(xùn)練一個(gè)完全監(jiān)督語(yǔ)義分割模型，將偽標(biāo)簽直接用于圖像分割。為了驗(yàn)證方法的正確性，在BRACS[6]數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，BRACS是專(zhuān)攻于乳腺癌病理切片的數(shù)據(jù)集，實(shí)驗(yàn)取得了不錯(cuò)的成果。

1 相關(guān)工作

1.1 組織病理學(xué)圖像分割中的弱監(jiān)督學(xué)習(xí)

目前來(lái)說(shuō)，運(yùn)用到病理圖像分割的弱監(jiān)督學(xué)習(xí)主要?dú)w為兩類(lèi)：基于超像素的分割方法以及基于分類(lèi)網(wǎng)絡(luò)先驗(yàn)信息的方法[7]?；诔袼氐姆指罘椒ㄊ褂孟嗨葡袼厮铣傻某袼赜?xùn)練分類(lèi)模型，也就是將病理圖片中外觀相似的區(qū)域合并為超像素，訓(xùn)練分類(lèi)模型之后可以知道所屬區(qū)域是否為癌癥區(qū)域?；诜诸?lèi)網(wǎng)絡(luò)先驗(yàn)信息的方法使用類(lèi)激活映射圖[7]定位圖像中的顯著區(qū)域，一般先使用圖像級(jí)標(biāo)簽訓(xùn)練分類(lèi)網(wǎng)絡(luò)，即在病理圖像中選擇有癌癥區(qū)域的以及正常的兩個(gè)集合一起訓(xùn)練分類(lèi)網(wǎng)絡(luò)，然后根據(jù)像素點(diǎn)的響應(yīng)值確定圖像中各個(gè)區(qū)域的類(lèi)別，最后將訓(xùn)練好的圖片作為偽標(biāo)簽作為完全監(jiān)督語(yǔ)義分割的輸入。

1.2 多實(shí)例學(xué)習(xí)在弱監(jiān)督語(yǔ)義分割中的應(yīng)用

多實(shí)例學(xué)習(xí)在弱監(jiān)督方法中廣泛應(yīng)用[8]。然而，盡管多實(shí)例學(xué)習(xí)在弱監(jiān)督方法中取得了優(yōu)秀的成果，但許多解決方案需要預(yù)先指定的特征，這需要特定于數(shù)據(jù)的先驗(yàn)知識(shí)，這限制了應(yīng)用的一般性。而在組合多實(shí)例學(xué)習(xí)中，訓(xùn)練過(guò)程是端到端的，沒(méi)有刻意的特征提取和特征學(xué)習(xí)，使得訓(xùn)練過(guò)程非常簡(jiǎn)單。

1.3 多實(shí)例弱監(jiān)督學(xué)習(xí)在病理圖像分割中的應(yīng)用

多實(shí)例學(xué)習(xí)中的訓(xùn)練數(shù)據(jù)是有標(biāo)記的，一般情況下標(biāo)記只有兩個(gè)類(lèi)別：正和負(fù)。多實(shí)例學(xué)習(xí)的目標(biāo)是學(xué)習(xí)得到一個(gè)分類(lèi)器，使得對(duì)新輸入的樣本可以給出它的正負(fù)標(biāo)記、目前，多實(shí)例學(xué)習(xí)在病理圖像中的應(yīng)用是將病理圖像切割成小圖作為實(shí)例，經(jīng)過(guò)訓(xùn)練過(guò)的分類(lèi)器得到小圖的標(biāo)記，將小圖的正負(fù)標(biāo)記（即癌變的小圖以及正常的小圖）用不同的顏色區(qū)分拼接后得到大圖作為偽標(biāo)簽。但在這項(xiàng)工作中，切割成的小圖的分辨率不可以太?。ㄌ?huì)使結(jié)果誤差較大）。弱監(jiān)督語(yǔ)義分割中還有一種常用方法，利用圖像特征提取熱力圖做偽標(biāo)簽，圖像特征提取可以簡(jiǎn)單地理解為是圖像中信息對(duì)于預(yù)測(cè)結(jié)果的貢獻(xiàn)排名，分?jǐn)?shù)越高（顏色越熱）的地方表示，在輸入圖片中這塊區(qū)域?qū)W(wǎng)絡(luò)的響應(yīng)越高、貢獻(xiàn)越大，一般用于弱監(jiān)督語(yǔ)義分割的預(yù)測(cè)工作。目前只使用圖像特征提取的弱監(jiān)督語(yǔ)義分割效果并不算理想，但將其作為多實(shí)例學(xué)習(xí)弱監(jiān)督的補(bǔ)充卻已足夠，在多實(shí)例學(xué)習(xí)中分割出來(lái)的小圖恰好可以進(jìn)行特征提取，但因?yàn)樘卣魈崛”旧淼男Ч话愣鄬?shí)例學(xué)習(xí)的效果卻很不錯(cuò)，因此本文將多實(shí)例學(xué)習(xí)后標(biāo)記出的癌癥圖像進(jìn)行特征提取，進(jìn)一步細(xì)化偽標(biāo)簽使偽標(biāo)簽精度更高。

2 方法

2.1 多實(shí)例分類(lèi)模型

本文首先構(gòu)建兩個(gè)不同的圖像的集合，包含癌癥區(qū)域的圖像的集合以及正常的圖像的集合。然后將圖像切割成了大小一樣的N×N小圖。使用兩個(gè)基于實(shí)例學(xué)習(xí)的分類(lèi)器對(duì)圖像進(jìn)行篩選，它們具有不同的標(biāo)準(zhǔn)（Max-Max和Max-Min） 。

Max-Max策略用于選擇每個(gè)圖像切割后的小圖中癌變（CA） 概率最高的小圖，然后將其加入癌癥區(qū)域的合集中。而Max-Min策略則是在圖像級(jí)標(biāo)簽為癌癥的圖片中選擇含癌癥區(qū)域概率最高的小圖，并在圖像級(jí)標(biāo)簽為非癌癥（NA） 的圖片中選擇正常區(qū)域概率最4EXZpuvRO02s3AaVSHAeMpo8R+LBulw5YDSoSByjhJk=高的小圖。在組合多實(shí)例學(xué)習(xí)中，將這兩個(gè)標(biāo)準(zhǔn)結(jié)合起來(lái)，以減少分布偏差問(wèn)題，并獲得一個(gè)更平衡的數(shù)據(jù)集。

如果圖像的圖像級(jí)標(biāo)簽表示其為癌變（CA） 圖像，那么切割后的小圖中至少有一個(gè)包含癌變區(qū)域；如果圖像的圖像級(jí)標(biāo)簽表示其為非癌變（NA） 圖像，那么切割后的小圖中都不包含癌變區(qū)域。Max-Max策略旨在選取每個(gè)癌變圖像中癌變概率最高的小圖，以構(gòu)建癌癥區(qū)域的合集。而Max-Min策略則進(jìn)一步考慮了非癌變圖像，從中選取正常區(qū)域概率最高的小圖。在組合多實(shí)例學(xué)習(xí)中，結(jié)合這兩種策略可以有效地減少數(shù)據(jù)分布偏差，從而得到一個(gè)更加平衡的數(shù)據(jù)集。

選擇VIT[9]作為分類(lèi)器。兩個(gè)基于多實(shí)例學(xué)習(xí)的分類(lèi)器在相同的配置下分別進(jìn)行訓(xùn)練，訓(xùn)練結(jié)束后，本文將相同的訓(xùn)練數(shù)據(jù)輸入兩個(gè)訓(xùn)練好的分類(lèi)器中，在相應(yīng)的標(biāo)準(zhǔn)下篩選出癌變圖片與正常圖片，作為預(yù)測(cè)的結(jié)果。圖1為組合多實(shí)例學(xué)習(xí)的示意圖。

2.2 提取圖像特征制作偽標(biāo)簽

經(jīng)過(guò)預(yù)測(cè)小圖癌變概率，將概率大于0.5的圖片視為具有癌變區(qū)域的圖片，概率小于0.5的視為正常的圖片，然后將小圖拼接回大圖，直接將癌變區(qū)域與正常區(qū)域用顏色區(qū)分作為偽標(biāo)簽。為了使偽標(biāo)簽更加精確，再對(duì)圖片進(jìn)行訓(xùn)練，如圖2所示，本文借鑒了ResNet-MIL[10]對(duì)VGGNET16神經(jīng)網(wǎng)絡(luò)進(jìn)行了一些改進(jìn)。VGGNet16原本最后輸出的是多維的并且分辨率顯著降低的圖片，這樣的結(jié)果并不能作為病理圖像的偽標(biāo)簽使用。經(jīng)過(guò)改進(jìn)，可以使輸出的多維特征圖融合到一張上，并且分辨率恢復(fù)到輸入圖片大小。主干網(wǎng)絡(luò)使用了VGGNet16，用來(lái)提取癌變特征。Vgg?Net16在整體上可以劃分為8個(gè)部分（8段），前5段為卷積網(wǎng)絡(luò)，后3段為全連網(wǎng)絡(luò)。前5段的卷積網(wǎng)絡(luò)都是由卷積層、RELU激活函數(shù)與最大池化層組成。卷積層提取特征，最大池化層用于降低模型計(jì)算量和擴(kuò)大網(wǎng)絡(luò)感受野。由于VGGNet16最后一層卷積輸出的特征圖是多維的，而實(shí)驗(yàn)需要輸出的特征圖是二維的，因此對(duì)最后的特征圖進(jìn)行了1×1的卷積操作，將特征圖降低到二維。使用sigmoid激活函數(shù)讓輸出熱圖上每個(gè)點(diǎn)的值處于0～1，從而能夠反映概率。為了獲得和原始輸入圖像分辨率大小相同的熱圖，對(duì)輸出熱圖采用了雙線性插值上采樣的辦法，而沒(méi)有使用反卷積。因?yàn)榭紤]使用反卷積會(huì)引入更多的參數(shù)，從而導(dǎo)致網(wǎng)絡(luò)過(guò)擬合。經(jīng)過(guò)訓(xùn)練最后將概率高于0.5的像素視為癌變像素點(diǎn)，低于0.5的視為正常像素點(diǎn)，將二者用兩種不同的顏色代替，作為偽標(biāo)簽。

2.3 圖像分割

得到圖像的偽標(biāo)簽之后，就可以使用完全監(jiān)督的方式訓(xùn)練分割模型。選擇醫(yī)學(xué)影像分析中常用的Unet模型來(lái)進(jìn)行分割。U-net整體是編碼器-解碼器結(jié)構(gòu)，如圖3所示。網(wǎng)絡(luò)的整體結(jié)構(gòu)形似一個(gè)大寫(xiě)的英文字母U。編碼器主要由卷積層與池化層組成，用于提取特征，由兩個(gè)3×3的卷積層再加上一個(gè)2×2的最大池化層組成一個(gè)下采樣的模塊，一共經(jīng)過(guò)4次這樣的操作。解碼器由一層反卷積+特征拼接+兩個(gè)3×3 的卷積層反復(fù)構(gòu)成，一共經(jīng)過(guò)4次這樣的操作，最后接一層1×1卷積，降維處理，即將通道數(shù)降低至特定的數(shù)量，得到預(yù)測(cè)圖。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)實(shí)現(xiàn)

本文利用BRACS 數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，隨機(jī)從BRACS中抽取500張作為訓(xùn)練集，47張作為測(cè)試集驗(yàn)證實(shí)驗(yàn)的有效性。實(shí)驗(yàn)中考慮到顯卡內(nèi)存空間的限制，同時(shí)保留圖片更多的空間信息，切割出來(lái)的小圖均調(diào)整到512×512像素大小。

組合多實(shí)例學(xué)習(xí)中的實(shí)例分類(lèi)器和再訓(xùn)練步驟都使用Adam優(yōu)化器進(jìn)行訓(xùn)練，固定學(xué)習(xí)率為0.000 1。在多實(shí)例學(xué)習(xí)中，batch size設(shè)置為8。在重新訓(xùn)練步驟中，batch size設(shè)置為16。在分割階段， U-Net使用Adam 優(yōu)化器進(jìn)行訓(xùn)練，固定學(xué)習(xí)率為0.001，batchsize為8。

3.2 制作偽標(biāo)簽

利用組合多實(shí)例學(xué)習(xí)分類(lèi)模型篩選出小圖中癌變區(qū)域與正常區(qū)域后，將癌變圖片輸入改進(jìn)的VGG16 模型，得到特征圖，再對(duì)特征圖進(jìn)行卷積、上采樣等操作后，將特征圖進(jìn)一步轉(zhuǎn)化為偽標(biāo)簽，最后將小圖拼接回原圖大小的偽標(biāo)簽圖。在CAMEL模型[11]中在使用組合多實(shí)例學(xué)習(xí)篩選出正常區(qū)域與癌變區(qū)域后，直接將得到的區(qū)別后的小圖拼接回大圖作為偽標(biāo)簽。以醫(yī)生的標(biāo)注作為標(biāo)準(zhǔn)，測(cè)試偽標(biāo)簽的精度，在訓(xùn)練集數(shù)據(jù)上使用組合多實(shí)例學(xué)習(xí)方法得到CAMEL的偽標(biāo)簽后，再進(jìn)行特征提取得到本文需要的偽標(biāo)簽。從表2可以看出，特征提取后的偽標(biāo)簽精確度要高于沒(méi)有進(jìn)行特征提取的偽標(biāo)簽。

3.3 利用偽標(biāo)簽進(jìn)行完全監(jiān)督分割

得到偽標(biāo)簽之后，就可以對(duì)病理圖像進(jìn)行分割，將偽標(biāo)簽作為訓(xùn)練集標(biāo)簽進(jìn)行完全監(jiān)督語(yǔ)義分割，分割模型采用U-net結(jié)構(gòu)。將本文模型（VGG-MIL） 與當(dāng)下弱監(jiān)督語(yǔ)義分割常用的模型進(jìn)行比較，很明顯，本文的模型VGG-MIL效果最為優(yōu)秀。

4 結(jié)束語(yǔ)

計(jì)算機(jī)輔助診斷組織病理圖像能夠減輕病理醫(yī)師的負(fù)擔(dān)。在本項(xiàng)研究中，本文提出了一個(gè)弱監(jiān)督學(xué)習(xí)框架，用于僅使用圖像級(jí)標(biāo)簽的組織病理學(xué)圖像分割。該框架能夠利用圖像級(jí)標(biāo)簽生成像素級(jí)偽標(biāo)簽，并取得了相當(dāng)不錯(cuò)的分割結(jié)果。更重要的是，這種弱監(jiān)督學(xué)習(xí)語(yǔ)義分割的方法可以推廣到其他組織病理學(xué)圖像分析研究中。在本項(xiàng)研究中，利用圖像級(jí)標(biāo)簽獲取的種子區(qū)域在訓(xùn)練過(guò)程中是固定不變的，且種子區(qū)域?qū)τ?xùn)練結(jié)果起著決定性作用。若種子區(qū)域質(zhì)量不佳，也會(huì)對(duì)訓(xùn)練結(jié)果產(chǎn)生負(fù)面影響。在未來(lái)的工作中，可以考慮利用區(qū)域生長(zhǎng)法使這些種子區(qū)域不斷變化，而變化的準(zhǔn)則則由相鄰點(diǎn)之間卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的特征相似性決定。這樣做可以增加網(wǎng)絡(luò)對(duì)種子區(qū)域生成質(zhì)量的容錯(cuò)率，有利于最終分割效果的提升。