張曉玥,王永雄,張佳鵬,孫洪鑫,王 東,陳 羽,周 志
1上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093;2上海長海醫(yī)院消化內(nèi)科,上海 200433;3南方醫(yī)科大學(xué)第七附屬醫(yī)院消化內(nèi)科,廣東 佛山 528244
胃癌起源于胃黏膜上皮的惡性腫瘤,研究表明,胃癌的全球發(fā)病率、死亡率分別占5.6%、7.7%[1,2],在主要癌癥發(fā)病和死亡譜上分別位居第5位和第4位[3]。胃鏡檢查是早期胃癌篩查和診斷的傳統(tǒng)方案,醫(yī)生通過胃鏡圖像直接觀察到胃的內(nèi)部情況,實(shí)現(xiàn)對早期胃癌的檢測和治療。然而,醫(yī)學(xué)影像分析的工作量很大,檢測結(jié)果非常依賴于醫(yī)生的主觀判斷,加上早期胃癌的癥狀較為隱匿,使得常規(guī)的胃鏡診斷難,從而導(dǎo)致病情的延誤,降低病人的存活率[4]。
早期胃癌診斷的依據(jù)是黏膜顏色的輕微變化、表面腺管的開口和下層黏膜下血管的不規(guī)則紋理模式[5]。在內(nèi)窺鏡下通常表現(xiàn)為略微發(fā)紅的輕微隆起或凹陷,不易與炎癥區(qū)分[6]。藍(lán)激光成像技術(shù)(BLI)及其聯(lián)動(dòng)成像(LCI)[7]是目前通用的提高早期胃癌可見度的主流技術(shù)之一,通過顏色的細(xì)微差別來判斷粘膜病變。相比于白光胃鏡圖像,LCI圖像能夠更加明顯識別出病灶,具有一定的優(yōu)越性[8]。但是這種診斷方法的病變識別率與操作醫(yī)生的知識與經(jīng)驗(yàn)密切相關(guān),也免不了出現(xiàn)誤診漏診的情況[9]。因此,早期胃癌自動(dòng)實(shí)時(shí)的輔助診斷具有十分重要的臨床意義和實(shí)用價(jià)值。
近年來,隨著人工智能的不斷發(fā)展,深度學(xué)習(xí)方法被廣泛的應(yīng)用于胃鏡圖像的處理[10-13],實(shí)現(xiàn)了計(jì)算機(jī)自動(dòng)標(biāo)注和提取圖片中的病變情況,從而對疾病進(jìn)行識別和輔助診斷。研究通過組合各AlexNet、GoogLeNet和ⅤGGNet等CNN模型來構(gòu)建ΜCNN模型,以增強(qiáng)胃癌篩查的性能[10]。有研究使用實(shí)例分割方法Μask R-CNN從內(nèi)窺鏡圖像中檢測和分割胃癌區(qū)域,再使用五倍交叉驗(yàn)證進(jìn)行性能評估[11]。Hirasawa等[12]提出了一種使用SSD進(jìn)行對象檢測的胃癌自動(dòng)檢測方法,其靈敏度為92.2%,陽性預(yù)測值為30.6%。也有研究使用GoogLeNet作為預(yù)訓(xùn)練網(wǎng)絡(luò),對早期胃癌的數(shù)據(jù)集進(jìn)行遷移訓(xùn)練,以實(shí)現(xiàn)自動(dòng)識別的效果,準(zhǔn)確率達(dá)到82.8%[13]。盡管上述方法對在早期胃癌的檢測上取得了一定的成果,但是數(shù)據(jù)收集和人工標(biāo)注的難度較大,難以獲得大量的圖像,即使采用了遷移方法,模型訓(xùn)練也不夠充分。為了實(shí)現(xiàn)定位功能,現(xiàn)有的方法大多數(shù)是基于實(shí)例分割或目標(biāo)檢測模型[11,12],光照和角度差異等原因?qū)е挛哥R圖像噪聲較多,數(shù)據(jù)量太少會(huì)嚴(yán)重影響模型的性能,甚至無法評估其性能,導(dǎo)致基于深度學(xué)習(xí)的目標(biāo)檢測方法無法使用。分割任務(wù)是以一種像素級別的分類,高精度的分割網(wǎng)絡(luò)對于特征有著較高要求,在訓(xùn)練數(shù)據(jù)不足的情況下分割模型難以達(dá)到期望的精度[14]?;胺椒ㄊ且环N有效的數(shù)據(jù)擴(kuò)充方法,在很大程度上能夠減少數(shù)據(jù)量對模型訓(xùn)練的影響,因此,提出了“局部篩查+全局滑窗”的策略,用分類方法對胃鏡圖像進(jìn)行“局部篩查”識別病灶,用“全局滑窗”完成病灶的初步定位,便于醫(yī)生診斷和取活檢。
此外,視覺注意力機(jī)制廣泛應(yīng)用于各種深度學(xué)習(xí)任務(wù)[15]。研究人員將其應(yīng)用于醫(yī)學(xué)圖像處理中的目標(biāo)識別、圖像分類與分割等任務(wù),并在某些疾病的診斷任務(wù)中取得了良好的實(shí)際應(yīng)用效果。如有研究以3D U-Net網(wǎng)絡(luò)為基礎(chǔ)架構(gòu),加入空間注意力模塊和通道注意力模塊,Dice 系數(shù)和Hausdorff 距離分別提升了2.5%和9.7%,假陽性率減少了13.6%,實(shí)現(xiàn)肺癌的快速、穩(wěn)定和準(zhǔn)確分割[16]。相關(guān)研究表明,在深度學(xué)習(xí)中引入注意力機(jī)制在許多醫(yī)學(xué)圖像數(shù)據(jù)集和實(shí)驗(yàn)中均能夠很好地提升網(wǎng)絡(luò)性能[17]。因此本文提出了一種注意力機(jī)制,使得網(wǎng)絡(luò)模型更加關(guān)注黏膜顏色的輕微變化、表面腺管開口和不規(guī)則紋理等重要特征,提高有效信息的權(quán)重。
為了減少主觀因素對早期胃癌診斷的影響,結(jié)合早期胃癌病變區(qū)域的特點(diǎn),本文提出一種基于激活層前置壓縮激勵(lì)殘差網(wǎng)絡(luò)(PASE-ResNet)的早期胃癌篩查算法。將壓縮激勵(lì)結(jié)構(gòu)[18]加到PreActResNet-18[19]的每個(gè)殘差模塊中以構(gòu)成新的網(wǎng)絡(luò)。激活層前置使得訓(xùn)練更容易,提升了在訓(xùn)練數(shù)據(jù)較小的情況下模型的泛化能力;同時(shí)壓縮激勵(lì)結(jié)構(gòu)增強(qiáng)了與病灶相關(guān)的特征通道,我們提出的組合模塊在減少參數(shù)量的同時(shí)更準(zhǔn)確地提取圖像特征信息,提出的網(wǎng)絡(luò)明顯提升了分類模型的性能。在篩查過程中,通過64×64滑動(dòng)窗口[20]的方式對整幅胃鏡圖像進(jìn)行檢測,克服了原始訓(xùn)練數(shù)據(jù)量不足對模型的影響,實(shí)現(xiàn)了早期胃癌的快速篩查和定位。
為了實(shí)現(xiàn)早期胃癌篩查,本文提出了一種基于激活層前置壓縮激勵(lì)殘差模塊,以PreAct-ResNet為基礎(chǔ),將網(wǎng)絡(luò)中的殘差模塊替換為本文提出的模塊。整個(gè)任務(wù)可分為以下步驟:數(shù)據(jù)集制作、數(shù)據(jù)預(yù)處理、模型訓(xùn)練及測試,流程圖如圖1。
圖1 早期胃癌檢測流程圖Fig.1 Flow chart of early gastric cancer screening.
實(shí)驗(yàn)數(shù)據(jù)由上海長海醫(yī)院和南方醫(yī)科大學(xué)第七附屬醫(yī)院等機(jī)構(gòu)收集,包含38例早期胃癌診斷圖像,由型號為ⅤP-4450HD的消化內(nèi)窺鏡圖像處理器的藍(lán)激光成像技術(shù)及其聯(lián)動(dòng)成像觀察模式下采集所得。內(nèi)窺鏡是基于黏膜反射光原理成像。在LCI模式下,設(shè)備通過照射白光和窄帶短波光使視野中產(chǎn)生一個(gè)分離良好的紅色區(qū)域[21]。通過該技術(shù)使得生成的圖像色彩對比更加鮮明,黏膜表面紅色更紅,白色更白,從而識別出各區(qū)域的細(xì)微色差[22],進(jìn)一步增加病變的檢出率。圖像大小為1280×1024,色深為24 位。數(shù)據(jù)集圖片如圖1 中的“Data preparation”和“Ground truth”部分所示,病變部分由3名經(jīng)驗(yàn)豐富的內(nèi)鏡醫(yī)師和腸胃醫(yī)生用藍(lán)色線條進(jìn)行標(biāo)記。
早期胃癌的形態(tài)學(xué)特征很少,為了獲取更有價(jià)值的細(xì)節(jié)紋理和顏色特征信息,我們使用了一種有效的數(shù)據(jù)擴(kuò)充策略:從38例胃鏡圖中依據(jù)專家標(biāo)注的邊界標(biāo)注隨機(jī)手動(dòng)截取了18 400張子圖,其中每例患者的胃鏡原圖大約被截成484張分辨率為64×64的子圖,大幅度提高了數(shù)據(jù)的利用率。所有數(shù)據(jù)塊均標(biāo)注了正/負(fù)(pos/neg)類別,且兩類樣本比例為1∶1。所有正類(疑似病例)樣本從病灶部分裁剪,負(fù)類(正常)樣本從未患病部分采集,以圖1中“Data preparation”的訓(xùn)練圖為例,紅色框表示正類樣本,綠色框表示負(fù)類樣本。
因?yàn)槲哥R子圖尺寸較小,部分細(xì)節(jié)信息無法得到展現(xiàn)。首先,使用雙線性插值[23]將圖片擴(kuò)大到224×224像素;接著,進(jìn)行隨機(jī)旋轉(zhuǎn)、水平翻轉(zhuǎn)和隨機(jī)裁剪等方式進(jìn)行數(shù)據(jù)增強(qiáng)[24];最后,將圖片轉(zhuǎn)換成向量格式并對其進(jìn)行像素值歸一化處理[25]。
1.3.1 特征提取模塊 卷積神經(jīng)網(wǎng)絡(luò)(CNN)[26]是適合圖像處理任務(wù)的多層神經(jīng)網(wǎng)絡(luò)。如果網(wǎng)絡(luò)過度加深層數(shù),會(huì)出現(xiàn)“梯度消失”的現(xiàn)象,導(dǎo)致模型訓(xùn)練困難并出現(xiàn)“網(wǎng)絡(luò)退化”。為了解決這個(gè)問題,微軟研究院的研究者在2015年提出了ResNet結(jié)構(gòu)模型。該模型首次引入了殘差模塊,通過跳躍連接的結(jié)構(gòu)直接連接淺層網(wǎng)絡(luò)和深層網(wǎng)絡(luò),能夠有效的解決因網(wǎng)絡(luò)層數(shù)不斷加深時(shí)導(dǎo)致的梯度消失問題。
為了簡化訓(xùn)練、提高模型的泛化能力,He等[27]于2016年通過研究殘差網(wǎng)絡(luò)鏈接機(jī)制,提出了一種基于殘差學(xué)習(xí)的改良版網(wǎng)絡(luò)——PreAct-ResNet。如圖2分別為ResNet(a)、PreAct-ResNet(b)和提出的注意力模塊,圖中BN表示批歸一化處理,ReLU表示ReLU激活函數(shù)[28](線性整流激活函數(shù),Rectified Linear Unit Activation Function),Conv表示卷積層。相較于傳統(tǒng)模塊,PreAct-ResNet在激活函數(shù)的設(shè)計(jì)上做出了改變,將經(jīng)過歸一化的權(quán)重作為下一層的輸入,使模型的跳躍連接的恒等性進(jìn)一步加強(qiáng),減少了信息傳遞的阻礙,改善了殘差神經(jīng)網(wǎng)絡(luò)的特征提取能力。
圖2 ResNet、PreAct-ResNet和PASE模塊結(jié)構(gòu)圖Fig.2 Structure diagram of ResNet,PreAct-ResNet and PASE module.A:ResNet;B:Preact-ResNet;C:PASE.
1.3.2 注意力模塊 壓縮激勵(lì)注意力模塊[18]于2017年的ImageNet競賽的分類任務(wù)上取得了冠軍。該模塊主要由壓縮(Squeeze)、激勵(lì)(Excitation)和重新分配權(quán)重(Reweight)三部分組成(圖3)。
圖3 壓縮激勵(lì)模塊原理圖Fig.3 Schematic diagram of Squeeze-and-Excitation module.
當(dāng)上一層的輸出是寬為W、高為H、通道數(shù)為C的多通道特征圖U時(shí),進(jìn)行壓縮操作,即對H×W×C的特征圖使用全局平均池化,根據(jù)如下公式將每個(gè)特征通道都壓縮成一個(gè)實(shí)數(shù),得到1×1×C的向量Z:
式中,uk(k=1,2,…,C)為輸入特征圖U中第k個(gè)通道特征圖,zk(k=1,2,…,C)為經(jīng)過壓縮操作的輸出向量Z中第k通道的特征向量,W×H為u的空間維度。
模塊的激勵(lì)部分通過兩個(gè)全連接層(FC),構(gòu)建了一個(gè)參數(shù)可訓(xùn)練的門控機(jī)制,用于降低模型的復(fù)雜度并提升泛化能力。具體地,通過一個(gè)縮放參數(shù)Ration使特征向量的通道數(shù)目經(jīng)過第1層FC后壓縮至C×Ration,接著通過第2個(gè)FC恢復(fù)至原始尺寸。兩層FC之間分別使用ReLU函數(shù)和Sigmoid函數(shù)激活。整個(gè)過程如下:
式中,σ為激活函數(shù)Sigmoid,δ為激活函數(shù)ReLU,W1和W2分別為兩個(gè)全連接層自適應(yīng)學(xué)習(xí)得到的權(quán)重參數(shù),向量S中包含了各通道重要程度的信息。
在得到向量S之后,對原本的特征圖U進(jìn)行重新分配權(quán)重,即用原特征通道乘以所獲得的通道特征重要程度系數(shù),從而得到如式(3)所示的新特征:
1.3.3 提出的模塊和網(wǎng)絡(luò)模型 首先,雖然醫(yī)學(xué)圖像和自然圖像在數(shù)據(jù)域分布上存在很大的差異[29],但兩者在使用CNN方法進(jìn)行訓(xùn)練時(shí)皆存在特征冗余的問題。因此,盡管PreAct-ResNet和壓縮激勵(lì)注意力模塊是對自然圖像提出的,我們認(rèn)為其在針對醫(yī)學(xué)圖像的任務(wù)中同樣能提升模型的性能,在后續(xù)的實(shí)驗(yàn)中也證實(shí)了這點(diǎn)。其次,自然圖像和醫(yī)學(xué)圖像在分類的任務(wù)中存在差異。自然圖像中分類目標(biāo)的種類繁多,往往需要借助深層網(wǎng)絡(luò)以提升模型的表示能力。而醫(yī)學(xué)圖像相關(guān)任務(wù)通常是針對少量特定的類別,同時(shí)可供訓(xùn)練的數(shù)據(jù)量也十分有限。本文的所針對的早期胃癌篩查任務(wù),需要提取能夠代表特定病變類型的特征,因此不適合使用太深的網(wǎng)絡(luò)結(jié)構(gòu)。同時(shí)使用的數(shù)據(jù)集相對較小,過深的網(wǎng)絡(luò)會(huì)使存在過擬合的風(fēng)險(xiǎn)[30],故選取了層數(shù)較少的ResNet18網(wǎng)絡(luò),并在此基礎(chǔ)上進(jìn)行改進(jìn),以適應(yīng)本文的任務(wù)。
綜上,本文提出了一種基于激活層前置壓縮激勵(lì)殘差模塊PASE(Pre-Activation Squeeze-and-Excitation),結(jié)構(gòu)如圖2C。首先每個(gè)模塊在訓(xùn)練時(shí)使用兩組“BN層+激活函數(shù)+卷積層”的組合,減少計(jì)算機(jī)運(yùn)算成本并縮短模型運(yùn)行時(shí)間;然后使用壓縮激勵(lì)模塊對較為重要的特征通道進(jìn)行加權(quán),過濾掉不必要的細(xì)節(jié)信息;最后與輸入中對應(yīng)通道上元素級別的相加實(shí)現(xiàn)跳躍連接,從而支持模塊在前向傳播時(shí)不斷學(xué)習(xí)到新的特征。
本文提出的基于激活層前置壓縮激勵(lì)殘差網(wǎng)絡(luò)(PASE-ResNet)是一種以PreAct-ResNet為基礎(chǔ)的新型卷積神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)結(jié)構(gòu)如圖4。該網(wǎng)絡(luò)以從內(nèi)窺鏡圖像中截取的圖片作為輸入,在沿用了原先結(jié)構(gòu)的基礎(chǔ)上,將殘差模塊替換為提出的PASE模塊。由圖可知,輸入經(jīng)過卷積層和最大池化層后進(jìn)入8個(gè)PASE模塊(PASE1,…,PASE8),再經(jīng)過全局平均池化層和全連接層以及輸出層。當(dāng)圖片輸入后,卷積層使用7×7卷積核提取特征;8個(gè)PASE模塊的卷積層略有差異,PASE8的輸出作為平均池化層的輸入;輸出層輸出的是網(wǎng)絡(luò)對輸入圖片判別出的種類的識別信號。
圖4 激活前置壓縮激勵(lì)殘差網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.4 The proposed PASE-ResNet architecture.
網(wǎng)絡(luò)的優(yōu)化使用了二分類交叉熵?fù)p失[30](Binary Cross Entropy Loss)函數(shù),公式如下:
式中,x表示輸入的圖像,y表示輸入圖像對應(yīng)的標(biāo)簽,N為一個(gè)訓(xùn)練批次的大小,ωn為每個(gè)batch元素的權(quán)重。在本文任務(wù)中所使用數(shù)據(jù)集的正負(fù)類樣本比例為1:1,所以令ωn=1。
在篩查病灶的過程中,使用滑動(dòng)窗口,按照圖1中“Sliding window”中黃色框的移動(dòng)軌跡從左上到右下掃描整張圖片,滑動(dòng)窗口的大小為64×64,將截取的圖像塊輸入到訓(xùn)練好的網(wǎng)絡(luò)中,評估胃癌早期發(fā)生的可能性,即胃癌的存在概率。再使用藍(lán)色邊框標(biāo)出概率較高的圖像塊,如圖1中的“Output”,生成診斷結(jié)果可視化圖。
基于Pytorch框架進(jìn)行實(shí)驗(yàn)網(wǎng)絡(luò)搭建和訓(xùn)練,使用隨機(jī)梯度下降法(SGD)[31]進(jìn)行優(yōu)化,當(dāng)損失函數(shù)值達(dá)到穩(wěn)定時(shí)停止訓(xùn)練。在學(xué)習(xí)率方面,采用了等間隔調(diào)整的策略。初始學(xué)習(xí)率為0.1,設(shè)置間隔區(qū)間為[20,40],一共迭代訓(xùn)練60次。在第20和40次迭代時(shí)對學(xué)習(xí)率進(jìn)行調(diào)整,調(diào)整為當(dāng)前學(xué)習(xí)率的0.9倍。批處理量的大小與設(shè)備顯存有關(guān),為充分利用顯存,加快訓(xùn)練速度,設(shè)置為64。
本文針對提出的方法,利用包含12 800張的早期胃癌數(shù)據(jù)集,其中正負(fù)類樣本比例為1∶1,采用3折交叉驗(yàn)證法進(jìn)行驗(yàn)證。將所有數(shù)據(jù)等分為3份,每次取出其中的1份作為檢驗(yàn)數(shù)據(jù)集,其他2份作為訓(xùn)練數(shù)據(jù)集,對3次檢驗(yàn)所得結(jié)果取平均值。
為了對全面客觀地評價(jià)模型的診斷性能,同時(shí)方便與其他算法進(jìn)行比較,本文采用準(zhǔn)確率(Acc)、靈敏度(Se)、特異性(Sp)[32]、浮點(diǎn)運(yùn)算次數(shù)(FLOPs)[33]和網(wǎng)絡(luò)參數(shù)量(Params size)等5個(gè)指標(biāo)來表現(xiàn)網(wǎng)絡(luò)性能,指標(biāo)定義為:
其中,TP表示正確識別的正類樣本數(shù)目,TN表示正確識別的負(fù)樣本數(shù)目、FP表示被誤分為正類的負(fù)樣本數(shù)目,F(xiàn)N表示被誤分類為負(fù)類的正類樣本數(shù)目。準(zhǔn)確率描述模型區(qū)分正類和負(fù)樣本的性能,靈敏度描述模型區(qū)分正類的性能,特異性描述模型區(qū)分負(fù)樣本的性能。浮點(diǎn)計(jì)算次數(shù)評價(jià)網(wǎng)絡(luò)的時(shí)間復(fù)雜度,表示完成一次預(yù)測的計(jì)算量;網(wǎng)絡(luò)參數(shù)量評價(jià)空間復(fù)雜度,是衡量模型算法大小的指標(biāo)。
為了充分驗(yàn)證本文所提出方法的有效性,本文將PASE-ResNet與部分經(jīng)典的圖像分類方法運(yùn)用在早期胃癌數(shù)據(jù)集上進(jìn)行對比實(shí)驗(yàn)。本文提出的方法在準(zhǔn)確率、靈敏度和特異性下均達(dá)到最優(yōu)效果,網(wǎng)絡(luò)參數(shù)量達(dá)到次優(yōu)值(表1)。
表1 不同方法的實(shí)驗(yàn)結(jié)果對比Tab.1 Comparisons of PASE-ResNet with other methods
與Densenet121和Pyramidnet200等層數(shù)較多的神經(jīng)網(wǎng)絡(luò)相比,ResNet18和ResNet34在準(zhǔn)確率和靈敏度上相差不大,其中ResNet18的FLOPs值更小、計(jì)算復(fù)雜度更低、網(wǎng)絡(luò)參數(shù)量更小,因此在網(wǎng)絡(luò)結(jié)構(gòu)上對ResNet18 進(jìn)行改進(jìn)的算法,如PreAct-ResNet18 和PASE-ResNet,會(huì)在計(jì)算消耗上有不同程度的提高。本文模型的參數(shù)量為3.3 M,計(jì)算量為6.368 G,相比ResNet18和PreAct-ResNet18而言,參數(shù)量大大減少,準(zhǔn)確率分別提高了6.69%和4.60%,同時(shí)以很小的計(jì)算代價(jià)換來了較大的性能提高。雖然本文模型的計(jì)算量比原始模型有所提升,但是它在訓(xùn)練和測試的流程中使網(wǎng)絡(luò)更靈活,參數(shù)的利用率較好,魯棒性更強(qiáng)。PreAct-ResNet相比原始ResNet,性能得到了略微改善,但效果不明顯;由于引入了SE模塊,本文提出的PASE-ResNet與PreAct-ResNet34相比,準(zhǔn)確率、靈敏度和特異性分別提高了3.8%、1.5%和6.04%。結(jié)果顯示注意力機(jī)制模塊比僅僅增加網(wǎng)絡(luò)層數(shù)更適用于本文任務(wù)。
圖5記錄了在訓(xùn)練過程中不同方法loss值的變化過程。PASE-ResNet的loss值相較于其他方法收斂速度更快,最終收斂到0.111,比其他loss更趨向于0。此外,為了直觀顯示篩查的有效性,胃癌篩查可視化如圖6所示,其中藍(lán)色邊界是由多個(gè)被預(yù)測為正類的局部子圖的邊界自動(dòng)拼接而成。
圖5 多種方法在訓(xùn)練過程中的loss曲線Fig.5 Training loss curve of different models.
圖6 胃鏡圖篩查結(jié)果可視化Fig.6 Visualization of gastroscopy screening.
為了在標(biāo)注數(shù)據(jù)有限的條件下得到早期胃癌識別模型,本文提出了一種基于激活層前置壓縮激勵(lì)殘差網(wǎng)絡(luò)PASE-ResNet,用于內(nèi)窺鏡圖像中的早期胃癌篩查。該模型采用的激活層前置的殘差模塊PreAct-ResNet在訓(xùn)練時(shí)使用了“BN+激活函數(shù)+卷積”的組合有效降低了計(jì)算成本,具有較高的特征表示能力。為了使模型更關(guān)注早期胃癌病灶局部區(qū)域,引入了SE模塊對重要的特征通道進(jìn)行加權(quán),增大有效特征的權(quán)重,過濾掉一些冗余信息。實(shí)驗(yàn)結(jié)果表明,對于早期胃癌局部區(qū)域分類任務(wù),我們提出的網(wǎng)絡(luò)與傳統(tǒng)網(wǎng)絡(luò)相比在準(zhǔn)確率、靈敏度和特異性上均有大幅提升。此外,滑動(dòng)窗口策略在保證局部分類精度的同時(shí),也能夠獲得胃鏡圖像中早期癌癥病灶更精細(xì)的篩查結(jié)果。因此,提出的方法更適合運(yùn)用在早期胃癌檢測和篩查。
目前,本文的研究還存在著一些提升空間:由于成像設(shè)備的參數(shù)設(shè)置不統(tǒng)一,內(nèi)窺鏡圖像處理器采集到的圖片在色彩、光照等方面不同,而我們的模型訓(xùn)練時(shí)使用的數(shù)據(jù)來源單一,這就導(dǎo)致訓(xùn)練出來的模型通用性較差,在后續(xù)的改進(jìn)中可以運(yùn)用遷移學(xué)習(xí)中的域適應(yīng)[34]解決訓(xùn)練集和測試集數(shù)據(jù)分布不一致的問題;其次,為了將算法更好地運(yùn)用到臨床中,后續(xù)將研究調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)[35],減小網(wǎng)絡(luò)參數(shù),加快檢測速度,從而進(jìn)一步提高普適性。
南方醫(yī)科大學(xué)學(xué)報(bào)2021年11期