国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于多尺度視覺信息和非局部目標(biāo)挖掘的腫瘤分割

2024-12-30 00:00:00邱丹丹任書敏張倩句建國涂慧娟
計算機(jī)應(yīng)用研究 2024年12期
關(guān)鍵詞:注意力機(jī)制

摘 要:從計算機(jī)斷層掃描(CT)中準(zhǔn)確分割各種臨床病變是腫瘤學(xué)成像的關(guān)鍵任務(wù)。然而,現(xiàn)有分割框架均是針對某種特定類型疾病設(shè)計的,且對于精確分割視覺上不顯著的小范圍腫瘤仍然極具挑戰(zhàn)性。為此,通過模仿臨床醫(yī)生的診斷行為,提出基于多尺度視覺信息和非局部目標(biāo)挖掘的非顯著小腫瘤分割框架。該框架首先結(jié)合尺度空間理論提取1.0×、0.5×、1.5×尺度下的差異化特征。然后,使用尺度融合模塊分層融合特定尺度的特征映射,得到既全面又準(zhǔn)確的腫瘤表征。得到的特征通過全局定位模塊捕獲通道和空間位置的遠(yuǎn)程語義依賴關(guān)系,從全局角度定位腫瘤,得到初始預(yù)測結(jié)果。分層聚焦模塊基于前景和背景特征進(jìn)行上下文探索,逐層聚焦錯誤區(qū)域,并利用逐元素加法、減法消除這些錯誤。通過逐層細(xì)化粗糙的預(yù)測結(jié)果,最終實現(xiàn)更為精細(xì)的非顯著小腫瘤分割。在小腸間質(zhì)瘤數(shù)據(jù)集(SISD)和胰腺腫瘤數(shù)據(jù)集(PTD)的實驗表明,該框架在6個標(biāo)準(zhǔn)度量下均優(yōu)于現(xiàn)有的10個先進(jìn)方法。所提框架在SISD和PID數(shù)據(jù)集上分別達(dá)到58.37%和57.64%(Dice),比之前最優(yōu)秀的結(jié)果分別提高7.38百分點和4.07百分點。

關(guān)鍵詞:腫瘤分割;目標(biāo)挖掘;多尺度融合;注意力機(jī)制;醫(yī)學(xué)圖像處理

中圖分類號:TP391"" 文獻(xiàn)標(biāo)志碼:A

文章編號:1001-3695(2024)12-047-3873-08

doi: 10.19734/j.issn.1001-3695.2024.01.0063

Tumor segmentation based on multi-scale visual information and non-local target mining

Qiu Dandan1, Ren Shumin1, Zhang Qian1, Ju Jianguo1, Tu Huijuan2

(1.School of Information Science amp; Technology," Northwest University," Xi’an 710016, China; 2. Dept. of Radiology, Kunshan Hospital of Chinese Medicine, Suzhou Jiangsu 215300," China)

Abstract:To accurately segment various clinical lesions from computed tomography (CT) images is a critical task for the oncology imaging. However, researchers design existing segmentation frameworks for lesions of a specific disease, as well as segmenting visually inconspicuous and small-scale tumors remains a challenging problem. Thus, this paper imitated the diagnostic behavior of clinicians and proposed a non-significant small tumor segmentation framework based on multi-scale visual information and non-local target mining. This framework firstly combined scale space theory to extract differentiated features at 1.0×, 0.5×, and 1.5× scales , and then applied scale fusion module to hierarchically fuse feature maps of specific scales for obtaining a comprehensive and accurate tumor characterization. The obtained features captured the long-range semantic dependencies of channels and spatial locations through global localization module, locate tumors from a global perspective, obtaining initial prediction results. Layer focusing module performed context exploration based on foreground and background features, focused on error areas layer by layer, and used element-by-element addition and subtraction to eliminate these errors. By gradually refining the initial prediction results, framework finally achieved more refined tumor segmentation results. Empi-rical experiments on the small intestinal stromal tumor dataset (SISD) and the pancreatic tumor dataset (PTD) show that the proposed framework outperforms 10 existing state-of-the-art methods in 6 standard metrics. The proposed framework achieves 58.37% and 57.64% (Dice) on the SISD and PID respectively, which are 7.38 and 4.07percentage points higher than the previous best results.

Key words:tumor segmentation; target mining; multi-scale fusion; attention mechanism; medical image processing

0 引言

根據(jù)美國癌癥協(xié)會估計,2023年美國將新增1 958 310例的癌癥病例,更嚴(yán)重的是有609 820例癌癥死亡病例[1]。癌癥已經(jīng)是世界范圍內(nèi)公認(rèn)的一個主要健康問題,也是人口死亡的第二大原因[2]。在醫(yī)學(xué)影像中準(zhǔn)確標(biāo)注出腫瘤位置,是定性評估腫瘤、設(shè)計手術(shù)方案以及進(jìn)行活檢指導(dǎo)等工作的重要前提。在目前臨床實踐中,標(biāo)注工作主要由專業(yè)的放射科醫(yī)生進(jìn)行。隨著癌癥的發(fā)病率逐年增加,這項工作既耗時又費力,極大地加重醫(yī)生繁瑣的臨床工作量。此外,由于不同專家的主觀因素,觀察結(jié)果往往存在一定偏差,不利于腫瘤的早期診斷與評估。所以,利用計算機(jī)輔助診斷技術(shù)(computer aided diagnosis technology, CAD)來輔助醫(yī)生自動地快速檢測腫瘤區(qū)域并提高診斷準(zhǔn)確性,已經(jīng)引起越來越多的關(guān)注。隨著計算機(jī)視覺在醫(yī)學(xué)領(lǐng)域的快速發(fā)展,針對肺、肝臟、心臟、腦等視覺明顯、位置形狀固定的病變區(qū)域的分割任務(wù)已經(jīng)有大量研究成果[3~9]。但這些方法直接用于非顯著小腫瘤分割任務(wù)效果并不理想。主要原因是:a)如圖1(a)所示,腫瘤占比小,在形狀、位置上具有高度多樣性,是網(wǎng)絡(luò)學(xué)習(xí)中很容易忽略小目標(biāo),甚至太深的網(wǎng)絡(luò)會將小目標(biāo)誤判為背景;b)如圖1(b)所示,腫瘤與背景相似度高、邊緣不清晰,在視覺上有高度不顯著性,容易出現(xiàn)假陽性和假陰性的問題。

近年來,部分研究人員為了實現(xiàn)非顯著小腫瘤高精度分割,進(jìn)行了一些嘗試,其主要工作可以歸納為以下三個方面:a)文獻(xiàn)[10~12]通過多尺度特征提取、引入額外深監(jiān)督信息等方法解決小目標(biāo)腫瘤易受背景環(huán)境干擾、導(dǎo)致分割精度低的問題;b)文獻(xiàn)[13~15]通過VIT過濾、圖像預(yù)處理、改進(jìn)損失函數(shù)等方法在一定程度上抑制不相關(guān)信息的干擾,解決分割結(jié)果中存在的假陽性、假陰性問題;c)文獻(xiàn)[16~18]利用注意力機(jī)制、數(shù)據(jù)增強(qiáng)等半自動或自動方法解決位置和形狀多樣的腫瘤分割問題??偟膩碚f,這些腫瘤分割方法的確在分割非顯著小目標(biāo)上獲得性能提升,但是大多數(shù)是專門針對某一病變類型設(shè)計的,而且在解決非顯著小目標(biāo)問題中仍然存在紋理、外觀等細(xì)節(jié)特征容易丟失以及干擾信息過濾不全面的問題。

為了解決上述問題,本文提出一種新穎的臨床啟發(fā)腫瘤分割框架CDI-NSTSEG,顯著提高非顯著小腫瘤的分割效果。臨床啟發(fā)是通過觀察醫(yī)生的診斷行為所獲得的,包括初步篩查、定位、細(xì)化和分割四個過程。具體而言,模仿臨床中初步篩查過程,首先設(shè)計以U-Net[19]為backbone的三重特征提取網(wǎng)絡(luò)來分別提取1.0×、0.5×、1.5×尺度的腫瘤特征(如圖2所示)。1.5×尺度的特征映射可以使框架對局部特征了解更為清晰,0.5×尺度的特征映射有助于框架學(xué)習(xí)到更加完整的全局特征。然后,利用尺度融合網(wǎng)絡(luò)中的尺度融合模塊(scale fusion module, SFM)分層聚合特定尺度的特征映射,得到既全面又準(zhǔn)確的腫瘤特征表示,并送入逐層目標(biāo)挖掘網(wǎng)絡(luò)中。通過分層融合不同尺度的差異化特征,可以使框架充分學(xué)習(xí)更為全面、可區(qū)分的小腫瘤判斷特點,從而在復(fù)雜背景中實現(xiàn)準(zhǔn)確定位。逐層目標(biāo)挖掘網(wǎng)絡(luò)包括全局定位模塊(global location module, GLM)和分層聚焦模塊(layered focusing module,LFM)??蚣茉谧罡邔犹卣魃蠎?yīng)用GLM定位腫瘤的大致位置,最后利用多個LFM逐層發(fā)現(xiàn)并消除初始腫瘤分割結(jié)果中的假陽性、假陰性區(qū)域,逐步細(xì)化腫瘤分割結(jié)果。本文的主要貢獻(xiàn)概括如下:

a)受臨床診斷的啟發(fā),本文提出一種新的非顯著小腫瘤分割框架。該框架通過模仿醫(yī)生的行為過程,準(zhǔn)確可靠地捕捉復(fù)雜背景中的腫瘤。

b)本文設(shè)計尺度融合模塊統(tǒng)一不同尺度的特征信息,并基于注意感知機(jī)制分層對這些差異化信息進(jìn)行融合,在增強(qiáng)特征表征的同時得到更加全面、準(zhǔn)確的腫瘤判斷特點,從而解決小腫瘤定位不準(zhǔn)確的問題。

c)本文設(shè)計全局定位模塊和分層聚焦模塊來進(jìn)一步挖掘腫瘤、背景之間微妙的語義特征,逐層聚焦干擾區(qū)域、消除干擾信息,逐步細(xì)化特征,實現(xiàn)更精確的腫瘤分割結(jié)果。

1 相關(guān)工作

基于機(jī)器學(xué)習(xí)、計算機(jī)視覺的算法迅速發(fā)展,計算機(jī)輔助診斷技術(shù)(CAD)也隨之被廣泛應(yīng)用。醫(yī)學(xué)圖像分割一直是計算機(jī)輔助診斷技術(shù)的關(guān)鍵任務(wù)。最著名的醫(yī)學(xué)圖像分割方法之一是U-Net。U-Net包括通過跳躍連接的編碼器和解碼器組件,但這種傳統(tǒng)方法很難激發(fā)出理解圖像結(jié)構(gòu)的最佳效果。尺度空間理論是解決這一問題有效和健全的框架之一。其思想廣泛應(yīng)用于醫(yī)學(xué)圖像分割,包括圖像金字塔和特征金字塔,進(jìn)而延伸出很多工作。例如,趙廣文等人[3]在編碼器與解碼器中引入尺度感知金字塔融合模塊,加強(qiáng)網(wǎng)絡(luò)對上下文信息的提取能力,改善分割圖像邊緣模糊的問題。宋雨薈[4]結(jié)合混合金字塔池化網(wǎng)絡(luò)和擴(kuò)張殘差網(wǎng)絡(luò)得到一種新的心臟結(jié)構(gòu)分割框架。通過混合金字塔池化網(wǎng)絡(luò)聚合局部信息與全局信息,有效彌補(bǔ)擴(kuò)張殘差網(wǎng)絡(luò)在特征提取方面的不足。雖然這些加入的尺度空間理論方法取得比傳統(tǒng)方法更好的效果,但它們大多數(shù)利用倒金字塔狀特征提取結(jié)構(gòu),導(dǎo)致特征表征容易丟失很多紋理和外觀細(xì)節(jié),造成分割結(jié)果定位不準(zhǔn)確。一些研究者嘗試引入注意力機(jī)制,通過對貢獻(xiàn)度不同的輸入特征進(jìn)行強(qiáng)化或抑制,幫助網(wǎng)絡(luò)有效地聚焦在目標(biāo)上,緩解目標(biāo)定位不準(zhǔn)確的問題。例如,張登峰[20]提出一種雙注意力U-Net的腦腫瘤醫(yī)學(xué)圖像分割方法DF-Rep U-Net,通過對通道注意力的特征通道和空間注意力的空間像素進(jìn)行加權(quán)融合,使網(wǎng)絡(luò)更加關(guān)注有用像素的信息。王宇昕等人[21]提出一種基于多層融合注意力的乳腺腫瘤圖像分割方法。在U-Net的跳躍連接部分利用注意力對深層和淺層特征進(jìn)行增強(qiáng),然后將增強(qiáng)后的特征分層進(jìn)行融合,重點關(guān)注腫瘤區(qū)域,避免錯誤分割。這些工作實現(xiàn)更好的醫(yī)學(xué)圖像分割結(jié)果,但都是被設(shè)計用于分割視覺上明顯的大器官(例如肺、肝臟、心臟、腦等)或形狀規(guī)則、位置固定的病變區(qū)域,對于一些形狀位置差異大、變異性強(qiáng)且非顯著的小腫瘤,上述方法并不能實現(xiàn)高精度分割。

近年來,研究者們開始研究非顯著小腫瘤的分割。因為胰腺腫瘤是最常見的非顯著小腫瘤并且有公開數(shù)據(jù)集,所以本文針對胰腺腫瘤分割任務(wù)進(jìn)行相關(guān)工作總結(jié)。Dmitriev等人[16]提出一種半自動分割方法來實現(xiàn)胰腺腫瘤邊緣的精準(zhǔn)分割,網(wǎng)絡(luò)首先通過人工指定邊界與前景、背景得到粗略的分割結(jié)果,再通過隨機(jī)行走算法對粗分割結(jié)果進(jìn)行細(xì)化。然而,這種網(wǎng)絡(luò)在進(jìn)行小尺寸胰腺腫瘤分割時很容易出現(xiàn)錯誤。針對這一問題,李自強(qiáng)[10]在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改進(jìn),設(shè)計了PGD-U-Net。PGD-U-Net利用可變形卷積來建模腫瘤的空間幾何變換,利用空洞卷積提供更大的感受野,并通過coord conv和coord pool顯式地編碼腫瘤的位置信息。李嘉銘等人[11]基于胰腺和胰腺腫瘤的高度相關(guān)性,在胰腺腫瘤分割網(wǎng)絡(luò)中引入額外的深度監(jiān)督,在胰腺分割的幫助下改善胰腺腫瘤的分割。雖然上述方法在小尺度胰腺腫瘤準(zhǔn)確定位方面取得了一定效果,但都沒有考慮到胰腺腫瘤周圍復(fù)雜的背景干擾,導(dǎo)致分割結(jié)果中假陽性、假陰性很高。為了消除不相關(guān)信息對腫瘤分割的強(qiáng)烈干擾,Gai等人[13]設(shè)計全局語義特征提取模塊,從多個堆疊殘差塊中提取特征信息,再利用ViT模塊過濾掉特征中的背景信息,只留下語義信息。Khdhir等人[14]利用混合高斯濾波和中值濾波對醫(yī)學(xué)圖像進(jìn)行預(yù)處理,減少噪聲引起的網(wǎng)絡(luò)性能下降。 Yang等人[15]設(shè)計邊界感知輪廓損失函數(shù),在預(yù)測圖中消除模糊、噪聲干擾。以上工作的確在一定程度上抑制不相關(guān)信息干擾,但它們主要聚焦背景特征,重點消除假陰性干擾,而忽略了前景特征,導(dǎo)致假陽性干擾仍然很多??傊?,目前領(lǐng)域存在的問題主要為紋理、外觀等細(xì)節(jié)特征容易丟失以及干擾信息過濾不全面。為了同時降低假陽性與假陰性干擾,本文精心設(shè)計全局定位模塊(LFM)和分層聚焦模塊(GLM)。首先利用LFM分割腫瘤的大致位置;然后利用GLM分別聚焦前景注意特征和背景注意特征,逐層發(fā)現(xiàn)并去除初始分割結(jié)果中的假陽性、假陰性區(qū)域;除此之外,本文還設(shè)計尺度融合模塊(SFM)來幫助框架提取腫瘤既全面又準(zhǔn)確的判斷特點與特征表征。

2 方法

在醫(yī)學(xué)圖像分割中,雖然針對某種固定類型的非顯著小腫瘤的研究已經(jīng)有很多,然而一個高效的腫瘤分割算法應(yīng)該能夠在實踐中處理各種腫瘤。為此,本文提出一種基于多尺度視覺信息和非局部目標(biāo)挖掘的腫瘤分割框架,整體架構(gòu)如圖3所示。該框架包含三重特征提取網(wǎng)絡(luò)、尺度融合網(wǎng)絡(luò)、逐層目標(biāo)挖掘網(wǎng)絡(luò)。具體來說,首先通過三重特征提取網(wǎng)絡(luò)分別提取1.0×、0.5×、1.5×尺度上的特征,并將其提供給尺度融合網(wǎng)絡(luò)。1.5×尺度可以使框架學(xué)習(xí)到更加清晰的局部特征,0.5×尺度有助于框架學(xué)習(xí)到更加完整的全局特征。為了整合豐富尺度的差異化信息,本文基于注意感知機(jī)制設(shè)計了尺度融合模塊(SFM)。SFM將1.5×尺度和0.5×尺度的特征圖信息聚合到1.0×尺度上,從而得到既全面又準(zhǔn)確的腫瘤判斷特征。通過SFM,本文框架充分感知腫瘤與易混淆區(qū)域,從而使小目標(biāo)腫瘤定位更加準(zhǔn)確。逐層目標(biāo)挖掘網(wǎng)絡(luò)主要包括全局定位模塊(GLM)和分層聚焦模塊(LFM)。其中,GLM由通道注意力和空間注意力組成,從全局的角度對腫瘤進(jìn)行定位。而LFM在不同層次上,基于前景和背景注意特征進(jìn)行上下文探索,使框架聚焦歧義區(qū)域,發(fā)現(xiàn)假陽性、假陰性干擾,并利用逐元素加法、減法消除錯誤信息,逐步細(xì)化分割結(jié)果。具體細(xì)節(jié)將在下面進(jìn)行詳細(xì)描述。

2.1 三重特征提取網(wǎng)絡(luò)

在深度學(xué)習(xí)領(lǐng)域,VGG[22]、ResNet[23],以及U-Net[19]是常用的特征提取網(wǎng)絡(luò)。訓(xùn)練數(shù)據(jù)有限的情況下,U-Net最適合應(yīng)用于醫(yī)學(xué)圖像分割任務(wù),并且對GPU性能的要求最低。因此,本文利用U-Net架構(gòu)作為三重特征提取網(wǎng)絡(luò)的backbone,來提取深度特征。為了得到更緊湊的特征并且優(yōu)化計算,本文框架在backbone的每層輸出后級聯(lián)一個信道壓縮模塊(channel compression module, CHM)。三重特征提取網(wǎng)絡(luò)采用1.0×、0.5×和1.5×三個尺度執(zhí)行特征提取[24],具體的對比分析實驗參見3.5.2節(jié)。通過三重特征提取網(wǎng)絡(luò)后,得到三組分別對應(yīng)三個尺度的64通道特征映射,即{fki}5i=1,k∈{1.0,0.5,1.5}。然后,將這些特征依次送入尺度融合網(wǎng)絡(luò)和逐層目標(biāo)挖掘網(wǎng)絡(luò)進(jìn)行后續(xù)融合、細(xì)化處理。

2.2 尺度融合網(wǎng)絡(luò)

文獻(xiàn)[3,4]使用的倒金字塔狀特征提取結(jié)構(gòu)會丟失很多紋理、細(xì)節(jié)信息,導(dǎo)致本就容易受背景環(huán)境干擾的小目標(biāo)腫瘤無法準(zhǔn)確定位。為解決這一問題,本文設(shè)計尺度融合模塊(SFM),與倒金字塔狀特征提取結(jié)構(gòu)不同,本文在多尺度的基礎(chǔ)上探索層間特征的組合策略來增強(qiáng)特征表示。具體來說,通過三重特征提取網(wǎng)絡(luò)得到三個尺度的特征映射,每一個特征映射包含特征提取模塊五個層的輸出,然后利用SFM分別對特定層特征進(jìn)行篩選,最終將1.5×和0.5×尺度的特定層特征聚合到1.0×尺度的特定層特征上。

尺度融合網(wǎng)絡(luò)包括5個SFM,其結(jié)構(gòu)如圖4所示。首先,調(diào)整f 0.5i和f 1.5i的大小,使其與f 1.0i的尺度保持一致。f 0.5i、f 1.5i和f 1.0i分別表示0.5×、1.5×、1.0×尺度的特征。對于f 0.5i,采用最大池化和平均池化的混合結(jié)構(gòu)進(jìn)行下采樣,目的是在低尺度特征中保留對腫瘤的有效性和多樣性響應(yīng)。對于f 1.5i,直接通過雙線性插值進(jìn)行上采樣。然后,將經(jīng)過轉(zhuǎn)換后的三個尺度特征分別輸入到注意力生成器中,利用卷積操作計算出三通道特征圖。再經(jīng)過softmax歸一化操作,得到每個尺度對應(yīng)的注意力Ak(k∈{1.0,0.5,1.5})作為各個尺度的權(quán)重。整個過程的數(shù)學(xué)表達(dá)式為

Ai=softmax(CBR([BL(fi1.5),fi1.0,MA(fi0.5)],α))fi=Ai1.5·BL(fi1.5)+Ai1.0·fi1.0+Ai0.5·MA(fi0.5)(1)

其中:CBR(·)表示注意力生成器中堆疊的conv-BN-ReLU層;α表示這些層的參數(shù);BL(·)和MA(·)分別表示雙線性插值操作和混合池化操作。這些設(shè)計的目的是從多個尺度上同步考慮腫瘤與背景之間的差異關(guān)系,通過有選擇性地聚合特定尺度的信息來增強(qiáng)特征表征,使框架充分感知腫瘤與易混淆區(qū)域,既全面又準(zhǔn)確地提取到腫瘤的判斷特征,從而實現(xiàn)腫瘤的準(zhǔn)確定位。

2.3 逐層目標(biāo)挖掘網(wǎng)絡(luò)

盡管在2.2節(jié)中通過分層融合不同縮放尺度上特征圖的方式,可以增強(qiáng)腫瘤的特征表征,并得到高級特征表達(dá)。但由于腫瘤的高度不顯著性,如果將得到的高級特征圖直接進(jìn)行分割,會產(chǎn)生大量假陽性和欠分割的區(qū)域。為了解決這一問題,本文精心設(shè)計全局定位模塊(GLM)和分層聚焦模塊(LFM),詳細(xì)結(jié)構(gòu)如圖5所示。與臨床檢查和診斷一致,首先在最深層特征上應(yīng)用GLM對腫瘤進(jìn)行大致定位,然后逐層利用LFM發(fā)現(xiàn)并去除錯誤區(qū)域,降低腫瘤分割結(jié)果的假陽性和假陰性。

2.3.2 分層聚焦模塊(LFM)

通過GLM得到的腫瘤初始分割結(jié)果中會存在假陽性、假陰性預(yù)測。為此,本文精心設(shè)計分層聚焦模塊(LFM),利用上下文推理發(fā)現(xiàn)并消除這些誤判區(qū)域。與文獻(xiàn)[13~15]不同,本文側(cè)重于分別從前景、背景發(fā)現(xiàn)干擾信息,而拒絕不加區(qū)分地進(jìn)行。具體來說,本文對所有預(yù)測出的前景(或背景)進(jìn)行上下文探索,目的是發(fā)現(xiàn)與真實前景(或背景)不同的假陽性(假陰性)區(qū)域,再通過逐元素減法消除錯誤的背景(假陽性干擾)和逐元素加法補(bǔ)充缺失的前景(假陰性干擾)。LFM需要當(dāng)前級特征和上級特征兩個方面的輸入,輸出細(xì)化后的特征,進(jìn)而得到更準(zhǔn)確的腫瘤分割結(jié)果。

如圖5所示,LFM首先輸入上級特征,通過大小為7×7,padding為3的卷積得到上級腫瘤分割結(jié)果圖,并對該分割結(jié)果進(jìn)行上采樣和sigmoid歸一化操作。將歸一化圖與取反歸一化圖與當(dāng)前級特征fci分別相乘,得到前景特征fba和背景特征ffa,分別送入兩個并行的上下文探索單元(context exploration unit, CE)中進(jìn)行上下文推理,得到假陽性區(qū)域ffnd和假陰性區(qū)域ffpd。CE結(jié)構(gòu)如圖5所示。CE主要由四個分支組成,每個分支都包含一個3×3的卷積用來縮減通道,一個ki×ki的卷積用來提取局部特征,以及一個3×3的膨脹卷積用來感知上下文信息。每個卷積層后面都連接一個BN操作和一個ReLU非線性激活操作。為了可以獲得更大的感受野,將第i(i∈{1,2,3})個分支的輸出送入到第i+1個分支中。然后,在通道維度上疊加四個分支的輸出,并通過3×3卷積進(jìn)行融合。通過以上設(shè)計,CE可以在較大范圍內(nèi)感知上下文信息,從而更加有效地進(jìn)行上下文推理并發(fā)現(xiàn)干擾區(qū)域。然后,分別通過逐元素加法、逐元素減法去除干擾。該過程的數(shù)學(xué)表達(dá)式為

fup=BL(CBR(fhl))fr=BR(fup-δffpd)f′r=BR(fr+γffnd)(6)

其中:fhl表示輸入上級特征;BL(·)表示雙線性插值操作;CBR(·)表示Conv-BN-ReLU層;BR(·)表示BN-ReLU層;fr′表示輸出精細(xì)特征;δ和γ都是比例系數(shù)。最后,在精細(xì)特征fr′上進(jìn)行卷積操作,獲得最終的腫瘤分割結(jié)果。本文使用真實標(biāo)注圖來監(jiān)督生成的腫瘤分割結(jié)果,引導(dǎo)CE發(fā)現(xiàn)特定形式的干擾區(qū)域,強(qiáng)迫框架得到更高精度的分割結(jié)果fr′,整個過程以一種隱式的方式實現(xiàn)假陽性、假陰性的發(fā)現(xiàn)和去除。

2.4 損失函數(shù)

整個訓(xùn)練過程中,腫瘤分割框架共有GLM和LFM兩部分輸出。對于GLM,本文使用二值交叉熵?fù)p失(binary cross entropy loss, BCE)和交并比損失(intersection-over-union loss, IoU)組合,即lGLM=lBCE+lIoU,引導(dǎo)GLM探索腫瘤的初始位置。對于LFM,本文希望它能夠進(jìn)一步約束誤判區(qū)域,這種區(qū)域通常位于腫瘤邊界。因此,本文結(jié)合加權(quán)BCE損失(WBCE)和加權(quán)IoU損失(WIoU),即lLFM=lWBCE+lWIoU ,迫使LFM給予誤判可能性高的區(qū)域更多關(guān)注??偟膩碚f,框架的總體損失函數(shù)為

l=μlGLM+β∑4i=22(4-i)liLFM(7)

其中:liLFM代表腫瘤分割框架第i級LFM輸出的損失;μ和β為平衡系數(shù)。

3 實驗

3.1 數(shù)據(jù)集和評價指標(biāo)

3.1.1 數(shù)據(jù)集

小腸間質(zhì)瘤和胰腺腫瘤是非顯著小腫瘤的典型代表,本文分別在小腸間質(zhì)瘤數(shù)據(jù)集和胰腺腫瘤數(shù)據(jù)集上進(jìn)行綜合評估來測試本文框架的分割性能。小腸間質(zhì)瘤數(shù)據(jù)集(small intestinal stromal tumors dataset, SISD)由合作醫(yī)院提供,包括41個病人,共372張平掃期CT圖像,空間分辨率為512×512像素,每個病人切片數(shù)量為5~15,所有間質(zhì)瘤數(shù)據(jù)都由經(jīng)驗豐富的放射科醫(yī)生準(zhǔn)確地手動標(biāo)記。本文對31個病人的296張CT圖像進(jìn)行翻轉(zhuǎn)、旋轉(zhuǎn)、調(diào)節(jié)亮度、高斯模糊的數(shù)據(jù)增強(qiáng)操作,最終得到2 167張圖像用于訓(xùn)練,剩下10個病人的76張CT圖像用于測試。胰腺腫瘤數(shù)據(jù)集(pancreatic tumor dataset,PTD)來自醫(yī)學(xué)分割十項運動挑戰(zhàn)賽[25],包括281個病人,每個病人切片數(shù)量為4~25,采用NIFTI格式,空間分辨率為512×512像素。本文將NIFTI格式轉(zhuǎn)換為PNG格式,得到2 537張有標(biāo)注的CT圖像,其中隨機(jī)選取1 957張用于訓(xùn)練,剩下580張用于測試。

3.1.2 評價指標(biāo)

基于以下六個標(biāo)準(zhǔn)度量來定量評估本文框架的性能:Srensen-Dice系數(shù) (srensen-dice coefficient,Dice)、準(zhǔn)確度(accuracy,ACC)、特異度(specificity,SPE)、F1分?jǐn)?shù)(F1 score, F1)、structure measure(SM)、enhanced-alignment measure(EM)。Dice廣泛應(yīng)用于醫(yī)學(xué)圖像分割任務(wù)中,常用于評估真實標(biāo)注和預(yù)測之間的相似性,其定義為Dice=2TP2TP+FP+FN,其中TP代表真陽性,F(xiàn)P代表假陽性,F(xiàn)N代表假陰性,TN代表真陰性。ACC表示所有樣本中被預(yù)測正確的比例,其定義為:ACC=TP+TNTP+FP+FN+TN。SPE表示陰性樣本中被預(yù)測正確的比例,其定義為SPE=TNFP+TN。F1主要用來衡量框架的準(zhǔn)確率(P)和召回率(R),其定義為F1=2PRP+R。其中召回率表示陽性樣本中被預(yù)測正確的比例,定義為R=TPTP+FN,準(zhǔn)確率表示所有被預(yù)測為陽性的樣本中實際為陽性的比例,定義為P=TPTP+FP。SM著重評估腫瘤分割結(jié)果的全局結(jié)構(gòu)信息,預(yù)測出的腫瘤結(jié)構(gòu)越全面,SM值越高,其定義為Sm=αSo+(1-α)Sr,其中系數(shù)α∈[0,1],So和Sr分別表示目標(biāo)感知的結(jié)構(gòu)相似度與區(qū)域感知的結(jié)構(gòu)相似度,關(guān)于So和Sr的具體計算可以參考文獻(xiàn)[26]。在實驗中設(shè)置α=0.5。為了評估腫瘤分割結(jié)果的整體和局部精度,本文還引入EM指標(biāo),它可以同時考慮像素級誤差與圖像級誤差,關(guān)于EM的具體介紹見文獻(xiàn)[27]。

3.2 實驗細(xì)節(jié)

本文框架由PyTorch 1.12.0實現(xiàn),并在NVIDIA GeForce RTX 2080 GPU上進(jìn)行訓(xùn)練。本文使用U-Net作為分割網(wǎng)絡(luò)的backbone。在訓(xùn)練過程中,本文采用初始學(xué)習(xí)率為1E-4,學(xué)習(xí)動量為0.9,權(quán)重衰減為1E-7的Adam優(yōu)化器對網(wǎng)絡(luò)權(quán)值進(jìn)行優(yōu)化。本文將batch_size設(shè)置為4,epoch設(shè)置為160。本文不使用任何進(jìn)一步增強(qiáng)輸出的后處理操作。式(6)中δ和γ為初始化為1的自適應(yīng)可學(xué)習(xí)參數(shù)。在損失函數(shù)部分,μ和β分別設(shè)置為1/3和2/3。通過以上設(shè)置,框架準(zhǔn)確定位小目標(biāo)的同時,實現(xiàn)非顯著腫瘤的更精準(zhǔn)分割。

3.3 與其他先進(jìn)方法在SISD上進(jìn)行比較

為了驗證本文框架在小腸間質(zhì)瘤分割任務(wù)上的有效性和優(yōu)越性,本節(jié)設(shè)置11組實驗,分別與傳統(tǒng)分割方法U-Net[19]、Attention U-Net[28]、DenseUNet[29],非顯著目標(biāo)分割方法SINet[30]、SINet-V2[31]、ZoomNet[24]、FSPNet[32]以及現(xiàn)有腫瘤分割方法PraNet[33]、SCRN[34]、U-Shiftformer[35]進(jìn)行比較。表1顯示詳細(xì)的對比結(jié)果。在6個評價指標(biāo)下,本文框架均獲得比其他分割方法更好的分割結(jié)果。具體來說,與傳統(tǒng)分割方法U-Net相比,本文方法在Dice值上提升9.75百分點。與專門用于腫瘤分割的方法相比,本文在Dice值上的提升幅度為8.5~35.11百分點,并且在ACC、F1、SM、EM等指標(biāo)上均有大幅顯著提高。與目前最好的非顯著目標(biāo)分割方法SINet-V2相比,本文Dice值提高7.38百分點,SM值和EM值分別提高17.33百分點和8.09百分點。為了更加直觀地對比本文框架在分割效果上的優(yōu)越性,圖6可視化呈現(xiàn)了本文框架和SOTA的預(yù)測結(jié)果,其中綠、紅、黃分別表示預(yù)測區(qū)域、標(biāo)注區(qū)域和重疊區(qū)域(參見電子版)。圖6(a)(b)分別為5個病例的原圖和真實標(biāo)注,其他列分別為U-Net、PraNet、SINet-V2和本文框架的分割結(jié)果。結(jié)果表明,U-Net在部分預(yù)測結(jié)果中對腫瘤定位不準(zhǔn)確,這是由于腫瘤在CT圖像中整體占比小,導(dǎo)致U-Net沒有學(xué)習(xí)到足夠的有效特征,從而對小目標(biāo)腫瘤不敏感。相比于U-Net,PraNet可以更加準(zhǔn)確地定位到小目標(biāo)腫瘤,但其分割結(jié)果出現(xiàn)明顯的假陽性和假陰性,這是由于腫瘤與背景相似度高,并且在視覺上極度不顯著,導(dǎo)致網(wǎng)絡(luò)很容易被復(fù)雜的干擾信息混淆,從而無法精準(zhǔn)地分割出腫瘤。SINet-V2相比于其他方法分割效果最好,但仍然在圖6第4行中存在假陰性、在第5行中存在假陽性。相比之下,本文分割結(jié)果非常接近于小腸間質(zhì)瘤的真實標(biāo)注,細(xì)節(jié)更加精細(xì),進(jìn)一步驗證了本文框架的有效性。腫瘤定位準(zhǔn)確證明了SFM可以提供全面、清晰的圖像表征。分割精度高證明GLM和LFM可以有效地抑制假陽性干擾,同時補(bǔ)充欠分割的假陰性區(qū)域。

3.4 與其他先進(jìn)方法在PTD上進(jìn)行比較

為了證明方法的通用性,本文再次在胰腺腫瘤數(shù)據(jù)集上進(jìn)行定量評估,如表2所示。本文框架的分割結(jié)果在6個評價指標(biāo)上均優(yōu)于其他先進(jìn)的分割方法。其中Dice值比傳統(tǒng)分割網(wǎng)絡(luò)U-Net高出8.51百分點,比目前最好的腫瘤分割方法PraNet高出5.64百分點,比效果最好的非顯著目標(biāo)分割方法SINetV2高出4.07百分點。本節(jié)進(jìn)一步可視化不同方法在胰腺腫瘤數(shù)據(jù)集的預(yù)測結(jié)果,可視化結(jié)果如圖7所示。本文框架相比于U-Net,對胰腺腫瘤定位更加準(zhǔn)確。相比于PraNet和SINetV2,分割結(jié)果中假陽性、假陰性更低。很明顯,本文方法在胰腺腫瘤分割任務(wù)上也實現(xiàn)了更精細(xì)的分割邊界和更高的分割精度。再次證明SFM、GLM和LFM在學(xué)習(xí)背景和前景特征時的有效性。

3.5 消融實驗

在本節(jié),在小腸間質(zhì)瘤數(shù)據(jù)集上對整個框架的設(shè)計進(jìn)行全面的消融研究,來驗證每個模塊的有效性。所有實驗都基于Dice、F1、SM、EM四個指標(biāo)。每個實驗均使用相同的設(shè)置。

3.5.1 各個模塊的影響

在本文分割框架中,首先利用尺度融合模塊學(xué)習(xí)既清晰又全面的圖像表征,然后利用全局定位模塊在全局的角度對腫瘤進(jìn)行定位,最后分層聚焦模塊在不同層次上細(xì)化腫瘤的分割結(jié)果。為了驗證不同模塊的有效性,如表3所示,本節(jié)對這些模塊進(jìn)行多組實驗。U表示使用傳統(tǒng)的U-Net進(jìn)行小腸間質(zhì)瘤的分割。S表示在框架中加入SFM,G表示在框架中加入GLM,L表示在框架中加入LFM。對比U和S的實驗結(jié)果,發(fā)現(xiàn)S的性能要明顯優(yōu)于U。這是由于SFM通過整合豐富的尺度特征,幫助框架在復(fù)雜背景中提取關(guān)鍵的腫瘤信息,從而完成小目標(biāo)腫瘤的準(zhǔn)確定位。S-G在4個評價指標(biāo)上均高于S,這證明GLM可以捕獲更細(xì)致的全局特征,有利于非顯著腫瘤的準(zhǔn)確分割。在所有方法中,將三個模塊融合的S-G-L實現(xiàn)最好的實驗結(jié)果。這要歸因于,LFM基于前景注意特征和背景注意特征分別進(jìn)行上下文探索,逐層發(fā)現(xiàn)并去除假陽性和假陰性干擾,得到更精細(xì)的腫瘤分割結(jié)果。這些實驗結(jié)果清晰地反映SFM、GLM和LFM的有效性以及設(shè)計的合理性。

3.5.2 尺度策略的影響

為了證明本文在尺度融合模塊中使用的尺度策略(0.5、1、1.5)可以獲得最優(yōu)秀的特征表征。如表4所示,本節(jié)在只改變尺度策略的情況下進(jìn)行多組實驗。1、1、1的尺度策略表示提取并融合3個1.0×的尺度特征。由實驗結(jié)果可得,1、1、1的尺度策略效果最差。這是由于多次融合單一尺度特征,導(dǎo)致框架忽略數(shù)據(jù)結(jié)構(gòu)信息的模糊性,從而造成性能下降。0.5、1、1.5的尺度策略效果最好,在Dice和EM值上均有大幅提升。這是因為腫瘤的紋理、外觀特征非常重要,相比于其他尺度策略,0.5、1、1.5的尺度策略可以使框架更加充分地感知腫瘤的整體與細(xì)節(jié),從而對小目標(biāo)腫瘤定位更加準(zhǔn)確。

3.5.3 注意力機(jī)制的影響

為了證明本文在全局定位模塊中使用的非局部注意力的確能獲得更大的感受野,本節(jié)對使用GLM與不使用GLM的腫瘤分割效果進(jìn)行可視化,如圖8所示,綠、紅、黃分別表示預(yù)測區(qū)域、標(biāo)注區(qū)域和重疊區(qū)域(見電子版)。很明顯,使用GLM的框架可以更好地聚焦于目標(biāo)整體,有助于分割出更完整的腫瘤。此外,本節(jié)還與其他主流的注意力機(jī)制SE、ECA、CAM、SAM進(jìn)行對比,對比結(jié)果如表5所示。本文所使用的注意力機(jī)制在四個指標(biāo)上均一致地高于其他方法。這是由于SE、ECA、CAM僅考慮通道維度上的注意力,無法捕捉空間維度上的注意力,所以不適用于強(qiáng)調(diào)邊緣的非顯著目標(biāo)分割,而SAM在捕捉全局上下文依賴關(guān)系方面存在一定限制。相比于其他注意力機(jī)制,本文所使用的非局部注意力可以同時獲取通道和空間維度的長范圍依賴關(guān)系,從全局角度增強(qiáng)最深層次特征的語義表示,從而實現(xiàn)非顯著腫瘤的高精度分割。

3.5.4 干擾線索的影響

本節(jié)定量地分析在分層聚焦模塊中僅引入背景干擾、僅引入前景干擾、引入背景+前景干擾對框架性能的影響。實驗結(jié)果如表6所示,同時考慮兩種類型干擾比只考慮一種類型干擾的分割效果更好。這是由于不加區(qū)分地對輸入特征中的干擾信息進(jìn)行探索會大大增加目標(biāo)挖掘的難度,從而阻礙錯誤區(qū)域的進(jìn)一步發(fā)現(xiàn)與去除。

4 結(jié)束語

本文通過模仿醫(yī)生的診斷行為,提出基于多尺度視覺信息和非局部目標(biāo)挖掘的非顯著小腫瘤分割框架。針對小尺度腫瘤難以準(zhǔn)確定位的問題,本文設(shè)計SFM,通過分層地聚合多尺度特征,得到清晰、完整的腫瘤表征。針對非顯著腫瘤的預(yù)測結(jié)果中常常出現(xiàn)假陽性、假陰性的問題,本文設(shè)計GLM和LFM,首先由GLM在全局范圍內(nèi)對腫瘤進(jìn)行粗分割,然后由LFM基于前景特征與背景特征分別進(jìn)行上下文探索,逐層細(xì)化粗分割結(jié)果。本文在小腸間質(zhì)瘤和胰腺腫瘤數(shù)據(jù)集上進(jìn)行大量實驗,實驗結(jié)果驗證了本文方法在非顯著小腫瘤分割任務(wù)上的有效性和通用性。本文方法為醫(yī)學(xué)圖像界非顯著小目標(biāo)分割提供新的理論和技術(shù)。未來將繼續(xù)深入探索目標(biāo)挖掘在醫(yī)學(xué)圖像領(lǐng)域應(yīng)用的潛力。

參考文獻(xiàn):

[1]Miller K D, Nogueira L, Devasia T,et al.Cancer treatment and survivorship statistics 2022[J].CA: A Cancer Journal For Clinicians, 2022, 72(5): 409-436.

[2]朱玉蘭, 鄭曉, 陳陸俊. 胰腺癌免疫治療研究進(jìn)展[J].臨床腫瘤學(xué)雜志, 2023, 28(6): 549-554. (Zhu Yulan, Zheng Xiao, Chen Lujun. Research progress in immunotherapy for pancreatic cancer[J].Journal of Clinical Oncology, 2023, 28(6): 549-554.)

[3]趙廣文, 王陽, 楊晨. 基于注意力與金字塔融合的醫(yī)學(xué)圖像分割仿真[J].計算機(jī)仿真, 2022, 39(2): 184-190. (Zhao Guangwen, Wang Yang, Yang Chen. Medical image segmentation simulation based on attention and pyramid fusion[J].Computer Simulation, 2022, 39(2): 184-190.)

[4]宋雨薈. 基于深度集成網(wǎng)絡(luò)的心臟結(jié)構(gòu)分割方法研究[D]. 合肥: 安徽大學(xué), 2021. (Song Yuhui. Research on cardiac structure segmentation method based on deep ensemble network [D]. Hefei: Anhui University, 2021.)

[5]夏棟, 張義, 巫彤寧, 等. 深度學(xué)習(xí)在肝臟腫瘤CT圖像分割中的應(yīng)用[J].北京生物醫(yī)學(xué)工程, 2023, 42(3): 308-314. (Xia Dong, Zhang Yi, Wu Tongning, et al.Application of deep learning in liver tumor CT image segmentation[J].Beijing Biomedical Engineering, 2023, 42(3): 308-314.)

[6]曾安, 陳旭宙, 姬玉柱, 等. 基于自注意力和三維卷積的心臟多類分割方法[J].廣東工業(yè)大學(xué)學(xué)報, 2023, 40(6): 168-175. (Zeng An, Chen Xuzhou, Ji Yuzhu, et al.Multi-class segmentation method of heart based on self-attention and three-dimensional convolution[J].Journal of Guangdong University of Technology, 2023, 40(6): 168-175.)

[7]袁春誠. 基于全卷積神經(jīng)網(wǎng)絡(luò)的嬰幼兒腦MR圖像分割算法研究[D]. 重慶: 重慶郵電大學(xué), 2022. (Yuan Chuncheng. Research on infant brain MR image segmentation algorithm based on fully convo-lutional neural network[D]. Chongqing: Chongqing University of Posts and Telecommunications, 2022.)

[8]陳英, 鄭鋮, 易珍, 等. 肝臟及腫瘤圖像分割方法綜述[J].計算機(jī)應(yīng)用研究, 2022, 39(3): 641-650. (Chen Ying, Zheng Cheng, Yi Zhen, et al.Review of liver and tumor image segmentation methods[J].Application Research of Computers, 2022, 39(3): 641-650.)

[9]陳江霞. 基于卷積和自注意力的心臟MRI分割算法研究[D]. 重慶: 重慶理工大學(xué), 2023. (Chen Jiangxia. Research on cardiac MRI segmentation algorithm based on convolution and self-attention[D]. Chongqing: Chongqing University of Technology, 2023.)

[10]李自強(qiáng). 基于卷積神經(jīng)網(wǎng)絡(luò)的胰腺腫瘤分割研究[D]. 南京: 東南大學(xué), 2021. (Li Ziqiang. Research on pancreatic tumor segmentation based on convolutional neural network[D]. Nanjing: Southeast University, 2021.)

[11]李嘉銘, 折嬌, 任書敏, 等. 基于多階段空間視覺線索和主動定位偏移的胰腺分割框架[J].陜西科技大學(xué)學(xué)報, 2023, 41(6): 193-220. (Li Jiaming, Zhe Jiao, Ren Shumin, et al.Pancreas segmentation framework based on multi-stage spatial visual cues and active positioning offset[J].Journal of Shaanxi University of Science and Technology, 2023, 41(6): 193-220.)

[12]潘聲雪. CT圖像中胰腺腫瘤的自動分割方法研究[D]. 蘇州: 蘇州大學(xué), 2023. (Pan Shengxue. Research on automatic segmentation method of pancreatic tumors in CT images[D]. Suzhou: Soochow University, 2023.)

[13]Gai Di, Zhang Jiqian, Xiao Yusong,et al.GL-SegNet: global-local representation lear-ning net for medical image segmentation[J].Frontiers in Neuroscience, 2023, 17: 1153356.

[14]Khdhir R, Belghith A, Othmen S. Pancreaticcancer segmentation and classification in CT imaging using antlion optimization and deep lear-ning mechanism[J].International Journal of Advanced Computer Science and Applications, 2023, 14(3): 50-61.

[15]Yang Minqiang, Zhang Yuhong, Chen Haoning,et al.AX-U-Net: a deep learning framework for image segmentation to assist pancreatic tumor diagnosis[J].Frontiers in Oncology, 2022, 12: 894970.

[16]Dmitriev K, Gutenko I, Nadeem S,et al.Pancreas and cyst segmentation [C]// Styner M A, Angelini E D. Medical Imaging 2016: Image Processing. [S.l.]: SPIE, 2016: 97842C.

[17]Wei Zihan, Chen Yizhou, Guan Qiu,et al.Pancreatic image augmentation based on local region texture synthesis for tumor segmentation[C]// Proc of International Conference on Artificial Neural Networks. Cham: Springer, 2022: 419-431.

[18]Peng Yanjun, Hu Xiqing, Hao Xiaobo,et al.Spider-Net: high-resolution multi-scale attention network with full-attention decoder for tumor segmentation in kidney, liver and pancreas[J].Biomedical Signal Processing and Control, 2024, 93: 106163.

[19]Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[C]// Proc of Medical Image Computing and Computer Assisted Intervention Society. Cham: Springer, 2015: 234-241.

[20]張登峰. 基于深度學(xué)習(xí)的腦腫瘤醫(yī)學(xué)圖像分割方法研究[D]. 杭州: 杭州電子科技大學(xué), 2023. (Zhang Dengfeng. Research on brain tumor medical image segmentation method based on deep lear-ning[D]. Hangzhou: Hangzhou University of Electronic Science and Technology, 2023.)

[21]王宇昕, 付曉薇, 趙思宇, 等. 基于多層融合注意力的乳腺腫瘤圖像分割方法[J].計算機(jī)技術(shù)與發(fā)展, 2023, 33(7): 139-145. (Wang Yuxin, Fu Xiaowei, Zhao Siyu, et al.Breast tumor image segmentation method based on multi-layer fusion attention[J].Compu-ter Technology and Development, 2023, 33(7): 139-145.)

[22]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [EB/OL]. (2015-04-10). https://arxiv.org/abs/1409.1556.

[23]He Kaiming, Zhang Xiangyu, Ren Shaoqing,et al.Deep residual learning for image recognition[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2016: 770-778.

[24]Pang Youwei, Zhao Xiaoqi, Xiang T Z, et al. Zoom in and out: a mixed-scale triplet network for camouflaged object detection[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition. Piscataway, NJ: IEEE Press, 2022: 2150-2160.

[25]Simpson A L, Antonelli M, Bakas S, et al. A large annotated medical image dataset for the development and evaluation of segmentation algorithms [EB/OL]. (2019-02-25). https://arxiv.org/abs/1902.09063.

[26]Fan Dengping, Cheng Mingming, Liu Yun,et al.Structure-measure: a new way to evaluate foreground maps [C]// Proc of IEEE International Conference on Computer Vision. Piscataway, NJ: IEEE Press, 2017: 4558-4567.

[27]Fan Dengping, Gong Cheng, Cao Yang,et al.Enhanced-alignment measure for binary foreground map evaluation[C]// Proc of the 27th International Joint Conference on Artificial Intelligence. Palo Alto, CA: AAAI Press, 2018: 698-704.

[28]Oktay O, Schlemper J, Folgoc L L, et al. Attention U-Net: learning where to look for the pancreas[EB/OL]. (2018-05-20). https://arxiv.org/abs/1804.03999.

[29]Huang Gao, Liu Zhuang, Van Der Maaten L,et al.Densely connected convolutional networks[C]// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2017: 4700-4708.

[30]Fan Dengping, Ji Gepeng, Sun Guolei,et al.Camouflaged object detection[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2020: 2774-2784.

[31]Fan Dengping, Ji Gepeng, Cheng Mingming,et al.Concealed object detection[J].IEEE Trans on Pattern Analysis and Machine Intelligence, 2021, 44(10): 6024-6042.

[32]Huang Zhou, Dai Hang, Xiang Tianzhu,et al.Feature shrinkage pyra-mid for camouflaged object detection with transformers[C]// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE Press, 2023: 5557-5566.

[33]Fan Dengping, Ji Gepeng, Zhou Tao,et al.PraNet: parallel reverse attention network for polyp segmentation[C]// Proc the 23rd International Conference on Medical Image Computing and Computer-Assisted Intervention. Berlin: Springer-Verlag, 2020: 263-273.

[34]Wu Zhe, Su Li, Huang Qingming. Stacked cross refinement network for edge-aware salient object detection[C]// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway, NJ: IEEE Press, 2019: 7264-7273.

[35]Lin Chihwei, Chen Zhongsheng. U-Shiftformer:brain tumor segmentation using a shifted attention mechanism[C]// Proc of IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway, NJ: IEEE Press, 2023: 1-5.

猜你喜歡
注意力機(jī)制
基于注意力機(jī)制的行人軌跡預(yù)測生成模型
基于注意力機(jī)制和BGRU網(wǎng)絡(luò)的文本情感分析方法研究
多特征融合的中文實體關(guān)系抽取研究
基于序列到序列模型的文本到信息框生成的研究
基于深度學(xué)習(xí)的手分割算法研究
從餐館評論中提取方面術(shù)語
面向短文本的網(wǎng)絡(luò)輿情話題
基于自注意力與動態(tài)路由的文本建模方法
基于深度學(xué)習(xí)的問題回答技術(shù)研究
基于LSTM?Attention神經(jīng)網(wǎng)絡(luò)的文本特征提取方法
孝义市| 贵州省| 黔南| 蒙山县| 五寨县| 含山县| 清流县| 栾城县| 灵川县| 濉溪县| 双柏县| 清水县| 乌兰浩特市| 定日县| 永靖县| 刚察县| 资溪县| 威信县| 嘉义县| 个旧市| 梁平县| 普格县| 莱芜市| 黎城县| 黑水县| 临澧县| 长子县| 鄯善县| 济源市| 南通市| 万州区| 张家港市| 会宁县| 确山县| 墨脱县| 斗六市| 江源县| 伊金霍洛旗| 隆德县| 屏东县| 丹棱县|