国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于注意力門UNet網(wǎng)絡(luò)的CT金屬偽影去除方法

2024-05-17 11:56:56師曉宇
關(guān)鍵詞:偽影注意力金屬

師曉宇,王 斌

(中北大學(xué) 信息與通信工程學(xué)院,太原 030051)

0 引言

金屬偽影是計(jì)算機(jī)斷層掃描(CT,computed tomography)中常見的問題之一。當(dāng)患者攜帶金屬植入物(例如牙科填充物和髖關(guān)節(jié)假體)時(shí)就會(huì)出現(xiàn)這種情況。與身體組織相比,金屬材料在光譜上會(huì)造成顯著的X射線衰減,導(dǎo)致X射線投影不一致。不匹配的投影將會(huì)在重建得到的CT圖像中引入十分明顯的條紋和陰影偽影,這會(huì)顯著降低圖像質(zhì)量并影響醫(yī)學(xué)圖像分析工作以及隨后的醫(yī)療服務(wù)。這些金屬偽影會(huì)掩蓋植入物周圍組織的重要診斷信息,嚴(yán)重影響醫(yī)療效果,比如導(dǎo)致醫(yī)生難以對(duì)靶區(qū)進(jìn)行精準(zhǔn)勾畫,進(jìn)而對(duì)臨床治療效果產(chǎn)生諸多負(fù)面影響[1]。因此,金屬偽影去除(MAR,metal artifact reduction)對(duì)提高臨床診斷的準(zhǔn)確性有著重要意義。

近年來(lái),許多傳統(tǒng)方法提出了MAR任務(wù),主要可分為三類,即迭代重建、正弦圖域MAR和圖像域MAR。迭代算法旨在設(shè)計(jì)一些手工制作的正則化器,例如總變分[1]和小波域[2]中的稀疏約束,并將它們表示為算法優(yōu)化以約束解空間。由于主觀的先驗(yàn)假設(shè),這些方法無(wú)法精細(xì)地表示臨床應(yīng)用中復(fù)雜多樣的金屬制品?;谡覉D域的方法將受金屬影響的區(qū)域(即正弦圖中的金屬跡線)視為缺失數(shù)據(jù),并通過(guò)線性插值[3]或先前圖像的正向投影[4]來(lái)填充這些區(qū)域。然而,金屬痕跡中的這些替代數(shù)據(jù)通常不能正確滿足CT成像幾何約束,這會(huì)導(dǎo)致重建CT圖像中出現(xiàn)由于金屬植入物影響的二次偽影。齊宏亮等人[5]提出了一種基于先驗(yàn)圖像的CT插值校正算法,其中對(duì)原始投影數(shù)據(jù)進(jìn)行插值后使用濾波反投影算法進(jìn)行圖像域重建后得到去偽影后的圖像,為了避免初步校正產(chǎn)生的次級(jí)偽影,又提出了一種全新的濾波算法。這種算法能夠得到較好的重建圖像,但是由于先驗(yàn)圖像的質(zhì)量限制以及濾波算法無(wú)法進(jìn)行自適應(yīng)迭代,相對(duì)于深度學(xué)習(xí)去偽影模型魯棒性并不突出。

隨著近年深度學(xué)習(xí)(DL,deep learning)在醫(yī)學(xué)圖像處理領(lǐng)域的快速發(fā)展,基于深度學(xué)習(xí)的金屬偽影校正方法也相繼提出并取得了良好的臨床效果。卷積神經(jīng)網(wǎng)絡(luò)(CNN,convolutional neural networks)在公開數(shù)據(jù)集的圖像分析性能表現(xiàn)優(yōu)于傳統(tǒng)方法[4-7],同時(shí)比圖形切割和多圖集分割技術(shù)[8]快一個(gè)數(shù)量級(jí)。U-Net[9],DeepMedic[10]和整體嵌套網(wǎng)絡(luò)[11-12]等全卷積網(wǎng)絡(luò)(FCN,fully convolutional networks)[13]已被證明可以在包括心臟磁共振在內(nèi)的各種任務(wù)中實(shí)現(xiàn)穩(wěn)健和準(zhǔn)確的性能。UNet是使用最廣泛的深度CNN之一,特別是在醫(yī)學(xué)影像方面體現(xiàn)除了良好的效果[14]。Xu等人[15-16]使用VGG(visual geometry group)網(wǎng)絡(luò),Wang等人[17]用條件生成對(duì)抗網(wǎng)絡(luò)(cGAN,conditional generative adversarial network),Ding等人[18]使用FCN[13]分別進(jìn)行了圖像域的MAR方法研究?這類方法在對(duì)射線狀偽影及椒鹽噪聲時(shí)展現(xiàn)了出色的效果,但對(duì)于帶狀偽影性能表現(xiàn)較差。史再峰等人[19]提出了多任務(wù)學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò),利用連續(xù)偽影圖像的空間相關(guān)性和解剖組織相似性并行處理學(xué)習(xí),訓(xùn)練共享編碼器和多個(gè)解碼器重建出高質(zhì)量的CT圖像。Liao等人[20]提出無(wú)監(jiān)督的偽影解糾纏網(wǎng)絡(luò)(ADN,artifact disentanglement network),對(duì)圖像域中正常組織與金屬偽影進(jìn)行分離以達(dá)到去除偽影的效果?但是由于金屬偽影構(gòu)成的復(fù)雜性,該方法在分離組織與金屬偽影的過(guò)程中性能不穩(wěn)定,加之在該方法中存在網(wǎng)絡(luò)結(jié)構(gòu)繁紛復(fù)雜,后續(xù)優(yōu)化難度較大,提升效果有限。由于深度學(xué)習(xí)到的魯棒特征表示,基于DL的MAR技術(shù)通常優(yōu)于基于手工特征的傳統(tǒng)方法。然而,現(xiàn)有的基于DL的MAR方法仍然存在著一定的局限性。他們中的大多數(shù)將MAR視作一般的圖像恢復(fù)問題,較少?gòu)?qiáng)調(diào)在整個(gè)學(xué)習(xí)過(guò)程中嵌入的物理幾何約束。大多數(shù)現(xiàn)有方法依賴于現(xiàn)成的DL工具包來(lái)構(gòu)建不同的網(wǎng)絡(luò)架構(gòu),對(duì)于特定的MAR任務(wù)缺乏足夠的主要信息關(guān)注度,在恢復(fù)圖像細(xì)節(jié)過(guò)程中造成混入背景信息以及組織保留程度不足的問題。

為了解決網(wǎng)絡(luò)去金屬偽影中圖像恢復(fù)信息不足,背景信息與主要信息混雜導(dǎo)致組織信息保留不足的問題。本文提出了一種注意力門的UNet網(wǎng)絡(luò)的醫(yī)學(xué)CT圖像金屬偽影去除模型,能夠在去除復(fù)雜CT圖像金屬偽影的同時(shí)有效保留金屬植入物周圍的解剖組織結(jié)構(gòu)。

1 網(wǎng)絡(luò)框架

基于UNet的CT圖像金屬偽影去除網(wǎng)絡(luò)總體框架如圖1所示,網(wǎng)絡(luò)整體分為兩個(gè)模塊,分別為特征提取模塊和強(qiáng)化特征解碼模塊。輸入圖像為大小256×256的CT灰度圖像。在特征編碼模塊設(shè)置為4層,每一層分別有兩組卷積層,每層卷積層由大小3×3的卷積核和線性整流函數(shù)(ReLU,rectified linear unit)激活函數(shù)構(gòu)成。在經(jīng)過(guò)每一層后都由大小2×2的上采樣進(jìn)行特征擴(kuò)充后進(jìn)入下一層重復(fù)操作到最深層。強(qiáng)化特征解碼模塊與特征提取模塊相似,在接受深層提取信息的過(guò)程前會(huì)經(jīng)過(guò)相同層級(jí)特征提取模塊的注意力信息進(jìn)行疊操作以強(qiáng)化信息提取編碼的準(zhǔn)確度,實(shí)現(xiàn)更有效的特征提取。

圖1 網(wǎng)絡(luò)整體框架

UNet網(wǎng)絡(luò)結(jié)構(gòu)作為經(jīng)典的編解碼器結(jié)構(gòu),編解碼信息利用跳躍連接進(jìn)行溝通從而避免大量空間的精準(zhǔn)信息丟失的問題,直接將編碼器中提取的特征合并至解碼器相對(duì)應(yīng)的層中。但是其中存在著初始編碼器低階層中由于提取的特征不精確,從而導(dǎo)致相應(yīng)疊加的解碼器層中存在很多的冗余信息,降低了網(wǎng)絡(luò)的效果。為了避免這樣的情況出現(xiàn),在UNet的基礎(chǔ)上加入了軟注意力結(jié)構(gòu)[21]的注意力門模塊。意在通過(guò)注意力門模塊抑制無(wú)關(guān)區(qū)域像素的干擾,突出特定局部區(qū)域的顯著特征。使用軟注意力結(jié)構(gòu)代替硬注意力通過(guò)神經(jīng)網(wǎng)絡(luò)可以計(jì)算梯度并且前向傳播和后向反饋來(lái)學(xué)習(xí)得到注意力的權(quán)重。軟注意力結(jié)構(gòu)的另一個(gè)好處在于其集成到標(biāo)準(zhǔn)UNet網(wǎng)絡(luò)結(jié)構(gòu)中時(shí)要簡(jiǎn)單方便、計(jì)算開銷小,更加可貴的是可以提高模型的靈敏度和預(yù)測(cè)的精度。解碼器經(jīng)過(guò)上采樣恢復(fù)出位置細(xì)節(jié),但是上采樣同樣會(huì)導(dǎo)致邊緣細(xì)節(jié)過(guò)平滑和位置關(guān)系不準(zhǔn)確的問題?,F(xiàn)有的一些工作[9]使用跳躍連接機(jī)制將底層特征與高層特征連接以補(bǔ)充位置信息。由于低層特征提取包含了無(wú)用的背景信息,此信息反而會(huì)導(dǎo)致目標(biāo)對(duì)象的提取精度受到影響。為了加強(qiáng)模型對(duì)目標(biāo)的提取效果,設(shè)計(jì)了一種為捕獲高級(jí)語(yǔ)義信息并強(qiáng)調(diào)目標(biāo)特征的注意力門模塊。

注意力門控機(jī)制是一種通過(guò)動(dòng)態(tài)調(diào)整模型對(duì)輸入信息的關(guān)注度來(lái)提升模型性能和效率的方法。在深度學(xué)習(xí)中,注意力門控機(jī)制常用于處理序列數(shù)據(jù)或圖像數(shù)據(jù),幫助模型在處理和理解數(shù)據(jù)時(shí),更加關(guān)注輸入的重要部分,并忽略不重要的部分。注意力門控機(jī)制的核心思想是通過(guò)一個(gè)稱為“門控”的機(jī)制來(lái)控制信息的流動(dòng)。在最常見的形式中,門控機(jī)制采用自注意力機(jī)制,通過(guò)計(jì)算輸入信息中每個(gè)位置的表示,并將這些表示應(yīng)用于輸入信息中的每個(gè)位置,以獲得新的、經(jīng)過(guò)注意力處理的信息。具體來(lái)說(shuō),自注意力機(jī)制首先對(duì)輸入信息進(jìn)行線性變換,得到一個(gè)表示輸入信息的矩陣。接著,這個(gè)矩陣被分成多個(gè)獨(dú)立的頭,每個(gè)頭都會(huì)獨(dú)立地計(jì)算輸入信息的注意力表示。最后,這些注意力表示被加權(quán)求和,得到最終的注意力表示。這個(gè)表示被應(yīng)用于輸入圖像的每個(gè)像素,以產(chǎn)生新的、經(jīng)過(guò)注意力的信息。

2 注意力門

2.1 參數(shù)更新

為了捕獲足夠大的感受野并因此提取附近組織信息,在UNet架構(gòu)中逐漸對(duì)特征映射網(wǎng)格進(jìn)行下采樣。這樣,粗空間網(wǎng)格級(jí)模型的特征就可以定位與背景與組織的關(guān)系。通過(guò)將注意力門(AG,attention gate)加入U(xiǎn)Net模型中同樣可以實(shí)現(xiàn)定位組織與背景,并且可以加強(qiáng)分割效果,其中注意力門避免了訓(xùn)練多種模型以及由此帶來(lái)的參數(shù)量膨脹的問題。AG能夠在訓(xùn)練中降低對(duì)圖像中不相關(guān)的背景的響應(yīng),而避免了手動(dòng)裁剪感興趣區(qū)域(ROI,region of interest)。

從粗尺度提取的信息用于AG,以消除跳躍連接中不相關(guān)和嘈雜的區(qū)域,在跳躍連接操作之前執(zhí)行僅合并相關(guān)的注意力區(qū)域,并且在前向傳播和后向反饋來(lái)學(xué)習(xí)得到注意力的權(quán)重,這使得較低層中的模型參數(shù)能夠基于ROI進(jìn)行學(xué)習(xí)更新。

第l-1層中參數(shù)的更新由式(1)所示:

(1)

每個(gè)通道對(duì)應(yīng)于特定的語(yǔ)義響應(yīng)。金屬偽影和人體組織通常涉及不同的通道。AG模塊因此對(duì)語(yǔ)義依賴關(guān)系進(jìn)行特征提取以強(qiáng)調(diào)目標(biāo)通道。AG利用深層中的抽象特征和淺層中的全局特征以編碼依賴關(guān)系。深層特征映射含有豐富的語(yǔ)義信息,可用于指導(dǎo)淺層特征映射以選擇重要的位置詳細(xì)信息。此外,淺層映射利用整體圖像信息對(duì)不同通道的語(yǔ)義關(guān)系編碼,可以實(shí)現(xiàn)過(guò)濾干擾信息。通過(guò)使用語(yǔ)義關(guān)系信息,AG模塊可以強(qiáng)調(diào)目標(biāo)區(qū)域并改進(jìn)特征表示。AG模塊如圖2所示。

圖2 注意力門模塊

2.2 池化操作

高級(jí)特征映射和低級(jí)特征映射執(zhí)行全局平均池化。其將整體信息壓縮成一個(gè)具有信息權(quán)重的注意力向量以強(qiáng)調(diào)關(guān)鍵特征并過(guò)濾干擾背景。生成注意力矢量如下:

Fa(x,y)=δ1[Wαg(x)+bα]+δ1[Wβg(y)+bβ]

(2)

Ac=δ2[WφFa(h,l)+bφ]

(3)

其中:h和l分別為深層和淺層映射。g為全局平均池化。δ1為線性整流(ReLU,rectified linear unit)激活函數(shù),δ2為softmax函數(shù)。Wα、Wβ、Wφ是指1×1卷積的參數(shù)。bα、bβ、bφ為偏差。

(4)

其中:n=1,2,...,c和x=[x1,x2,...,xc],W,H為圖像寬和高。

我們對(duì)矢量進(jìn)行1 × 1卷積,以實(shí)現(xiàn)對(duì)特征依賴關(guān)系的進(jìn)一步確定。具體而言,1 × 1卷積核可以在空間維度上將輸入特征映射的尺寸減小,同時(shí)保持深度維度不變。這有助于在不改變特征通道數(shù)的情況下,對(duì)特征圖的感受野進(jìn)行調(diào)整和改變。接著使用softmax函數(shù)對(duì)矢量進(jìn)行歸一化激活。softmax函數(shù)可以將輸入值映射為概率分布,使得輸出值的和為1。這使得模型能夠?qū)⑤斎胩卣饔成錇橄鄬?duì)權(quán)重的表示,進(jìn)而實(shí)現(xiàn)特征的合理融合。然后將淺層特征映射與注意力向量相乘以生成注意特征映射。具體而言,我們將注意力向量視為權(quán)重系數(shù),對(duì)淺層特征映射進(jìn)行加權(quán)求和。這種操作可以使得模型能夠根據(jù)淺層特征映射中的不同特征,自主地選擇關(guān)注哪些特征并抑制其他不重要的特征。最后通過(guò)添加深層特征映射來(lái)校準(zhǔn)所關(guān)注的關(guān)鍵特征。這一步驟有助于將淺層特征映射中未考慮到的信息,如空間信息等,融入深層特征映射中。同時(shí),也有助于提高模型的表達(dá)能力和泛化性能。此外還使用了全局平均池化和1×1卷積來(lái)實(shí)現(xiàn)該模塊。全局平均池化可以將輸入特征圖的尺寸減小至1×1,并將每個(gè)像素點(diǎn)的值壓縮為一個(gè)標(biāo)量。這種操作可以有效地降低計(jì)算復(fù)雜度,并且能夠避免過(guò)擬合現(xiàn)象的產(chǎn)生。而1×1卷積則可以在不改變特征通道數(shù)的情況下,實(shí)現(xiàn)特征的重新組合和利用。相較于其他模塊,該模塊并沒有添加大量額外參數(shù),因此不會(huì)導(dǎo)致模型復(fù)雜度的顯著增加。同時(shí),由于全局平均池化的使用,該模塊的計(jì)算成本也得到了大大降低。此外,該模塊還具有較好的泛化性能和表達(dá)能力,能夠有效地提升模型的性能和效果。

3 訓(xùn)練過(guò)程與損失函數(shù)

網(wǎng)絡(luò)訓(xùn)練過(guò)程采用 Pytorch 框架,迭代epoch為500次,每次epoch迭代300輪。批處理尺寸為4,使用Adam優(yōu)化網(wǎng)絡(luò),β1=0.6,β2=0.999,初始學(xué)習(xí)率為0.000 01,每訓(xùn)練20個(gè)epoch學(xué)習(xí)率下降為原來(lái)的1/2。實(shí)驗(yàn)環(huán)境:操作系統(tǒng)為Ubuntu20.04,Python版本3.7,使用Pytorch框架,硬件采用GPU:NVIDIA GeForce RTX2070 8 GB。

為了得到更加貼近主觀視覺的MAR圖像,設(shè)計(jì)了基于圖像主觀視覺的損失函數(shù),在保證圖像還原質(zhì)量情況下充分保留原本的組織細(xì)節(jié)。該損失函數(shù)由灰度損失和總變分損失。

灰度損失LMSE,為生成樣本與真實(shí)樣本之間的均方誤差,可以使生成樣本圖像盡可能貼近真實(shí)樣本,如式(5)所示:

(5)

其中:N為訓(xùn)練集中樣本圖像對(duì)數(shù);Xfree為生成的無(wú)偽影圖像,Y為真實(shí)無(wú)偽影圖像。

總變分損失LTV,由式(6)表示:

(6)

式中,H、W分別為圖像的高度和寬度;▽x、▽y分別為圖像在橫縱坐標(biāo)上的變分和。

總損失函數(shù)Ltotal由式(9)表示:

Ltotal=LMSE+αLTV

(7)

其中:α為權(quán)重用于調(diào)節(jié)效果,初始取值為0.2。

4 實(shí)驗(yàn)結(jié)果與分析

本文采用DeepLesion數(shù)據(jù)集[22]生成的圖像驗(yàn)證所提方法的正確性和有效性,將所提方法與CGANMAR[23],CycleGAN[24],CNNMAR[2],UNet[9],ADN[20]進(jìn)行對(duì)比實(shí)驗(yàn)。

4.1 數(shù)據(jù)集準(zhǔn)備

利用文獻(xiàn)[2]的方法,基于DeepLesion醫(yī)學(xué)公開數(shù)據(jù)集[25]選取生成了3 040對(duì)金屬偽影對(duì)照?qǐng)D像用于網(wǎng)絡(luò)訓(xùn)練和測(cè)試,選取300對(duì)進(jìn)行測(cè)試,圖像為大小256×256的灰度圖像。在對(duì)比實(shí)驗(yàn)中對(duì)選取的300對(duì)待測(cè)試灰度圖像進(jìn)行統(tǒng)一測(cè)試,得到結(jié)果圖像進(jìn)行標(biāo)準(zhǔn)客觀標(biāo)準(zhǔn)定量對(duì)比,結(jié)果圖像統(tǒng)一窗寬在-800~1 000 HU間,以方便觀察比較。

4.2 評(píng)價(jià)指標(biāo)

數(shù)據(jù)集中包含配對(duì)數(shù)據(jù),可進(jìn)行定量和定性評(píng)估。為了定量分析CT圖像的金屬偽影校正指標(biāo),采用峰值信噪比(PSNR,peak signal to noise ratio)、結(jié)構(gòu)相似性指數(shù)(SSIM,structural similarity index measurement)、空域視覺信息保真度(VIFs,spatial domain visual information fidelity)、特征相似度(FSIM,feature similarity index measurement)作為定量評(píng)估指標(biāo)。

PSNR是衡量圖像失真程度或噪聲水平的定量指標(biāo),使用PSNR對(duì)網(wǎng)絡(luò)去除CT金屬偽影效果進(jìn)行評(píng)估,數(shù)值越高說(shuō)明效果越好。MSE是待測(cè)圖像x與標(biāo)簽圖像y的均方誤差,分別為:

(8)

(9)

式中,i,j為像素值,W,H為圖像的寬和高;n為圖像比特?cái)?shù)。

SSIM是用來(lái)衡量?jī)煞鶊D像的結(jié)構(gòu)相似程度,越接近1說(shuō)明結(jié)構(gòu)相似度越高,計(jì)算方式如式(10):

(10)

式中,μx、μy為圖像亮度均值,σx、σy為μx、μy的標(biāo)準(zhǔn)差,C1、C2為對(duì)比度。

FSIM是用來(lái)衡量?jī)煞鶊D像特征相似度,其更加關(guān)注圖片中界定物體的結(jié)構(gòu)的邊緣像素而降低了背景區(qū)域的像素的影響,更有助于反映主體的圖像質(zhì)量,其指標(biāo)越接近1表明兩幅圖像的特征相似度越高,其計(jì)算方式如式(11):

(11)

其中:SL(x)為相位一致性特征相似度與梯度一致性特征相似度融合的相似度,PC(x,y)為相位兩張圖像的相位一致性特征相似度,I為完整圖像像素域。

VIFs數(shù)值越高,結(jié)果圖像和目標(biāo)圖像之間相關(guān)性就越強(qiáng),指標(biāo)越接近1效果越好,具體公式參考Bovik的計(jì)算方法[26]。

4.3 實(shí)驗(yàn)結(jié)果分析

4.3.1 定性分析

為了展示本文方法處理偽影圖像、去除圖像金屬偽影恢復(fù)圖像細(xì)節(jié)的性能,隨機(jī)從測(cè)試集中選取了3組測(cè)試對(duì)比結(jié)果圖。能夠從圖3中觀察到,CycleGAN[24]作為一種無(wú)監(jiān)督方法在無(wú)監(jiān)督領(lǐng)域表現(xiàn)突出,但是這種模型還要求偽影校正輸出能夠轉(zhuǎn)換回原始偽影影響圖像,這雖然有助于保留內(nèi)容信息但是同樣鼓勵(lì)了模型保留圖像中的金屬偽影結(jié)構(gòu),影響了模型最終的重建圖像質(zhì)量。ADN作為一種比CycleGAN先進(jìn)的無(wú)監(jiān)督學(xué)習(xí)方法,其生成的圖像質(zhì)量高于CycleGAN但是相比有監(jiān)督方法仍然在偽影的去除方面存在著去除條紋不均勻,細(xì)節(jié)保留不充分的不足,如圖4、5所示,偽影沒有被有效地去除或減少。CNNMAR是基于投影插值的方法。CNNMAR能夠較好地保留條紋但是結(jié)構(gòu)性信息恢復(fù)嚴(yán)重不足。我們還發(fā)現(xiàn),UNet的效果接近于cGANMAR的效果,cGANMAR在其后端使用類似UNet的體系結(jié)構(gòu)。由于使用GAN結(jié)構(gòu)網(wǎng)絡(luò),cGANMAR產(chǎn)生了比UNet更銳利的輸出圖像。UNet和cGANMAR在圖像中都顯示出了良好的效果,UNet產(chǎn)生的圖像偽影去除效果較好但是結(jié)構(gòu)信息保留細(xì)節(jié)不夠;cGANMAR在感官上生成圖像比較銳利并較好地去除了偽影亮條紋,但是在處理暗條紋情況仍然有所欠缺。作為改進(jìn)的UNet模型,在單獨(dú)UNet的基礎(chǔ)上加入了注意力門模塊,從表中可以觀察到在結(jié)構(gòu)指標(biāo)以及峰值信噪比等均優(yōu)于UNet。相比于UNet輸出圖像的整體清晰度下降的結(jié)果得到較高的PSNR,在圖3在注意力門模塊的加入后,本文方法得到了相比UNet更加清晰且對(duì)比度更高的去金屬偽影圖像。從圖4、5中可以觀察到,在有復(fù)雜金屬植入物的情況下,上述幾種方法的性能有了比較明顯的下降,兩種無(wú)監(jiān)督方法CycleGAN和ADN去除條紋偽影的效果較差,CycleGAN還產(chǎn)生了新的暗條紋偽影,CNNMAR由于受到先驗(yàn)圖像訓(xùn)練效果的制約,恢復(fù)了一定的組織結(jié)構(gòu)但偽影沒有能夠很好地去除且過(guò)平滑問題較為嚴(yán)重,影響了圖像質(zhì)量。CGANMAR得到了對(duì)比度較高的圖像,但是同樣沒有很好地去除金條紋偽影。UNet去除偽影的效果較為明顯但組織結(jié)構(gòu)的信息保留并不充分,在圖像的部分區(qū)域出現(xiàn)了過(guò)平滑的問題。由于注意力門模塊的加入,增強(qiáng)了UNet網(wǎng)絡(luò)提取主干信息的能力,通過(guò)較粗粒度的特征圖,獲得語(yǔ)義上下文信息,進(jìn)而對(duì)來(lái)自同層的encoder的特征圖中不相關(guān)的特征進(jìn)行抑制,提高了模型對(duì)目標(biāo)區(qū)域的靈敏度和準(zhǔn)確性本文方法在所示圖像中均顯示了優(yōu)于上述方法圖像的性能,能夠在較好去除金屬偽影的同時(shí)保留組織細(xì)節(jié)結(jié)構(gòu)。在圖4所示的金屬偽影原始圖像中可以看出,本圖像中的金屬植入物嚴(yán)重影響了CT掃描獲得的圖像質(zhì)量,對(duì)于細(xì)節(jié)恢復(fù)工作提出了很大的挑戰(zhàn),CycleGAN恢復(fù)出的圖像帶有明顯的金屬條紋偽影,CNNMAR恢復(fù)出的圖像出現(xiàn)了嚴(yán)重的過(guò)平滑問題,導(dǎo)致結(jié)構(gòu)細(xì)節(jié)損失嚴(yán)重,嚴(yán)重影響了重建圖像的可用性,cGANMAR在圖像對(duì)比度方面取得了較好的視覺效果,但是在圖4所示的ROI區(qū)域內(nèi),出現(xiàn)了結(jié)構(gòu)丟失的問題,影響了圖像的質(zhì)量,UNet在HU值較低的區(qū)域丟失了較多的細(xì)節(jié),導(dǎo)致重建圖像的質(zhì)量下降,這可能與UNet在設(shè)計(jì)損失函數(shù)中只使用了均方差損失有關(guān),均方差損失在最小化誤差的訓(xùn)練過(guò)程中會(huì)忽略標(biāo)簽與輸入較小誤差的像素,從而鼓勵(lì)平滑輸出結(jié)果;在ADN取得的結(jié)果圖中可以觀察到其結(jié)果相對(duì)于CycleGAN的結(jié)果有一定的提高,但是由于無(wú)監(jiān)督學(xué)習(xí)的不確定性,產(chǎn)生的圖像質(zhì)量仍然存在著不足。在圖5所示的模型結(jié)果對(duì)比圖中可以看到,由于金屬植入物的位置CT細(xì)節(jié)受到嚴(yán)重干擾,產(chǎn)生了亮度值過(guò)大的區(qū)域,對(duì)于該區(qū)域的細(xì)節(jié)恢復(fù)同樣是一大挑戰(zhàn)。與上圖類似,CycleGAN保留了細(xì)節(jié)的重建圖像對(duì)比度較高但是存在比較明顯的金屬偽影,CNNMAR在恢復(fù)復(fù)雜圖像的問題上平滑效果明顯影響了圖像可用度,cGANMAR在HU值較低的位置去偽影效果較好,捕捉了圖像細(xì)節(jié),但是在組織結(jié)構(gòu)明顯的區(qū)域內(nèi)沒有取得理想的效果,UNet仍然存在組織細(xì)節(jié)丟失與組織平滑的問題,此圖中,ADN在較低HU值時(shí)取得了較好的質(zhì)量,同樣留存了明顯的條紋偽影,本文提出的方法在視覺效果上均超越了前述方法,取得了較為可用的重建圖像。

圖3 腹部CT圖像ROI區(qū)域金屬偽影去除結(jié)果

圖4 腹部CT圖像金屬偽影去除結(jié)果

圖5 胸部CT圖像金屬偽影去除結(jié)果

4.3.2 定量分析

表1展示了前述方法在選取的圖像評(píng)價(jià)指標(biāo)中所取得的結(jié)果。所示指標(biāo)中UNet由于監(jiān)督學(xué)習(xí)的學(xué)習(xí)方式,在優(yōu)良先驗(yàn)圖像和選取的合適的目標(biāo)函數(shù)共同校正模型訓(xùn)練情況下,取得了一定的成績(jī),基于UNet模型和注意力門控模塊的本模型同樣取得了優(yōu)良的成績(jī),在PSNR上取得了高于UNet的35.591 3的成績(jī),在PSNR的評(píng)價(jià)標(biāo)準(zhǔn)下已經(jīng)達(dá)到了人眼分辨困難的程度。在SSIM和FSIM兩種結(jié)構(gòu)相似性評(píng)價(jià)指標(biāo)中分別取得了0.928 8和0.961 3的成績(jī),在總體結(jié)構(gòu)性和主要結(jié)構(gòu)部分相似性得到了很好的效果。而其余方法在評(píng)價(jià)指標(biāo)中并不理想,與前述定性分析結(jié)論相一致。

表1 測(cè)試集金屬偽影去除結(jié)果平均指標(biāo)對(duì)比

5 結(jié)束語(yǔ)

本文提出一種基于UNet的帶有注意力門架構(gòu)的MAR的模型。模型充分利用注意力門結(jié)構(gòu)強(qiáng)大的細(xì)節(jié)提取能力進(jìn)行CT圖像的組織結(jié)構(gòu)細(xì)節(jié)提取和恢復(fù)。在驗(yàn)證實(shí)驗(yàn)過(guò)程中,定性評(píng)估結(jié)果與定量結(jié)果指標(biāo)均表明基于此監(jiān)督數(shù)據(jù)集訓(xùn)練出的注意力UNet模型可以成功抑制金屬偽影,并在重建圖像中能夠有效保留金屬周圍的組織結(jié)構(gòu)和細(xì)節(jié),與同類方法相比有著更好的性能。

猜你喜歡
偽影注意力金屬
金屬之美
睿士(2023年10期)2023-11-06 14:12:16
讓注意力“飛”回來(lái)
從發(fā)現(xiàn)金屬到制造工具
致命金屬
核磁共振臨床應(yīng)用中常見偽影分析及應(yīng)對(duì)措施
基于MR衰減校正出現(xiàn)的PET/MR常見偽影類型
“揚(yáng)眼”APP:讓注意力“變現(xiàn)”
A Beautiful Way Of Looking At Things
金屬美甲
Coco薇(2015年5期)2016-03-29 23:14:09
減少頭部運(yùn)動(dòng)偽影及磁敏感偽影的propller技術(shù)應(yīng)用價(jià)值評(píng)價(jià)
离岛区| 赫章县| 多伦县| 长阳| 南投市| 霍林郭勒市| 波密县| 五台县| 治县。| 长阳| 牙克石市| 望谟县| 梁平县| 墨竹工卡县| 如皋市| 定远县| 长宁区| 宜兴市| 克什克腾旗| 通道| 许昌市| 黎城县| 德阳市| 绥滨县| 昌都县| 宝山区| 马关县| 温州市| 灵台县| 武平县| 合江县| 平山县| 龙州县| 藁城市| 翁牛特旗| 陵水| 阿克陶县| 岚皋县| 徐闻县| 临朐县| 奈曼旗|