谷辛稼 陳一民

(上海大學計算機工程與科學學院 上海 200444) 2(上海建橋學院信息技術學院 上海 201306)

0 引 言

新型冠狀病毒肺炎(COVID-19)是SARS-CoV-2病毒引起的一種傳染病[1]。COVID-19對人們的健康、生活和經濟造成嚴重的破壞。根據(jù)國家衛(wèi)健委印發(fā)的《新型冠狀病毒肺炎診療方案(試行第九版)》,肺部影像學特征也被作為判別COVID-19疑似病例的特征之一。

基于卷積神經網絡的方法可將肺部影像信息轉化為深層的高級特征,從而對病變區(qū)進行高效準確的定量分析[2]。Long等[3]提出了Fully Convolutional Networks(FCN)。FCN使用編碼-解碼的網絡結構并使用跳躍連接傳遞特征,但FCN對于像素類別的預測沒有考慮像素與像素之間的關系,上下文信息丟失,并直接對特征圖進行高倍數(shù)放大導致預測部分結果模糊與細節(jié)丟失。為此Ronneberger等[4]提出U-Net,U-Net在解碼器上使用參數(shù)可學習的反卷積進行上采樣,并將編碼器的所有層與解碼器對應層進行跳躍連接以取得比FCN好的分割效果。但U-Net在不斷下采樣的過程中小物體信息和邊緣細節(jié)容易丟失。對此Zhou等[5]提出U-Net++,在U-Net基礎上使用層與層之間更為密集的連接來取代直接連接編碼與解碼對應層的跳躍連接,使小目標和邊緣預測效果得到改善。Dense U-Net[6]將編碼器上的卷積層替換為DenseNet的DenseBlock,使編碼器層與層的連接更為緊密讓特征傳遞變得更加有效,并且改善了訓練過程中梯度消失的問題,但更密集的連接會帶來更大的計算負擔。Attention U-Net[7]并沒采用密集連接的策略,而是在跳躍連接后加入了Attention Gate用來抑制與目標不相關區(qū)域的特征響應,實現(xiàn)在不大量增加參數(shù)的情況下提高性能。

不少研究針對于COVID-19病灶的分割在類U-Net的編碼器-解碼器結構網絡的基礎上進行改進。Zhou等[8]參考膨脹卷積設計了Res_dil block使U-Net獲取更多來自不同區(qū)域的語義信息,同時在通道與空間維度引入注意力機制提升分割效果,并使用基于Tversky index的Focal loss損失函數(shù)(FTL)[9]以緩解小病灶分割效果不佳的問題,但是分割的精度不夠高。Fan等[10]參考臨床醫(yī)生先確定病變大致方位,再通過觀察局部準確提取病灶輪廓的思路,設計了反向注意力與邊緣注意力機制建立Inf-Net分割模型,并利用半監(jiān)督學習擴充訓練數(shù)據(jù),建立了優(yōu)于當時大多數(shù)模型的Semi-Inf-Net,但該研究當時未考慮到實際中存在的無病灶CT影像,使模型在實際使用中性能可能會下降。Wang等[11]結合了Dice損失和MAE損失設計抗噪聲的Dice損失函數(shù),并提出了COPLE-Net結合自適應自集成學習框架從充滿噪聲的CT切片中準確找出病變區(qū)域,但是僅假設了噪聲滿足高斯分布,如果假設沒有被滿足,那么模型的性能也會下降。Ma等[12]從高效利用公開肺部數(shù)據(jù)集的角度出發(fā),充分利用7個不同肺部CT數(shù)據(jù)集結合有限的COVID-19 CT數(shù)據(jù)集,分步實現(xiàn)對病灶的分割,但如果進一步改進模型結構可以取得更好的性能表現(xiàn)。

通過這些研究可以看出COVID-19病變區(qū)域分割的難點在于極大極小的病灶同時存在,而小病灶容易漏檢;病變區(qū)灰度與周邊組織接近并且背景噪聲大,難以準確分割病灶邊緣,并且?guī)撕灥墓_數(shù)據(jù)集少不利于深度學習的訓練。從深度卷積神經網絡方法的特點來看,造成小病灶與邊緣分割不佳的原因是多次卷積使特征圖的分辨率下降,導致像素的空間信息丟失,致使網絡無法對小目標和邊緣細節(jié)進行精確還原。

為了改善這個問題,大量研究通過注意力模塊、空洞卷積或空洞空間金字塔池化(Atrous Spatial Pyramid Pooling,ASPP)通過不同大小的感受野組合來獲取尺度特征以改善這個問題。雖然在模型中加入多尺度感受野,如ASPP、金字塔池化模塊[13](Pyramid Pooling Module,PPM)、它們的變體等可以提升模型對于多尺度特征的提取,但這類模塊通常配置在網絡的深層。然而隨著網絡深度的增加包含的小尺度目標的信息會減少[14],因此這些常用的方法并不能有效處理尺度劇烈變化的目標,而COVID-19病灶面積可以極大,比方說重癥患者,也可以是極小的,因此僅靠空洞卷積、ASPP等方法對于小病灶檢測改善有限。另一方面,少有研究針對從如何有效地將淺層特征有效傳遞到深層的角度去設計COVID-19病灶分割模型,但這對于COVID-19病變檢測非常重要,因為病變區(qū)域是通過表面紋理特征來定義,如磨玻璃結節(jié)斑片、鋪路石征、暈征等[15]。另一方面,病變區(qū)與其灰度相近的周邊組織的差異同樣需通過紋理來區(qū)分。密集的連接雖然能夠用來傳遞淺層特征,但是模型的參數(shù)和訓練時間也會隨著連接數(shù)量的提升而增加。過于緊密的連接可能將淺層噪聲也傳入深層,導致模型的預測性能和執(zhí)行效率同時降低。

針對COVID-19病灶邊界模糊、尺度變化劇烈、梯度復雜、數(shù)據(jù)少的特點,我們提出一種基于U-Net的多尺度多層級特征融合的COVID-19病灶醫(yī)學影像ZMINet分割算法。與其他基于U-Net的COVID-19病灶分割模型相比,我們使用多尺度多層級特征融合策略針對U-Net進行改進。在輸入層面上,相較于傳統(tǒng)單圖輸入,我們對圖進行縮放增加兩個額外尺度輸入網絡。在編碼器層面上,我們使用ResNet50為主干網絡提取特征。在特征傳輸層面上,參考文獻[14,16-18]設計SIU-AIM模塊取代U-Net的跳躍連接,并選擇SIM作為解碼器。首先多尺度整合模塊(Scale Integration Unit,SIU)對三種尺度輸入的特征進行逐層融合,并利用注意力機制使模型能更好地關注不同尺度下關鍵特征,接著我們使用聚合交互模塊(Aggregate Interaction Module,AIM)融合相鄰多層特征使模型減少特征的丟失進一步提升網絡的性能。在解碼器層面上,我們使用自交互模塊(Self-Interaction Module,SIM)在網絡內生成兩個尺度的特征圖豐富多尺度特征,并使用類似FPN的設計自下而上集成特征以提高模型性能。此外,我們提出一種相對于基于深度學習的方法更為輕量的數(shù)據(jù)擴充方法以改善模型的訓練效率。因此,開發(fā)COVID-19病灶自動分割技術,可以提高COVID-19臨床診斷過程的效率,對后續(xù)診療具有重要意義。另外,我們的研究對COVID-19的診斷與癥狀嚴重程度的判別具有重要意義。

1 模型設計

1.1 ZMINet模型

U-Net網絡模型首次由Ronneberger等提出,該網絡模型基于FCN網絡,在結構上二者較為相似[19]。U-Net網絡和FCN網絡一樣,都應用了編碼器和解碼器,都存在跳躍連接的拓撲結構。不同于FCN網絡,U-Net網絡在結構形態(tài)上是左右對稱的。我們參考了在醫(yī)學影像分割任務中常用的U-Net并對其進行改進,使其滿足COVID-19病變區(qū)域分割任務。U-Net為編碼器-解碼器結構,如圖1所示。其左側是用來捕獲上下文信息的編碼器,右側則是用于執(zhí)行精確定位的解碼器。首先編碼器對輸入的圖像進行下采樣,通過卷積、池化和歸一化等操作對圖像的特征進行提取。接著解碼器通過反卷積將下采樣中的深層特征恢復成原圖大小,并利用跳躍連接將編碼器與解碼器對應層相連,將不同層的特征傳遞至解碼器,最后通過訓練進行像素級分類生成分割結果。

圖1 U-Net網絡結構

盡管類U-Net的方法在醫(yī)學影像分割領域已經得到廣泛的應用,但是COVID-19肺炎病變區(qū)域形狀大小不一,灰度與周邊組織接近,分割難度較大,這使得傳統(tǒng)基于U-Net改進的方法預測結果邊緣模糊,病變區(qū)域不完整以及邊緣不連續(xù)。為了改善分割結果,我們首先將原圖縮放生成額外兩個尺度。這兩個尺度分別是縮小至原圖二分之一與放大至原圖1.5倍,分別輸入主干網絡進行特征提取以獲取更豐富的多尺度信息。小尺度圖像輸入能更好地捕捉目標與全局圖像的關系,而大尺度圖像則保留了局部特征與小尺度對象的細節(jié)。

編碼器以ResNet50[20]為主干網絡,在ResNet50的一至五層逐層加入了用于融合每層三個尺度的輸出以及提取層間特征的SIU-AIM,作為傳輸層取代跳躍連接起到傳遞特征的功能,并使用SIM逐層融合到解碼器的對應各層,改進后的模型結構如圖2所示,我們將其命名為ZMINet分割模型。

圖2 ZMINet分割模型

1.2 傳輸層SIU-AIM模塊

在傳輸層部分,SIU-AIM模塊由SIU和AIM組成。SIU的功能是對主干網絡三種尺度的圖像輸入在主干網絡每層的輸出進行融合,并計算注意力使模型能自適應的獲取不同尺度中的關鍵信息,其結構如圖3所示。

圖3 傳輸層SIU-AIM中SIU結構

SIU的整個計算過程可以用式(1)和式(2)表示:

(1)

(2)

式中:Ψ(▲,φ)表示注意力權重計算過程中的三個CBR層,φ表示其中的參數(shù),[▲]表示通道拼接操作;U表示使用雙線插值上采樣;D表示最大池化與平均池化的操作。

盡管SIU能通過多尺度輸入提取單層內的多尺度信息,然而單層特征只能表征該層尺度的信息,獲取的多尺度信息有限,隨著網絡加深淺層特征依舊會逐漸減少。為了解決此問題,我們給出了AIM模塊,融合不同分辨率相鄰層的信息并傳遞至解碼器,使用相鄰層進行連接避免更為密集的策略帶來的額外計算量,并且保留了層與層間的細節(jié)語義混合特征。其結構如圖4所示。

圖4 傳輸層SIU-AIM中AIM結構

AIM的整個計算過程可以用式(3)和式(4)表示。

(3)

(4)

1.3 解碼器SIM模塊

在解碼器部分,SIM模塊也采用類似AIM模塊的輔助分支交互式學習方式。對輸入的特征圖進行縮放獲取不同尺度下的信息表征。其結構如圖5所示。

圖5 解碼器SIM結構

SIM使用從SIU-AIM輸出的作為主路徑,并對主路徑進行一次下采樣,作為分支路徑。在對輸入進行一次CBR后,SIM對低分辨率路徑特征進行上采樣,接著對高分辨率路徑特征下采樣,使兩條路徑均獲得另一條路徑同分辨率的特征并相互傳遞通過相加進行融合。最后低分辨率路徑經過上采樣、歸一化和非線性處理(ReLU)后與另一條路徑的特征,和通過殘差路徑傳遞的特征進行融合。

SIM的整個計算過程可以用式(5)表示。

(5)

(6)

式中:Fi+1(·)表示對殘差分支與合并后的分支路徑進行融合;Ui+1(·)表示上采樣操作。

1.4 損失函數(shù)

參考相關的研究,如果COVID-19病灶僅以二元交叉熵(BCE,式(7))作為損失函數(shù)(BCEL)會導致預測結果模糊。我們通過研究針對預測結果模糊的問題選擇了不確定感知損失(Uncertainty-Aware Loss,UAL)(式(9))作為損失函數(shù),并采取與原文同樣使用余弦變化來設定λ以達到最佳效果。經過實驗,UAL的良好效果得到了驗證。

(7)

式中:g代表實際為1的概率;p代表預測為1的概率。

(8)

L=LBCEL+λLUAL

(9)

2 針對非顯著物體的肺部醫(yī)學影像數(shù)據(jù)擴充

一項顯著性目標檢測領域的研究[21]提出并解決了一個現(xiàn)有顯著物體檢測(Salient Objective Detection,SOD)數(shù)據(jù)集中存在的設計問題。數(shù)據(jù)集假設每幅圖都至少應包含一個清晰明顯的物體。這種研究的設計偏差導致當前最先進的SOD模型在現(xiàn)有數(shù)據(jù)集上進行評估時出現(xiàn)性能優(yōu)異,但在實際應用場景下表現(xiàn)不佳的問題。Xia等[22]基于對于顯著物體的判別提出了先進的SOD模型,這體現(xiàn)了數(shù)據(jù)集中非顯著物體的存在對準確推理顯著物體至關重要。當前的大部分肺部醫(yī)學影像數(shù)據(jù)集具有同樣的設計偏差,假設每幅圖像中都至少應包含一個病變目標。我們定義非顯著物體的圖像為不包含COVID-19所有種類病變的CT影像,最理想的圖像是健康的肺。然而這類CT影像更為稀缺,因為少有肺部健康的人會主動進行胸部CT檢測。

為了改善這個問題我們根據(jù)肺部醫(yī)學影像的特點提出一種利用肺部的CT影像特征,在不依賴額外的數(shù)據(jù)的前提下,針對非顯著物體樣本的快速數(shù)據(jù)擴充方法。

基本原理是利用左右肺部近似軸對稱的特點,將不包含病變區(qū)域的沿對稱軸進行鏡像復制,從而獲得一幅沒有病變區(qū)域的左右肺圖片作為非顯著物體的樣本。我們首先判斷肺部圖像的方向,我們使用的數(shù)據(jù)集肺部影像為標準軸向CT切片順時針旋轉90°。因此,以水平方向的對稱軸作為圖像分割線,選擇訓練集真值圖中按水平對稱軸裁切后存在半邊全黑的掩膜對應的訓練集中的圖,并將全黑半張掩膜對應的半邊圖像作為數(shù)據(jù)擴充的對象。將該半邊圖像按照原圖的水平對稱軸鏡像復制,作為擴充后的非顯著物體的樣本,并生成與原圖大小一致的全黑圖作為該樣本圖片對應的真值圖。

按照此流程,總共找到5幅滿足條件的圖片,將其按照流程處理后生成5幅不帶顯著目標的圖,具體如圖6所示。

圖6 基于非顯著物體數(shù)據(jù)擴張新增的樣本與真值圖

3 實驗與分析

3.1 實驗環(huán)境以及實驗數(shù)據(jù)集

本文實驗環(huán)境的CPU為i5-8600k,內存為32 GB RAM,顯卡為GeForce GTX3090。所有模型均在PyTorch框架中執(zhí)行,程序基于Python編寫。

我們使用小批量隨機梯度下降算法(Stochastic Gradient Descent,SGD)優(yōu)化器來最小化損失函數(shù)。初始學習率為0.05,動量(Momentum)設置為0.9,權重衰減(Weight decay)設置為5E-4,epoch設置為50,Batch size設置為8。我們使用旋轉、翻轉和縮放,增強訓練數(shù)據(jù)的多樣性,以提高模型的泛化能力。模型使用ImageNet預訓練后的ResNet50作為主干網絡以縮短訓練時間。

我們使用的數(shù)據(jù)集為COVID-19 CT Segmentation Dataset[23]。該數(shù)據(jù)集包括98幅來自不同COVID-19肺炎患者的軸向二維CT圖像切片(數(shù)據(jù)樣例見圖6),由意大利醫(yī)學放射學會(SIRM)收集,并由專業(yè)的放射科醫(yī)生對肺部病變區(qū)域進行標注。我們在數(shù)據(jù)集中隨機選取45幅二維CT圖像作為訓練集,5幅二維CT圖像作為驗證集,其余48幅二維CT圖像用于測試。

3.2 評價指標

我們選取了6個醫(yī)學分割中常用的度量指標,即:相似系數(shù)、敏感性、特異性、精確率、交并比、平均絕對誤差。

相似系數(shù)Dice Score(DSC)是用來評估真值圖(Ground Truth,GT)與預測結果(SR)的重疊率,DSC越接近1,預測效果越好。相似系數(shù)(Dice)的計算過程可以用式(10)表示。

(10)

敏感性反映模型對于病灶的像素的正確分類的能力,該值越高對于病灶的漏檢率就越低。敏感性(Sen.)的計算公式如下:

(11)

特異性是用來衡量模型區(qū)分反例的能力,該值高說明模型對于病灶誤檢率低。特異性(Spec.)的計算公式如下:

(12)

精確率反映了在所有被預測為正例的結果中,真正的正例的占比。精確率(Prec.)的計算公式如下:

(13)

交并比(Intersection over Union,IoU)反映了預測的結果與真實值的交集和并集的比值。交并比(IoU)的計算公式如下:

(14)

式中:TP(True Positive)為真陽,即預測為真,真值圖中的標簽也為真;TN(True Negative)為真陰,表示預測與GT標簽均為假;FN(False Negative)表示假陰,代表預測為假,但GT中的標簽為真;FP(False Positive)即預測為真,GT標簽卻為假。

平均絕對誤差(Mean Absolute Error,MAE)反映預測圖Sp和真值圖G之間像素的平均誤差。平均絕對誤差(MAE)的計算公式如下:

(15)

式中:w表示圖像寬度;h表示圖像高度。

綜合評價指標精確率-召回率(Precision-Recall,PR)曲線是以召回率(同敏感性)為橫坐標、精確率為縱坐標的曲線,表示在不同召回率取值下精確率的大小,曲線下面積越大表示模型性能越好。

綜合評價指標F-beta Measure是準確率和召回率的調和平均值。Beta是用來調節(jié)精確率和召回率(敏感性)的偏重,當Beta為1的時候,就是統(tǒng)計學里的F1-Measure。F值越高表示模型性能越好。F值的計算公式如下:

(16)

F-beta Measure曲線代表了β不同取值下Fβ的大小。曲線下面積越大表示模型性能越好,模型的預測結果與真值圖有更高的空間一致性。

4 實驗結果分析

4.1 模型性能

我們選擇U-Net、Attention U-Net、U-Net++和Dense U-Net為基準進行比較。Attention U-Net利用注意力機制去提升網絡性能,而U-Net++和Dense U-Net則使用層間密集連接的方式傳遞特征提升性能。它們分別代表了提高關鍵特征的權重與傳遞因網絡加深而丟失的細節(jié)這兩種不同的改進思路。本文方法基于多尺度多層級特征密集集成與多分支交互式學習策略,由表1可以看出,相比這些模型,使用多種多尺度多層融合策略的模型ZMINet所有性能指標均有提高。

表1 ZMINet與基準模型的性能比較

表1中所有模型的Sen.都低于Spec.,結合MAE各個模型的變化來分析,像素預測錯誤的降低主要來自于模型區(qū)分反例能力的增強,并非對于病灶漏檢率的降低,圖7為分割結果。

圖7 ZMINet與基準模型預測結果比較

可以看到,ZMINet的預測結果邊緣更為清晰,對于小病灶的敏感性較強,預測目標的整體形狀也與真值圖(Ground Truth)更為接近。

4.2 針對非顯著目標的數(shù)據(jù)擴充

表2為將擴充后的數(shù)據(jù)加入模型后的表現(xiàn)。從結果來看,加入了5幅不包含任何顯著目標(COVID-19病灶)圖片后,ZMINet的大部分體現(xiàn)模型整體分割性能指標如Dice、IoU和MAE(值越低越好)均有明顯提升,說明這個數(shù)據(jù)擴充策略是有效的。我們觀察到這個擴充策略會帶來Sen.的提升與Prec.指標的下降和Spec.的輕微下降,這代表這個數(shù)據(jù)擴充的策略幫助模型識別出更多的病灶的同時會帶來一定的誤檢,但在總體上模型的性能是變好的。

表2 數(shù)據(jù)擴充后的ZMINet與擴充前模型性能比較

圖8為使用數(shù)據(jù)擴充策略后的ZMINet與使用前的預測圖比較。結果顯示這個數(shù)據(jù)擴充的策略能在一定程度上讓模型更好地區(qū)分背景與小目標,改善小病灶的預測效果。

圖8 擴充數(shù)據(jù)后ZMINet與擴充前的預測結果比較

4.3 消融實驗

與U-Net、U-Net++等模型相比,在改進編碼器,加入多尺度多層級特征融合組合模塊SIU-AIM,并使用SIM集成特征后,對像素分類的性能得到了有效的提升。通過表3可以發(fā)現(xiàn),無論是使用交叉熵(BCE)作為損失還是使用UAL,相對于U-Net、U-Net++等模型,各項指標都有了較明顯的提升,與小病灶漏診相關的敏感性指標得到了較大幅的提升,這意味著小病灶的漏檢率的降低。在使用UAL后,Dice、IoU得到了提升。結合圖7可以發(fā)現(xiàn),對于邊緣像素的預測相對于U-Net、U-Net++等模型變得更為準確。

表3 消融實驗結果

為了更直觀地展現(xiàn)基于U-Net改進的ZMINet的分割性能,我們繪制了消融實驗中各模型的性能圖,分別包括Precision-Recall(PR)曲線與F-beta Measure曲線用來衡量模型預測正負類的性能,具體如圖9(a)和圖9(b)所示。

(a) ZMINet消融實驗Precision-Recall(PR)曲線

通過PR曲線可以看到ZMINet模型相對于U-Net、U-Net++等模型的AUC有顯著的提高,這說明模型對于正類和負類的預測準確性均好于U-Net、U-Net++等。在使用UAL后,與使用BCEL相比,ZMINet可以在同樣的召回率下取得略高的精確度。從F-Beta曲線可以看到,在各個閾值下,ZMINet的F分數(shù)均高于U-Net、U-Net++等,這體現(xiàn)了ZMINet的預測結果與真值圖有更高的空間一致性。

5 結 語

我們在U-Net網絡結構上建立一種精細高效的改進網絡ZMINet,用于更好地分割COVID-19 CT影像中的病變區(qū)域。首先使用ResNet50提取全局信息,并在ResNet50的一至五層引入可以有效融合多尺度特征與多層特征的SIU-AIM,利用SIU-AIM模塊與SIM模塊融合多尺度與多層級信息以改善小病變區(qū)域的識別效果以及在網絡加深的過程中保留更多細節(jié),以提高模型的性能。為了證明本文方法的性能,我們使用不同的模型與本文方法進行比較。實驗結果證明了本文方法的有效性。此外,我們使用了UAL作為損失函數(shù)來改善預測結果模糊的問題。我們使用了一種高效的、且不依賴額外數(shù)據(jù)的肺部CT影像的數(shù)據(jù)擴充方法,進一步改善模型處理圖像的性能。但該方法尚有一些不足,首先是模型的泛化性能力還有待進一步加強,另外,由于ZMINet相較于U-Net等模型更為復雜、參數(shù)更多,因此訓練時間相對長一些,但作為醫(yī)學影像分割任務訓練,還是在可接受范圍之內。未來我們將在模型的泛化性能力提升及訓練時間縮短方面做更為深入的研究。