黃佳偉 付曉薇* 陳 芳 李 曦

1(武漢科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 湖北 武漢 430065)

2(智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室 湖北 武漢430065)

3(武漢科技大學(xué)校醫(yī)院超聲影像科 湖北 武漢 430065)

4(華中科技大學(xué)人工智能與自動(dòng)化學(xué)院 湖北 武漢 430074)

0 引 言

醫(yī)學(xué)超聲圖像被廣泛地應(yīng)用于孕婦的產(chǎn)前檢查中,對(duì)我國優(yōu)生優(yōu)育具有重要意義[1-2]。相比其他的成像方式,醫(yī)學(xué)超聲成像具有無輻射、成像速度快、經(jīng)濟(jì)等優(yōu)點(diǎn)。但其圖像清晰度較低,處理結(jié)果依賴于臨床醫(yī)生的經(jīng)驗(yàn)。傳統(tǒng)的胎兒頭圍測量方式是由醫(yī)生手動(dòng)選擇胎兒頭部特征點(diǎn),從而確定頭部輪廓。但該測量方式耗時(shí)耗力且分割結(jié)果受醫(yī)生主觀臨床經(jīng)驗(yàn)影響較大[3]。

很多學(xué)者對(duì)醫(yī)學(xué)超聲胎兒頭圍測量方法展開了大量研究。Lu等[4]提出一種自動(dòng)測量胎兒超聲圖像頭圍(HC)檢測方法,該方法分割效果較依賴圖像的質(zhì)量和參數(shù)選取。Carneiro等[5]使用約束增強(qiáng)樹分類器對(duì)感興趣的結(jié)構(gòu)進(jìn)行分段并重現(xiàn)標(biāo)準(zhǔn)的生物計(jì)量測量。Yu等[6]利用形態(tài)學(xué)開運(yùn)算抑噪,再利用K-means聚類方法分割頭圍,最后進(jìn)行橢圓擬合。該方法易受圖像細(xì)節(jié)干擾。Zhang等[7]利用非線性擴(kuò)散技術(shù)來降噪,設(shè)計(jì)了一個(gè)多尺度、多方向?yàn)V波庫來提取胎兒超聲解剖結(jié)構(gòu)特有的紋理特征,最后采用最小二乘橢圓擬合方法構(gòu)建頭部輪廓。Li等[8]將胎齡和超聲掃描深度的先驗(yàn)知識(shí),整合到一個(gè)隨機(jī)森林分類器,實(shí)現(xiàn)定位胎兒頭部。使用相位對(duì)稱性檢測胎兒頭骨的中心線,最后基于幾何距離的橢圓擬合方法擬合頭圍并進(jìn)行測量。該方法對(duì)胎兒頭部輪廓不顯著或不完整的超聲圖像,擬合效果并不理想。

深度學(xué)習(xí)模型能自主學(xué)習(xí)圖像特征,因此被廣泛應(yīng)用于圖像分割[9-10]等領(lǐng)域。本文提出一種基于H-Unet改進(jìn)模型的醫(yī)學(xué)超聲胎兒頭圍的自動(dòng)測量方法。借鑒深度學(xué)習(xí)中遷移學(xué)習(xí)的思想,將resnet18[11]的部分預(yù)訓(xùn)練模型參數(shù)加載到編碼器網(wǎng)絡(luò)中;在殘差模塊處理后,添加注意力模塊,獲取長依賴關(guān)系。在H-Unet編碼器與解碼器之間,利用多尺度特征金字塔(Atrous Spatial Pyramid Pooling,ASPP)[12]增大感受野,從而獲取更多不同尺度的圖像特征;采用Dice Loss和Bce Loss訓(xùn)練網(wǎng)絡(luò),提高網(wǎng)絡(luò)的分割性能。本文采用兩個(gè)步驟完成胎兒頭圍測量,首先提出一種H-Unet改進(jìn)模型進(jìn)行醫(yī)學(xué)超聲胎兒頭部圖像分割;然后,利用最小二乘法進(jìn)行頭圍橢圓擬合,有效抑制頭部邊緣不平滑、部分細(xì)節(jié)缺失等對(duì)橢圓擬合的影響。實(shí)驗(yàn)結(jié)果表明,本文方法能自動(dòng)有效地測量醫(yī)學(xué)超聲圖像胎兒頭圍。

1 胎兒頭部圖像分割

本文方法主要流程如圖1所示。本文方法對(duì)訓(xùn)練圖像進(jìn)行切割、旋轉(zhuǎn)、調(diào)整亮度等數(shù)據(jù)增強(qiáng)處理,然后通過學(xué)習(xí)正負(fù)樣本的特征訓(xùn)練H-Unet網(wǎng)絡(luò)分割模型。測試主要分為兩部分。第一部分,針對(duì)醫(yī)學(xué)超聲胎兒頭圍圖像,利用所提出的H-Unet網(wǎng)絡(luò)改進(jìn)模型分割出胎兒的頭部區(qū)域;第二部分,對(duì)H-Unet的分割結(jié)果,提取胎兒頭部輪廓。然后,進(jìn)行橢圓擬合,計(jì)算出胎兒頭圍參數(shù),實(shí)現(xiàn)胎兒頭圍的自動(dòng)測量。

圖1 本文方法流程

1.1 改進(jìn)H-Unet網(wǎng)絡(luò)模型

H-Unet網(wǎng)絡(luò)模型如圖2所示。其編碼器是基于預(yù)訓(xùn)練的Resnet網(wǎng)絡(luò)而構(gòu)建。淺層特征可抓取圖像諸如邊界、顏色等簡單特征,而深層特征能夠?qū)W習(xí)到高級(jí)語義特征。通過逐步縮減特征圖的空間維度來獲取深層圖像特征。池化操作增加感受野、降低特征分辨率與計(jì)算量,但損失部分信息。因此,H-Unet使用了三次下采樣操作,后面使用一組空洞卷積代替下采樣操作。編碼器最終的輸出相比原圖分辨率下降了8倍。為了使特征分布更均勻、易于訓(xùn)練,卷積層后加入歸一化層對(duì)特征進(jìn)行歸一化處理。采用ReLU函數(shù)作為激活函數(shù)以解決網(wǎng)絡(luò)訓(xùn)練時(shí)的梯度彌散問題。

圖2 H-Unet網(wǎng)絡(luò)結(jié)構(gòu)

解碼器是將特征圖逐漸恢復(fù)到原圖大小的過程。解碼器和編碼器呈對(duì)稱,其核心為與下采樣對(duì)應(yīng)的3組反卷積層與卷積層。圖像在經(jīng)過編碼器的步長為2的卷積層后,部分胎兒頭部邊緣信息丟失,需要感受野小的淺層特征來幫助恢復(fù)細(xì)節(jié)信息。為此,本文在編碼器和解碼器之間建立3條跳躍連接。將編碼器中的淺層特征和解碼器的深層特征融合。3×3卷積操作是為了消除上采樣后的混淆效應(yīng)。為了生成多尺度感受野,在編碼器和解碼器之間加入了ASPP。

1.2 空洞卷積

在圖像分割中,傳統(tǒng)的網(wǎng)絡(luò)對(duì)輸入特征圖做卷積,然后進(jìn)行下采樣池化操作。由于圖像分割預(yù)測是像素級(jí)輸出,將下采樣后的特征圖上采樣到原圖分辨率大小并進(jìn)行預(yù)測。下采樣操作讓像素點(diǎn)有更大的感受野,且在一定程度上實(shí)現(xiàn)平移不變性,但是損失了圖像的結(jié)構(gòu)信息?？斩淳矸e[13]可以在不降低特征分辨率的情況下增大感受野,讓每個(gè)卷積輸出都包含較大范圍的信息,更好地學(xué)習(xí)圖像的全局信息。

空洞卷積后特征圖大小定義如下：

n=k+(k-1)×(d-1)

(1)

(2)

式中：k代表空洞卷積中卷積核的大小;p代表卷積操作中的邊界補(bǔ)零數(shù);s代表卷積步長;d代表空洞卷積采樣率,是增大感受野的關(guān)鍵部分;i代表輸入特征圖的大小;n表示實(shí)際卷積核的大小;o表示輸出圖的大小。

本文采用的空洞卷積模塊結(jié)構(gòu)如圖3所示。

圖3 空洞卷積模塊網(wǎng)絡(luò)結(jié)構(gòu)

圖3中,r表示空洞卷積的擴(kuò)張率,空洞模塊即為連續(xù)的4次空洞卷積,然后將得到的4組特征圖進(jìn)行拼接,最后通過一組3×3卷積恢復(fù)到原來的特征圖維度。

1.3 多尺度特征金字塔

經(jīng)典的U-Net網(wǎng)絡(luò)為了更好地保留圖像的細(xì)節(jié)信息,將編碼器和解碼器的對(duì)應(yīng)特征圖連接。然而,單一的卷積操作不能學(xué)習(xí)到圖像多尺度的特征信息。針對(duì)該問題,本文采用了ASPP模塊,結(jié)構(gòu)如圖4所示。通過1×1卷積、采樣率為{6,12,18}的空洞卷積等操作的組合,將4種方式得到的特征圖進(jìn)行融合。該結(jié)構(gòu)不僅增大感受野、增強(qiáng)網(wǎng)絡(luò)非線性能力,而且易于不同尺度特征信息的學(xué)習(xí)。

圖4 多尺度特征金字塔

1.4 注意力模塊

傳統(tǒng)的網(wǎng)絡(luò)為了獲取長依賴關(guān)系,可通過疊加卷積層增大感受野,獲取更大信息廣度。但該操作不可避免會(huì)增加計(jì)算量、優(yōu)化難度。相較于疊加的卷積操作,Non-local[14]可有效解決這種問題,直接計(jì)算兩個(gè)位置之間的關(guān)系來獲取長依賴關(guān)系。其結(jié)構(gòu)如圖5所示。其中,輸入X的維度是T×H×W×1 024,其中：T是輸入圖片的數(shù)量;H是輸入圖像的高;W是輸入圖像的寬。分別使用卷積核數(shù)量為512、大小為1×1的卷積核進(jìn)行卷積得到3個(gè)維度為T×H×W×1 024的輸出。e和f兩條支路對(duì)輸出結(jié)果進(jìn)行矩陣乘法,可得到THW×THW的輸出;再經(jīng)過Softmax處理后和g支路的輸出結(jié)果進(jìn)行矩陣乘法得到THW×512的輸出;將輸出矩陣維度擴(kuò)張為T×H×W×512,將該結(jié)果進(jìn)行1×1卷積,得到的結(jié)果與原始輸入X相加得到最終輸出特征圖Z。

圖5 Non-Local模塊

Non-local操作定義如下：

(3)

式中：i表示特征圖的輸出位置;j表示特征圖上的所有位置;函數(shù)f計(jì)算位置i和所有位置j之間的相關(guān)性;h是信息變換函數(shù);C為歸一化函數(shù)。具體定義如下：

(4)

式中：Wh為一個(gè)權(quán)重矩陣,一般通過1×1卷積操作來實(shí)現(xiàn)。

1.5 模型訓(xùn)練的損失函數(shù)

在胎兒頭部的分割中,胎兒頭部區(qū)域?yàn)檎龢颖?非胎兒頭部區(qū)域?yàn)樨?fù)樣本。本文的數(shù)據(jù)集正負(fù)樣本比例接近1∶10,正負(fù)樣本嚴(yán)重失衡。如果使用Bce Loss,會(huì)導(dǎo)致訓(xùn)練會(huì)被比例較大的負(fù)樣本主導(dǎo),很難學(xué)習(xí)到胎兒頭部區(qū)域的特征,但Dice Loss適用于正負(fù)樣本不均衡。使用Dice Loss會(huì)對(duì)反向傳播造成不利的影響,對(duì)于小目標(biāo)圖像,一旦有部分像素預(yù)測錯(cuò)誤,會(huì)導(dǎo)致梯度變化劇烈,訓(xùn)練不穩(wěn)定。使用Bce Loss訓(xùn)練梯度變化會(huì)更平穩(wěn)。因此,為了解決上述問題,本文使用Bce Loss和Dice Loss共同訓(xùn)練網(wǎng)絡(luò)。Loss函數(shù)如式(5)所示。

Loss(y,ypred)=BceLoss(y,ypred)+DiceLoss(y,ypred)

(5)

(6)

(7)

式中：y表示實(shí)際值;ypred表示預(yù)測值。Dice Loss和Bce Loss關(guān)于ypred的梯度形式如式(8)所示。對(duì)于Dice Loss,當(dāng)y和ypred較小時(shí),y和ypred的變動(dòng)可能會(huì)導(dǎo)致梯度變化較為劇烈,會(huì)導(dǎo)致訓(xùn)練出現(xiàn)不穩(wěn)定的情況。而Bce Loss對(duì)y和ypred的變動(dòng)產(chǎn)生的梯度變化會(huì)更加平穩(wěn)。

(8)

2 頭圍擬合和測量

由于H-Unet網(wǎng)絡(luò)模型分割出胎兒的頭部區(qū)域輪廓不平滑,為了便于計(jì)算,使用Canny算子提取頭部輪廓,然后對(duì)頭部輪廓進(jìn)行橢圓擬合,最后計(jì)算胎兒頭圍數(shù)值。

霍夫變換[15]通過迭代獲取五個(gè)最優(yōu)橢圓參數(shù)。其迭代過程耗時(shí)多,限制了霍夫變換用于胎兒頭圍的測量應(yīng)用。而基于最小二乘法的橢圓擬合方法[16]將橢圓擬合的非線性問題分成兩個(gè)操作,使得整個(gè)算法是非迭代的,可有效地減小噪聲對(duì)橢圓擬合的影響。為此,本文采用基于最小二乘法的橢圓擬合方法對(duì)胎兒頭圍進(jìn)行擬合。設(shè)頭圍像素為pi(x,y),具體擬合如下：

設(shè)橢圓表示為：

f(x,y)=ax2+bxy+cy2+dx+ey+f=0

(9)

可將式(9)表示為式(10)。

(10)

計(jì)算點(diǎn)pi到橢圓的距離,定義目標(biāo)函數(shù)為式(11)。

s.t.WCWT=1

(11)

C表示的是一個(gè)約束矩陣,如式(12)所示。

(12)

根據(jù)式(8)構(gòu)造一個(gè)拉格朗日公式,如式(13)所示。

L(W,λ)=WXTXWT-λ(WCWT-1)

(13)

L(W,λ)對(duì)W求導(dǎo)可得：

XTXWT=λCWT

(14)

令D=XTX,通過求解廣義特征向量可以得到6個(gè)可能W,然后,使用WCWT=1。利用該條件來篩選合格的W,即可得到橢圓參數(shù)。

胎兒頭圍計(jì)算定義為：

HC=π(a+b)×pe×Pixel

(15)

式中：pe表示橢圓周長;Pixel表示像素大小。Pe定義如下：

(16)

式中：a表示半長軸長;b表示半短軸長。頭圍測量的整體流程如圖6所示。首先通過H-Unet網(wǎng)絡(luò)分割模型獲取二值分割圖,然后采用Canny算子檢測頭部輪廓,采用基于最小二乘法的橢圓擬合方法對(duì)檢測的頭部輪廓進(jìn)行擬合并計(jì)算頭圍參數(shù)。

圖6 頭圍測量流程

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)取自HC18[3]數(shù)據(jù)集,包含1 334幅超聲圖像,其中訓(xùn)練集999幅,測試集335幅。每幅2D超聲圖像分辨率是800×540像素,像素尺寸范圍從0.052到0.326 mm,數(shù)據(jù)集提供頭圍測量值。對(duì)訓(xùn)練圖像進(jìn)行切割、多角度旋轉(zhuǎn)、鏡像翻轉(zhuǎn)操作,然后隨機(jī)調(diào)整亮度等數(shù)據(jù)增強(qiáng)處理,最終得到訓(xùn)練圖像6 000幅。

3.2 評(píng)價(jià)指標(biāo)

為了定量評(píng)價(jià)不同方法胎兒頭圍測量的性能,本文采用Dice系數(shù)、頭圍誤差絕對(duì)值A(chǔ)D、豪斯多夫距離HD作為評(píng)價(jià)指標(biāo)。各項(xiàng)評(píng)價(jià)指標(biāo)定義如下：

(17)

式中：y表示真實(shí)標(biāo)簽;ypred表示預(yù)測值。

AD=|HCgt-HCpred|

(18)

式中：HCgt表示真實(shí)的胎兒頭圍值;HCpred表示預(yù)測的胎兒頭圍值。

(19)

式中：y表示真實(shí)標(biāo)簽的像素點(diǎn)集合;ypred表示預(yù)測的像素點(diǎn)集合。

Dice系數(shù)用于評(píng)價(jià)網(wǎng)絡(luò)的分割性能,Dice系數(shù)越大說明網(wǎng)絡(luò)的分割效果越好,頭圍誤差絕對(duì)值A(chǔ)D直接反映了測量方法的準(zhǔn)確程度,AD越小,頭圍測量越精準(zhǔn)。雙向豪斯多夫距離HD度量了真實(shí)標(biāo)簽和預(yù)測值之間的最大不匹配程度,HD越小效果越好。

3.3 模型訓(xùn)練

實(shí)驗(yàn)環(huán)境為Intel(R)Core(TM)CPU i5-9400F 2.9 GHz,內(nèi)存為16 GB,操作系統(tǒng)為Windows 10,使用PyTorch開源庫進(jìn)行訓(xùn)練和測試。本文網(wǎng)絡(luò)訓(xùn)練基于999幅胎兒超聲圖像,實(shí)驗(yàn)測試基于335幅胎兒超聲圖像,batch_size設(shè)為2。訓(xùn)練損失函數(shù)使用改進(jìn)的損失函數(shù),優(yōu)化器選用SGD。初始學(xué)習(xí)率設(shè)為0.001,學(xué)習(xí)率使用Poly策略進(jìn)行調(diào)整,以適應(yīng)訓(xùn)練過程中的loss變化,Poly策略計(jì)算公式如下：

lr=lr×1/(1+decay×iteration)

(20)

式中：lr表示學(xué)習(xí)率;iteration表示迭代次數(shù);decay表示每次更新學(xué)習(xí)率時(shí)的衰減值。

3.4 實(shí)驗(yàn)結(jié)果及分析

本文對(duì)Unet[10]、Unet+ASPP、Deeplabv3[12]、H-Unet(本文方法)進(jìn)行實(shí)驗(yàn)。各種網(wǎng)絡(luò)分割結(jié)果如圖7所示,其中：圖7(a)表示測試的胎兒頭部超聲圖像;圖7(b)是圖7(a)對(duì)應(yīng)的標(biāo)簽;圖7(c)-圖7(f)依次為Unet、Unet+ASPP、DeeplabV3、本文方法的分割結(jié)果。其中Unet+ASPP表示在原始Unet的編碼器與解碼器之間加入ASPP結(jié)構(gòu)。圖7第一行是含少量噪聲的胎兒超聲圖像分割結(jié)果比較。第一行中,圖7(c)中有較多的孔洞,Unet分割效果較差。圖7(d)沒有明顯孔洞,輪廓較為平滑,說明ASPP通過獲取多尺度特征可一定程度優(yōu)化分割結(jié)果。圖7(d)-圖7(f)的分割效果相近,對(duì)質(zhì)量較好的圖像分割效果差異并不明顯;圖7第二行是對(duì)含噪聲較多、邊緣部分缺失的胎兒超聲圖像的分割結(jié)果比較。第二行中的Unet+ASPP和Deeplabv3的分割結(jié)果中有少量孔洞,分割精度不足,表明這兩種方法抗噪聲干擾能力較弱。由圖7可見,本文方法的分割結(jié)果邊緣更為平滑且內(nèi)部無明顯孔洞。圖像在邊緣不明顯或缺失的時(shí)候,本文方法仍可獲得滿意的分割結(jié)果。

(a) 原圖 (b) 標(biāo)簽 (c) Unet (d) Unet+ASPP (e) DeeplabV3 (f) 本文方法圖7 各種網(wǎng)絡(luò)模型圖像分割結(jié)果

圖8為各種方法頭圍測量結(jié)果比較。其中：圖8(a)表示待檢測的胎兒頭部超聲圖像;圖8(b)是圖8(a)對(duì)應(yīng)的真實(shí)頭部輪廓;圖8(c)-圖8(f)為圖7的對(duì)應(yīng)圖像進(jìn)行橢圓擬合后的結(jié)果。從圖8可見,Unet檢測的頭部輪廓角度發(fā)生了一定的偏移,且可較明顯看出檢測的頭部輪廓較真實(shí)頭部輪廓稍小,而圖8(d)-圖8(f)可以較準(zhǔn)確地檢測胎兒頭部輪廓。圖7中第二行,胎兒超聲圖像存在頭部區(qū)域含噪聲較多、邊緣部分缺失等問題,圖8(d)-圖8(e)的分割結(jié)果均存在孔洞及邊緣較不平滑現(xiàn)象,但是圖8(d)-圖8(e)可以較準(zhǔn)確地定位胎兒頭部輪廓。這說明對(duì)頭部輪廓進(jìn)行橢圓擬合時(shí),橢圓擬合算法可一定程度改善頭圍測量精度。

(a) 原圖 (b) gt (c) Unet (d) Unet+ASPP (e) DeeplabV3 (f) 本文方法圖8 各種方法頭圍測量結(jié)果

本文不僅對(duì)各種方法的測量圖像進(jìn)行比較,還對(duì)334幅測試集圖像進(jìn)行測試,定量地評(píng)價(jià)各種方法的性能。圖8中各種方法的測量結(jié)果如表1所示。Unet+ASPP對(duì)比Unet各項(xiàng)指標(biāo)都有所提升,這表明了多尺度特征融合能有效地改進(jìn)網(wǎng)絡(luò)的分割效果;從表1可見,本文方法的各項(xiàng)指標(biāo)均優(yōu)于其他方法。這表明本文提出的改進(jìn)H-Unet網(wǎng)絡(luò)模型可提高分割性能。

表1 不同方法測量結(jié)果

為研究采用不同損失函數(shù)對(duì)網(wǎng)絡(luò)性能的影響,對(duì)H-Unet采用不同損失函數(shù)訓(xùn)練網(wǎng)絡(luò),測量結(jié)果如表2所示。其中,H-Unet(Bce)表示用式(7)訓(xùn)練網(wǎng)絡(luò);H-Unet(Dice)表示使用式(6)訓(xùn)練網(wǎng)絡(luò);本文方法采用式(5)訓(xùn)練網(wǎng)絡(luò)。從表2可見,本文方法的頭圍平均誤差為2.22 mm,較表2中前兩種方法分別提升0.11 mm、0.04 mm,表明了使用式(5)訓(xùn)練網(wǎng)絡(luò)可以提升頭圍測量的精度。

表2 比較采用不同損失函數(shù)的測量結(jié)果

本文從頭圍誤差A(yù)D、HD距離、Dice系數(shù)三個(gè)方面比較本文方法和已有的一些參考文獻(xiàn)方法。其中,文獻(xiàn)[3]使用HC18數(shù)據(jù)集進(jìn)行胎兒頭圍測量研究,提出了A、B、C三種測量模型,其中C是效果最好的訓(xùn)練模型,本實(shí)驗(yàn)比較的就是這個(gè)模型。由表3可見,本文方法在各項(xiàng)指標(biāo)上均優(yōu)于其他方法。

表3 比較本文方法與已有頭圍測量方法

4 結(jié) 語

胎兒頭圍測量是一項(xiàng)具有實(shí)用意義的研究。本文針對(duì)傳統(tǒng)測量方法需初始化的半自動(dòng)特點(diǎn),提出一種基于多尺度特征的胎兒頭圍自動(dòng)測量方法。本文構(gòu)建了改進(jìn)的H-Unet模型,對(duì)胎兒醫(yī)學(xué)圖像實(shí)現(xiàn)了像素級(jí)的分類。H-Unet采用注意力機(jī)制獲取長依賴關(guān)系,利用多尺度特征金字塔增大感受野,從而獲取更多不同尺度的圖像特征;采用Dice Loss和Bce Loss訓(xùn)練網(wǎng)絡(luò),提高網(wǎng)絡(luò)的分割性能;本文方法為胎兒頭圍自動(dòng)檢測提供了一種有效途徑。在后續(xù)的研究中,可深入研究冠臀長度、腹圍等生物參數(shù)的自動(dòng)測量,形成一種醫(yī)學(xué)超聲成像系統(tǒng)生物參數(shù)自動(dòng)測量方法。