汪金婷 楊豐 陳琪

特約論文

基于融合邊界框高置信度區(qū)域信息的超聲胎兒頭圍測量算法*

汪金婷 楊豐 陳琪

（南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院，廣東 廣州 510515）

為有效克服胎兒頭部超聲圖像中存在的干擾問題，實(shí)現(xiàn)對(duì)胎兒頭圍的精確測量，提出一種基于融合邊界框高置信度區(qū)域信息的超聲胎兒頭圍測量算法。首先，通過U-Net分割網(wǎng)絡(luò)提取胎兒頭部圖像感興趣區(qū)域；其次，利用YOLOv3檢測網(wǎng)絡(luò)獲取胎兒頭部邊界框，結(jié)合邊界框高置信度區(qū)域信息，篩選頭部感興趣區(qū)域高置信度邊緣點(diǎn)；最后，采用直接最小二乘法對(duì)高置信度邊緣點(diǎn)進(jìn)行橢圓擬合，計(jì)算胎兒頭圍結(jié)果。實(shí)驗(yàn)結(jié)果表明：該算法可有效克服圖像質(zhì)量的干擾，提高超聲胎兒頭圍測量精度。

胎兒頭圍測量；超聲圖像；高置信度區(qū)域篩選算法；U-Net；YOLOv3

0 引言

胎兒頭圍測量值是評(píng)估胎兒生長發(fā)育的一個(gè)重要指標(biāo)。精確測量胎兒頭圍對(duì)胎兒監(jiān)測具有重要的臨床應(yīng)用價(jià)值。因超聲圖像中存在噪聲等干擾，導(dǎo)致胎兒頭部邊界模糊、部分頭骨缺失等問題，影響超聲醫(yī)師對(duì)顱骨外緣的選擇，從而造成測量差異。為降低圖像質(zhì)量所產(chǎn)生的不確定性影響，有效的超聲胎兒頭圍自動(dòng)測量方法研究已成為人們關(guān)注的熱點(diǎn)方向。

文獻(xiàn)[1]將胎兒超聲圖像從笛卡爾坐標(biāo)系轉(zhuǎn)換到極坐標(biāo)系，再根據(jù)胎兒頭部解剖結(jié)構(gòu)的先驗(yàn)信息，采用卷積神經(jīng)網(wǎng)絡(luò)檢測頭部邊界的像素，隨后用卷積網(wǎng)絡(luò)預(yù)測邊界框，最終擬合邊界框內(nèi)的邊界像素；該方法分2個(gè)階段完成胎兒頭部檢測，能有效去除錯(cuò)誤預(yù)測邊界，但需要將胎兒圖像沿超聲傳播方向由笛卡爾坐標(biāo)系轉(zhuǎn)換到極坐標(biāo)系，實(shí)時(shí)性較差。文獻(xiàn)[2]采用級(jí)聯(lián)全卷積神經(jīng)網(wǎng)絡(luò)完成胎兒圖像頭部及腹部分割，取得較好效果；但模型訓(xùn)練采用的訓(xùn)練數(shù)據(jù)僅由一位專家標(biāo)注，泛化能力有待評(píng)估。文獻(xiàn)[3]在全卷積結(jié)構(gòu)上，導(dǎo)入預(yù)訓(xùn)練的VGG16模型，構(gòu)成VGG16-FCN分割網(wǎng)絡(luò)，實(shí)現(xiàn)胎兒圖像頭部分割；但該方法主要針對(duì)孕齡為18~22周的胎兒頭圍測量，因該時(shí)期胎兒頭骨顯示較完整，其分割效果較好。文獻(xiàn)[4]融合U-Net++[5]網(wǎng)絡(luò)，充分利用上下文相關(guān)信息與局部定位信息，準(zhǔn)確分割胎兒頭部感興趣區(qū)域（region of interest, ROI）；但當(dāng)胎兒頭部圖像中類似胎兒頭部結(jié)構(gòu)的區(qū)域面積較大時(shí)，分割結(jié)果會(huì)將頭部區(qū)域以外誤歸類為胎兒頭部，測量精度較低。

針對(duì)胎兒頭部超聲圖像中存在的頭部邊緣模糊、部分頭骨缺失、類似頭部結(jié)構(gòu)等不良因素影響測量精度的問題，本文提出一種基于融合邊界框高置信度區(qū)域信息的胎兒頭圍測量算法。該算法采用頭部邊界框信息約束頭部ROI并去除ROI錯(cuò)誤的邊緣點(diǎn)，可有效降低上述不良因素對(duì)頭圍測量結(jié)果的干擾，提高測量精度。

1 測量算法

胎兒頭圍測量標(biāo)準(zhǔn)切面包含腦中線、透明隔腔（cavum septi pellucidi, CSP）、雙側(cè)對(duì)稱丘腦（thalamus, T）及丘腦之間的裂隙樣第三腦室（third ventricle, TV）等，如圖1所示。超聲醫(yī)生在測量胎兒頭圍時(shí)是以“胎兒頭部輪廓是橢圓的假設(shè)”為前提，即用橢圓功能鍵標(biāo)定標(biāo)準(zhǔn)切面的顱骨外緣，由橢圓參數(shù)計(jì)算胎兒頭圍。

圖1 胎兒頭圍測量標(biāo)準(zhǔn)切面及測量示例

本文提出的基于融合邊界框高置信度區(qū)域信息的超聲胎兒頭圍測量算法主要步驟為：

1）通過胎兒超聲圖像及對(duì)應(yīng)的標(biāo)注數(shù)據(jù)訓(xùn)練分割卷積神經(jīng)網(wǎng)絡(luò)，獲取胎兒頭部ROI；

2）通過胎兒超聲圖像以及對(duì)應(yīng)的標(biāo)注數(shù)據(jù)訓(xùn)練檢測神經(jīng)網(wǎng)絡(luò)，獲取胎兒頭部邊界框；

3）采用高置信度區(qū)域篩選算法獲得頭部ROI的高置信度邊緣點(diǎn)，去除低置信度邊緣點(diǎn)；

4）利用直接最小二乘算法對(duì)高置信度邊緣點(diǎn)進(jìn)行橢圓擬合，由橢圓參數(shù)計(jì)算胎兒頭圍大小。

1.1 頭部ROI的獲取

采用醫(yī)學(xué)圖像分割的經(jīng)典模型U-Net對(duì)頭部進(jìn)行ROI的分割提取。U-Net中帶有跳躍連接的編碼器和解碼器結(jié)構(gòu)，能夠在學(xué)習(xí)高層語義信息的同時(shí)避免因降采樣導(dǎo)致的信息損失。網(wǎng)絡(luò)結(jié)構(gòu)沒有采用全連接層，減少了參數(shù)量，適用于醫(yī)學(xué)圖像本身固有特性和小樣本性訓(xùn)練集的特點(diǎn)。本文對(duì)文獻(xiàn)[6]中的U-Net結(jié)構(gòu)進(jìn)行改進(jìn)：1）在卷積層與激活函數(shù)之間加入一層批標(biāo)準(zhǔn)化（batch normalization, BN）操作[7]，避免產(chǎn)生梯度消失問題；2）采用步長為2的卷積層代替池化層進(jìn)行下采樣操作，以減少池化帶來的信息損失。

1.2 頭部邊界框的獲取

采用目標(biāo)檢測算法中常用模型YOLOv3[8]檢測胎兒頭部邊界框。該模型將目標(biāo)檢測作為回歸問題求解，基于一個(gè)單獨(dú)的端到端網(wǎng)絡(luò)，一步完成從原始圖像的輸入到物體位置和類別的輸出。該網(wǎng)絡(luò)使用Darknet-53模型的前52層對(duì)輸入圖像進(jìn)行深度特征提??；YOLO層對(duì)提取的特征圖進(jìn)行邊界框信息和類別信息預(yù)測。該網(wǎng)絡(luò)有3個(gè)預(yù)測分支，訓(xùn)練時(shí)，3個(gè)分支的預(yù)測結(jié)果都用于損失函數(shù)（loss）計(jì)算；測試時(shí)，3個(gè)分支的預(yù)測結(jié)果經(jīng)非最大抑制算法處理篩選出最優(yōu)結(jié)果為最終檢測輸出。

1.3 高置信度區(qū)域篩選算法

為降低誤分類像素對(duì)測量結(jié)果的影響，本文使用YOLOv3檢測網(wǎng)絡(luò)得到的頭部邊界框?qū)︻^部ROI進(jìn)行優(yōu)化，約束頭部ROI并去除其錯(cuò)誤的邊緣點(diǎn)，提高測量精度。高置信度區(qū)域篩選算法流程圖如圖2所示。

圖2 高置信度算法流程圖

YOLOv3檢測網(wǎng)絡(luò)的學(xué)習(xí)目標(biāo)為圖像級(jí)標(biāo)注，而U-Net分割網(wǎng)絡(luò)需要學(xué)習(xí)像素級(jí)標(biāo)注，因此對(duì)頭部邊界框的預(yù)測易于頭部ROI像素級(jí)的預(yù)測，且頭部邊界框以外的頭部ROI前景區(qū)域多為超聲圖像對(duì)胎兒頭部ROI分割造成干擾的部分?；谝陨戏治?，本文將胎兒頭部邊界框以內(nèi)的ROI定義為胎兒頭部的高置信度區(qū)域，邊界框以外的區(qū)域定義為低置信度區(qū)域。

首先，將邊界框以外的分割前景像素點(diǎn)的像素值置零，使其轉(zhuǎn)為背景，只保留邊界框以內(nèi)的前景；去除邊界框以外因圖像中頭部邊緣模糊、消失以及類似頭部結(jié)構(gòu)等因素導(dǎo)致的誤分類邊緣點(diǎn)。

然后，對(duì)優(yōu)化后的分割結(jié)果進(jìn)行邊緣提取，以邊界框的中點(diǎn)為基點(diǎn)，將提取的邊緣圖像劃分為4個(gè)區(qū)域，對(duì)4個(gè)區(qū)域圖像分別進(jìn)行重復(fù)點(diǎn)去除處理，從而去除邊界框以內(nèi)誤分類的邊緣點(diǎn)。其步驟為：1）獲取區(qū)域中像素點(diǎn)大于0的點(diǎn)的坐標(biāo)為候選邊緣點(diǎn)集；2）分別比較軸和軸各自的坐標(biāo)，若相同，則表示存在重復(fù)點(diǎn)；3）若存在重復(fù)點(diǎn)，則表示這個(gè)區(qū)域內(nèi)部存在錯(cuò)誤邊緣點(diǎn)，需從候選邊緣點(diǎn)集中將其刪除?；谔侯^圍為光滑曲線考慮，構(gòu)成該曲線的連續(xù)點(diǎn)之間的距離應(yīng)盡可能小。因此，分別計(jì)算坐標(biāo)重復(fù)的兩個(gè)點(diǎn)到前一個(gè)點(diǎn)的歐氏距離，刪除距離較大的一個(gè)點(diǎn)。

最后，將4個(gè)區(qū)域的邊緣點(diǎn)合并，獲得高置信度的邊緣點(diǎn)集。采用直接最小二乘法對(duì)其進(jìn)行橢圓擬合，計(jì)算胎兒頭圍結(jié)果。

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)

本實(shí)驗(yàn)所使用的數(shù)據(jù)均來自生物醫(yī)學(xué)圖像分析平臺(tái)Grand Challenges[9]上公開的HC18超聲胎兒頭圍自動(dòng)測量數(shù)據(jù)集。數(shù)據(jù)集中涉及的所有胎兒發(fā)育正常，每幅胎兒頭部超聲圖像均是測量胎兒頭圍的標(biāo)準(zhǔn)平面。圖像采集自2014年5月到2015年5月接受超聲檢查的551名孕婦，共1334幅含妊娠早期、妊娠中期和妊娠晚期3個(gè)時(shí)期的胎兒頭部二維超聲圖像，其中有標(biāo)注訓(xùn)練數(shù)據(jù)999幅，無標(biāo)注測試數(shù)據(jù)335幅，以及記錄訓(xùn)練集及測試集對(duì)應(yīng)的每一幅圖像像素尺寸文件，用于計(jì)算胎兒頭圍。

有標(biāo)注的999幅超聲圖像作為訓(xùn)練集，無標(biāo)注的335幅超聲圖像為測試集。實(shí)驗(yàn)數(shù)據(jù)的原始標(biāo)注為頭部輪廓擬合橢圓曲線。本文算法需訓(xùn)練U-Net分割網(wǎng)絡(luò)和YOLOv3檢測網(wǎng)絡(luò)。訓(xùn)練U-Net分割網(wǎng)絡(luò)需頭部ROI作為標(biāo)注，因此要將頭部標(biāo)注輪廓線進(jìn)行內(nèi)部區(qū)域填充。訓(xùn)練YOLOv3檢測網(wǎng)絡(luò)需頭部邊界框的位置、寬高和類別信息作為標(biāo)注，因此對(duì)分割標(biāo)注數(shù)據(jù)進(jìn)行外接矩形檢測獲得頭部邊界框信息。因妊娠周期與胎兒頭圍大小成正比關(guān)系，周期越長，頭圍越大，所以按胎兒頭圍大小將訓(xùn)練數(shù)據(jù)分為妊娠早期、妊娠中期和妊娠晚期3期。數(shù)據(jù)集數(shù)據(jù)原始尺寸大小為800×540，在數(shù)據(jù)預(yù)處理過程中將尺寸大小調(diào)整至416×416，并作歸一化處理。尺寸調(diào)整方法為將圖像短邊使用0像素點(diǎn)填充為與圖像長邊保持一致，再將圖像尺寸調(diào)整為416×416。這樣可以保持像素在原圖像的位置，不會(huì)隨著圖像的尺寸變化而改變。

2.2 評(píng)價(jià)指標(biāo)

本文用于定量分析的3個(gè)評(píng)價(jià)指標(biāo)分別為系數(shù)、豪斯多夫距離和頭圍絕對(duì)差值，其數(shù)學(xué)定義為

式中，GT為胎兒頭部標(biāo)注；predict為預(yù)測結(jié)果；GT為真實(shí)頭圍大??；predict為預(yù)測頭圍大小。

系數(shù)評(píng)價(jià)模型分割效果，其越大表明模型分割效果越好。度量預(yù)測值與真值之間的最大不匹配程度，其越小效果越好。反映預(yù)測頭圍與真實(shí)頭圍之間的差距，其越小預(yù)測效果越好。

2.3 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)使用Adam優(yōu)化器，U-Net分割網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為1e-4，訓(xùn)練150輪；YOLOv3檢測網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為1e-3，訓(xùn)練200輪。訓(xùn)練的批量大小為4。本實(shí)驗(yàn)基于Pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)，實(shí)驗(yàn)平臺(tái)為Ubuntu系統(tǒng)和NVIDIA GeForce 1080 Ti顯卡。

測試集頭圍預(yù)測結(jié)果如表1所示。測試集預(yù)測結(jié)果如圖3所示。

表1 測試集頭圍預(yù)測結(jié)果

表1中，U-Net為文獻(xiàn)[6]中的模型；改進(jìn)U-Net為本文1.1節(jié)改進(jìn)后的U-Net模型；改進(jìn)U-Net前表示未經(jīng)高置信度區(qū)域篩選算法處理直接進(jìn)行橢圓擬合的測量結(jié)果；改進(jìn)U-Net后表示對(duì)高置信度區(qū)域算法獲得的高置信度邊緣點(diǎn)進(jìn)行橢圓擬合的測量結(jié)果。

由表1可知：改進(jìn)后的U-Net模型較文獻(xiàn)[6]中的模型測量精度有所提高，且2種模型的測試結(jié)果經(jīng)高置信度區(qū)域篩選算法處理后均能提高測量精度。

圖3 測試集預(yù)測結(jié)果

圖3中，第一列為測試集圖像；第二列為未使用高置信度區(qū)域篩選算法的分割結(jié)果；第三列為使用高置信度區(qū)域篩選算法優(yōu)化后的分割結(jié)果。

由圖3的預(yù)測結(jié)果可以看出：即使圖像中存在邊界模糊、邊界消失、類似胎兒頭圍的母體結(jié)構(gòu)，提出的高置信度區(qū)域篩選算法能顯著降低誤分類像素點(diǎn)對(duì)測量結(jié)果的影響，提高測量準(zhǔn)確性。

3 結(jié)論

本文針對(duì)超聲胎兒頭部圖像中存在的干擾問題，提出一種基于融合邊界框高置信度區(qū)域信息的超聲胎兒頭圍測量算法。實(shí)驗(yàn)結(jié)果表明：該算法可有效克服胎兒頭部圖像中頭部邊緣模糊、缺失以及疑似頭部區(qū)域等因素對(duì)頭圍測量結(jié)果干擾，適用于超聲胎兒頭圍自動(dòng)測量。目前，超聲圖像廣泛用于胎兒發(fā)育監(jiān)測，快速、準(zhǔn)確的胎兒頭圍測量方法能大幅減輕醫(yī)生的負(fù)擔(dān)。因此，該算法具有較高的研究價(jià)值和應(yīng)用價(jià)值。

[1] KIM H P, LEE S M, KWON J Y, et al. Automatic evaluation of fetal head biometry from ultrasound images using machine learning[J]. arxiv.org/abs/1808.06150, Physiological Measure-ment, 2018,40(6).

[2] WU L, XIN Y, LI S, et al. Cascaded fully convolutional networks for automatic prenatal ultrasound image segmenta-tion[C]. IEEE International Symposium on Biomedical Imaging. IEEE, 2017.

[3] SINCLAIR M , BAUMGARTNER C F , MATTHEW J , et al. Human-level performance on automatic head biometrics in fetal ultrasound using fully convolutional neural networks [EB/OL]. (2018-4-24) [2019-5-4]. arxiv.org/ftp/arxiv/papers/1804/1804. 09102.

[4] 邢妍妍,楊豐,唐宇姣,等.融合型UNet++網(wǎng)絡(luò)的超聲胎兒頭部邊緣檢測[J].中國圖象圖形學(xué)報(bào),2020,25(2):366-377.

[5] Zhou Zongwei, Md Mahfuzur Rahman Siddiquee, Nima Tajbakhsh, et al. UNet++: a nested U-Net architecture for medical image segmentation[J]. arXiv:1807.10165 [cs.CV].

[6] RONNEBERGER O, FISCHER P, BROX T. U-Net: convolutional networks for biomedical image segmentation[C]. In International Conference on Medical image computing and computer-assisted intervention, 2015, 234-241.

[7] Sergey Ioffe, Christian Szegedy. Batch normalization: accelerating deep network training by reducing internal covariate shift[J]. arXiv:1502.03167 [cs.LG].

[8] Joseph Redmon, Ali Farhadi. YOLOv3: an incremental improvement[J]. [2019-09-04]. arxiv.org/abs/1804. 02767.

[9] Grand Challenge: HC18. https://hc18.grand-challenge.org.

Ultrasound Fetal Head Circumference Measurement Algorithm Based on Fusion of High Confidence Region Information of Bounding Box

Wang Jinting Yang Feng Chen Qi

(School of Biomedical Engineering Southern Medical University, Guangzhou 510515, China)

In order to effectively overcome the interference in the fetal head image and achieve accurate measurement of the fetal head circumference, this paper proposes an ultrasonic fetal head circumference measurement algorithm that fuse the high confidence region information of the bounding box. First, extract the region of interest (ROI) of the fetal head through the U-Net segmentation network; secondly, use the YOLOv3 detection network to obtain the head bounding box, and combine the high confidence region information of the bounding box to filter the high confidence edge points of the head region of interest; Finally, the direct least square method is used to ellipse fit the high-confidence edge points to calculate the fetal head circumference. Experimental results show that the algorithm can effectively overcome the interference of image quality and improve the measurement accuracy of ultrasound fetal head circumference.

fetal head circumference measurement; ultrasound image; high confidence region screening algorithm; U-Net; YOLOv3

TP391

A

1674-2605(2021)01-0002-05

10.3969/j.issn.1674-2605.2021.01.002

國家自然科學(xué)基金項(xiàng)目（61771233）

汪金婷，女，1997年生，本科，主要研究方向：機(jī)器學(xué)習(xí)與圖像處理。E-mail: 894269281@qq.com

楊豐（通信作者），男，1965年生，教授，主要研究方向：模式識(shí)別、機(jī)器學(xué)習(xí)、醫(yī)學(xué)圖像處理、生物醫(yī)學(xué)信號(hào)處理等。E-mail: yangf@smu.edu.cn

陳琪，女，1998年生，本科，主要研究方向：機(jī)器學(xué)習(xí)與圖像處理。