蘇 葉,李 婧,徐寅林

(南京師范大學(xué)計(jì)算機(jī)與電子信息學(xué)院,江蘇 南京 210023)

骨齡(bone age)是骨骼年齡的簡(jiǎn)稱,能夠反映被測(cè)試者的生長(zhǎng)發(fā)育水平和成熟程度. 骨齡不僅可用以判斷個(gè)體的生物學(xué)年齡,還可用以預(yù)測(cè)兒童成年后的身高. 骨齡預(yù)測(cè)在臨床中常常被用于兒童內(nèi)分泌和生長(zhǎng)發(fā)育等相關(guān)疾病的診斷,在青少年體育賽事中常被用以確定運(yùn)動(dòng)員的實(shí)際年齡,以判定參賽資格. 骨齡作為預(yù)測(cè)生物學(xué)年齡最權(quán)威的評(píng)價(jià)指標(biāo),被廣泛應(yīng)用于臨床醫(yī)學(xué)[1]、體育競(jìng)技[2]和司法判案[3]等領(lǐng)域,因此,骨齡的準(zhǔn)確檢測(cè)非常重要. 在傳統(tǒng)臨床領(lǐng)域,醫(yī)生通過(guò)觀察非慣用手(一般為左手)手腕部位的X光圖像得出個(gè)體的骨齡,其中觀察區(qū)域包括左手掌指骨、腕骨及橈尺骨下端的骨化中心的發(fā)育程度,手骨X光圖像及骨關(guān)節(jié)感興趣區(qū)(region of interest,ROI)如圖1所示.

圖1 手骨X光圖像及骨關(guān)節(jié)ROIFig.1 X-ray image and ROI of hand bone

傳統(tǒng)的骨齡識(shí)別方法中,常用的有GP圖譜法[4]、TW2計(jì)分法[5]、TW3計(jì)分法[6]等. 這些方法都有不同的量化指標(biāo)和鑒定方法,雖然都可實(shí)現(xiàn)骨齡預(yù)測(cè),但均存在識(shí)別所需時(shí)間較長(zhǎng)、受醫(yī)生主觀因素影響較大和隨機(jī)性較大的問(wèn)題. 如何解決這些問(wèn)題,使得骨齡預(yù)測(cè)自動(dòng)化,提高骨齡預(yù)測(cè)的準(zhǔn)確率,已成為國(guó)內(nèi)外研究人員一直以來(lái)的研究目標(biāo). 自20世紀(jì)80年代開(kāi)始,研究人員開(kāi)始在骨齡預(yù)測(cè)研究中嘗試使用計(jì)算機(jī)視覺(jué)等相關(guān)技術(shù),這些方法可有效地解決所需時(shí)間長(zhǎng)、隨機(jī)性大、可重復(fù)差等問(wèn)題,從而實(shí)現(xiàn)自動(dòng)化的骨齡輔助預(yù)測(cè)[7-13]. 但這些算法只是在作者自己采集的質(zhì)量較高的圖片集上進(jìn)行驗(yàn)證,具有較大的局限性,或是實(shí)驗(yàn)結(jié)果不夠理想. 近年來(lái),也有研究人員在公開(kāi)的數(shù)據(jù)集基礎(chǔ)上進(jìn)行了骨齡預(yù)測(cè)的算法研究[14-15],這些方法雖相較于前者更具通用性,且正確率也有了一定的提高,但在其評(píng)價(jià)正確率指標(biāo)時(shí),剔除了數(shù)據(jù)集中質(zhì)量差的圖像,因此并未從根本上解決較差質(zhì)量圖像的處理問(wèn)題.

由于骨齡的公開(kāi)數(shù)據(jù)集較少,本文研究對(duì)象與文獻(xiàn)[14-15]相同,即2017年兒科骨齡挑戰(zhàn)賽RSNA的公開(kāi)數(shù)據(jù)集. 該數(shù)據(jù)集包含 12 611 個(gè)訓(xùn)練圖像,其中既有大量?jī)?yōu)質(zhì)圖片,也包含了許多劣質(zhì)的圖片. 常規(guī)圖像的預(yù)處理結(jié)果如圖2所示. 如圖2(a)所示,這是由于放射圖像在比例、方向、曝光等方面各不相同,通常還存在標(biāo)尺、偽影、噪聲等問(wèn)題,因而該數(shù)據(jù)集是考驗(yàn)算法魯棒性的極佳對(duì)象. 數(shù)據(jù)集存在的這些問(wèn)題,對(duì)骨齡預(yù)測(cè)結(jié)果的正確性影響較大,雖然通過(guò)常規(guī)的圖像預(yù)處理可使圖片質(zhì)量得到部分改善,但反映骨齡變化的骨骼特征既有細(xì)微的邊沿形態(tài)特征,也有因鈣化層次不同的明暗特征,常規(guī)的圖像處理方法往往無(wú)法兼顧這些細(xì)節(jié)和區(qū)域的特性,因而不能達(dá)到理想的預(yù)處理效果. 如圖2(b)所示使用中值濾波法處理圖片,雖然去除了圖像上的標(biāo)記,但手骨區(qū)域卻變得模糊. 如圖2(c)所示使用圖像增強(qiáng)算法,雖然手骨區(qū)域?qū)Ρ榷仍鰪?qiáng),但標(biāo)尺邊框部分也一并增強(qiáng). 本文通過(guò)U-Net模型將手骨圖像經(jīng)分割去除背景、掩模圖像二值化、局部灰度直方圖均衡等一系列預(yù)處理,使得圖像在相同的神經(jīng)網(wǎng)絡(luò)骨齡預(yù)測(cè)模型中預(yù)測(cè)結(jié)果得到改善.

圖2 常規(guī)的圖像預(yù)處理結(jié)果Fig.2 Results of regular image

1 圖像預(yù)處理

本文使用的預(yù)處理系統(tǒng)如圖3所示,包括使用U-Net去除圖像背景等無(wú)用信息、進(jìn)行掩模圖像二值化處理以及圖像局部灰度直方均衡化等步驟. 圖像分割處理時(shí),首先將數(shù)據(jù)集圖像統(tǒng)一大小,接著使用分批-迭代的方式通過(guò)U-Net網(wǎng)絡(luò)得到所有圖像的掩模,最后將掩模與原圖融合得到所有分割后的圖像. 圖像增強(qiáng)時(shí),進(jìn)一步將去除背景后的圖像進(jìn)行局部灰度直方圖均衡處理,最終使得所有圖像大小統(tǒng)一、去除背景、明暗分布相同.

圖3 圖像預(yù)處理流程圖Fig.3 Flowchart of image preprocessing

1.1 基于U-Net網(wǎng)絡(luò)的完整手骨分割

原始數(shù)據(jù)集圖像背景中包含標(biāo)尺、偽影、噪聲等信息,為了消除這些多余信息的干擾,突出與骨齡有關(guān)的主體部分,本文使用U-Net分割圖像去除背景.

1.1.1 圖像對(duì)應(yīng)掩模(Mask)的獲取

圖像對(duì)應(yīng)掩模的獲取主要由以下3個(gè)步驟組成:

(1)由于U-Net網(wǎng)絡(luò)模型要求輸入的圖片大小統(tǒng)一,故第一步是將數(shù)據(jù)集中大小不一的圖片都統(tǒng)一為512×512.

(2)取數(shù)據(jù)集中100張手骨X光圖像,使用Labelme工具手動(dòng)標(biāo)注手部掩模,確保有足夠的標(biāo)簽?zāi)軌蛴?xùn)練得到較好的U-Net模型,以便進(jìn)一步把手骨部分從圖像中分割出來(lái).

(3)使用(2)中手動(dòng)標(biāo)注完含有標(biāo)簽的圖像作為U-Net網(wǎng)絡(luò)的訓(xùn)練集,開(kāi)展U-Net網(wǎng)絡(luò)的第一次訓(xùn)練,并使用訓(xùn)練出來(lái)的模型分割第一個(gè)測(cè)試集. 由于手動(dòng)標(biāo)注的掩模訓(xùn)練集數(shù)量較少,且訓(xùn)練集中沒(méi)有均衡的包含標(biāo)尺、偽影、噪聲、曝光等情況的樣本,無(wú)法訓(xùn)練出優(yōu)異的模型,所以在測(cè)試時(shí)其分割效果參差不齊.

由于數(shù)據(jù)集容量較大,為了能夠得到完美的分割結(jié)果,本文采用分批-迭代的訓(xùn)練方式,流程圖如圖4所示. 將數(shù)據(jù)集以200張為單位進(jìn)行分組,第一次訓(xùn)練后使用分割結(jié)果精準(zhǔn)的圖像直接作為訓(xùn)練集的擴(kuò)充,其余的圖片考慮到由于是第一批手動(dòng)標(biāo)注的圖片中所含此類特征樣本較少而導(dǎo)致無(wú)法準(zhǔn)確分割,所以進(jìn)一步將這些圖片進(jìn)行手動(dòng)標(biāo)注再作為訓(xùn)練集的擴(kuò)充進(jìn)行第二次訓(xùn)練,第二次訓(xùn)練后只有少數(shù)圖像沒(méi)有得到完美的手部掩模. 考慮到訓(xùn)練樣本過(guò)多可能會(huì)導(dǎo)致過(guò)擬合現(xiàn)象,在第三次訓(xùn)練后,只將效果不好的圖片手動(dòng)標(biāo)注后擴(kuò)充訓(xùn)練集. 經(jīng)過(guò)5次迭代訓(xùn)練,最終得到訓(xùn)練集樣本631張,訓(xùn)練得到最佳模型的損失函數(shù)loss值穩(wěn)定在99.89,并成功預(yù)測(cè)了剩余的圖片.

圖4 分批-迭代的U-Net訓(xùn)練Fig.4 Batch-iterative U-Net training

1.1.2 圖像與對(duì)應(yīng)掩模(Mask)的融合

得到圖像的所有掩模后,應(yīng)當(dāng)使掩模與原圖融合從而將手骨區(qū)域分割出來(lái). 將圖像與上述步驟得到的掩模像素值融合,得到圖5所示結(jié)果. 有些圖像手骨區(qū)域分割效果較好,但背景部分仍有部分陰影沒(méi)有完全屏蔽. 分析原因發(fā)現(xiàn)U-Net網(wǎng)絡(luò)輸出的掩模并非是真正二值化圖像,因此需要對(duì)掩模做二值化處理. 二值化后的掩模與原圖融合后得到完美的分割效果,所有圖片都能完整地將手骨區(qū)域分割出來(lái).

圖5 掩模二值化前后對(duì)比Fig.5 Comparison before and after mask binarization

1.2 手骨X光圖像局部直方圖均衡化

盡管通過(guò)U-Net分割等處理能夠完全濾除圖像的背景噪聲,但由于拍攝X光片時(shí)醫(yī)療條件、環(huán)境和設(shè)備等差異,導(dǎo)致拍攝的X光圖像存在過(guò)曝光或欠曝光的情況,這直接使得圖像存在明顯的明暗差異. 圖6所示為兩張明暗差異較大的圖像及其對(duì)應(yīng)的灰度直方圖. 實(shí)驗(yàn)計(jì)算表明,明暗差異較大的圖像會(huì)對(duì)模型的訓(xùn)練及預(yù)測(cè)產(chǎn)生影響,所以需進(jìn)一步對(duì)去除背景后的手部圖像進(jìn)行局部直方圖均衡化的工作.

圖6 明暗差異較大的圖像手部亮度及其灰度直方圖差異Fig.6 The differences of brightness and grayscale histogram in the part of hand in pictures

直方圖均衡化是通過(guò)圖像直方圖來(lái)增加圖像的全局對(duì)比度,使有用數(shù)據(jù)可以在直方圖上更好地分布,從而在圖像中凸顯出有用像素,使對(duì)比度更加明顯. 直方圖均衡化對(duì)于明暗差異不明顯等對(duì)比度不高的圖像很有效果,尤其是可以使X光圖像中骨骼結(jié)構(gòu)更加明顯.

在直方圖均衡化時(shí),通常對(duì)直方圖先進(jìn)行歸一化. 設(shè)灰度圖像的維數(shù)是M×N,像素總數(shù)為MN,則歸一化直方圖表示為:

p(rk)=nk/MN,k=0,1,…,L-1,

(1)

式中,p(rk)為灰度級(jí)rk在圖像中出現(xiàn)的概率,且所有分量之和為1;假設(shè)r為待處理圖像的灰度,取值范圍為[0,L-1],則r=0表示黑色,r=L-1表示白色. 直方圖均衡化的過(guò)程對(duì)應(yīng)于一個(gè)變換T:

s=T(r), 0≤r≤L-1,

(2)

則原灰度級(jí)為rk的像素點(diǎn)在均衡化后的灰度級(jí)Sk為:

(3)

式中,MN為圖像像素總數(shù);nk表示灰度為rk的像素個(gè)數(shù);L是圖像可能的灰度級(jí)數(shù)量.

對(duì)手部使用部分直方圖均衡化操作前后的手骨X光圖像及其灰度直方圖如圖7所示. 可以看出,圖像前景的對(duì)比度被明顯增強(qiáng),所需要的手骨感興趣區(qū)域中的有用信息能夠更直觀更清晰地展示.

圖7 局部直方圖均衡化前后對(duì)比(手部)Fig.7 Histogram equalization comparison(the part of hand)

2 基于深度學(xué)習(xí)的骨齡預(yù)測(cè)

為了考察上述X光片預(yù)處理結(jié)果對(duì)骨齡輔助預(yù)測(cè)的影響,本文采用端到端的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè),本文的結(jié)構(gòu)模型如圖8所示.

圖8 網(wǎng)絡(luò)結(jié)構(gòu)模型Fig.8 Network structure model

考慮到骨骼的成熟程度因性別而異(男女骨骼發(fā)育程度差異最長(zhǎng)可達(dá)2年),若忽略這種根本差異將損害網(wǎng)絡(luò)的性能,故本文中的結(jié)構(gòu)模型將性別信息與圖像信息進(jìn)行了級(jí)聯(lián).

該模型將圖像與性別作為兩路單獨(dú)的輸入. 圖像信息通過(guò)Inception V3提取特征,性別的輸入為二進(jìn)制性別信息(女性為0,男性為1). 圖像輸入特征提取后,取最后一個(gè)連接層的層鋪平,然后與通過(guò)32層全連接層的性別信息進(jìn)行級(jí)聯(lián),接入連接層. 隨后通過(guò)“relu”激活層將級(jí)聯(lián)后的連接層通過(guò)兩個(gè)1 000層密集連接的全連接層,將前面提取的特征聯(lián)合起來(lái).

該設(shè)計(jì)思路考慮到每個(gè)輸入(像素和性別)的相對(duì)貢獻(xiàn). 在該模型的串聯(lián)層,像素貢獻(xiàn)了100 384個(gè)輸入,而性別貢獻(xiàn)了32個(gè). 選擇此比率,既不會(huì)使性別輸入對(duì)網(wǎng)絡(luò)產(chǎn)生過(guò)分偏見(jiàn),又可以賦予其影響整體預(yù)測(cè)的能力. 額外的密集層為網(wǎng)絡(luò)提供了更多可學(xué)習(xí)的參數(shù),可在訓(xùn)練期間進(jìn)行調(diào)整,以使其推斷出像素與性別信息之間的關(guān)系.

3 實(shí)驗(yàn)與分析

3.1 預(yù)測(cè)模型訓(xùn)練

本文圖像預(yù)處理基于PyCharm 2020.1.3實(shí)現(xiàn),Linux操作系統(tǒng)上搭建神經(jīng)網(wǎng)絡(luò)模型,具體的實(shí)驗(yàn)環(huán)境如表1所示.

表1 具體實(shí)驗(yàn)環(huán)境Table 1 Specific experimental environment

本文從RSNA數(shù)據(jù)集中所得的12 611個(gè)訓(xùn)練圖像中選出200張包含各年齡段、性別分布均勻的圖片作為測(cè)試集. 訓(xùn)練數(shù)據(jù)包含5 778名女性和6 833名男性的放射圖像,年齡從1個(gè)月到228個(gè)月不等,受試者多為5-15歲的兒童.

3.2 預(yù)處理結(jié)果對(duì)照分析

將實(shí)驗(yàn)數(shù)據(jù)按85∶15的比例分為訓(xùn)練集和驗(yàn)證集,得到10 720個(gè)訓(xùn)練圖像和1 892個(gè)驗(yàn)證圖像. 將網(wǎng)絡(luò)模型分別在原圖數(shù)據(jù)集(ID-RD+)、原圖與掩模融合的數(shù)據(jù)集(ID-MF)及掩模融合去除背景后進(jìn)行手部灰度直方均衡處理的數(shù)據(jù)集(ID-MF-HE)中訓(xùn)練500個(gè) Epoch. 將本文訓(xùn)練的模型結(jié)果與文獻(xiàn)[14-15]進(jìn)行對(duì)比(其中,文獻(xiàn)[14]邊增亞方法以BZY表示,文獻(xiàn)[15]林玨偉方法以LJW表示),實(shí)驗(yàn)結(jié)果如表2所示,實(shí)驗(yàn)結(jié)果以平均絕對(duì)誤差(MAE)作為評(píng)價(jià)指標(biāo),其公式為:

表2 對(duì)比實(shí)驗(yàn)結(jié)果Table 2 Comparative experiment results

(4)

由實(shí)驗(yàn)對(duì)比結(jié)果可知,使用U-Net去除背景后,預(yù)測(cè)誤差下降較多,說(shuō)明深度學(xué)習(xí)方法受原始圖片背景中無(wú)關(guān)信息影響較大;經(jīng)手部直方圖均衡處理后,誤差進(jìn)一步下降,但下降幅度較小,可知圖像明暗程度對(duì)深度學(xué)習(xí)方法影響較小. 可知,有效的精細(xì)預(yù)處理對(duì)骨齡預(yù)測(cè)結(jié)果的精確度有一定的好處. 本文進(jìn)一步在原圖模型及使用了預(yù)處理的模型中用100張圖片進(jìn)行自動(dòng)化的預(yù)測(cè),預(yù)測(cè)時(shí)間對(duì)比如表3所示,可知預(yù)處理未過(guò)多增加預(yù)測(cè)時(shí)間.

表3 預(yù)測(cè)時(shí)間對(duì)比實(shí)驗(yàn)結(jié)果Table 3 Comparative experiment results of prediction time

4 結(jié)論

本文針對(duì)RSNA提供的用于骨齡預(yù)測(cè)的手骨X光片數(shù)據(jù)集存在的標(biāo)尺、偽影、噪聲等問(wèn)題,提出一種基于精細(xì)的預(yù)處理和深度學(xué)習(xí)下的X光片骨齡輔助預(yù)測(cè)模型,使用了包括U-Net分割模型、圖像二值化、灰度直方均衡等方法對(duì)X光片進(jìn)行預(yù)處理,并使用基于DenseNet和InceptionV3的端到端網(wǎng)絡(luò)對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練和測(cè)試. 實(shí)驗(yàn)結(jié)果表明,本文提出的預(yù)處理能夠有效提升骨齡預(yù)測(cè)結(jié)果的準(zhǔn)確性.