潘亞玲 王 昊 王晗琦 俞勤吉 牛鏡淇 陸 勇
深度學習是目前機器學習領域的研究熱點,其中深度卷積神經(jīng)網(wǎng)絡是近年來發(fā)展最為迅速的計算機視覺技術,被廣泛應用于醫(yī)學圖像分析。病灶分割問題要求對醫(yī)學圖像中的特定異常區(qū)域進行像素級分類,最終得到病灶區(qū)域掩膜。深度卷積神經(jīng)網(wǎng)絡在超聲、核磁共振等醫(yī)學圖像中,對處理病灶分割問題展現(xiàn)出很好的能力[1]。據(jù)WHO 統(tǒng)計,截至2020 年3月23 日04:03,全球新型冠狀病毒肺炎(coronavirus disease 2019,COVID-19)累計確診病例294110 例,累計死亡病例12944 例,已有187 個國家或地區(qū)出現(xiàn)確診病例。COVID-19 的確診依賴于核酸檢測和血清學檢測,但文獻報道核酸檢測存在一定的假陰性率且肺部影像表現(xiàn)可能早于檢測陽性報告[2]。CT 檢查密度分辨率和空間分辨率高,有利于檢出早期肺部炎性病灶,準確評估病情嚴重程度,是COVID-19 首選的影像檢查方法[3]。為及早發(fā)現(xiàn)COVID-19 可疑病例和發(fā)掘COVID-19 區(qū)別于其他肺炎的影像特征,通過深度學習分割肺炎病灶,探究基于深度學習的肺炎病灶分割模型用于COVID-19CT 影像定量分析的可行性,為COVID-19 鑒別診斷提供幫助。
建立肺炎病灶分割模型的數(shù)據(jù)集由院內(nèi)采集的86 例不同程度典型肺炎表現(xiàn)的病例組成,導出CT 掃描的Dicom 圖像文件,通過ITK-Snap 工具對肺內(nèi)炎性滲出的實性和磨玻璃病灶進行像素級分割標注。標注分為兩輪進行,在窗寬1500HU、窗位-400HU的肺窗下進行觀察和標注,第一輪由一名放射科醫(yī)師初步勾畫病灶區(qū)域,第二輪由另一名放射科醫(yī)師獨立審核修改病灶區(qū)域細節(jié)。其中訓練集73 例,測試集13 例。
建立肺炎分類模型的數(shù)據(jù)集由院內(nèi)采集的胸部CT 圖像構(gòu)成。依據(jù)病例中無可疑滲出及實變、存在微小磨玻璃影或條索影及存在大面積實變和磨玻璃影等典型肺炎表現(xiàn)分為三類,由一名放射科醫(yī)師進行評估。根據(jù)比例均衡原則,構(gòu)建訓練集217 例,測試集56 例,見表1。
驗證肺炎病灶分割模型和定量分析的CT 影像從2020 年1 月20 日至2020 年2 月1 日在發(fā)熱門診就診并取得上海疾控中心RT-PCR 檢測結(jié)果的28 例COVID-19 疑似病例中獲得。按照核酸檢測結(jié)果,7 例為COVID-19 陽性,21 例為COVID-19 陰性。CT 影像數(shù)據(jù)以Dicom 格式導出,肺炎病灶分割模型預測后,由一名放射科醫(yī)師對分割結(jié)果進行確認,然后用于圖像特征定量分析。
CT 數(shù)據(jù)由16 排(Lightspeed Pro16,Lightspeed VCT; GE Medical Systems,Milwaukee, IL) 或40 排((uCT 528,Shanghai United Imaging Healthcare Co.,Ltd. China) CT掃描儀采集。掃描參數(shù):管電壓120kVp, 自動調(diào)節(jié)管電流100 ~350mAs,轉(zhuǎn) 速0.75s/r,準直40mm×0.55mm,采用層厚1 ~1.5mm 的肺窗重建。
我們提出的肺炎病灶分割和肺炎分類模型包含兩個步驟,見圖1。肺炎病灶分割模型在CT 圖像中得到磨玻璃和實變等肺炎病灶的精確輪廓,分割結(jié)果后續(xù)用于對病灶的精確、定量分析。肺炎分類模型根據(jù)肺炎病灶分割模型的輸出結(jié)果,整合CT 圖像中所有分割病灶結(jié)果,得到一個概率值來評測受檢者為肺炎的可能性,此結(jié)果有助于優(yōu)化閱片工作流。
我們使用目前在各類醫(yī)學圖像分割任務中均表現(xiàn)突出的深度學習模型nn-Unet 框架進行肺炎病灶分割[4]。該框架對圖像分割中的各個環(huán)節(jié),包括圖像預處理、網(wǎng)絡架構(gòu)、學習過程和損失函數(shù)等都進行了自動化的優(yōu)化和參數(shù)估計,從而針對不同的分割任務和數(shù)據(jù)集均能達到較優(yōu)的效果。鑒于在病灶分割基礎上進行肺炎分類信息充分,故采用隨機森林方法構(gòu)建肺炎分類模型。根據(jù)nn-Unet 輸出的肺炎病灶分割結(jié)果,進一步計算磨玻璃病灶體積占肺部的比例、實變病灶占肺部的比例和磨玻璃病灶亮度的統(tǒng)計值,以上述三個特征訓練隨機森林模型,得到CT 影像的肺炎分類預測值。肺炎病灶分割模型和肺炎分類模型參數(shù)分別見表2 和表3。
表1 肺炎分類模型的數(shù)據(jù)集劃分
表2 肺炎病灶分割模型參數(shù)
使用上述肺炎病灶分割模型, 在28 例COVID-19 疑似患者的CT 影像上進行病灶分割。由1 名放射科醫(yī)師審核和修正分割結(jié)果,計算肺炎病灶分割模型在COVID-19 疑似患者CT 影像上分割病灶的Dice 系數(shù)、精準度及召回率。使用一個已報道的基于漸進分割網(wǎng)絡的肺葉分割模型將肺炎病灶進行肺葉定位[5]。統(tǒng)計每例COVID-19 疑似患者的病灶平均密度和密度標準差及各個肺葉的受累體積占比。采用獨立樣本T 檢驗進行COVID-19 陽性病例與陰性病例組間比較。
肺炎病灶分割模型采用Dice 分數(shù)、病灶像素精準度(Precision)及召回率(Recall)作為評價指標。使用ISBI 中報道的Focal-Tversky Unet 模型[7]作為對比模型。通過對比發(fā)現(xiàn),本研究提出的肺炎病灶分割模型的Dice 系數(shù)和精準度較Focal-Tversky Unet模型更高,見表4。
肺炎分類模型采用靈敏度和特異度作為評價指標,并針對典型肺炎病例的檢出能力繪制ROC 曲線,見圖 2。肺炎分類模型檢出肺炎的ROC 曲線下面積為0.990,在切點處靈敏度和特異度分別為95.0%、97.2%。
表3 肺炎分類模型的參數(shù)
表4 肺炎病灶分割模型的分割效能
表5 新型冠狀病毒肺炎陽性與陰性病例影像學特征比較
圖1 肺炎病灶分割與分類的整體流程。
圖2 肺炎分類的ROC 曲線。
采用肺炎病灶分割模型對28 例COVID-19 疑似患者的CT 影像進行病灶分割,一名放射科醫(yī)師對病灶分割結(jié)果進行審核和修正,見圖3。與修正結(jié)果比較,肺炎病灶分割模型的Dice 系數(shù)為41.9%,精準度67.7%,召回率40.1%。病灶分割結(jié)果修正后,使用肺葉分割模型將肺葉分割結(jié)果與病灶分割結(jié)果對應,定量、對比分析COVID-19 陽性病例與陰性病例的影像學特征差異,見表5。相較于陰性病例,COVID-19陽性病例中病灶密度均值更高(P=0.04),且受累肺葉數(shù)量更多(P=0.01)。
本研究采用目前醫(yī)學圖像分割領域先進的nn-Unet 框架建立肺炎病灶分割模型,在病灶分割基礎上輸入手動設計的特征,采用隨機森林方法建立肺炎分類模型,研究結(jié)果顯示上述方法能夠較好的發(fā)現(xiàn)肺炎病例。由于磨玻璃滲出病灶的邊界在CT 影像中比較模糊,且其在肺炎病灶中占比較大。因此,對該類肺炎病灶分割標注、評估、度量較為困難。從CT 影像中可知,盡管肺炎病灶分割模型的度量指標不高(Dice 系數(shù)為0.545),但在分割視覺效果上尚可接受,并且足以支撐肺炎分類結(jié)果。
圖3 肺葉和肺炎病灶分割和修正結(jié)果。A.原始CT 圖像 B.肺葉分割結(jié)果 C.病灶分割結(jié)果 D.經(jīng)審核和修正的病灶分割結(jié)果。
通過普通肺炎病例訓練的肺炎病灶分割模型,經(jīng)COVID-19 患者CT 影像驗證發(fā)現(xiàn),盡管CT 數(shù)據(jù)來源于不同的肺炎患者,但基于深度學習的肺炎病灶分割模型仍然能保持一定水平的準確度,這說明該模型對不同肺炎類型的病灶分割具有一定的魯棒性。通過基于病灶分割和肺葉分割的結(jié)果定量分析,我們發(fā)現(xiàn)新COVID-19 的潛在影像學特征。與陰性病例相比,COVID-19 陽性病例的病灶平均密度更高,更容易累及多個肺葉,與其他已報道的影像學特征發(fā)現(xiàn)相符合[8-9]。通過計算機輔助病灶分割,有助于肺炎病灶影像學特征定量分析,有望促進COVID-19 的影像學特征研究。