余可妍，張曉東

(南方醫(yī)科大學(xué)第三附屬醫(yī)院影像科，廣東 廣州 510630)

深度學(xué)習(xí)(deep learning, DL)是基于包含多個(gè)層級(jí)的、復(fù)雜的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)機(jī)器學(xué)習(xí)方法，能高效、快捷地處理大量數(shù)據(jù)，避免人工處理過程中因疲勞等因素而導(dǎo)致錯(cuò)誤。近年來，DL飛速發(fā)展，現(xiàn)已可用于自動(dòng)分割圖像的器官、處理圖像及診斷疾病。膝關(guān)節(jié)是骨關(guān)節(jié)炎的重要好發(fā)部位，晚期具有致殘性和不可逆性。本文對(duì)DL在影像學(xué)診斷膝關(guān)節(jié)病變的研究進(jìn)展進(jìn)行綜述。

1 DL概述

DL模型是以深度神經(jīng)網(wǎng)絡(luò)為結(jié)構(gòu)基礎(chǔ)的計(jì)算機(jī)模型。不同于傳統(tǒng)的需要先驗(yàn)知識(shí)架構(gòu)及大量預(yù)處理的機(jī)器學(xué)習(xí)模型，DL不僅能自動(dòng)提取原始數(shù)據(jù)中特征，亦能分析特征之間的復(fù)雜關(guān)系，故可在無先驗(yàn)特征定義的情況下提取有意義的圖像特征[1-2]。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)是用于醫(yī)學(xué)影像學(xué)研究的主要神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，擅長提取高級(jí)特征，隨著網(wǎng)絡(luò)深度增加，CNN模型精度越來越高，DL由此得名[3]。醫(yī)學(xué)影像中DL模型的任務(wù)目標(biāo)主要包括疾病分類、檢測及定位和病灶分割組織器官。

DL模型在訓(xùn)練過程中通常將數(shù)據(jù)分為訓(xùn)練集、驗(yàn)證集及測試集，訓(xùn)練集用于模型擬合，驗(yàn)證集用于調(diào)整參數(shù)及初步評(píng)估模型效能，測試集則用于測試模型的泛化能力。當(dāng)樣本量較小時(shí)，可進(jìn)行K倍交叉驗(yàn)證，以對(duì)模型進(jìn)行充分訓(xùn)練，也可先以其他數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，獲得初始權(quán)值后再于樣本中進(jìn)行訓(xùn)練，以對(duì)模型加以調(diào)整[4-6]，即遷移學(xué)習(xí)。

2 DL在膝關(guān)節(jié)影像學(xué)診斷中的應(yīng)用及其評(píng)估指標(biāo)

各種DL研究主要針對(duì)MRI進(jìn)行，包括形態(tài)學(xué)MRI及定量MRI，對(duì)于發(fā)現(xiàn)并準(zhǔn)確評(píng)估OA的發(fā)生、發(fā)展過程以及評(píng)價(jià)療效等具有重要作用[7]。DL在膝關(guān)節(jié)影像學(xué)診斷中的主要應(yīng)用包括分割器官、定量測量病灶、分類診斷病變、預(yù)測病變發(fā)展以及圖像重建等。

2.1 分割器官及定量測量病灶 分割任務(wù)通常指識(shí)別構(gòu)成目標(biāo)對(duì)象的輪廓或內(nèi)部的體素集[8]。構(gòu)建自動(dòng)分割模型需要大數(shù)據(jù)樣本。各種人工智能挑戰(zhàn)賽及大型膝關(guān)節(jié)影像數(shù)據(jù)庫的建立，如膝關(guān)節(jié)圖像2010(segmentation of knee images 2010, SKI10)、骨關(guān)節(jié)倡議(osteoarthritis initiative, OAI)以及多中心骨關(guān)節(jié)炎研究(multicenter osteoarthritis study, MOST)等[9-11]促進(jìn)了高精度分割膝關(guān)節(jié)結(jié)構(gòu)研究的發(fā)展。目前已主要基于MRI實(shí)現(xiàn)了分割膝關(guān)節(jié)骨與軟骨[12-13]、分割半月板[5,11-12]及分割全膝關(guān)節(jié)[14]的二維(two dimension, 2D)和三維(three dimension, 3D)圖像分割。2D模型輸入單幅圖像，具有分割速度較快、計(jì)算量小及顯卡內(nèi)存需求較低[15]等優(yōu)點(diǎn)；3D模型則需輸入多幅圖像，其分割結(jié)果可真實(shí)、直觀地體現(xiàn)組織形態(tài)，但分割速度較慢，對(duì)計(jì)算機(jī)硬件要求較高。目前主要分割網(wǎng)絡(luò)結(jié)構(gòu)包括U-net及VGG16，并在此基礎(chǔ)上衍生出多種網(wǎng)絡(luò)結(jié)構(gòu)[16]。

評(píng)估分割精確性的指標(biāo)包括Dice相似系數(shù)(Dice similarity coefficient, DSC)、平均表面距離(average surface distance, ASD)、交并比(intersection over union, IoU)、體積差(volume difference, VD)以及體積重疊誤差(volume overlap error, VOE)等。DSC=(真實(shí)目標(biāo)A與預(yù)測目標(biāo)B的重疊面積)×2/(A+B總面積)，用以評(píng)價(jià)A與B的重疊情況，適用于評(píng)價(jià)所有分割任務(wù)，DSC越接近1，模型效果越好[9]；目前應(yīng)用較多。VD及VOE用于評(píng)估3D模型整體分割效能，ASD等邊界距離相關(guān)指標(biāo)則主要用于評(píng)價(jià)分割邊緣細(xì)節(jié)。已有多項(xiàng)研究[5,12,15,17]在自動(dòng)分割基礎(chǔ)上實(shí)現(xiàn)了自動(dòng)評(píng)估半月板或軟骨的T1ρ、T2*弛豫值或形態(tài)，以定量分析相應(yīng)組織變性。

2.2 分類診斷病變及預(yù)測進(jìn)展 膝關(guān)節(jié)病變初期多較細(xì)微，診斷耗時(shí)、費(fèi)力。DL模型用于診斷軟骨病變[18-19]、半月板撕裂[19-22]及前交叉韌帶(anterior cruciate ligament, ACL)撕裂[20,23-24]，有助于提高診斷效能，減少人為因素所致誤差，且部分模型[5,12,20]的診斷效能已可與臨床醫(yī)師相媲美。X線檢查是臨床篩查膝關(guān)節(jié)骨性關(guān)節(jié)炎(knee osteoarthritis, KOA)的常用手段，采用Kellgren-Lawrence等級(jí)(Kellgren-La wrence grade, KLG)，可根據(jù)X線平片所見對(duì)KOA進(jìn)行分級(jí)[10]。也有研究者[25]試圖通過自動(dòng)識(shí)別KOA的生物標(biāo)記物預(yù)測KOA進(jìn)展。一般采用受試者工作特征(receiver operating characteristic, ROC)曲線下面積(area under the curve, AUC)為標(biāo)準(zhǔn)評(píng)價(jià)模型的預(yù)測性能，AUC越接近1則性能越好。

2.3 重建圖像 有學(xué)者[26]以3D雙回波穩(wěn)態(tài)(double-echo steady-state, DESS)序列采集膝關(guān)節(jié)圖像，其層厚為傳統(tǒng)DESS序列的3倍，而后采用深度CNN進(jìn)行超分辨率重建，以用較短的掃描時(shí)間獲得高分辨率圖像。

3 相關(guān)研究進(jìn)展

3.1 軟骨 骨關(guān)節(jié)炎臨床表現(xiàn)通常為軟骨退行性變和消失，識(shí)別軟骨變化可實(shí)現(xiàn)早期診斷骨關(guān)節(jié)炎[27]。LIU等[15]采用2D SegNet結(jié)合3D單純可變模型于多序列MRI上分割膝關(guān)節(jié)骨和軟骨，在極大降低計(jì)算量及內(nèi)存需求的基礎(chǔ)上細(xì)化了邊緣效果，其分割結(jié)果優(yōu)于傳統(tǒng)U-net，其以SegNet自動(dòng)分割軟骨后測量的T2值與手工分割后測值無顯著差別。CARDENAS等[16]采用2個(gè)相連的2D CNN，其中一個(gè)CNN用于分割，于快速自旋回波序列圖像上對(duì)軟骨進(jìn)行分割，并將其自動(dòng)識(shí)別為17 395個(gè)小的ROI，分為訓(xùn)練集、驗(yàn)證集及測試集，另一個(gè)CNN用于分類，對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練及驗(yàn)證，將各個(gè)ROI分為病變或正常，對(duì)測試集數(shù)據(jù)重復(fù)進(jìn)行2次測試，其AUC分別為0.92、0.91，分類CNN模型的分類敏感度(0.81～0.84)高于具有17年肌骨影像學(xué)診斷經(jīng)驗(yàn)的醫(yī)師(0.71)，但其特異度(0.85～0.88)低于后者(0.97)；能準(zhǔn)確自動(dòng)分割軟骨并識(shí)別病變，但未對(duì)軟骨病變進(jìn)行定位；其所用模型的核心為VGG16，相比U-net計(jì)算成本更低，且在分割及分類任務(wù)中的通用性更佳。AMBELLAN等[9]采用2D及3D CNN結(jié)合3D統(tǒng)計(jì)形狀模型(statistical shape model, SSM)對(duì)來自不同MR設(shè)備及以不同序列采集的膝關(guān)節(jié)MRI進(jìn)行骨與軟骨高精度分割，其精度與臨床專家相當(dāng)。SSM可利用先驗(yàn)解剖知識(shí)對(duì)病變嚴(yán)重且形態(tài)失常的組織、偽影及不同序列所致圖像改變進(jìn)行正則化，填充分割掩模的孔洞和缺口，以增強(qiáng)模型的魯棒性。

人工對(duì)軟骨損傷進(jìn)行評(píng)分甚為復(fù)雜，且費(fèi)時(shí)、易出錯(cuò)，需對(duì)評(píng)價(jià)者進(jìn)行專門培訓(xùn)。自動(dòng)分割及評(píng)分模型可顯著節(jié)省人力，并減少因疲勞而出現(xiàn)誤差的可能。BURTON等[13]應(yīng)用半監(jiān)督方法以36例帶標(biāo)注及51例未帶標(biāo)注膝關(guān)節(jié)的MRI訓(xùn)練2D+3D CNN分割膝關(guān)節(jié)骨與軟骨，發(fā)現(xiàn)訓(xùn)練病例中帶標(biāo)注病例達(dá)10例(占全監(jiān)督模型訓(xùn)練集1/3)時(shí)，2D CNN分割效果與全監(jiān)督網(wǎng)絡(luò)相當(dāng)，DSC為0.974，而3D CNN結(jié)合Monte Carlo patch的半監(jiān)督分割模型效果最佳，DSC為0.99。PEDOIA等[17]以2D U-net分割1 478例MRI中的髕骨軟骨與股骨軟骨，并采用3D CNN進(jìn)行軟骨損傷程度分級(jí)，其分級(jí)AUC為0.88。

3.2 半月板 半月板病變?yōu)镵OA危險(xiǎn)因素。PEDOIA等[19]對(duì)半月板進(jìn)行2D分割，并進(jìn)一步以3D CNN進(jìn)行損傷程度分級(jí)，其AUC為0.89。TACK等[11]采用2D及3D CNN結(jié)合SSM分割半月板，內(nèi)側(cè)半月板的DSC為0.84，外側(cè)半月板的DSC為0.89。ROBLOT等[22]采用矢狀位膝關(guān)節(jié)T2WI對(duì)fast-reigon CNN和faster-reigon CNN進(jìn)行訓(xùn)練及驗(yàn)證，以自動(dòng)判斷半月板有無撕裂及撕裂方向(垂直或水平)，其AUC為0.90；但該研究僅選擇1個(gè)層面代表每個(gè)半月板，且僅納入半月板3級(jí)高信號(hào)作為病例組，存在局限性。COUTEAUX等[21]將mask R-CNN與一個(gè)淺層卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，對(duì)半月板進(jìn)行定位，進(jìn)而判斷有無撕裂及撕裂方向，其AUC達(dá)0.91。BIEN等[20]建立名為MRNet的CNN網(wǎng)絡(luò)，對(duì)3個(gè)方位多個(gè)序列膝關(guān)節(jié)MRI進(jìn)行分類，并應(yīng)用邏輯回歸模型結(jié)合MRI分類結(jié)果評(píng)估是否存在半月板撕裂，其在含120例膝關(guān)節(jié)患者的測試集中的診斷AUC為0.847。

NORMAN等[12]以U-net對(duì)軟骨進(jìn)行分割，對(duì)不同區(qū)域軟骨的DSC為0.77～0.88，手動(dòng)分割與自動(dòng)分割所測弛豫值差異無統(tǒng)計(jì)學(xué)意義。BYRA等[5]通過遷移學(xué)習(xí)，以61例膝關(guān)節(jié)MRI對(duì)模型進(jìn)行訓(xùn)練，半月板分割任務(wù)的DSC為0.86；在此基礎(chǔ)上測量半月板的T1、T1ρ、T2*弛豫值，結(jié)果的準(zhǔn)確度與人工測量相當(dāng)。

3.3 ACL BIEN等[20]和CHANG等[23]分別開發(fā)了ACL撕裂自動(dòng)診斷模型，其AUC分別為0.97及0.96。GERMANN等[24]比較分析DL模型在不同醫(yī)療機(jī)構(gòu)或不同場強(qiáng)設(shè)備MR圖像診斷ACL撕裂的效能，發(fā)現(xiàn)其AUC均顯著低于醫(yī)師水平，但在1.5T與3T MRI之間差異無統(tǒng)計(jì)學(xué)意義。

3.4 KOA 目前診斷KOA多采用放射學(xué)所用KLG標(biāo)準(zhǔn)。DL模型常用于診斷、分級(jí)KOA及預(yù)測KOA進(jìn)展。PEDOIA等[17]針對(duì)4 328例T2 mapping自動(dòng)分割軟骨及并基于體素分析T2值，以DL模型評(píng)估是否存在放射學(xué)意義上的KOA，其AUC為0.82，明顯優(yōu)于淺層特征提取模型的0.78。TIULPIN等[10]基于X線平片構(gòu)建自動(dòng)評(píng)估KLG的DL模型，其平均診斷準(zhǔn)確度為0.67，有助于臨床醫(yī)師進(jìn)行診斷；雖未勾畫ROI，但熱點(diǎn)圖提示DL模型可通過識(shí)別骨贅、關(guān)節(jié)間隙狹窄等進(jìn)行診斷，其效能與人工判斷相仿。GUAN等[25]訓(xùn)練的DL模型通過識(shí)別基線時(shí)間膝關(guān)節(jié)正位X線片的圖像特征來預(yù)測48個(gè)月后關(guān)節(jié)間隙狹窄進(jìn)展，其AUC為0.80，而結(jié)合邏輯回歸可將預(yù)測的AUC提高至0.86，效能優(yōu)于隨機(jī)森林樹或邏輯回歸等傳統(tǒng)模型(AUC=0.66)。CHANG等[28]構(gòu)建2D CNN模型，以在MRI上區(qū)分單側(cè)膝關(guān)節(jié)疼痛KOA患者的疼痛與非疼痛膝，AUC達(dá)0.853，并導(dǎo)出熱點(diǎn)圖以識(shí)別導(dǎo)致疼痛的原因，發(fā)現(xiàn)86%診斷正確者膝關(guān)節(jié)疼痛最明顯區(qū)域存在積液滑膜炎。目前對(duì)于DL模型分類的依據(jù)尚不得而知，但熱點(diǎn)圖中的偽彩有助于模型判斷組間差異以及評(píng)價(jià)分類結(jié)果是否可靠，且模型在無先驗(yàn)特征前提下發(fā)現(xiàn)的差異可能有助于臨床關(guān)注該病的致病因素。

4 小結(jié)與展望

DL模型對(duì)于提取膝關(guān)節(jié)病變特征及節(jié)省人工成本方面具有獨(dú)特優(yōu)勢，近年來相關(guān)研究熱點(diǎn)聚焦于圖像分割與分類結(jié)合以及多分類任務(wù)等。目前DL用于膝關(guān)節(jié)成像仍存在限制：①對(duì)數(shù)據(jù)量要求高，數(shù)據(jù)越多，模型性能越好，泛化能力越強(qiáng)，但迄今為止尚缺少膝關(guān)節(jié)影像數(shù)據(jù)庫；②圖像勾畫及標(biāo)注耗時(shí)，且缺乏金標(biāo)準(zhǔn)；③多數(shù)研究僅選擇某一序列圖像中的某一層面，導(dǎo)致模型的適用范圍狹窄，需進(jìn)一步關(guān)注多序列研究；④DL模型的可解釋性較差。

總之，DL為影像學(xué)診斷膝關(guān)節(jié)病變提供了全新的方法，也是未來影像學(xué)研究的趨勢所在。期待更多高性能模型出現(xiàn)，促進(jìn)及早診斷、及早干預(yù)膝關(guān)節(jié)病變，并發(fā)揮更大臨床作用。