邱松煒，于曉巍

1.上海海洋大學(xué)工程學(xué)院，上海 201200；2.上海交通大學(xué)附屬第六人民醫(yī)院骨科，上海 200233；*通信作者 于曉巍 yuxw@sjtu.edu.cn

醫(yī)學(xué)影像是疾病診斷、篩選、評估和確定治療方案的重要工具。由于影像診斷主要憑借診斷醫(yī)師的閱片水平和經(jīng)驗完成，醫(yī)師的主觀性閱片、影像數(shù)量過多和重復(fù)性低以及定量分析不夠等均會降低診斷率和閱片效率，而通過計算機(jī)技術(shù)體系輔助醫(yī)師診療可以改善以上問題，提高工作效率。

繼機(jī)器學(xué)習(xí)之后，深度學(xué)習(xí)迅速發(fā)展，廣泛應(yīng)用于圖像識別和分類、語音識別和自然語言處理等多個領(lǐng)域[1]。目前深度學(xué)習(xí)在骨關(guān)節(jié)領(lǐng)域的研究也逐漸增多。骨關(guān)節(jié)疾病種類繁多，圖片數(shù)據(jù)質(zhì)量高、數(shù)量大，數(shù)據(jù)的多樣性等特點更有利于深度學(xué)習(xí)在骨關(guān)節(jié)影像疾病診斷中的發(fā)展。本文對深度學(xué)習(xí)在骨關(guān)節(jié)影像的圖像重建與合成、圖像配準(zhǔn)、圖像分割和圖像檢測分類中的應(yīng)用及研究進(jìn)展進(jìn)行闡述。

1 深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的重要組成。人的大腦可視皮層是分級的，人眼觀測到的圖像信息會提取圖像局部特征，最后匯總到大腦最上層整合為整體特征，完成對不同事物的準(zhǔn)確區(qū)分。深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）模仿人類大腦對信息接收和處理的特點進(jìn)行設(shè)計，使用多層卷積提取圖像特征，淺層網(wǎng)絡(luò)提取邊緣特征屬性，隨著網(wǎng)絡(luò)層數(shù)增加，邊緣特征合成為高層特征以模擬人腦工作，已廣泛用于圖像處理領(lǐng)域。

LeCun等[2]于1998年提出LeNet-5網(wǎng)絡(luò)模型實現(xiàn)了手寫數(shù)字識別，標(biāo)志著CNN的成功應(yīng)用，形成了當(dāng)代CNN模型的雛形。隨著實際任務(wù)的復(fù)雜化，數(shù)據(jù)集不斷擴(kuò)大，可學(xué)習(xí)參數(shù)增加，以CNN為基礎(chǔ)的網(wǎng)絡(luò)結(jié)構(gòu)不斷優(yōu)化加深，并衍生出許多用于計算機(jī)視覺方向的改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)體，推動了圖像的重建、配準(zhǔn)、分割和識別領(lǐng)域的發(fā)展。

2 圖像重建與合成

2.1 圖像重建 高質(zhì)量的醫(yī)學(xué)影像是醫(yī)師診斷和利用深度學(xué)習(xí)技術(shù)實現(xiàn)精確診斷的必要條件。由于成像條件和采樣時間受限制等問題，導(dǎo)致圖像在成型過程中不可避免地受到噪聲等因素的影響。例如CT成像，為了降低輻射風(fēng)險，常采用低劑量CT成像，圖像質(zhì)量受噪聲影響嚴(yán)重，需要進(jìn)行圖像重建獲取高質(zhì)量圖像。深度學(xué)習(xí)技術(shù)比傳統(tǒng)的迭代重建方法效果更佳。

Chen等[3]于2017年提出一種用于低劑量CT成像的殘差編解碼器卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（residual encoderdecoder convolutional neural network，RED-CNN），通過對比實驗證實RED-CNN在胸腔低劑量CT圖像重建時可以有效地消除噪聲，同時修復(fù)一些細(xì)節(jié)。該研究后續(xù)針對傳統(tǒng)的稀疏CT圖像重建時需要人工引入基于特征工程和先驗知識的正則項這個問題，提出采用深度學(xué)習(xí)方法自主學(xué)習(xí)這些正則項和參數(shù)，設(shè)計了LEARN網(wǎng)絡(luò)架構(gòu)[4]。與傳統(tǒng)重建方法對比，LEARN所得重建圖像結(jié)構(gòu)更加清晰，有助于發(fā)現(xiàn)病灶?；谏疃葘W(xué)習(xí)的CT圖像重建方法在圖像效果和質(zhì)量上遠(yuǎn)優(yōu)于傳統(tǒng)的重建方法。

臨床上，獲取骨骼的三維模型對于手術(shù)規(guī)劃、植入物裝配和術(shù)后評估至關(guān)重要。Kasten等[5]提出一種端到端的CNN模型，自動學(xué)習(xí)圖像上骨骼形狀的分布，在一對雙平面X射線圖上進(jìn)行膝關(guān)節(jié)三維重建，重建所得的高質(zhì)量模型證實了采用深度學(xué)習(xí)進(jìn)行骨骼三維圖像重建的可行性。金屬植入物會嚴(yán)重削弱CT掃描中的X射線，導(dǎo)致重建圖像中出現(xiàn)嚴(yán)重偽影，影響圖像質(zhì)量，并對后續(xù)診斷和治療計劃產(chǎn)生負(fù)面影響。Wang等[6]提出一種新的雙域自適應(yīng)伸縮非局部網(wǎng)絡(luò)（dual-domain adaptive-scaling non-local network，DANNet）還原金屬偽影，網(wǎng)絡(luò)使用一種新的殘差Sinogram學(xué)習(xí)策略解決可能產(chǎn)生的次級偽影，結(jié)果顯示DANNet在定性和定量方面與金屬偽影還原方法的性能均相當(dāng)。

2.2 圖像合成 圖像合成主要用于擴(kuò)充數(shù)據(jù)集和模擬成像，融合不同模態(tài)的醫(yī)學(xué)影像信息可以提高臨床診斷精度。多模態(tài)的影像數(shù)據(jù)獲取需要借助圖像合成技術(shù)，以解決稀缺圖像數(shù)據(jù)的問題。圖像合成的主流模型生成式對抗網(wǎng)絡(luò)（generative adversarial nets，GAN）的成功應(yīng)用，基于GAN衍生的模型應(yīng)用于醫(yī)學(xué)圖像合成已經(jīng)成為研究熱點。

GAN的無監(jiān)督醫(yī)學(xué)圖像合成是在無任何其他信息的條件下，從一個真實樣本的潛在空間內(nèi)生成。深度卷積生成對抗性網(wǎng)絡(luò)可用于合成高質(zhì)量肺癌結(jié)節(jié)圖像[7]。Frid-Adar等[8]使用深度卷積生成對抗性網(wǎng)絡(luò)生成肝臟CT中不同類別的病變斑塊。Baur等[9]采用級聯(lián)式的生成對抗網(wǎng)絡(luò)對皮膚病變圖像進(jìn)行合成，專業(yè)皮膚科醫(yī)師也無法判斷真實性。Liu等[10]通過骨邊緣引導(dǎo)的生成對抗性網(wǎng)絡(luò)，從傳統(tǒng)的胸部X線片中生成雙能量減影軟組織圖像，骨邊緣引導(dǎo)的生成對抗性網(wǎng)絡(luò)可以產(chǎn)生高質(zhì)量和高分辨率的雙能量減影樣軟組織圖像，更好地去除骨成分。

骨關(guān)節(jié)影像的圖像合成更多地通過MRI合成CT完成骨骼分割等任務(wù)，因為MRI與骨結(jié)構(gòu)的對比度較差，CT的骨骼成分更加清楚。Lauritzen等[11]使用調(diào)整過的2D U-Net網(wǎng)絡(luò)作為生成器的條件對抗生成網(wǎng)絡(luò)通過掃描兒童頭部MRI合成CT，借助合成的CT完成分割頭骨的任務(wù)，結(jié)果顯示在合成的CT上分割比在原始MRI上分割的骨骼分割結(jié)果更精確。Zijlstra等[12]使用一種二維條件對抗生成網(wǎng)絡(luò)對下臂的多梯度回波序列MRI進(jìn)行掃描生成高分辨率的合成CT，通過骨骼分割評估合成CT的質(zhì)量，結(jié)果表明合成CT的分割效果與真實CT相近。Hiasa等[13]提出一種跨模態(tài)圖像合成方法，通過添加梯度一致性損失對循環(huán)對抗生成網(wǎng)絡(luò)進(jìn)行拓展，以此提高邊界精確度，對包含4種肌肉骨骼結(jié)構(gòu)的MRI進(jìn)行掃描得出的合成CT進(jìn)行分割評估。以上研究表明，相應(yīng)MRI的合成CT對于骨骼的識別和疾病診斷具有很好的效果。

盡管在骨關(guān)節(jié)影像學(xué)上的圖像重建與合成的研究領(lǐng)域暫未深入，但該領(lǐng)域在未來的研究和發(fā)展中有很大的前景，能夠輔助臨床診斷工作，提高診療效率。

3 圖像配準(zhǔn)

圖像配準(zhǔn)是尋找多幅圖像之間的空間關(guān)系，在醫(yī)學(xué)圖像處理中得到廣泛應(yīng)用。傳統(tǒng)的圖像配準(zhǔn)方法通過迭代優(yōu)化預(yù)定義的基于灰度的不同度量解決，是一個不斷迭代優(yōu)化的過程。而基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法是通過大量的訓(xùn)練數(shù)據(jù)優(yōu)化網(wǎng)絡(luò)的參數(shù)，無需數(shù)值優(yōu)化?；谏疃葘W(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法較傳統(tǒng)的配準(zhǔn)方法速度得到很大提升。Sokooti等[14]提出一種三維非剛性圖像配準(zhǔn)網(wǎng)絡(luò)RegNet，具有亞像素級的配準(zhǔn)精度。以U-Net為基線模型的VoxelMorph[15]是近年效果顯著的無監(jiān)督深度學(xué)習(xí)醫(yī)學(xué)圖像配準(zhǔn)方法之一，無監(jiān)督提示它不需要除圖像以外的任何數(shù)據(jù)，在耗時上使圖像柔性配準(zhǔn)邁入秒級關(guān)口，可以使外科醫(yī)師在手術(shù)的同時獲取掃描圖像的實時輔助。

關(guān)于骨關(guān)節(jié)影像學(xué)的深度學(xué)習(xí)圖像配準(zhǔn)的研究尚處于初步階段，van Eijnatten等[16]使用無監(jiān)督的深度學(xué)習(xí)模型VoxelMorph對縱向腹部骨盆CT圖像可變形配準(zhǔn)，提出一種基于縱向數(shù)據(jù)中連續(xù)CT圖像模擬變形的新的增量訓(xùn)練策略，結(jié)果顯示增量訓(xùn)練策略提高了配準(zhǔn)的性能，縮短了配準(zhǔn)時間，配準(zhǔn)速度提高了300倍。未來對于X線片、CT和MRI之間的配準(zhǔn)合成的進(jìn)一步研究，可以幫助醫(yī)師快速、準(zhǔn)確地了解病變部位的形態(tài)和大小的實時變化，可以幫助有效地確定個體化臨床手術(shù)和治療方案，從而輔助醫(yī)師完成術(shù)前規(guī)劃、術(shù)中精準(zhǔn)定位和術(shù)后跟蹤治療。

4 圖像分割

醫(yī)學(xué)圖像分割針對病灶進(jìn)行有效分割，快速地確定病灶部位和形態(tài)等特征。由于人體器官及其病灶的多樣化、圖像噪點和病灶形態(tài)各異等，精準(zhǔn)的醫(yī)學(xué)圖像分割是一大難題，促使深度學(xué)習(xí)在醫(yī)學(xué)圖像分割領(lǐng)域的發(fā)展。

U-Net網(wǎng)絡(luò)結(jié)構(gòu)是近年用于醫(yī)學(xué)圖像分割的熱點模型[17]。Dong等[18]通過基于U-Net網(wǎng)絡(luò)的深度神經(jīng)網(wǎng)絡(luò)提出一種全自動腦腫瘤分割方法，對核心腫瘤區(qū)的分割達(dá)到滿意的效果。Zhou等[19]提出一種基于U-Net的注意機(jī)制分割網(wǎng)絡(luò)對新型冠狀病毒肺炎患者的CT圖像進(jìn)行分割，可以快速分割出病變區(qū)域。

目前圖像分割應(yīng)用于軟骨、肩關(guān)節(jié)、半月板和其他骨關(guān)節(jié)細(xì)微結(jié)構(gòu)的分割，并且取得了較好的效果。劉云鵬等[20]使用一種基于圖像塊和全CNN相結(jié)合的自動分割算法用于分割肩關(guān)節(jié)MRI圖像，與既往其他分割模型相比，該分割模型無需采用先驗知識即可以實現(xiàn)MRI圖像的自動分割，分割結(jié)果與傳統(tǒng)的人工分割效果基本一致，適用于小樣本數(shù)據(jù)下CT和MRI圖像中特定器官和組織的精確分割。Liao等[21]利用3D全卷積網(wǎng)絡(luò)提取椎骨周圍短程特征，再采用雙向遞歸神經(jīng)網(wǎng)絡(luò)編碼可見脊柱和椎骨之間長距離的空間和上下文信息，以此確定椎骨的位置。Bjornsson等[22]研究了一種基于U-Net網(wǎng)絡(luò)的全自動股骨近端分割方法，用于篩查識別易患髖部骨折的個體。具有亞毫米級的分割精度，每次分割預(yù)測的時間僅為12~15 s。Schnider等[23]在開源醫(yī)學(xué)圖像處理平臺Nifty-Net中使用No-New-Net網(wǎng)絡(luò)實現(xiàn)對多類別標(biāo)簽的3D分割，能以端到端的方式從CT掃描中完成超過100種骨的自動分割，整個處理過程僅需約1 min。宋平等[24]自主搭建PointRend_Unet神經(jīng)網(wǎng)絡(luò)，實現(xiàn)膝關(guān)節(jié)CT圖像的快速分割處理，在分割速度和準(zhǔn)確性方面均優(yōu)于手動分割，大幅提升了人工全膝關(guān)節(jié)置換術(shù)前規(guī)劃的工作效率。

5 圖像檢測分類

醫(yī)學(xué)圖像識別分類是醫(yī)學(xué)圖像處理的最終目的，實現(xiàn)對病灶的檢測和識別。深度學(xué)習(xí)的發(fā)展使通過CNN網(wǎng)絡(luò)進(jìn)行圖像檢測分類成為主流，基于CNN網(wǎng)絡(luò)的不同結(jié)構(gòu)體在醫(yī)學(xué)圖像分類方面具有較好的效果。El Asnaoui等[25]使用多種CNN模型對新型冠狀病毒肺炎進(jìn)行快速診斷。Prellberg等[26]采用ResNeXt網(wǎng)絡(luò)對白細(xì)胞顯微鏡圖像進(jìn)行高效良惡性分類。王風(fēng)等[27]基于CNN設(shè)計了區(qū)分結(jié)節(jié)和非結(jié)節(jié)以及預(yù)測良惡性的方法。

5.1 骨骼識別分類 針對目前基于深度學(xué)習(xí)對分類任務(wù)的研究，對于X線、CT和MRI圖像的不同類型骨骼的識別和分類，以及骨關(guān)節(jié)炎、骨折等疾病的檢測，已經(jīng)獲得較高的準(zhǔn)確度。Pradhan等[28]運用深度CNN對手指、肘、手、前臂、肱骨、腕和肩7個部位的CT圖像進(jìn)行分類識別，準(zhǔn)確率高達(dá)94.23%。Varma等[29]在研究中展示了DenseNet-161和ResNet-101等不同的CNN模型，對足、膝、踝和髖的X線片異常自動分類，其中性能最好的模型分類效果最好（曲線下面積為0.88），對異常的X線片分類準(zhǔn)確度提高到81.9%。以上研究均表明深度學(xué)習(xí)在骨骼的分類識別中具有良好的應(yīng)用前景。

5.2 骨折檢測 Urakawa等[30]使用VGG-16網(wǎng)絡(luò)從股骨近端X線片中對髖關(guān)節(jié)骨折進(jìn)行診斷，準(zhǔn)確率達(dá)95.5%，高于專業(yè)骨科醫(yī)師的平均診斷準(zhǔn)確率。頸椎骨折的CT圖數(shù)據(jù)分布高度不平衡，陰性病例數(shù)量更多，對此分類是一個極大的挑戰(zhàn)，Salehinejad等[31]使用ResNet-50網(wǎng)絡(luò)模型對頸椎CT圖進(jìn)行骨折自動分類，驗證分類準(zhǔn)確率最高達(dá)79.18%。Krogue等[32]使用DenseNet網(wǎng)絡(luò)實現(xiàn)了對髖關(guān)節(jié)骨折的X線片多分類自動識別，其識別準(zhǔn)確率為90.4%，達(dá)到專家級的識別率。Uysal等[33]建立了2種不同的集成學(xué)習(xí)模型對肩的X線片進(jìn)行二分類（正常和骨折），分類測試準(zhǔn)確率最高為84.72%。譚輝等[34]利用基于深度學(xué)習(xí)的計算機(jī)輔助診斷系統(tǒng)DL-CAD輔助醫(yī)師評估胸部鈍挫傷患者的CT圖像，基于該系統(tǒng)提供的骨折位置信息，醫(yī)師可以快速定位病灶并做出診斷結(jié)論，顯著提高了醫(yī)師的診斷效能，閱片時間明顯縮短。劉珂等[35]利用ResNet50模型鑒別脊柱良、惡性骨折，總體準(zhǔn)確率達(dá)到88%。劉想等[36]利用AI軟件幫助檢測肋骨骨折，對錯位型肋骨骨折的敏感度較高，對部分輕微骨折的敏感度較低，與醫(yī)師在臨床工作中的判斷情況基本一致，整體上具有良好的診斷效能。以上研究表明深度學(xué)習(xí)技術(shù)有很大的潛力成為篩查各部位骨折的有效工具。

5.3 骨關(guān)節(jié)炎檢測 Xue等[37]利用VGG-16網(wǎng)絡(luò)對420例髖關(guān)節(jié)X線片進(jìn)行骨關(guān)節(jié)炎檢測與分類，該模型的分類準(zhǔn)確率達(dá)92.9%，診斷表現(xiàn)與主治醫(yī)師基本一致。Antony等[38]設(shè)計了幾種利用CNN從X線片上自動量化膝關(guān)節(jié)炎嚴(yán)重程度的新方法，采用Kellgren-Lawrence（KL）分級從0到4劃分膝關(guān)節(jié)炎的嚴(yán)重程度。從傳統(tǒng)的CNN中提取特征，導(dǎo)入特征并訓(xùn)練線性支持向量機(jī)模型，對膝關(guān)節(jié)炎圖像進(jìn)行分類，實驗結(jié)果得出分類精度接近70%。Chen等[39]采用YOLOv2自動檢測提取出X線片中膝關(guān)節(jié)部位，并輸入VGG-19網(wǎng)絡(luò)進(jìn)行KL分級評估，分類精度達(dá)到70%。這些檢測方法較以前使用的Wndchrm醫(yī)學(xué)圖像分類器效果更好，分類的精確度得到進(jìn)一步提升，可用于早期診斷膝關(guān)節(jié)炎，并評估其嚴(yán)重程度，未來還有很大的提升空間。

5.4 骨齡檢測 骨齡檢測廣泛應(yīng)用于兒童內(nèi)分泌疾病、成長和遺傳性疾病的診治。目前對骨齡檢測的研究已經(jīng)比較成熟，Iglovikov等[40]使用VGG網(wǎng)絡(luò)為原型，分別構(gòu)造了回歸和分類網(wǎng)絡(luò)解決兒童骨齡評估問題，對腕骨、掌骨和近端指骨、整個手部進(jìn)行骨齡評估，結(jié)果顯示前2個部分測得骨齡評估誤差低于整個手部10%~15%，評估誤差僅0.487歲，與放射科專家水平相當(dāng)，并且超過既往測骨齡的Greulich-Pyle法和Tanner-Whitehouse法。Li等[41]利用AlexNet網(wǎng)絡(luò)建立了一種基于深度學(xué)習(xí)骨齡評估模型，針對10~25歲個體的骨盆X線片進(jìn)行檢測，結(jié)果顯示其模型的平均絕對誤差和均方根誤差分別為0.94歲和1.30歲。張帥等[42]提出一種基于深度學(xué)習(xí)的端到端的兒童手骨X線圖像骨齡評估框架，由Mask-RCNN作為分割網(wǎng)絡(luò)，Xception為基礎(chǔ)模型的改進(jìn)體作為回歸網(wǎng)絡(luò)進(jìn)行骨齡評估，預(yù)測骨齡的平均絕對誤差為4.96個月，評估誤差在臨床鑒定標(biāo)準(zhǔn)的1歲范圍內(nèi)。目前國內(nèi)公司基于深度學(xué)習(xí)開發(fā)了智能評估系統(tǒng)，對兒童手部骨齡片進(jìn)行自動判讀，能秒級生成精準(zhǔn)骨齡檢測結(jié)果，評估兒童生長發(fā)育狀況，有效地幫助醫(yī)師減輕工作量，提高工作效率和準(zhǔn)確性。

6 總結(jié)

本文介紹了目前深度學(xué)習(xí)在骨關(guān)節(jié)影像學(xué)疾病診斷中的研究現(xiàn)狀，其中圖像重建與合成及圖像配準(zhǔn)在骨關(guān)節(jié)醫(yī)學(xué)影像中的研究和應(yīng)用尚未深入，而對于已經(jīng)初步應(yīng)用的圖像分割和檢測分類的深度學(xué)習(xí)技術(shù)面臨一些特有的挑戰(zhàn)：①準(zhǔn)確可用數(shù)據(jù)較少。盡管骨關(guān)節(jié)疾病的醫(yī)學(xué)影像資源非常豐富，但缺乏有正確標(biāo)簽的有效訓(xùn)練數(shù)據(jù)，需要花費專業(yè)醫(yī)師大量時間正確標(biāo)注大量數(shù)據(jù)，研究團(tuán)隊往往缺少專業(yè)醫(yī)師的指導(dǎo)；此外，由于同種疾病的影像表現(xiàn)不同、圖片質(zhì)量參差不齊等，導(dǎo)致即使擁有大量數(shù)據(jù)仍然很難應(yīng)用于研究。②可信度和解釋性較差。目前多數(shù)診斷系統(tǒng)均是端到端實現(xiàn)，診斷決策過程透明化程度較低，無法提供判斷依據(jù)和病理表現(xiàn)，通過深度學(xué)習(xí)技術(shù)診斷的可信度和解釋性均不能完全接受。③診斷程度受限。骨關(guān)節(jié)疾病的診斷依賴影像學(xué)，基于深度學(xué)習(xí)的骨關(guān)節(jié)影像學(xué)疾病診斷目前大部分研究均僅針對是否有此疾病，并不能進(jìn)一步對疾病進(jìn)行分期、分級和準(zhǔn)確分類，對于臨床的指導(dǎo)意義不大。

未來除深度學(xué)習(xí)算法以及框架的不斷完善和優(yōu)化，更需要建立大范圍的醫(yī)學(xué)數(shù)據(jù)實時共享機(jī)制；提高深度學(xué)習(xí)模型的可解釋性，使診斷過程可視化，提供有力的理論支持和影像學(xué)依據(jù)；建立完整的智能輔助診斷治療機(jī)制，擁有自動根據(jù)診斷結(jié)果提供治療最佳方案以及術(shù)前的輔助模擬等功能。綜上所述，深度學(xué)習(xí)在骨關(guān)節(jié)影像領(lǐng)域的落地應(yīng)用還需要計算機(jī)領(lǐng)域科研人員和專業(yè)醫(yī)師的共同推進(jìn)。