李小敏，曲 揚，張少霆，趙 亮，劉 暢，謝帥寧，戴尅戎，艾松濤

1.上海交通大學(xué)醫(yī)學(xué)院附屬第九人民醫(yī)院放射科，上海200011；2.上海商湯智能科技有限公司，上海200030；3.上海交通大學(xué)醫(yī)學(xué)院附屬第九人民醫(yī)院骨科，上海200011

骨肌系統(tǒng)疾病可累及骨、關(guān)節(jié)及其鄰近軟組織，種類繁多。影像學(xué)檢查作為醫(yī)療工作的重要組成部分，是疾病診斷的基礎(chǔ)［1］。隨著精準(zhǔn)醫(yī)療、個性化診斷和靶向治療為核心的醫(yī)療模式的形成，醫(yī)學(xué)影像學(xué)已經(jīng)逐步從定位、定量和定性診斷病灶，發(fā)展至評估功能變化、治療方案選擇和預(yù)后評估等多個方面。因此，如何充分挖掘和利用影像學(xué)圖像中的有效信息，提升骨肌系統(tǒng)疾病影像診斷效率，成為當(dāng)前影像學(xué)圖像分析領(lǐng)域的研究熱點［2］。近年來，人工智能（artificial intelligence，AI）在醫(yī)療健康領(lǐng)域的應(yīng)用飛速發(fā)展，帶動了醫(yī)學(xué)影像、藥物研制、疾病風(fēng)險評估以及預(yù)后評估的發(fā)展［3］。目前，AI可以實現(xiàn)從大量可靠的數(shù)據(jù)中挖掘規(guī)律，自動學(xué)習(xí)影像學(xué)圖像中隱含的特征信息，并對未知數(shù)據(jù)進(jìn)行預(yù)測，從而輔助醫(yī)師診斷疾病，減少漏診和誤診［4］。本文就AI 在骨肌系統(tǒng)影像學(xué)診斷方面的研究進(jìn)展進(jìn)行綜述，以期為開展相關(guān)研究的學(xué)者提供借鑒與參考。

1 AI與骨

1.1 骨齡預(yù)測

骨齡（bone age，BA）是衡量兒童骨骼成熟程度的指標(biāo)。BA 評估是兒科常用的一種放射學(xué)檢查，該檢查操作簡單，只對左手和手腕進(jìn)行一次X 射線檢查。BA評估有助于監(jiān)測生長激素治療和診斷內(nèi)分泌疾病。BA評估可以在計劃矯正長骨或脊柱畸形的手術(shù)時進(jìn)行，也常被用來預(yù)測個體的最終身高。

現(xiàn)有的自動化BA 檢測方法大多數(shù)建立在計分法（Tanner-Whitehouse，TW）和圖譜法（Greulich and Pyle，G&P）上對手骨的X 射線圖像進(jìn)行自動化特征提取。2001 年，Pietka 等［5］提出一種干骺端感興趣區(qū)提取方法，利用模糊分類法選取左手腕部X 射線圖像進(jìn)行BA 分析。2007 年Gertych 等［6］開發(fā)了一種自動評估兒童BA 的方法，利用模糊分類法對提取的定量特征進(jìn)行BA 評估，其平均絕對誤差（mean absolute error，MAE）值為2.15 歲。2009 年Thodberg 等［7］提出的BoneXpert 方法結(jié)合TW 法和G&P 法，對2～17 歲對象的1 559 張X 射線圖像進(jìn)行BA自動評估；其中，G&P 法評定骨齡的MAE 值為0.42 歲，TW 法評定骨齡的MAE 值為0.80 歲。2017 年Spampinato等［8］提出了一種基于深度學(xué)習(xí)的BA檢測模型-Bonet神經(jīng)網(wǎng)絡(luò)模型，在0～18 歲涵蓋不同種族和性別的公共數(shù)據(jù)集上進(jìn)行自動化BA 評估工作，其MAE 值為0.80 歲。國內(nèi)學(xué)者也進(jìn)行了相關(guān)研究。2019 年李婷婷等［9］收集11 858例0～18 歲對象的左手腕部骨齡X 射線圖像數(shù)據(jù)，探討基于AI 的BA 評估方法，實現(xiàn)了基于整張手腕部X 射線圖像高階特征學(xué)習(xí)和預(yù)測BA，MAE 值為0.47 歲。2020 年王嘉慶等［10］采用一種以Inception Resnet v2 神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)模型進(jìn)行BA 自動評估，在涵蓋不同種族、性別和年齡范圍的X 射線圖像公共數(shù)據(jù)集上訓(xùn)練以實現(xiàn)自動化BA 評估，MAE 值為0.37 歲，優(yōu)于Bonet神經(jīng)網(wǎng)絡(luò)模型。

人工進(jìn)行BA評估煩瑣、耗時，AI則便捷、快速、準(zhǔn)確度高，其在BA 測量應(yīng)用優(yōu)勢明顯。目前，國內(nèi)多家醫(yī)院已正式上線AI BA 評測系統(tǒng)，與醫(yī)學(xué)影像存檔與通信系 統(tǒng) （picture archiving and communication systems，PACS）并行運行，以輔助臨床決策與診斷。需要注意的是，深度學(xué)習(xí)很大程度上依賴于大量的訓(xùn)練數(shù)據(jù)，同時防止過擬合也是訓(xùn)練深度學(xué)習(xí)模型過程中要解決的重要問題。因此，獲取臨床更適宜、更精準(zhǔn)的自動化BA 檢測模型，還需更加深入的研究。

1.2 骨折檢測

骨折是臨床常見疾病，也是放射科常見的急診漏診疾病。復(fù)雜骨折的臨床分類識別對臨床手術(shù)術(shù)式選擇至關(guān)重要，而諸多復(fù)雜骨結(jié)構(gòu)如脊柱與關(guān)節(jié)部分骨折臨床快速分類還存在困難。使用AI 準(zhǔn)確發(fā)現(xiàn)和分類骨折具有重要的臨床現(xiàn)實意義。雖然利用CT 圖像進(jìn)行骨折檢測是AI 的一個新興研究領(lǐng)域，但已經(jīng)有研究者嘗試借助AI 技術(shù)對身體各部位的骨折情況進(jìn)行判讀。

Olczak 等［11］選擇了5 個公開的、免費的深度學(xué)習(xí)網(wǎng)絡(luò)模型，在256 000 張腕、手和踝關(guān)節(jié)的X 射線圖像上評估骨折，骨折檢測的準(zhǔn)確率可高達(dá)83%。Wu 等［12］提出了用于分割的匹配主動形狀模型（registered active shape model，RASM），檢測骨盆潛在創(chuàng)傷性骨折的輪廓不連續(xù)性。Chung 等［13］在1 891 張X 射線圖像上利用深度卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）模型檢測和分類肱骨近端骨折，結(jié)果顯示CNN 模型在區(qū)分正常肩部和肱骨近端骨折方面準(zhǔn)確率高達(dá)96%，曲線下面積（area under curve，AUC）為1.00，表明使用AI 準(zhǔn)確診斷肱骨近端骨折的可行性。此外，CNN 模型在骨折分類方面也顯示了良好的結(jié)果；與醫(yī)師相比，CNN 的表現(xiàn)優(yōu)于普通醫(yī)師和骨科醫(yī)師，與肩關(guān)節(jié)骨科醫(yī)師相似，在復(fù)雜的三部分、四部分骨折中CNN 模型的檢測性能更加突出。Pranata 等［14］利用深度學(xué)習(xí)算法在CT 圖像上自動檢測和分類跟骨骨折，其準(zhǔn)確率達(dá)到了98%。周清清等［15］構(gòu)建了一種基于CNN 算法自動肋骨骨折檢測和分類的模型。該模型具有良好的診斷效能，能在較短的時間內(nèi)利用CNN 模型自動檢測并分類肋骨骨折，達(dá)到放射科主治醫(yī)師的診斷水平，使檢測時間平均縮短132.07 s，且通過多中心測試證實該模型的魯棒性較好。Tomita 等［16］基于CNN 模型，研究開發(fā)了一種自動化骨質(zhì)疏松性椎體骨折檢測系統(tǒng)，在1 432 例CT 圖像上對該系統(tǒng)進(jìn)行訓(xùn)練和評估，并用129 例CT 圖像進(jìn)行驗證，結(jié)果顯示該系統(tǒng)的準(zhǔn)確率可達(dá)89.2%，F(xiàn)1 值為90.8%，表明該系統(tǒng)在輔助放射科醫(yī)師診斷疾病方面具有一定價值。

骨折判讀和分類的AI 算法開發(fā)具有潛在的益處。AI可作為放射科醫(yī)師臨床診療的輔助手段，提高急診患者中骨折的檢出率，同時減少工作量。隨著相關(guān)研究的進(jìn)一步深入，我們相信AI在X射線圖像和CT圖像的骨折判讀和分類方面可以取得與醫(yī)師相近的表現(xiàn)，甚至可能超過醫(yī)師的表現(xiàn)。

2 AI與關(guān)節(jié)

2.1 軟骨及骨關(guān)節(jié)炎識別

在接受關(guān)節(jié)磁共振成像（magnetic resonance imaging，MRI）檢查的患者中，識別軟骨病變具有重要的臨床意義。研究［17］證實，具有形態(tài)學(xué)軟骨成像序列的MRI 對檢測膝關(guān)節(jié)內(nèi)軟骨病變具有高特異度，但只有中等敏感度。診斷性能高度依賴于圖像閱讀者的專業(yè)水平，閱讀者之間只有中等程度的一致性［18］。磁共振T2 mapping 序列已被證明可以提高檢測膝關(guān)節(jié)軟骨病變的敏感度，但特異度有所降低［19］。在MRI 檢測軟骨病變中開發(fā)基于計算機的標(biāo)準(zhǔn)化方法將有助于最大限度地提高診斷性能，同時減少主觀性、變異性和由于醫(yī)師的分心和疲勞造成的錯誤。

Liu 等［20］開發(fā)了一套基于深度學(xué)習(xí)的全自動軟骨損傷檢測系統(tǒng)，該系統(tǒng)利用CNN 對軟骨和骨骼進(jìn)行分割并檢測軟骨結(jié)構(gòu)異常，研究證實了使用基于深度學(xué)習(xí)的全自動軟骨損傷檢測系統(tǒng)在MRI 評估膝關(guān)節(jié)軟骨病變中的可行性。Xue 等［21］探討了深度學(xué)習(xí)算法對髖關(guān)節(jié)炎的診斷價值，在420張髖部X射線圖像上訓(xùn)練并測試了該算法判讀髖部骨關(guān)節(jié)炎（osteoarthritis，OA）的能力，可以達(dá)到95.0%的敏感度、90.7%的特異度和92.8%的準(zhǔn)確率。此外，Norman 等［22］基于膝骨關(guān)節(jié)炎KL 分級（Kellgren Lawrence grading system）和DenseNet 神經(jīng)網(wǎng)絡(luò)模型提出了一個全自動檢測OA 的算法，并收集4 490 張X 射線圖像用來訓(xùn)練OA 分級算法模型，發(fā)現(xiàn)該模型對無OA、輕度OA、中度OA 和重度OA 的檢測靈敏度分別為83.7%、70.2%、68.9%和86.0%，特異度分別為86.1%、83.8%、97.1%和99.1%。這些結(jié)果提示該模型可以協(xié)助醫(yī)師做出更準(zhǔn)確的診斷。

上述研究將AI 算法的診斷準(zhǔn)確性同放射科醫(yī)師進(jìn)行了比較，大多數(shù)算法都可匹敵相關(guān)放射科醫(yī)師的正確性。然而，相同疾病的不同醫(yī)師間判讀常常存在一定差異，如何建立用于AI 算法學(xué)習(xí)的金標(biāo)準(zhǔn)是至關(guān)重要的［23-24］。

2.2 關(guān)節(jié)影像配準(zhǔn)

在骨科日常工作中，對運動中的關(guān)節(jié)進(jìn)行精確測量是開展骨肌系統(tǒng)生物力學(xué)研究的關(guān)鍵步驟。在基于雙透視成像系統(tǒng)的體內(nèi)關(guān)節(jié)運動分析過程中，其測量的基礎(chǔ)是二維-三維圖像配準(zhǔn)，即將CT圖像與連續(xù)的X射線圖像在三維空間中對齊。Miao 等［25］通過對數(shù)字重建放射影像（digitally reconstructed radiograph，DRR）和X 線圖像中感興趣區(qū)計算殘差，使用CNN 回歸預(yù)測配準(zhǔn)參數(shù)，可在0.1 s 內(nèi)實現(xiàn)膝關(guān)節(jié)假體配準(zhǔn)，平均配準(zhǔn)誤差為0.593 mm。雖然該配準(zhǔn)方法配準(zhǔn)魯棒性高，但是使用時有一定限制，其配準(zhǔn)對象僅為醫(yī)療植入物，人體解剖結(jié)構(gòu)配準(zhǔn)效果較差。

基于AI 算法的圖像配準(zhǔn)方法，在實時性上優(yōu)于人工配準(zhǔn)方法，因此其應(yīng)用場景也可擴大到術(shù)中實時導(dǎo)航等。然而目前來看，AI 算法的配準(zhǔn)精度還不能完全滿足臨床要求，進(jìn)一步提升配準(zhǔn)精度應(yīng)是AI配準(zhǔn)算法的主要方向。

3 AI與軟組織

3.1 韌帶損傷檢測

韌帶是關(guān)節(jié)的主要組成部分，起到支持關(guān)節(jié)運動、維持關(guān)節(jié)穩(wěn)定的重要作用。膝關(guān)節(jié)各類疾病的臨床診斷通常都要參考韌帶的狀態(tài)。由于MRI、CT 等影像學(xué)圖像均存在一定局限性，對韌帶損傷程度的判斷易受醫(yī)師主觀因素的影響。AI 算法的發(fā)展為提高韌帶損傷檢測的準(zhǔn)確率提供了全新的技術(shù)手段。

?tajduhar 等［26］通過建立一個決策支持模型，從人體膝關(guān)節(jié)的矢狀面MRI 圖像檢測輕微前交叉韌帶（anterior cruciate ligament，ACL）損傷（不需要手術(shù)治療）和完全ACL 斷裂（需要手術(shù)治療）的存在，來評估期輔助診斷過程的可能性；結(jié)果顯示輕微ACL 損傷檢測AUC 為0.894，完全ACL 斷裂檢測AUC 為0.943，表明該模型具有一定的診斷價值。Bien 等［27］在2018 提出了用于檢測膝關(guān)節(jié)MRI 圖像中ACL 和半月板損傷的深度學(xué)習(xí)模型MRNet，其中MRNet 的訓(xùn)練基于一個龐大的數(shù)據(jù)集，算法模型在測試集上取得了較好的性能；該模型對ACL 以及半月板損傷檢測的準(zhǔn)確度與影像科醫(yī)師差異無統(tǒng)計學(xué)意義，且可以大幅降低ACL 損傷的誤診率。針對這一課題，Liu 等［28-29］的研究也取得了不亞于人工診斷結(jié)果的準(zhǔn)確率。以往的韌帶損傷檢測算法缺乏對多模態(tài)信息的融合和利用，相關(guān)算法的性能依然存在提升空間。隨著相關(guān)研究的深入，AI 在韌帶損傷診斷和治療的應(yīng)用有望真正應(yīng)用于臨床。

3.2 肌間脂肪組織定量分析

肌間脂肪組織廣泛存在于肌骨系統(tǒng)。通過分析肌間脂肪組織，可以對人體新陳代謝、運動能力以及肌肉功能等狀況進(jìn)行推斷。根據(jù)醫(yī)學(xué)影像，對肌間脂肪組織進(jìn)行定量測定具有重要的臨床醫(yī)學(xué)價值。

傳統(tǒng)的肌間脂肪組織分析不但操作復(fù)雜，效率低下，且分析結(jié)果的一致性較差。針對上述問題，Tan 等［30］提出了肌間脂肪組織自動分區(qū)算法，將機器學(xué)習(xí)算法應(yīng)用于肌間脂肪組織進(jìn)行定量分析。Kemnitz 等［31］研究開發(fā)了基于U-Net網(wǎng)絡(luò)模型的全自動肌肉和脂肪組織分割的新方法，其分割結(jié)果準(zhǔn)確，對大數(shù)據(jù)集的全自動化評估時間（小于1 s）較目前的半自動化評估（3～6 min）或手工分割技術(shù)（60～90 min）大大縮短，展現(xiàn)了肌間脂肪組織定量分析技術(shù)對于研究骨肌系統(tǒng)OA等疾病診斷和治療進(jìn)程的重要性。

4 AI與骨腫瘤

骨腫瘤是腫瘤中發(fā)病率較低的一種疾病，通常表現(xiàn)為多種形態(tài)成像特征，異質(zhì)性強。其主要治療方案是新輔助放射治療和化學(xué)治療（放化療）以及手術(shù)治療。精確地從骨腫瘤CT和MRI圖像中分割出腫瘤病灶區(qū)域，對術(shù)前新輔助放化療的計劃制定，以及術(shù)后療效評估都有著至關(guān)重要的作用。然而，人工勾畫腫瘤區(qū)域耗時長，工作量極大。此外，不同的放射科醫(yī)師對腫瘤區(qū)域的勾畫結(jié)果易受主觀經(jīng)驗、環(huán)境等諸多因素影響，且勾畫結(jié)果不可重復(fù)。因此，臨床上亟需實現(xiàn)腫瘤區(qū)域的自動分割和合理判讀。目前利用CNN進(jìn)行深度學(xué)習(xí)應(yīng)用較廣泛。

AI 在骨腫瘤分型方面的應(yīng)用較早。早在1980 年，Lodwick 等［32］使用計算機模型確定了骨腫瘤分型。1994年，Reinus 等［33］研究利用神經(jīng)網(wǎng)絡(luò)模型診斷骨腫瘤，將709個病灶的影像學(xué)特征編碼到預(yù)先確定的數(shù)據(jù)庫中，該模型鑒別良惡性病變的準(zhǔn)確率為85%。2017年，Do等［34］開發(fā)了貝葉斯模型來預(yù)測710張X射線圖像上的骨腫瘤診斷與鑒別診斷；預(yù)測正確診斷的準(zhǔn)確率高達(dá)62%，鑒別診斷的準(zhǔn)確率高達(dá)80%。

AI 在骨腫瘤邊界勾畫方面的應(yīng)用較多。Huang 等［35］提出了一種基于多監(jiān)督側(cè)全卷積網(wǎng)絡(luò)（multiple supervised fully convolutional networks，MSFCN）模型的腫瘤邊界自動分割方法，對405例骨肉瘤手工分割結(jié)果進(jìn)行定量比較，平均戴斯相似性系數(shù)（average Dice similarity coefficient，DSC） 為87.80%，平均敏感度為86.88%、 平 均Hammoude 距 離（Hammoude measure，HM） 為19.81%，F(xiàn)1 值為0.908，與全卷積網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN）模型、U-Net 方法和整體嵌套邊緣檢測（holistically-nested edge detection，HED）方法相比，MSFCN 模型在DSC、靈敏度、HM 和F1 值方面有著更好的性能。該算法有助于快速準(zhǔn)確地勾畫腫瘤邊界，有助于醫(yī)師制定更精確的治療方案。此外，該團(tuán)隊［36］提出了一種基于多監(jiān)督深度殘差網(wǎng)絡(luò)（multiple supervised residual network，MSRN）模型的骨肉瘤圖像分割方法。與FCN、U-Net等先進(jìn)算法的最佳分割結(jié)果相比，MSRN 在DSC 系數(shù)、敏感度系數(shù)、F1 值上分別提升了8.78%、 7.83%、 6.71%。 Duan 等［37］近 期 提 出 的SenseCare 平臺，基于深度學(xué)習(xí)網(wǎng)絡(luò)模型，融合了MRI 骨盆腫瘤分割、CT 骨盆骨骼多類分割、MRI/CT 骨盆區(qū)域自動配準(zhǔn)等多種技術(shù)，利用不同模態(tài)圖像，可自動提取腫瘤及其周圍結(jié)構(gòu)并將其融合，輔助手術(shù)規(guī)劃、患者假體匹配與導(dǎo)板的設(shè)計。

AI 在骨腫瘤術(shù)后復(fù)發(fā)預(yù)測方面的應(yīng)用起步較晚。He等［38］應(yīng)用CNN 模型，根據(jù)56 例經(jīng)術(shù)后病理證實的骨巨細(xì)胞瘤患者的MRI 圖像和臨床資料，預(yù)測骨巨細(xì)胞瘤患者術(shù)后局部復(fù)發(fā)情況，并結(jié)合患者特征（年齡、腫瘤位置等），建立預(yù)測骨巨細(xì)胞瘤復(fù)發(fā)的二元Logistic 回歸模型。將CNN、CNN 回歸模型與放射科醫(yī)師的診斷比較，CNN 和CNN 回歸模型的正確率分別為75.5%和78.6%，高于放射科醫(yī)師的64.3%；敏感度分別為85.7%和87.5%，高于放射科醫(yī)師的58.3%；該研究說明CNN 對刮骨術(shù)后骨巨細(xì)胞瘤復(fù)發(fā)有一定的預(yù)測價值，結(jié)合患者特點的二元回歸模型提高了預(yù)測腫瘤復(fù)發(fā)的準(zhǔn)確性。

AI 在骨腫瘤影像識別分割的應(yīng)用很多。其在骨腫瘤圖像的處理效率方面具有優(yōu)勢，但其對骨腫瘤圖像識別的準(zhǔn)確度有待進(jìn)一步提高。比如，對于較小的骨腫瘤區(qū)域，自動分割方法存在一定的局限性，需要大量數(shù)據(jù)進(jìn)行模型優(yōu)化。

5 其他

AI 在骨肌系統(tǒng)影像學(xué)其他方面也有研究，如骨質(zhì)疏松骨密度測量、坐骨神經(jīng)病診斷、下肢力線分析等［37，39-42］。Yasaka 等［39］利用CNN 模型對183 名患者的1 665張CT圖像進(jìn)行深度學(xué)習(xí)，可以從未增強的腹部CT圖像中估計出骨密度，從而評價骨質(zhì)疏松程度。Balsiger等［41］開發(fā)和評估了一種全自動的大腿周圍神經(jīng)分割方法，即利用FCN 模型將MRI 圖像分割為周圍神經(jīng)和背景組織，完整的分割過程不到1 s，較手工分割耗時（約19 min）明顯減少；研究證明全自動分割健康志愿者和坐骨神經(jīng)病患者坐骨神經(jīng)的標(biāo)準(zhǔn)MRI 圖像，具有良好的準(zhǔn)確性和臨床可行的時間。Duan 等［37］提出基于U-net 模型的下肢全長片自動關(guān)鍵點檢測與骨骼分割技術(shù)，可以對脛骨高位截骨手術(shù)的術(shù)前規(guī)劃提供輔助。以深度學(xué)習(xí)為代表的AI技術(shù)在骨肌系統(tǒng)應(yīng)用領(lǐng)域還在不斷拓展。

6 展望

隨著數(shù)字信息化時代的到來，AI 正在對骨肌系統(tǒng)影像學(xué)領(lǐng)域產(chǎn)生革命性的影響，通過對大量多維數(shù)據(jù)的整合分析，可輔助醫(yī)師識別人眼和大腦所忽視的數(shù)據(jù)，甚至影響放射科醫(yī)師日常工作的流程。隨著AI 進(jìn)一步向臨床實踐中落地，臨床醫(yī)師的工作效率必將進(jìn)一步提升，從而將其從煩瑣的日常工作中解放出來，使其能夠?qū)Ｗ⒂诟挥刑魬?zhàn)性的工作任務(wù)。同時，我們也看到，AI 在骨肌系統(tǒng)影像學(xué)的不同領(lǐng)域發(fā)展的程度不盡相同，AI 算法還不能勝任人類完成的復(fù)雜任務(wù)；國內(nèi)不同的醫(yī)療機構(gòu)之間數(shù)據(jù)缺乏完整統(tǒng)一的標(biāo)準(zhǔn)，增加了多中心、高質(zhì)量、大規(guī)模的骨肌系統(tǒng)影像學(xué)的人工標(biāo)注數(shù)據(jù)庫構(gòu)建的難度，這在無形中限制了AI 的進(jìn)一步應(yīng)用。盡管如此，AI 在骨肌系統(tǒng)影像學(xué)的應(yīng)用前景依舊樂觀，需要醫(yī)務(wù)工作者同算法開發(fā)者及政策制定者共同努力。