周熹 劉書中 王以朋 劉勇

（中國醫(yī)學(xué)科學(xué)院北京協(xié)和醫(yī)學(xué)院北京協(xié)和醫(yī)院骨科，北京 100730）

增強現(xiàn)實（augmented reality，AR）與混合現(xiàn)實（mixed reality，MR）技術(shù)在醫(yī)學(xué)應(yīng)用方面通常是指虛擬圖像與用戶視覺的疊加，近年來由于設(shè)備技術(shù)的升級進步，AR/MR技術(shù)的應(yīng)用迅速崛起，顯示出巨大的醫(yī)學(xué)應(yīng)用潛力[1-3]。在圖像引導(dǎo)手術(shù)（image-guided surgery，IGS）系統(tǒng)中，以目前外科手術(shù)導(dǎo)航為背景，AR/MR可能引領(lǐng)著下一個重大技術(shù)變革。

骨與軟組織腫瘤外科是骨科學(xué)范疇內(nèi)難度最高的亞專業(yè)之一，病種繁雜多樣，手術(shù)難度和風(fēng)險高，術(shù)中出血量大且常伴副損傷發(fā)生，青年醫(yī)師學(xué)習(xí)曲線較長。近年來，已有多項研究探索了AR/MR 技術(shù)在骨腫瘤外科手術(shù)規(guī)劃及教學(xué)培訓(xùn)中的應(yīng)用價值[4]。本文將著重闡述AR/MR 技術(shù)在該領(lǐng)域的研究進展和發(fā)展前景，以期提高骨科?？漆t(yī)師對AR/MR技術(shù)在骨科學(xué)領(lǐng)域應(yīng)用的認(rèn)知和掌握。

1 AR/MR技術(shù)及其在骨科領(lǐng)域的應(yīng)用概述

AR/MR 包括特殊的硬件和軟件設(shè)備，最基本的方法是將計算機生成圖像疊加在各種模式相機生成的真實圖像上，并在顯示器上顯示這些圖像的有機結(jié)合。AR/MR 投影需在特定場所中安裝視頻投影儀，目前已成功研制出便攜式視頻投影設(shè)備，另一種方式是使用類似于眼鏡或頭盔的特殊頭戴式顯示器，即“智能眼鏡”[5,6]。在基于AR/MR 的手術(shù)導(dǎo)航系統(tǒng)中，醫(yī)師通?？蓮男g(shù)前影像資料（例如X 線、CT、MRI、超聲檢查、造影檢查、核醫(yī)學(xué)檢查等）中獲得個體化的解剖學(xué)和功能學(xué)信息，從而實時地將三維虛擬模型疊加覆蓋在真實的手術(shù)術(shù)野視圖上，為骨科醫(yī)師提供可視且精準(zhǔn)的解剖結(jié)構(gòu)和功能信息。與普通的可視化技術(shù)相比，術(shù)者無需從手術(shù)部位移開視線，且可利用語音識別及手勢識別等附加技術(shù)，在術(shù)中無菌環(huán)境下完成醫(yī)師與硬件的實時交互[6,7]。

由于部分器官隨呼吸、體位改變、腸蠕動等因素可發(fā)生位置變化，因此AR/MR 系統(tǒng)在器官運動和形變較大的組織器官手術(shù)中優(yōu)勢更為明顯，目前應(yīng)用研究最多的領(lǐng)域是神經(jīng)外科、骨科、肝膽外科和耳鼻喉科[5,8]。在骨科手術(shù)中，AR/MR 技術(shù)已被報道用于創(chuàng)傷外科、脊柱外科、關(guān)節(jié)外科、骨與軟組織腫瘤外科、關(guān)節(jié)鏡手術(shù)等各個亞專業(yè)的術(shù)前規(guī)劃、術(shù)中導(dǎo)航和教學(xué)培訓(xùn)中[4,9-16]。AR/MR 技術(shù)可以將患者特定的影像學(xué)資料與真實場景有機結(jié)合，實現(xiàn)實時三維交互，術(shù)者能夠在AR/MR 系統(tǒng)的實時引導(dǎo)下精準(zhǔn)地完成手術(shù)操作，降低手術(shù)難度，縮短手術(shù)時間，減少術(shù)中醫(yī)患雙方接受的放射劑量，提高手術(shù)治療的效果[9,17,18]。在骨科手術(shù)相關(guān)的應(yīng)用之外，因AR/MR 技術(shù)可以將實時圖像或三維結(jié)構(gòu)疊加到用戶視野中，因此在實習(xí)生、研究生和青年醫(yī)師的培養(yǎng)訓(xùn)練中可提供許多的教學(xué)和實踐操作機會，可使青年醫(yī)師在課堂或課后根據(jù)自身興趣掌握骨與軟組織的解剖特點、制定術(shù)前規(guī)劃、模擬手術(shù)演練，更有利于提高其學(xué)習(xí)積極性和效率[2-4,9,19-21]。

2 AR/MR 技術(shù)在骨腫瘤外科手術(shù)規(guī)劃及操作模擬中的應(yīng)用

2.1 應(yīng)用優(yōu)勢

在AR/MR技術(shù)的基礎(chǔ)上已經(jīng)開發(fā)了虛擬交互平臺，該技術(shù)也稱為虛擬交互與增強現(xiàn)實（virtual inter?active presence and augmented reality，VIPAR）[22]。該平臺允許經(jīng)驗豐富的外科醫(yī)師通過網(wǎng)絡(luò)連接，遠程向本地醫(yī)師提供實時的虛擬援助，遠程連接醫(yī)師能夠看到手術(shù)室內(nèi)實時所見的術(shù)野，可以同一視角識別解剖結(jié)構(gòu)及指導(dǎo)手術(shù)。這為本地外科醫(yī)師創(chuàng)造了AR、MR 甚至雙重現(xiàn)實的體驗，可以促進知識傳遞和技能獲取。該技術(shù)在未來可能是便捷、安全且高效的教學(xué)或遠程醫(yī)療會診工具[5,22]。

在模擬手術(shù)或制定手術(shù)策略前，操作者可向設(shè)備系統(tǒng)內(nèi)傳輸已經(jīng)完善的患者影像學(xué)資料數(shù)據(jù)（包括超聲檢查、CT、MRI、血管造影、PET/CT 等）。然后，進行資料獲取、數(shù)據(jù)處理、分析、集成和輸出，進而生成個體化、精準(zhǔn)、可調(diào)節(jié)的三維同比圖像，最大限度地確保合成的三維影像與手術(shù)過程中的實際解剖位置關(guān)系一致。該項技術(shù)可以協(xié)助臨床醫(yī)師或受訓(xùn)者快速、準(zhǔn)確、實時地體驗和識別解剖部位、解剖層次和解剖功能，快速分析病變特征、病變性質(zhì)和解剖結(jié)構(gòu)位置關(guān)系，進行交互式模擬訓(xùn)練或手術(shù)操作，獲得良好的感官體驗[4,9-14]。同時，操作者可根據(jù)實際需要對術(shù)前規(guī)劃或手術(shù)操作中需特殊注意、易伴發(fā)損傷的解剖結(jié)果（骨骼、血管、神經(jīng)、肌肉、肌腱、筋膜、韌帶等）進行特殊標(biāo)注或顯示，亦可根據(jù)需要突出顯示或隱藏某種或幾種解剖結(jié)構(gòu)，以便更加直觀地掌握整體或局部的解剖特點，盡可能避免不必要的副損傷及并發(fā)癥，縮短手術(shù)時間，減少術(shù)中出血量[2-4,9-14]。

2.2 AR/MR 技術(shù)在骨腫瘤外科手術(shù)規(guī)劃及操作模擬中的應(yīng)用實例

隨著AR/MR 技術(shù)的發(fā)展，它在骨腫瘤外科手術(shù)規(guī)劃、手術(shù)模擬和術(shù)中導(dǎo)航中顯示出廣闊的發(fā)展空間和應(yīng)用前景。目前，AR/MR 技術(shù)不僅可以向體驗者展示完整的手術(shù)操作過程，還可以使用輔助設(shè)備或添加解說、熱點等語言模塊，告知體驗者在手術(shù)過程中如何與助手進行溝通與合作，以最大限度地提高手術(shù)效率和安全性。目前，國內(nèi)外許多骨科專家在AR/MR技術(shù)的指導(dǎo)下開展并成功完成了骨腫瘤手術(shù)，術(shù)后短期隨訪效果令人滿意。

2.2.1 脊柱區(qū)腫瘤手術(shù)

目前大多數(shù)在脊柱手術(shù)中應(yīng)用AR/MR的方法都是基于在監(jiān)視器上顯示的可視化系統(tǒng)，應(yīng)用光學(xué)攝像機或光學(xué)透視頭戴式設(shè)備，如引導(dǎo)椎弓根螺釘置入、經(jīng)皮椎體成形術(shù)、脊柱小關(guān)節(jié)注射的導(dǎo)航裝置[9,19-26]。基于顯微鏡的AR/MR技術(shù)已從神經(jīng)外科改良到脊柱外科手術(shù)中。Carl 等[9]證實基于顯微鏡的AR 技術(shù)可以成功地應(yīng)用于椎管內(nèi)腫瘤切除手術(shù)，能夠提供直觀的術(shù)中腫瘤范圍和周圍結(jié)構(gòu)的可視化擬合情景并且具備較高的精準(zhǔn)度。

馬小軍等[10]應(yīng)用MR技術(shù)將1例多發(fā)骨質(zhì)疏松性椎體壓縮骨折患者的CT影像資料導(dǎo)入Visual Volume重建軟件，重建脊柱病灶三維模型。該模型術(shù)中可實時指導(dǎo)術(shù)者手術(shù)操作，手術(shù)路徑清晰，術(shù)后效果滿意，并且可有效減少副損傷的發(fā)生并縮短手術(shù)時間。叢海波等[27]應(yīng)用AR 聯(lián)合3D 打印技術(shù)成功完成半椎體置換切除椎體腫瘤手術(shù)，手術(shù)效果滿意。研究者認(rèn)為將該技術(shù)用于脊柱腫瘤手術(shù)操作中，可直接將脊柱腫瘤及毗鄰組織的三維解剖結(jié)構(gòu)實時疊加于手術(shù)視野上，解決了傳統(tǒng)手術(shù)導(dǎo)航系統(tǒng)中導(dǎo)航信息與手術(shù)場景分離的問題，使手術(shù)過程更簡便、直觀，有利于縮短手術(shù)時間并減少圍手術(shù)期并發(fā)癥的發(fā)生。該技術(shù)既能保證高效、準(zhǔn)確地分離瘤體組織，又能兼顧保護周圍重要血管、神經(jīng)及組織臟器。根據(jù)其具備的精準(zhǔn)定位和實時交互的技術(shù)特性，AR/MR技術(shù)有望在脊柱轉(zhuǎn)移癌的微創(chuàng)治療、脊柱腫瘤病灶切除、單一或多節(jié)段全椎體切除、椎旁腫物切除等領(lǐng)域展現(xiàn)出自身獨特的優(yōu)勢。

2.2.2 關(guān)節(jié)區(qū)腫瘤手術(shù)

AR/MR在關(guān)節(jié)腫瘤手術(shù)中的使用目前僅在豬模型中開展。Cho等[13]開發(fā)了一種可在平板電腦上使用的計算機整合模型，該模型可根據(jù)術(shù)前腫瘤大小、骨骼特性和毗鄰軟組織結(jié)構(gòu)之間的關(guān)系來確定手術(shù)切除范圍。他們用AR技術(shù)完成了82例豬股骨、60例豬骨盆模擬腫瘤的切除，其中一組為AR技術(shù)輔助切除腫瘤，而另一組為常規(guī)方式切除（直尺測量髁突邊緣至預(yù)期切除邊緣的距離后進行切除）。與傳統(tǒng)方法相比，使用AR 軟件的切除切緣精度更高，且可減少操作時間并節(jié)約成本。在該項研究中，受試人群包括骨腫瘤專家和住院醫(yī)師，但兩類人群的模擬手術(shù)評估效果無明顯差異，也體現(xiàn)了AR技術(shù)在青年醫(yī)師關(guān)節(jié)腫瘤手術(shù)培訓(xùn)中的重要價值。

在臨床上，對于關(guān)節(jié)受累、關(guān)節(jié)周圍、伴有嚴(yán)重骨缺損的關(guān)節(jié)腫瘤手術(shù)，術(shù)中準(zhǔn)確識別解剖位置、精準(zhǔn)切除腫瘤、放置髖臼假體和股骨假體等問題大大增加了手術(shù)難度，并可能直接影響手術(shù)效果和術(shù)后康復(fù)[28-30]。AR/MR技術(shù)的出現(xiàn)有望解決這些問題，這依賴于AR/MR技術(shù)可以實時協(xié)助術(shù)者完成術(shù)中解剖結(jié)構(gòu)的精準(zhǔn)識別，尤其是在伴發(fā)骨缺損、發(fā)育異常、解剖變異、術(shù)后翻修這些特殊情況時仍然可以實現(xiàn)上述技術(shù)優(yōu)勢，具有廣闊的應(yīng)用前景。

2.2.3 四肢骨與軟組織腫瘤手術(shù)

骨與軟組織腫瘤切除手術(shù)過程復(fù)雜，尤其是惡性腫瘤的瘤體邊界常難以確定，手術(shù)操作難度大，較長的手術(shù)時間往往意味著更多的術(shù)中出血量和副損傷的發(fā)生。且術(shù)后存在易復(fù)發(fā)、易發(fā)生遠處轉(zhuǎn)移等嚴(yán)重后果。通過AR/MR 技術(shù)的有效輔助，外科醫(yī)師在實施手術(shù)操作前及手術(shù)過程中可以進行實時模擬訓(xùn)練，對瘤體邊界、毗鄰重要組織結(jié)構(gòu)、手術(shù)入路、能否完整切除腫瘤及可行性、放置內(nèi)置物的方法及途徑等重要信息進行精確預(yù)判，手術(shù)實際操作過程中可能遇到的諸多問題都可進行模擬預(yù)演，制定規(guī)范合理的術(shù)前規(guī)劃，使手術(shù)操作更加精準(zhǔn)、安全，提高手術(shù)成功率并有效縮短手術(shù)時間、減少術(shù)中出血量及并發(fā)癥，這也是精準(zhǔn)外科、個體化治療、快速康復(fù)理念的重要體現(xiàn)。馬小軍等[11]研究證實MR技術(shù)有助于在骨與軟組織腫瘤切除術(shù)中定位腫瘤邊界并完整切除腫瘤，在復(fù)雜骨與軟組織腫瘤的個體化、精準(zhǔn)手術(shù)治療中展現(xiàn)出巨大的潛力。

Cho 等[13]嘗試通過將AR 技術(shù)應(yīng)用于長骨腫瘤切除術(shù)來簡化傳統(tǒng)導(dǎo)航系統(tǒng)，而不影響操作精確度。該研究以豬股骨模型模擬骨腫瘤為實驗對象，評估了基于AR 技術(shù)的導(dǎo)航輔助在骨腫瘤切除術(shù)中的準(zhǔn)確性，結(jié)果顯示在AR 導(dǎo)航系統(tǒng)的幫助下，腫瘤切除的準(zhǔn)確性是令人滿意的。此外，這一概念使導(dǎo)航系統(tǒng)簡單可用，無需額外的成本或時間。盡管大多數(shù)保肢手術(shù)可以用傳統(tǒng)技術(shù)進行，但基于AR 技術(shù)的導(dǎo)航系統(tǒng)值得進一步關(guān)注。此外，該系統(tǒng)還提供了關(guān)于腫瘤位置的附加信息，并且可以在手術(shù)時幫助指導(dǎo)外科醫(yī)師，而無需復(fù)雜的設(shè)置過程或造成手術(shù)室過于擁擠，最大限度地降低所需的額外時間和成本。

因此，在進行軟組織腫瘤切除前，精準(zhǔn)的術(shù)前規(guī)劃至關(guān)重要。外科醫(yī)師必須明確腫瘤瘤體邊緣到鄰近重要神經(jīng)血管結(jié)構(gòu)的真實距離。既往幾乎全部導(dǎo)航系統(tǒng)都是建立在骨性標(biāo)志上，這些骨性標(biāo)志是可觸及的、易判斷的。然而，軟組織腫瘤的位置及其與骨骼的關(guān)系可能因患者不同的體位而有所改變，并對術(shù)前計劃的準(zhǔn)確性產(chǎn)生不利影響。幾毫米的誤差即可能對局部復(fù)發(fā)率和患者生存率有決定性的影響，因此準(zhǔn)確的術(shù)前成像非常重要。此外，測量到的距關(guān)鍵神經(jīng)血管結(jié)構(gòu)的最小距離是顯著影響外科醫(yī)師決定保肢手術(shù)是否可行的重要依據(jù)。Kaiser等[4]證實在尸體腫瘤模型中，腫瘤的確切空間位置依賴于患者的位置，尤其是在大腿，這可能會顯著改變與重要神經(jīng)血管結(jié)構(gòu)以及骨骼和皮膚的最小距離。將這些新的信息轉(zhuǎn)移到臨床實踐中可能意味著軟組織肉瘤可能會在不同患者的位置上從預(yù)期位置發(fā)生相應(yīng)的改變，并在R1/R2切除的情況下可能對患者產(chǎn)生相關(guān)的臨床后果。

2.2.4 骨盆與腹膜后軟組織腫瘤切除手術(shù)

骨盆惡性腫瘤患者比四肢惡性腫瘤患者更容易出現(xiàn)治療失?。ㄈ鐝?fù)發(fā)、轉(zhuǎn)移、死亡等）。手術(shù)的目標(biāo)是獲得一個更為完整的切除。然而，由于骨盆解剖結(jié)構(gòu)的復(fù)雜性，以及內(nèi)臟器官和大型神經(jīng)血管結(jié)構(gòu)的鄰近或包被，致使實際手術(shù)中很難達到瘤體的完整切除。Cartiaux 等[31]的研究表明在骨盆骨癌手術(shù)中，只有大約50%的經(jīng)驗豐富的外科醫(yī)師在采用傳統(tǒng)方法進行腫瘤切除時耐受性為5 mm。他們認(rèn)為使用導(dǎo)航輔助技術(shù)可能有助于骨盆骨腫瘤的手術(shù)操作。最近，有研究表明骨盆惡性腫瘤手術(shù)中的術(shù)中導(dǎo)航可以降低腫瘤切除和功能重建的難度。為了解決這個問題，Cho 等[14]開發(fā)了一個基于AR 的骨腫瘤切除導(dǎo)航系統(tǒng)，該系統(tǒng)在平板電腦平臺上運行，目的是將工作站和位置跟蹤器統(tǒng)一到一臺平板電腦上，從而簡化其使用。本研究通過豬骨盆模型中骨腫瘤的模擬，評估了基于AR的導(dǎo)航輔助在骨盆骨腫瘤切除中的應(yīng)用價值。在AR輔助切除組中，所有的切除都在6 mm 的耐受范圍內(nèi)，而傳統(tǒng)方法切除組只有78%（28/36）被切除。

3 AR/MR技術(shù)在骨腫瘤外科教學(xué)培訓(xùn)中的應(yīng)用

AR技術(shù)的便利性、虛擬場景與真實場景的結(jié)合、節(jié)約成本和可重復(fù)的特性，使其有望成為關(guān)節(jié)外科教學(xué)訓(xùn)練和手術(shù)導(dǎo)航的新方法。AR技術(shù)的應(yīng)用可以提高骨科醫(yī)師、年輕外科醫(yī)師、研究生和醫(yī)學(xué)生對關(guān)節(jié)外科基本理論的理解、基本解剖結(jié)構(gòu)的認(rèn)知和臨床技能的掌握。AR 技術(shù)可以將系統(tǒng)解剖學(xué)、局部解剖學(xué)、生理學(xué)、病理學(xué)、影像學(xué)、藥理學(xué)、創(chuàng)傷、腫瘤、感染、血管和微創(chuàng)技術(shù)等教學(xué)資源整合到一個數(shù)據(jù)庫中，可為醫(yī)學(xué)生或青年醫(yī)師提供更為逼真的模擬場景和手術(shù)機會，從而增強其主觀能動性、認(rèn)知和理解力以及實際操作能力[4,5,10-14]。

在骨腫瘤的亞專業(yè)教學(xué)中，由于受到病種多樣性、多變的腫瘤生物學(xué)行為、復(fù)雜的解剖結(jié)構(gòu)等諸多因素的限制，往往會造成青年醫(yī)師對骨腫瘤亞專業(yè)知識的理解困難，記憶模糊，無法將理論知識與實踐有機銜接的諸多教學(xué)問題。AR、MR、全息投影等技術(shù)理念的提出逐步推動了骨腫瘤亞專業(yè)教學(xué)模式的進步和變革。

石小強等[12]選取49名在腹膜后腫瘤學(xué)組參加?？漆t(yī)師培訓(xùn)的醫(yī)師為研究對象，并將住院醫(yī)師隨機分為兩組。實驗組醫(yī)師接受MR 技術(shù)為主的教學(xué)培訓(xùn)，對照組采用傳統(tǒng)課件教學(xué)的模式，授課后分別采用滿意度問卷和試卷考核形式進行對比分析。結(jié)果表明MR 技術(shù)的授課模式更有助于提高住院醫(yī)師的學(xué)習(xí)效果，激發(fā)專業(yè)興趣，更利于提升其對解剖知識的掌握度。

Cho等[13]通過建立豬股骨骨腫瘤模型來評估基于AR技術(shù)的輔助導(dǎo)航的準(zhǔn)確性。研究證實應(yīng)用AR導(dǎo)航系統(tǒng)，將腫瘤顯示為虛擬模板，大大提高了腫瘤切除的準(zhǔn)確性，簡便易行，不影響手術(shù)操作時間。下肢力線及解剖位置定位是骨科手術(shù)成功的前提，傳統(tǒng)的方法包括電灼繩、對準(zhǔn)桿、軸板，且依賴于C型臂透視導(dǎo)航。AR是對骨科醫(yī)師培訓(xùn)和技能評估的有效工具，臨床決策能力及技能熟練度不再需要長期的臨床實踐才能獲得。同時，不同于實物模型訓(xùn)練，AR可以增加外科手術(shù)訓(xùn)練的樂趣。

4 AR/MR技術(shù)的應(yīng)用前景與面臨挑戰(zhàn)

隨著AR/MR 技術(shù)的不斷發(fā)展和逐步完善，該項技術(shù)已逐漸應(yīng)用于骨科的多種教學(xué)培訓(xùn)和臨床操作培訓(xùn)當(dāng)中[22,32]。然而，AR 技術(shù)的臨床推廣仍然面臨著諸多問題和挑戰(zhàn)：①既往的研究往往更關(guān)注骨與軟組織的解剖結(jié)構(gòu)，常常忽視組織的功能及代謝情況。在骨與軟組織腫瘤的臨床診治中，瘤體的功能及代謝情況決定著手術(shù)切除的范圍和腫瘤的惡性程度。如能將PET/CT、PET/MRI 與AR/MR 技術(shù)有機結(jié)合，則其在骨腫瘤領(lǐng)域會展現(xiàn)出更大的應(yīng)用空間。②不同研究中心AR/MR 技術(shù)設(shè)備的異質(zhì)性問題。③既往基于AR/MR 技術(shù)的研究中納入分析的樣本量數(shù)量有限，有必要進行更大規(guī)模的模擬試驗。④骨腫瘤患者臨床診療應(yīng)用的倫理問題。⑤傳輸速率問題。運行速度較慢，可使操作者產(chǎn)生眩暈不適感，相信隨著5G 技術(shù)的發(fā)展，該問題有望得以解決。⑥術(shù)中因肌松藥物、血管活性藥物、患者體位改變而導(dǎo)致的瘤體、血管、神經(jīng)等重要組織臟器的移位。

綜上所述，AR/MR 技術(shù)是高科技仿真手段的快速發(fā)展，是虛擬現(xiàn)實（virtual reality，VR）技術(shù)的進一步延伸，在骨科理論教學(xué)、手術(shù)規(guī)劃、手術(shù)操作、教學(xué)培訓(xùn)等領(lǐng)域具有廣闊的應(yīng)用前景。AR/MR 技術(shù)現(xiàn)階段所展現(xiàn)的巨大潛力和廣闊前景的同時，也面臨著產(chǎn)品實際應(yīng)用過程中出現(xiàn)的諸多問題和挑戰(zhàn)。但是，我們有理由相信隨著AR/MR 技術(shù)在骨與軟組織腫瘤外科臨床和教學(xué)中應(yīng)用的日趨完善，該項技術(shù)可以惠及更多的臨床醫(yī)師，為更多的患者帶來福音。