王 珞，陳 適，潘 慧

(中國(guó)醫(yī)學(xué)科學(xué)院 北京協(xié)和醫(yī)學(xué)院 北京協(xié)和醫(yī)院 1.內(nèi)科； 2.內(nèi)分泌科； 3.醫(yī)務(wù)處，北京 100730)

臨床醫(yī)學(xué)是一類(lèi)實(shí)踐性極強(qiáng)的學(xué)科。學(xué)生能力提升依賴于大量系統(tǒng)化、標(biāo)準(zhǔn)化的訓(xùn)練和實(shí)踐。但與之相對(duì)，傳統(tǒng)訓(xùn)練會(huì)增加醫(yī)源性損傷的發(fā)生率。因此，臨床醫(yī)學(xué)教育與患者安全性之間的平衡成為熱點(diǎn)。仿真學(xué)習(xí)借助于多媒體、仿真、傳感、人機(jī)交互和人工智能多種技術(shù)，允許學(xué)生在可控的環(huán)境下培養(yǎng)臨床思維、訓(xùn)練復(fù)雜臨床技巧，允許犯錯(cuò)而避免對(duì)真實(shí)患者造成損傷。隨著科學(xué)技術(shù)發(fā)展，增強(qiáng)現(xiàn)實(shí)(augmented reality, AR)技術(shù)逐漸發(fā)展成熟并成為仿真學(xué)習(xí)中重要手段及臨床醫(yī)學(xué)教育領(lǐng)域的研究熱點(diǎn)[1]。AR技術(shù)的核心是將計(jì)算機(jī)虛擬、生成的信息疊加到真實(shí)場(chǎng)景中，從而對(duì)現(xiàn)實(shí)信息進(jìn)行增強(qiáng)，提高用戶對(duì)現(xiàn)實(shí)場(chǎng)景的感知以及和虛擬場(chǎng)景的交互。本篇文章將簡(jiǎn)要介紹AR系統(tǒng)的關(guān)鍵技術(shù)、在臨床醫(yī)學(xué)教學(xué)中的應(yīng)用形式、優(yōu)勢(shì)與局限性。

1 增強(qiáng)現(xiàn)實(shí)系統(tǒng)的概念

AR系統(tǒng)強(qiáng)調(diào)虛擬-現(xiàn)實(shí)連續(xù)體。與虛擬現(xiàn)實(shí)相比，AR利用虛擬信息對(duì)真實(shí)場(chǎng)景進(jìn)行增強(qiáng)，用戶能夠保有身處真實(shí)場(chǎng)景的客觀感受，更加適合解決實(shí)

際問(wèn)題。AR系統(tǒng)具有3個(gè)特點(diǎn)：虛實(shí)結(jié)合；三維匹配：通過(guò)實(shí)時(shí)跟蹤及計(jì)算影像獲得位置與虛擬影像疊加于真實(shí)場(chǎng)景的注冊(cè)位置，實(shí)現(xiàn)虛擬影像與真實(shí)場(chǎng)景的融合；實(shí)時(shí)交互：真實(shí)場(chǎng)景信息可以實(shí)時(shí)反饋給AR系統(tǒng)[2]。

2 增強(qiáng)現(xiàn)實(shí)系統(tǒng)的關(guān)鍵技術(shù)

基于上文所述AR系統(tǒng)的3個(gè)特點(diǎn)，該系統(tǒng)的關(guān)鍵技術(shù)主要可分為跟蹤注冊(cè)技術(shù)、顯示技術(shù)和智能交互技術(shù)。這些技術(shù)決定一個(gè)AR系統(tǒng)的精確度。

2.1 跟蹤注冊(cè)技術(shù)

跟蹤注冊(cè)技術(shù)是實(shí)現(xiàn)三維匹配的基礎(chǔ)。首先需檢測(cè)客體的特征點(diǎn)及輪廓，并轉(zhuǎn)化為二維或三維的坐標(biāo)，最終在正確位置實(shí)時(shí)顯示，完成三維注冊(cè)、匹配。跟蹤注冊(cè)技術(shù)依據(jù)跟蹤對(duì)象可分為兩類(lèi)[2]：

跟蹤對(duì)象為攝像設(shè)備：又可進(jìn)一步分為基于硬件傳感器、基于計(jì)算機(jī)視覺(jué)。后者的精確度相對(duì)較高，也應(yīng)用于臨床醫(yī)學(xué)中。例如通過(guò)體層掃描相機(jī)對(duì)牙列外形視覺(jué)捕捉，并對(duì)此信息進(jìn)行跟蹤、注冊(cè)[3]。跟蹤對(duì)象為人：把用戶及用戶周邊信息作為跟蹤對(duì)象。而實(shí)際上，為保證系統(tǒng)的精確度和更廣泛的使用范圍，避免外界環(huán)境對(duì)系統(tǒng)的影響、干擾，一個(gè)AR系統(tǒng)中往往會(huì)用到多種跟蹤注冊(cè)技術(shù)。

2.2 顯示技術(shù)

AR系統(tǒng)所采用的顯示技術(shù)，根據(jù)成像原理的不同可分為視頻式、光學(xué)透視式和投影儀式。視頻式的優(yōu)點(diǎn)為疊加場(chǎng)景的圖像質(zhì)量高，但缺點(diǎn)為復(fù)雜的處理過(guò)程可導(dǎo)致最終呈現(xiàn)的疊加場(chǎng)景較真實(shí)場(chǎng)景延遲。光學(xué)透視式真實(shí)和虛擬場(chǎng)景在鏡片上進(jìn)行融合。投影式技術(shù)成本較低，但易受環(huán)境干擾[4]。

顯示設(shè)備則可分成：頭戴式顯示器，有文章報(bào)道AR眼鏡在中心靜脈穿刺的仿真教學(xué)中的應(yīng)用[1]。投影顯示器可將虛擬場(chǎng)景投射到大范圍環(huán)境中，且投射焦點(diǎn)與用戶視角無(wú)關(guān)。其他還包括手持式移動(dòng)顯示器、計(jì)算機(jī)屏幕顯示器。

2.3 智能交互技術(shù)

常見(jiàn)的人機(jī)交互方式包括：基于傳統(tǒng)硬件設(shè)備的交互方式，鼠標(biāo)、手柄等硬件，對(duì)應(yīng)虛擬場(chǎng)景中某一坐標(biāo)，真實(shí)場(chǎng)景中的硬件操作反映于虛擬場(chǎng)景中該點(diǎn)的行為，手勢(shì)交互系統(tǒng)以及投影互動(dòng)技術(shù)。

3 增強(qiáng)現(xiàn)實(shí)技術(shù)在醫(yī)學(xué)教育中的應(yīng)用現(xiàn)狀

AR技術(shù)能夠?qū)⒂跋窠Y(jié)果、器官3D模型等虛擬場(chǎng)景注冊(cè)到真實(shí)環(huán)境中，提供更加可視化、三維、可互動(dòng)的效果。因此在實(shí)踐類(lèi)、場(chǎng)景識(shí)別類(lèi)的醫(yī)學(xué)教學(xué)內(nèi)容中應(yīng)用更廣泛。傳統(tǒng)的教學(xué)方式為文字講授、模型展示、現(xiàn)場(chǎng)觀摩、動(dòng)物實(shí)驗(yàn)甚至是直接操作于患者。

3.1 解剖

研究發(fā)現(xiàn)，應(yīng)用基于增強(qiáng)現(xiàn)實(shí)技術(shù)的Virtuali-Tee T恤衫的學(xué)生在學(xué)習(xí)心臟解剖后測(cè)試的結(jié)果中優(yōu)秀率更高[5]。另有研究提示MagicBook可顯著提升學(xué)生的解剖知識(shí)掌握水平[6]。

3.2 有創(chuàng)操作、外科手術(shù)

AR技術(shù)在有創(chuàng)操作、外科手術(shù)的教學(xué)中已有較多探索。由于AR的核心技術(shù)為虛擬、真實(shí)場(chǎng)景的精準(zhǔn)疊加，因此在不易移動(dòng)、變形的器官操作中應(yīng)用效果較好。目前AR技術(shù)的臨床及教學(xué)應(yīng)用多集中于神經(jīng)外科、頜面外科和普外科等[4,13]。比如通過(guò)虛擬腹腔鏡技術(shù)培訓(xùn)醫(yī)學(xué)生闌尾切除術(shù)，可顯著減少醫(yī)學(xué)生不必要的腔內(nèi)器械操作，提高手術(shù)的安全性[7]； Lung Point系統(tǒng)是一種虛擬導(dǎo)航支氣管鏡，根據(jù)患者胸部CT予以三維重建仿真支氣管，并智能規(guī)劃操作路徑，該系統(tǒng)可縮短呼吸內(nèi)鏡醫(yī)師培訓(xùn)時(shí)間，提高培訓(xùn)成效[8]；中心靜脈穿刺術(shù)培訓(xùn)中引用AR眼鏡，教學(xué)結(jié)果提示該方式靈活、有效[1]。

3.3 超聲影像學(xué)

有文章報(bào)道，心內(nèi)科、超聲科學(xué)生通過(guò)超聲仿真儀器學(xué)習(xí)經(jīng)胸廓超聲心動(dòng)圖、經(jīng)食道超聲心動(dòng)圖，大部分被試者認(rèn)為該系統(tǒng)仿真性較好。EchoCom是一個(gè)三維跟蹤注冊(cè)系統(tǒng)，通過(guò)超聲信息，幫助醫(yī)學(xué)生訓(xùn)練及早識(shí)別先天性心臟疾病。該系統(tǒng)的應(yīng)用能夠顯著提高醫(yī)學(xué)生的診斷率[9]。

4 增強(qiáng)現(xiàn)實(shí)技術(shù)在醫(yī)學(xué)教育中的優(yōu)勢(shì)

與傳統(tǒng)教學(xué)方式相比，AR技術(shù)在醫(yī)學(xué)教育方面擁有以下優(yōu)勢(shì)。

4.1 安全性

基于仿真技術(shù)的醫(yī)學(xué)教學(xué)方式目標(biāo)是在避免患者醫(yī)源性損傷的同時(shí)仍達(dá)到對(duì)醫(yī)學(xué)生的培訓(xùn)要求。AR技術(shù)可以通過(guò)虛擬系統(tǒng)，代替直接作用于患者的訓(xùn)練和實(shí)踐。醫(yī)學(xué)生減少對(duì)患者直接實(shí)行有創(chuàng)操作，可明確減少患者出現(xiàn)操作并發(fā)癥，也避免醫(yī)學(xué)生職業(yè)暴露。AR技術(shù)能夠保證醫(yī)患雙方的安全性。

4.2 自主性、趣味性

AR技術(shù)能夠提供豐富的虛擬圖像、模型資源，將知識(shí)呈現(xiàn)變得更加真實(shí)、形象和有趣。它的應(yīng)用讓學(xué)習(xí)者的積極性和主動(dòng)性得以發(fā)揮。有研究對(duì)比基于AR技術(shù)的教學(xué)方式與傳統(tǒng)課本的效果，發(fā)現(xiàn)使用移動(dòng)AR技術(shù)的學(xué)生知識(shí)獲取程度遠(yuǎn)高于傳統(tǒng)對(duì)照組，其益處主要在于激發(fā)了學(xué)習(xí)的參與度[10]。

4.3 可重復(fù)性

經(jīng)驗(yàn)豐富、技術(shù)精湛的臨床醫(yī)師需要多次重復(fù)的訓(xùn)練。但現(xiàn)實(shí)環(huán)境中難以保證同一臨床場(chǎng)景反復(fù)出現(xiàn)。AR技術(shù)通過(guò)提取大量臨床資料，并進(jìn)行模擬、疊加，允許相同場(chǎng)景不斷重復(fù)，供學(xué)生反復(fù)訓(xùn)練，至強(qiáng)化記憶、熟練掌握該場(chǎng)景。

4.4 規(guī)劃與反饋

AR技術(shù)在醫(yī)學(xué)教學(xué)中的應(yīng)用，通過(guò)建模圖像與真實(shí)場(chǎng)景之間的直接疊加，可以減少學(xué)生主觀想象，與操作視野之間建立直接、連續(xù)的空間關(guān)系。這種空間關(guān)系的建立是智能操作路徑規(guī)劃的基礎(chǔ)。例如正頜外科的數(shù)字手術(shù)規(guī)劃將虛擬的截骨線和真實(shí)的頜骨疊加融合[11]。以及在血管外科手術(shù)中，定位血管和規(guī)劃手術(shù)入路[12]。

除了操作前的規(guī)劃，AR系統(tǒng)還能夠?qū)W(xué)生的操作過(guò)程通過(guò)人機(jī)交互系統(tǒng)進(jìn)行評(píng)價(jià)，甚至于操作過(guò)程中實(shí)時(shí)反饋，并模擬操作導(dǎo)致的相應(yīng)后果，便于學(xué)生總結(jié)經(jīng)驗(yàn)、教訓(xùn)。

4.5 多人協(xié)作

多人協(xié)作、配合的訓(xùn)練在醫(yī)學(xué)教育中也極為關(guān)鍵。AR系統(tǒng)可通過(guò)多個(gè)計(jì)算機(jī)硬件設(shè)備相互關(guān)聯(lián)，分享同一虛擬-現(xiàn)實(shí)疊加模型，允許多人在同一系統(tǒng)中學(xué)習(xí)、協(xié)作。且學(xué)習(xí)及演練過(guò)程中可隨時(shí)暫停、重復(fù)，為師生提供討論時(shí)間。

5 增強(qiáng)現(xiàn)實(shí)技術(shù)在醫(yī)學(xué)教育中的局限性

5.1 場(chǎng)景相對(duì)單一

AR系統(tǒng)所提供的臨床場(chǎng)景需要前期人為虛擬場(chǎng)景設(shè)計(jì)，因此，場(chǎng)景較臨床現(xiàn)實(shí)相對(duì)單一、固定。單獨(dú)使用無(wú)法取代真正的臨床實(shí)踐，學(xué)習(xí)如何應(yīng)對(duì)不同患者的個(gè)體差異及因社會(huì)心理問(wèn)題導(dǎo)致的臨床變異。

5.2 技術(shù)缺陷

臨床教學(xué)中對(duì)跟蹤、注冊(cè)精準(zhǔn)程度、對(duì)場(chǎng)景模擬的真實(shí)性要求較高，目前我國(guó)的AR技術(shù)處于發(fā)展初期，尚不能完全達(dá)到臨床要求。更加先進(jìn)、全面的技術(shù)需要引入AR臨床醫(yī)學(xué)教育系統(tǒng)。

5.3 硬件與經(jīng)濟(jì)成本

AR系統(tǒng)對(duì)硬件要求較高、價(jià)格昂貴，因此無(wú)法在所有醫(yī)學(xué)教學(xué)機(jī)構(gòu)普及。雖然不斷有低成本AR系統(tǒng)問(wèn)世，但這些系統(tǒng)存在自身局限性：比如為降低成本，顯示方式多選擇投影式，導(dǎo)致場(chǎng)景疊加位置相對(duì)固定等；以及不包含實(shí)時(shí)反饋及校正系統(tǒng)等。目前，AR技術(shù)在臨床醫(yī)學(xué)中的應(yīng)用仍為小范圍、試驗(yàn)性。未來(lái)，性能與成本之間平衡的系統(tǒng)設(shè)計(jì)將成為研發(fā)重點(diǎn)。

6 總結(jié)與展望

已有多個(gè)研究證實(shí)AR系統(tǒng)在臨床醫(yī)學(xué)教育中能夠提高學(xué)生的學(xué)習(xí)興趣、臨床實(shí)踐能力，且能夠減少不熟練的臨床操作給患者帶來(lái)的醫(yī)源性損害。而除了個(gè)體化的操作，AR技術(shù)因其能夠提供可視化、三維及可互動(dòng)的效果，有望應(yīng)用于臨床醫(yī)學(xué)科普教育中。另外，AR技術(shù)能夠模擬多種場(chǎng)景，可為突發(fā)衛(wèi)生事件應(yīng)急處理、災(zāi)難生命支持等領(lǐng)域的學(xué)生提供有效訓(xùn)練。越來(lái)越多的成品化AR系統(tǒng)將會(huì)為臨床醫(yī)學(xué)教育帶來(lái)巨大的、嶄新的變化。