范真誠，張欣然，廖洪恩

清華大學 醫(yī)學院 生物醫(yī)學工程系，北京 100084

精準空間透視融合手術導航

范真誠，張欣然，廖洪恩

清華大學 醫(yī)學院 生物醫(yī)學工程系，北京 100084

面對大眾對創(chuàng)傷性小、恢復期短、更安全高效的微創(chuàng)手術需求，手術導航的臨床重要性日漸顯著。如何使用醫(yī)學影像信息指導術前手術規(guī)劃，在術中引導實時診斷、精確操作與高效治療，提高手術效率、精度與安全成為研究關注熱點。本文針對臨床需求提出一種基于高性能立體全像技術的新型精準空間透視融合手術導航系統(tǒng)，并且介紹了該導航系統(tǒng)涉及到的關鍵技術。基于該系統(tǒng)能夠實現對微創(chuàng)手術器械追蹤與手術感興趣區(qū)域中關鍵解剖組織的三維立體增強顯示，為醫(yī)生提供精確直觀的透視融合引導。

微創(chuàng)手術導航；增強現實；實時立體全像；空間定位

1 研究背景

微創(chuàng)手術中，如何在局限的手術空間下避免對微小復雜生理組織傷害，并準確抵達病灶區(qū)域，是臨床醫(yī)學中亟待解決的問題。隨著計算機斷層掃描（CT）、磁共振成像（MRI）等醫(yī)學影像技術的快速發(fā)展，醫(yī)生可以更詳細的了解解剖結構與生理結構信息。在醫(yī)學影像信息的引導下，醫(yī)學計算機輔助手術可以輔助醫(yī)生實時了解關鍵區(qū)域的空間結構、靶向區(qū)域與介入工具之間的關系[1]，有效進行術前路徑規(guī)劃，術中精準治療與術后觀察。

在傳統(tǒng)計算機輔助導航系統(tǒng)中，圖像導航界面與手術操作區(qū)域分離，醫(yī)生需要在屏幕和患者病灶區(qū)域之間進行視野切換，以確認手術入口、工具和目標之間的位置。手眼無法協調的問題會顯著降低操作的效率和準確性[2]。并且，傳統(tǒng)導航界面僅供醫(yī)生進行二維觀察，缺乏對病灶區(qū)域的整體空間信息顯示。因此，如何解決手眼協調問題、實現精準立體空間定位與圖像引導是精準微創(chuàng)手術領域的研究重點與難點。為解決上述提及的兩個主要問題，許多研究提出圖像增強導航的解決方案。增強現實（AR）作為一種能夠將虛擬計算機數據準確融合到實際手術場景的可視化技術[3]，無需醫(yī)生在圖像顯示器和實際操作區(qū)域進行視野切換，改善醫(yī)生的手眼協調問題，提高圖像引導手術的精度[4]。醫(yī)療中對于增強現實裝置有兩個關鍵要求——準確的時間和準確的位置。這兩者能夠保證實際手術區(qū)域和虛擬影像的動態(tài)配準融合。為實現這些目標，三維定位技術、術中成像與三維可視化技術等等應用于醫(yī)療增強現實系統(tǒng)中[5]。針對醫(yī)療增強現實技術的研究通過光學投影、光路變換等技術完成影像融合，多集中于二維投影增強、手術顯微鏡、頭戴式三維顯示器（HMD）、和原位透視融合顯示[6]的研究。

二維投影顯示系統(tǒng)需借助投影裝置將醫(yī)學影像數據疊加到人體上實現影像增強手術引導。二維投影顯示實現方法簡單，無需借助復雜設備即可完成增強現實的需求，設備空間體積小。因為投影需被實物呈接后才能可視化，投影圖像通常為二維圖像，無法實現三維圖像投影融合顯示，無法提供深度信息，在復雜區(qū)域手術中并不適用。此外，術中人體組織表面將產生形變，為得到無畸變的準確投影圖像，需要根據人體表面形態(tài)對被投影圖進行形變處理。

頭戴式三維顯示器通過向觀察者左右眼視野分別提供不同的影像構建視差感，人眼通過雙目視差圖在空間中聚焦得到三維立體場景。研究者在頭戴式顯示器用于醫(yī)療教學、內窺鏡手術等方面進行了大量研究。頭戴式三維顯示器能構建高清晰度三維場景，通過增強現實或虛擬現實的方式提高手術的準確性與效率。然而同時，頭戴式三維顯示器通過兩幅二維圖像構建的三維場景與觀察者視點位置相關，在不同觀察者的使用中其精度存在個體性差異。為得到準確融合圖像，需要對醫(yī)生進行位置追蹤。此外，其裝置本身以及觀察過程中的輻輳反射不一致性問題易令觀察者產生暈眩的感受以及視覺疲勞的問題。

立體手術顯微鏡也是采用雙目視差圖構建立體場景，并通過光學疊加的方法把引導信息疊加至手術顯微鏡成像視野中。將MRI或CT掃描數據傳送到左右視野中實現增強顯示，通過光學追蹤裝置可以定位顯微鏡和患者位置，顯示準確的增強圖像。在增強顯示的同時獲取更為清晰的術中場景。

與頭戴式三維顯示器、立體手術顯微鏡等相比，基于半透半反鏡的原位透視融合顯示系統(tǒng)無需追蹤觀察者的位置或佩戴附加輔助觀察裝置[2]。利用原位透視融合顯示技術，醫(yī)生能夠穿透半透半反鏡觀察到疊加到真實場景中的醫(yī)學影像信息。醫(yī)學影像信息可以是二維橫斷面圖像、三維面繪制或體繪制結果和立體醫(yī)學影像。通過患者-影像注冊以及調整影像與半透半反鏡的光學對應關系可保證圖像能夠融合到目標空間位置。利用該系統(tǒng)能夠將患者信息與術前術中信息相融合，用于術前規(guī)劃和術中引導。評估實驗證明，與常規(guī)方式相比，采用原位透視融合顯示系統(tǒng)進行脊椎穿刺針的位置更加準確。目前，原位透視融合顯示已經應用于膝關節(jié)[7]、導針穿刺[8]、牙科[9]和其他微創(chuàng)手術的模型及動物實驗。

疊加影像的空間精度與融合精度是確保手術安全性和高效性的主要因素。由于二維平面顯示不能提供足夠的空間精度，因此三維可視化與三維空間透視融合技術得到越來越多的重視。相較于二維投影缺乏立體信息、頭戴式三維顯示器和立體手術顯微鏡體積大且深度信息不精確[10]等問題，利用三維空間透視融合系統(tǒng)不僅能夠顯示具有立體視差、運動視差且空間位置準確的三維影像，而且能夠準確疊加融合到真實場景中起到增強現實的作用，是實現增強現實圖像引導手術的重要解決方案。

為滿足臨床對三維原位可視化的需求，實現精確三維影像疊加融合顯示，解決手眼協調問題，本文提出一種基于高性能立體全像技術的新型空間透視融合精準定位導航系統(tǒng)，實現對微創(chuàng)手術器械追蹤與靶向區(qū)域的三維立體增強顯示。并且對其臨床應用和研究應用進行分析與探討。

2 新型空間原位透視融合精準定位導航系統(tǒng)

為提高手術導航系統(tǒng)信息的可靠性與精確性，解決現有系統(tǒng)中手眼協調與缺乏立體引導信息等問題，我們提出基于高性能立體全像技術的立體空間影像原位透視融合精準定位導航系統(tǒng)，為醫(yī)生提供一個立體、精確、直觀的增強現實手術導航場景。本系統(tǒng)基于實時立體全像技術與新型光路結構，設計空間透視融合裝置，完成裸眼三維立體影像在實際患者的疊加顯示；基于立體全像技術設計緊湊式空間標記物，對用于微創(chuàng)手術狹窄區(qū)域的手術器械進行精確定位追蹤?；诟咝阅芰Ⅲw全像技術的新型空間透視融合精準定位導航系統(tǒng)，能夠為醫(yī)生提供可視化引導，有效了解患者解剖結構與手術器械空間姿態(tài)。

2.1 實時立體全像技術

與前文所述二維影像或雙目立體影像增強現實導航相比，自由立體全像能在無需佩戴眼鏡或其他設備的情況下為觀察者提供引導信息。自由立體全像可通過透鏡陣列、光柵、體顯示器、全息成像等方法實現。其中，實時立體全像技術（IV）能生成幾何位置信息準確的全真彩色、全視差立體影像。與實物一樣，立體全像在空間中有固定的位置，在不同的視角下，觀察者能看到不一樣的影像，且可供多人同時裸眼觀察。實時立體全像的數據源可以是術前或術中醫(yī)學影像數據、計算機模型或立體相機、激光掃描等設備采集的三維信息，能方便重建生理結構和手術器械立體影像，為醫(yī)生提供精確直觀的引導。

立體全像的原理是空間物體的三維信息能被一組微型凸透鏡陣列記錄在其焦平面上，焦平面上記錄到的影像稱為基元圖像。由此，三維信息能通過基元圖像和對應微透鏡陣列恢復出來。基元圖像上每個像素點發(fā)出的光線穿過對應透鏡中心，并在不同位置相交會聚，在對應的空間位置上重現立體影像。實時立體全像技術通過計算機仿真基元圖像生成過程，并將基元圖像顯示在二維平面顯示器上，以實現動態(tài)重現?；獔D像的計算方法可分為面繪制與體繪制兩大類。面繪制方法通過計算多個視點下表面模型到基元圖像平面的反向映射確定基元圖像上各像素值，其計算過程服從像素分配算法[11-12]，見圖1。體繪制方法假設基元圖像中每個像素點均發(fā)射出一條穿過對應微透鏡中心的光線，通過計算每條光線方向上體繪制結果確定其像素值。

圖1 實時立體全像面繪制方法原理

手術場景發(fā)生變化時，引導影像需實現實時渲染，以進行同步更新。然而，立體全像渲染過程包含大量的計算，例如一次渲染包括大量面片繪制（面繪制）或光線追跡計算（體繪制）（圖2）。為保證渲染速度符合臨床需求，可以使用基于圖形處理器（GPU）并行加速的立體全像渲染流程[13]，使用商用級GPU便可實現高分辨率實時立體全像渲染。

圖2 立體全像顯示在各個視角下的不同效果

2.2 立體影像增強現實導航關鍵技術

影像引導手術[14]主要涉及四個主要技術。首先，術前路徑規(guī)劃與優(yōu)化是手術成功的保證。根據精確引導信息，醫(yī)生可以決定手術器械的入口和路徑，以避免損傷周圍的高風險結構。第二步是在手術過程中實時跟蹤檢測手術器械的位置，確定其與病灶區(qū)域的空間位置。同時，輔助進行注冊。第三，結合患者術前醫(yī)學圖像選擇不同的注冊方法，完成術前醫(yī)學圖像與實際患者的統(tǒng)一。第四，直觀的人性化友好界面能夠為醫(yī)生提供可視化引導。其中，為實現準確三維影像空間融合增強顯示與術中器械追蹤，需要選擇合適的患者－醫(yī)學影像注冊與空間定位方法。下文將詳細介紹立體影像增強顯示導航涉及的注冊與空間定位技術。

2.2.1 空間定位技術

在影像引導手術中，空間定位系統(tǒng)能提供成像設備、手術器械與患者的實時位姿，以保證增強現實引導影像顯示位置的精確性與可更新性。臨床常用的定位系統(tǒng)包括基于框架的立體定位、光學定位、電磁定位與術中影像設備。立體定位通過框架規(guī)定參考坐標系，患者與器械需固定在框架上并通過機械的方式實現定位。雖然基于框架的立體定位在剛性結構定位上有很高的精度，但框架結構總易影響手術操作。光學定位系統(tǒng)通過可見光或紅外光范圍內進行對標志點的識別實現空間定位。光學定位擁有較高的精確度與穩(wěn)定性，但需保持標志點始終處于定位系統(tǒng)的有效范圍內且不存在遮擋。電磁定位可以很好地解決光學定位中存在的遮擋問題，可實現體內目標的跟蹤。電磁定位通過檢測位于磁場中電磁線圈中感應電流變化判斷其位姿。然而，電磁定位系統(tǒng)中磁場的穩(wěn)定性易受外界環(huán)境干擾，導致定位精度不及光學與機械定位方法。術中影像設備通過影像處理方法獲取手術器械或生理結構的實時位置，并能很好地詮釋器械與生理結構間的關系。此外，術中影像還可用于實時診斷與治療效果評估。

目前臨床使用的大多數定位系統(tǒng)需要借助特定的標志點，但這個方法有明顯的局限性。首先是標志點固定可能對患者造成的損傷和感染；再次，標志點僅能反應有限個數點的位置，難以精確反映非剛性的定位目標的準確位姿。為解決上述問題，需要使用無需標記的空間定位方法?；趫D像特征分析與運動檢測方法、醫(yī)學成像與可見光雙目相機都可用于目標定位[20]。目前，在以介入器械、牙科、軟組織等為目標的無需標記空間定位研究已獲得了良好的結果，但依然受到定位精度、定位速度及魯棒性等方面的局限。隨著醫(yī)學影像、模式識別、計算機視覺等領域的發(fā)展，無需標記空間定位將擁有更大的臨床應用潛力。

因為不同空間定位方法均有各自的優(yōu)缺點，復合型空間定位系統(tǒng)通過結合不同方法，實現精度更高、有效范圍更大、更可靠的空間定位。

2.2.2 患者－立體醫(yī)學影像的三維注冊

導航系統(tǒng)中，患者與醫(yī)學影像的三維注冊技術能實現醫(yī)學影像數據和實際患者間在空間位置上的有效關聯，保證立體影像能在目標解剖結構上精準呈現?；颊?立體醫(yī)學影像三維注冊基于兩組分別位于立體影像與患者數據上，且相互對應的外部特征點集或自然解剖結構特征點集，確定患者坐標系與立體影像坐標系間的轉換關系。從數學角度而言，三維注冊過程是基于基準點集對求解從立體影像坐標系到患者坐標系的轉換矩陣的過程。其中剛性轉換關系可以表示用一個4×4矩陣表示，其中包括一個3×3旋轉矩陣和一個3×1平移向量。基于最小二乘擬合算法，此轉換矩陣可通過最小化特征點集之間的距離求解。

（1）基于標志點的患者－影像注冊方法

特征點的定位與識別精度是影像注冊精確性的主要因素。立體定向手術中的參考定位儀是一個在早期臨床應用中進行對標志點進行精確定位的方法。然而，立體框架在成像過程中可能會產生偽影而降低患者-影像注冊精度。此外，立體框架會引入患者不適與醫(yī)生操作不便。

為了減輕患者負擔與提高手術操作便捷性，可以使用標志點代替立體框架進行定位。標志點可以固定在患者、探針或成像設備上，借助定位系統(tǒng)便可確定上述目標的空間位姿。獲取兩組相對應基準點集位置的方法有兩種。第一種方法是使在皮膚上或骨骼上固定標志點的位置。這些標志點能夠在醫(yī)學影像中精確識別，同時也能通過定位裝置被跟蹤。術中對標志點的實時跟蹤可在患者位姿變化時實現引導圖像的相應更新。第二種方法是使用在醫(yī)學影像及直接觀察中均易于分辨的人體解剖特征點作為基準點，例如鼻尖、眉心等內外部特征。這些特征的位置可以通過定位探針記錄，由此無需在患者身體上固定任何標志點，避免對患者的損傷。

（2）無需標記的患者－影像注冊方法

盡管基于標志點的注冊方法在很多應用中都得到了很好的效果。但是在某些手術場景下，基于標志點的注冊方法會受到一定的局限。出于盡量避免患者損傷和感染的考慮，大多數解剖目標不適合提前安置標志點。無需標記的患者-影像注冊方法將能有效解決上述問題。

無需標記的患者-影像注冊可通過三維表面匹配方法實現。一個解剖結構表面可以在醫(yī)學影像坐標系及患者坐標系中分別使用點集進行描述。醫(yī)學影像表面點集到實際患者表面點集間的變換關系可以通過面匹配算法求解。由此即可完成患者-影像注冊。目前有多種算法可以點集間變換關系，其中最常用的算法是迭代最近點（ICP）算法[15]。醫(yī)學影像信息通過CT、MRI等影像采集獲取，實際患者數據可以通過利用多種影像采集設備在術中獲取。根據影像采集設備的不同，可以分為二維場景采集與三維場景采集。

二維場景采集多采用單目相機，且獲取的圖像為平面投影信息，缺乏空間結構信息。為將二維平面信息同三維術前醫(yī)學影像信息配準融合，Liao等[16]在2004年提出一種基于二維圖像的表面匹配方法。從三維表面模型中提取的二維渲染表面模型，利用此二維表面模型與術中采集的二維平面信息進行配準融合。最后將裸眼三維立體醫(yī)學影像準確透視融合到實際病灶區(qū)域。

三維場景可以由立體相機三維重建，激光表面掃描重建與結構光重建獲取。通過多種方式獲取三維表面數據后，基于表面匹配方法可以將三維表面數據同術前CT、MRI的表面數據進行匹配，完成無標志點的患者-醫(yī)學影像注冊?；诹Ⅲw相機的三維重建是通過相機標記獲取立體相機的內外參數，并根據此參數與左右視差圖重建得到三維場景。而已有研究表明激光表面掃描沒有侵入性、且具有足夠的精度[17]。因此，激光掃描分辨率越高，激光表面掃描重建精度越高，無標志點的患者-醫(yī)學影像注冊結果越好。目前，此概念方法已應用于商業(yè)設備且在口腔頜面外科[18]得到了廣泛應用?；诮Y構光的表面重建[19]技術則可利用結構光投射到患者并基于光學設備進行計算重建患者表面數據。除基于表面進行患者-醫(yī)學影像注冊外，還可以基于解剖輪廓進行配準。Wang等[9]提出一種基于立體追蹤和三維輪廓配準的自動無標志點配準方法。該方法主要包括四個主要步驟。首先，在立體圖像的首幀左視圖中手動選擇圖像模板，以用于采集牙科手術場景。其次，右視圖的對應區(qū)域可以根據模板匹配獲取。第三步，在左右視圖感興趣區(qū)域中，根據牙齒和口腔的強對比度提取二維牙齒邊界。并且基于極限約束搜索算法進行立體配準。最后，根據相機標定結果完成三維輪廓重建并且進行實時更新?；贗CP算法實現三維輪廓與術前CT、MRI等數據提取到的模板進行注冊。根據三維圖像融合增強現實，能夠增加牙科手術的準確性。

2.3 立體全像原位透視融合導航系統(tǒng)構成

立體全像原位透視融合導航系統(tǒng)主要包括基于立體全像的緊湊式定位器械追蹤系統(tǒng)和導航系統(tǒng)兩部分。

2.3.1 基于立體全像的緊湊式定位器械追蹤系統(tǒng)

當患者、手術器械與導航裝置移動時，立體全像導航信息需實現同步更新，這時需要術中實時精確空間定位系統(tǒng)。然而，微創(chuàng)手術感興趣區(qū)域小，因此如何實現狹窄空間下器械的有效追蹤亟需解決。傳統(tǒng)的光學空間定位主要基于近紅外光（例POLARIS, Northern Digital Inc）和可見光（例MicronTracker, Claron Technology Inc）完成。同時為檢測出整個手術器械在空間的姿態(tài)變換，需要在器械上安裝三個或三個以上能夠保證空間自由度的標記物。因此，其空間設計和安裝復雜且空間體積較大，在一定程度上影響手術操作。

為解決上述問題，我們提出了基于立體全像技術的緊湊式空間定位器械追蹤方法。利用立體全像技術對初始棋盤格狀標記物進行渲染，得到具有空間信息的二維基元圖像。并利用具有相同參數的微型凸透鏡陣列進行三維標記物再現[23]（圖3）。為保證追蹤到探針的整個自由度，至少需要三個標記物構成三角形形狀，因此，整個探針上棋盤格狀標記物的空間幾何排列如圖所示。三個二維基元圖像與透鏡陣列組合共線排列，實際在空間中生成的棋盤格狀標記物構成非特殊三角形。

圖3 緊湊式定位器械

基于立體全像技術的緊湊式定位器械占有空間體積小，能夠滿足在微創(chuàng)手術狹窄區(qū)域的有效空間定位與跟蹤，保證手術導航信息的精確可靠[23]（圖4）。

圖4 緊湊式定位器械應用場景

2.3.2 基于立體全像的導航系統(tǒng)構成

立體全像原位透視融合導航裝置由立體全像顯示器、半透半反鏡與支撐臂構成，見圖5。

圖5 立體全像原位透視融合導航裝置框架

觀察者透過半透半反鏡觀察手術區(qū)域，同時，觀察者還能看到經半透半反鏡反射后的立體全像，這樣立體全像便能疊加在手術區(qū)域上。因為渲染的立體全像與最終觀察到的立體全像間滿足光學透鏡的縮小成像與半透半反鏡的鏡像關系，通過對光路的精確建模與計算，我們能夠通過調整立體全像渲染參數，保證立體全像能與患者目標生理結構在空間中精確融合，見圖4。這樣，醫(yī)生能直觀精確地獲取被遮擋生理結構的位置與形態(tài)，以更好地保證手術安全性與效率。此外，醫(yī)生能根據手術操作需求方便地調整導航裝置位置與觀察角度，對不同的手術目標進行引導。

在精細手術中，引導影像應具有很高的分辨率，保證醫(yī)生能夠分辨微小重要組織。然而，立體全像的分辨率受基元圖像分辨率和透鏡陣列密度限制。這里我們提出了一個高效靈活的基于光學透鏡的高分辨率實時立體全像系統(tǒng)。此系統(tǒng)由光學透鏡組成，放置于觀察者與立體全像之間。此系統(tǒng)能實現立體全像幾何尺寸的縮小，同時保持影像的像素數，從而提高影像像素密度，提高立體全像單位體積內的分辨率。與此同時，為補償透鏡成像中存在的光學畸變，我們還提出了立體全像預畸變校正算法。通過仿真或實驗標定的方法確定透鏡的光學畸變模型，并在立體全像渲染過程中將光學畸變考慮在內，補償光學元件畸變對成像精度的影響，以滿足臨床安全對立體全像分辨率的需求[22]。

3 系統(tǒng)搭建與實驗結果

我們搭建立體全像原位透視融合導航原型系統(tǒng)，并在膝關節(jié)手術領域進行了志愿者實驗。實際搭建的系統(tǒng)見圖6。

圖6 立體全像原位透視融合導航原型系統(tǒng)

膝蓋部位的手術是一種針對骨頭/軟骨損傷的微創(chuàng)手術。作為抑制伸展過度的重要內部穩(wěn)定部位，膝關節(jié)很容易在超過生物力學限制的時候受到損傷。因此，醫(yī)生需要重建膝關節(jié)以對其進行治療。手術中，外科醫(yī)生通過股骨和脛骨的空隙中進行操作。為更好的實現術后康復，保證腔道位置精度是很重要的。在傳統(tǒng)的手術中，外科醫(yī)生使用X射線或CT得到的醫(yī)學圖像進行引導操作。將立體全像原位透視融合導航系統(tǒng)應用于前交叉韌帶重建能夠實時顯示靜脈建立股骨、脛骨和手術器械[21]，直觀生動地顯示三維膝關節(jié)內部結構（圖7）。在光學跟蹤系統(tǒng)和半透半反鏡的輔助下，骨頭的CT數據和三維手術器械能夠引導外科醫(yī)生觀察到膝關節(jié)結構和手術病人的體內工具位置，進而完成手術操作。

圖7 立體全像原位透視融合導航系統(tǒng)在膝關節(jié)手術志愿者實驗與結果

4 結論

圖像增強現實技術能夠解決手眼協調問題，輔助醫(yī)生在觀察實時場景的同時獲取醫(yī)學影像信息，從而保障手術安全、提高手術精度。

本文介紹了目前可用于圖像引導手術中的多種增強現實系統(tǒng)，簡要介紹各種增強現實系統(tǒng)的研究進展并對其優(yōu)缺點進行對比。相較于二維投影缺乏立體信息、頭戴式三維顯示器和立體手術顯微鏡體積大且深度信息不精確等問題，利用三維空間透視融合系統(tǒng)不僅能夠顯示具有立體視差、運動視差且空間位置準確的三維影像，而且能夠將三維醫(yī)學影像準確疊加融合到真實場景，是實現增強現實圖像引導手術的一種重要解決方案。本文著重介紹了三維空間透視融合系統(tǒng)的關鍵技術，包括三維影像可視化、精確的患者－立體醫(yī)學影像的三維注冊與有效的器械追蹤。并針對于微創(chuàng)手術的實際臨床應用需求，提出一種基于高性能立體全像技術的新型空間透視融合精準定位導航系統(tǒng)?；诠鈱W透鏡實現高分辨率實時立體全像顯示，提高三維融合影像性能。同時基于立體全像技術設計緊湊式定位器械，實現在微創(chuàng)手術狹窄區(qū)域的定位追蹤。

相較于軟組織，骨科中的結構變形小，因此，對于骨科的三維空間透視融合系統(tǒng)更容易實現，且目前的臨床實驗顯示了良好的應用前景。然而，目前的三維空間透視融合系統(tǒng)依舊存在一定技術上的制約。例如，其具有較高的空間精度，但其平面精度需要進一步的改善。為獲得清晰的立體視覺圖像和較寬的顯示視角，需要利用高性能微型凸透鏡陣列和高分辨率顯示器。同時，也需要更多的臨床試驗對系統(tǒng)的效率和可行性進行評估。

三維空間透視融合已經成為圖像引導手術的重要發(fā)展趨勢，將會為精準微創(chuàng)診療提供有效可視化平臺。

致謝

本課題受國家自然科學基金（81427803, 61361160417, 81271735），北京市科委《生命科學領域前沿技術》專項（Z151100003915079）及科技支撐計劃項目（2015BAI01B03）項目等資助。

[1] Cleary K,Peters TM.Image-guided interventions:technology review and clinical applications[J].Annu Rev Biomed Eng, 2010,12:119-142.

[2] Peters T,Cleary K.Image-guided interventions:technology and applications[M].US:Springer,2008.

[3] Liao H,Edwards PJ.Introduction to the special issues of mixed reality guidance of therapy-Towards clinical implementation[J].Comput Med Imaging Graph,2013,37(2):81-82.

[4] Suenaga H,Tran HH,Liao H,et al.Real-time in situ threedimensional integral videography and surgical navigation using augmented reality:a pilot study[J].Int J Oral Sci,2013,5(2):98-102.

[5] Lamata P,Ali W,Cano A,et al.Augmented reality for minimally invasive surgery:overview and some recent advances[J].Minerva Chir,2010,65(4):451-462.

[6] Sauer F,Vogt S,Khamene A.Augmented reality.Image-Guided Interventions[M].US:Springer,2008:81-119.

[7] Tran HH,Suenaga H,Kuwana K,et al.Augmented reality system for oral surgery using 3D auto stereoscopic visualization.Medical Image Computing and Computer-Assisted Intervention-MICCAI 2011[M].Berlin Heidelberg:Springer,2011:81-88.

[8] Fichtinger G,Deguet A,Masamune K,et al.Needle insertion in CT scanner with image overlay-cadaver studies.Medical Image Computing and Computer-Assisted Intervention-MICCAI 2004[M].Berlin Heidelberg:Springer,2004:795-803.

[9] Wang J,Suenaga H,Hoshi K,et al.Augmented Reality Navigation with Automatic Marker-Free Image RegistrationUsing 3D Image Overlay for Dental Surgery[J].IEEE Trans Biomed Eng,2014,61(4):1295-1304.

[10] Liao H,Sakuma I,Dohi T.Development and Evaluation of a Medical Autostereoscopic Image Integral Videography for Surgical Navigation[C].Complex Medical Engineering,2007. CME 2007[A].IEEE/ICME International Conference on, IEEE,2007.

[11] Lippmann G.La Photographie integrale,Comtes Rendus[M]. Academie des Sciences,1908:446-451.

[12] Liao H,Nakajima S,Iwahara M,et al.Intra-operative realtime 3-D information display system based on integral videography.Medical Image Computing and Computer-Assisted Intervention-MICCAI 2001[M].Springer Berlin Heidelberg,2001.

[13] Liao H,Dohi T,Nomura K.Autostereoscopic 3D display with long visualization depth using referential viewing area-based integral photography[J].IEEE Trans Vis Comput Graph,2011, 17(11):1690-1701.

[14] DiGioia III AM,Jaramaz B,Colgan BD.Computer assisted orthopaedic surgery:image guided and robotic assistive technologies[J].Clin Orthop Relat Res,1998,(354):8-16.

[15] Eggers G,Mühling J,Marmulla R.Image-to-patient registration techniques in head surgery[J].Int J Oral Maxillofac Surg,2006, 35(12):1081-1095.

[16] Liao H,Inomata T,Hata N,et al.Integral videography overlay navigation system using mutual information-based registration. Medical Imaging and Augmented Reality[M].Springer Berlin Heidelberg,2004:361-368.

[17] Luebbers HT,Messmer P,Obwegeser J A,et al.Comparison of different registration methods for surgical navigation in cranio-maxillofacial surgery[J].J Craniomaxillofac Surg,2008, 36(2):109-116.

[18] Marmulla R,Hassfeld S,Lüth T,et al.Laser-scan based navigation in cranio-maxillofacial surgery[J].J Craniomaxillofac Surg,2003,31(5):267-277.

[19] Nicolau S,Soler L,Mutter D,et al.Augmented reality in laparoscopic surgical oncology[J].Surg Oncol,2011, 20(3):189-201.

[20] Liao H,Hata N,Nakajima S,et al.Surgical navigation by autostereoscopic image overlay of integral videography[J].IEEE Trans Inf Technol Biomed,2004,8(2):114-121.

[21] Liao H,Nomura K,Dohi T.Autostereoscopic integral photography imaging using pixel distribution of computer graphics generated image[C].ACM SIGGRAPH 2005 Posters,ACM,2005.

[22] Zhang X,Chen G,Liao H.A High-accuracy Surgical Augmented Reality System Using Enhanced Integral Videography Image Overlay[C].37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC'15),2015[A].

[23] Fan Z,Wang J,Liao H.A spatial position measurement system using integral photography based 3d image markers.1st Global Conference on Biomedical Engineering & 9th Asian-Pacific Conference on Medical and Biological Engineering[M]. Springer International Publishing,2015:150-153.

High-precision Three-dimensional Space See-through Surgical Navigation

FAN Zhencheng, ZHANG Xinran, LIAO Hongen
Department of Biomedical Engineering, School of Medicine, Tsinghua University, Beijing 100084, China

Image guided surgery has shown increasing importance as the public is in need of a surgical procedure that is minimally invasive, requires short recovery time, and can be performed in a safer and more efficient way. Current researches focus on how to utilize medical images to guide preoperative planning and to intraoperatively ensure real-time diagnosis, high-accurate operation, and high-efficient treatment. This paper proposed a surgical navigation technique and system for specific clinical scenarios, and provided an integral videography three-dimensional (3D) image based high-precision augmented reality. Key technologies involved in the surgical navigation system were also introduced. The surgical tools can be tracked in real time and updated in 3D display. Using 3D image overlay system, 3D autostereoscopic images of critical anatomy structures and tools can be observed with naked eyes in surgical scene. The proposed system can provide intuitive and precise guidance for surgeons by providing a “see-through” 3D augmented scene.

minimally invasive surgery navigation; augmented reality; integral videography; spatial tracking

R197.39

A

10.3969/j.issn.1674-1633.2016.03.005

1674-1633(2016)03-0026-07

2015-10-07

2016-01-13

國家自然科學基金國家重大科研儀器研制項目（81427803）；國家自然科學基金（61361160417, 81271735）；北京市科委《生命科學領域前沿技術》專項（Z151100003915079）；科技支撐計劃項目（2015BAI01B03）等支持。

廖洪恩，教授。

通訊作者郵箱：liao@tsinghua.edu.cn