戴 莎，司偉鑫，錢銀玲，鄭 睿，王 瓊，徐東亮，彭延軍，王平安3,

虛擬顯微白內(nèi)障手術(shù)系統(tǒng)人機(jī)交互接口設(shè)計(jì)

戴 莎1,2，司偉鑫2,3，錢銀玲2，鄭 睿2，王 瓊2，徐東亮1，彭延軍4，王平安3,2

(1. 武漢理工大學(xué)機(jī)電工程學(xué)院，湖北 武漢 430070；2.中國科學(xué)院深圳先進(jìn)技術(shù)研究院深圳市虛擬現(xiàn)實(shí)與人機(jī)交互技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣東 深圳 518055；3. 香港中文大學(xué)計(jì)算機(jī)科學(xué)與工程系，香港 999077；4. 山東科技大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266590)

基于虛擬現(xiàn)實(shí)技術(shù)的顯微白內(nèi)障手術(shù)仿真訓(xùn)練系統(tǒng)對(duì)顯微環(huán)境下眼科手術(shù)操作培訓(xùn)具有重要的意義。為此，設(shè)計(jì)并搭建了一套具有高度沉浸感的虛擬顯微白內(nèi)障手術(shù)訓(xùn)練系統(tǒng)的軟硬件環(huán)境。硬件部分系統(tǒng)以HTC Vive，Geomagic Touch X為硬件基礎(chǔ)，設(shè)計(jì)手術(shù)器械轉(zhuǎn)換接口以搭建高保真手術(shù)操作環(huán)境；軟件部分采用基于位置動(dòng)力學(xué)方法(position-based dynamics)模擬手術(shù)過程中眼角膜軟組織的變形、穿刺及縫合操作，并采用GPU并行計(jì)算對(duì)手術(shù)仿真過程進(jìn)行加速。最后，實(shí)驗(yàn)結(jié)果表明該系統(tǒng)可以實(shí)現(xiàn)自然的顯微眼科手術(shù)人機(jī)交互環(huán)境，使年輕醫(yī)師獲得高沉浸感的真實(shí)手術(shù)訓(xùn)練體驗(yàn)，從而達(dá)到一定的培訓(xùn)效果。

顯微白內(nèi)障手術(shù)；虛擬訓(xùn)練系統(tǒng)；交互式仿真；人機(jī)交互接口

白內(nèi)障是我國首要致盲眼病，約占盲人總數(shù)的一半。據(jù)統(tǒng)計(jì)，目前我國至少有400萬因白內(nèi)障致盲的患者，而且因白內(nèi)障致盲的人數(shù)還在以40萬例/年的速度逐年增長。隨著老齡化人口的不斷增加，更是促進(jìn)了白內(nèi)障發(fā)病率的升高。目前，通過顯微眼科手術(shù)摘除渾濁晶狀體再植入人工晶狀體是治療白內(nèi)障最有效的方法[1-2]。但與白內(nèi)障發(fā)病率不斷增加相對(duì)應(yīng)的卻是我國眼科醫(yī)師短缺和教育培訓(xùn)方法的滯后，2013年全國白內(nèi)障手術(shù)160萬例只有印度的四分之一，與發(fā)達(dá)國家的白內(nèi)障手術(shù)率相比更是相差甚遠(yuǎn)[3]。造成這種狀況的原因，除了眼部結(jié)構(gòu)的復(fù)雜、精細(xì)，大多處結(jié)構(gòu)不可修復(fù)外，還因?yàn)槭中g(shù)過程需要在顯微鏡下操作，視野較小操作空間局限性大，需要醫(yī)生手眼協(xié)調(diào)才能較為精準(zhǔn)的實(shí)施手術(shù)。所以眼科手術(shù)往往面臨操作難度大，手術(shù)培訓(xùn)周期長以及培訓(xùn)成本較高等問題。而且實(shí)習(xí)醫(yī)生在培訓(xùn)期間手術(shù)操作機(jī)會(huì)較少，像白內(nèi)障摘除術(shù)和青光眼小梁切除術(shù)等內(nèi)眼手術(shù)的操作機(jī)會(huì)幾乎為零，缺乏經(jīng)驗(yàn)。所以如何高效、快速、精準(zhǔn)的培訓(xùn)醫(yī)生熟練掌握顯微白內(nèi)障摘除術(shù)等內(nèi)眼手術(shù)成為解決我國眼科醫(yī)師短缺問題的一個(gè)關(guān)鍵。

傳統(tǒng)的眼科手術(shù)培訓(xùn)一般是在上級(jí)醫(yī)師的指導(dǎo)下在臨床實(shí)踐中學(xué)習(xí)，利用動(dòng)物眼和人造眼球進(jìn)行手術(shù)訓(xùn)練[4]。該方法除了顯微環(huán)境的局限性限制了手術(shù)的指導(dǎo)外，更由于動(dòng)物和人造眼球與人眼材質(zhì)的差異性大大降低了手術(shù)培訓(xùn)的有效性，還需耗費(fèi)大量的成本和培訓(xùn)周期。而基于虛擬現(xiàn)實(shí)與計(jì)算機(jī)仿真技術(shù)的虛擬手術(shù)培訓(xùn)系統(tǒng)的不斷發(fā)展對(duì)顯微眼科手術(shù)的培訓(xùn)帶來了新的機(jī)遇[5]。有學(xué)者對(duì)基于虛擬手術(shù)模擬器培訓(xùn)顯微白內(nèi)障手術(shù)的效果進(jìn)行了研究，通過手術(shù)模擬器對(duì)醫(yī)生群體進(jìn)行培訓(xùn)，實(shí)驗(yàn)表明了手術(shù)模擬器在醫(yī)生培訓(xùn)中的有效性[6]。而且基于虛擬現(xiàn)實(shí)技術(shù)的手術(shù)培訓(xùn)系統(tǒng)還可以有效的降低醫(yī)生訓(xùn)練成本和節(jié)省訓(xùn)練周期，實(shí)現(xiàn)了最大限度的醫(yī)生培訓(xùn)，加上其逼真的虛擬場景和真實(shí)的手術(shù)體驗(yàn)成為培訓(xùn)醫(yī)生手術(shù)操作的有利訓(xùn)練工具。

本文設(shè)計(jì)了一套具有高度沉浸感的顯微眼科手術(shù)訓(xùn)練系統(tǒng)，包括軟硬件環(huán)境2個(gè)部分，硬件部分以HTC Vive，Geomagic Touch X為硬件基礎(chǔ)，配合相應(yīng)的硬件裝置搭建了一套低成本、實(shí)用性強(qiáng)的人機(jī)交互接口裝置；軟件部分環(huán)境采用基于位置動(dòng)力學(xué)方法(position-based dynamics)實(shí)現(xiàn)了統(tǒng)一的物理仿真框架，模擬手術(shù)過程中的軟組織變形、穿刺及縫合操作，較好的整合了3個(gè)模塊的仿真。并采用層次包圍盒(bounding volume hierarchies, BVH)來實(shí)現(xiàn)操作過程中的碰撞檢測，采用GPU并行計(jì)算對(duì)手術(shù)仿真過程進(jìn)行快速計(jì)算。不僅提高了手術(shù)培訓(xùn)系統(tǒng)的逼真度，還可以獲得如現(xiàn)實(shí)手術(shù)一般的沉浸感和自然、真實(shí)的手術(shù)體驗(yàn)，對(duì)我國顯微環(huán)境下眼科手術(shù)操作培訓(xùn)系統(tǒng)具有重要的意義。

1 相關(guān)工作

國外對(duì)虛擬現(xiàn)實(shí)技術(shù)研究較早，基于眼科手術(shù)訓(xùn)練系統(tǒng)方面的研究相對(duì)成熟，目前已實(shí)現(xiàn)較多白內(nèi)障手術(shù)訓(xùn)練模塊并可以成功用于醫(yī)學(xué)培訓(xùn)的主要是以下3款系統(tǒng)。德國VR magic公司研發(fā)的Eyesi眼科手術(shù)訓(xùn)練系統(tǒng)，該系統(tǒng)可以應(yīng)用于玻璃體視網(wǎng)膜和白內(nèi)障手術(shù)的訓(xùn)練，包括的模塊有：夾持、撕囊、超聲乳化和人工晶體植入等。而且研究表明可以對(duì)白內(nèi)障手術(shù)過程中的關(guān)鍵步驟進(jìn)行有效訓(xùn)練，是目前市面上唯一通過同行評(píng)議可以用來練習(xí)玻璃體視網(wǎng)膜和白內(nèi)障眼科手術(shù)的仿真系統(tǒng)[7]。國際非營利組織開發(fā)的HelpMeSee白內(nèi)障手術(shù)訓(xùn)練平臺(tái)是一套專門用于小切口白內(nèi)障手術(shù)(manual small incision cataract surgery，MSICS)的訓(xùn)練平臺(tái)，該系統(tǒng)模擬了上百種難易程度不同的手術(shù)場景來幫助醫(yī)生針對(duì)不同的病情診斷和手術(shù)方案的制定工作。MicroVisTouch系統(tǒng)是唯一一款支持觸覺感應(yīng)回饋的眼科手術(shù)仿真模擬器，該系統(tǒng)實(shí)現(xiàn)了全面視覺體驗(yàn)的仿真機(jī)，包括了手術(shù)設(shè)備、頭部和眼睛，相比前2個(gè)系統(tǒng)具有更高的逼真度。在仿真功能上與Eyesi類似，主要用于白內(nèi)障手術(shù)和玻璃體視網(wǎng)膜手術(shù)的訓(xùn)練。

國內(nèi)，目前還沒有一套市面上公認(rèn)可用于實(shí)際眼科手術(shù)訓(xùn)練的系統(tǒng)，因?yàn)槭中g(shù)過程的復(fù)雜性和部分技術(shù)的難度較高等原因，進(jìn)行此方向的研究還較少。浙江大學(xué)現(xiàn)代教育中心[3]研發(fā)的基于自然交互的白內(nèi)障訓(xùn)練平臺(tái)，利用Leap motion等算法實(shí)現(xiàn)了系統(tǒng)的人機(jī)交互功能，并模擬了手術(shù)過程中的撕囊、超聲乳化玻璃體和晶狀體植入的模擬功能。

此外部分研究人員對(duì)眼科手術(shù)仿真平臺(tái)的部分模塊進(jìn)行了專項(xiàng)研究。LAM等[8]提出白內(nèi)障手術(shù)中眼球和眼外肌的肌肉變形模型。COURTECUISSE等[9]提出一種用于白內(nèi)障手術(shù)的碰撞檢測方法。史雙瑤等[10]提出了一種用于角膜模型軟組織變形仿真的支撐球彈簧模型。

總之，目前國內(nèi)外關(guān)于用于顯微眼科手術(shù)訓(xùn)練系統(tǒng)的研究還尚有不足，主要是因?yàn)椋孩訇P(guān)于顯微眼科手術(shù)訓(xùn)練系統(tǒng)的研究技術(shù)還不夠成熟，真正可以投入市面用于實(shí)際顯微手術(shù)訓(xùn)練的系統(tǒng)少之又少，尤其對(duì)于國內(nèi)而言幾乎沒有，關(guān)于此方向的研究較少；②考慮到整套手術(shù)的復(fù)雜性，目前的研究雖然在部分模塊上已見成效，比如針對(duì)碰撞檢測、肌肉變形等，但是卻不能將這些模塊整合在一起；③針對(duì)交互方面的研究還有待提高，現(xiàn)有的例如通過Leap motion手勢體感控制器來追蹤虛擬手勢器械的操作等，手術(shù)體驗(yàn)較差。

2 白內(nèi)障手術(shù)訓(xùn)練系統(tǒng)

本系統(tǒng)旨在提供高保真的白內(nèi)障手術(shù)訓(xùn)練系統(tǒng)，以虛擬現(xiàn)實(shí)技術(shù)為基礎(chǔ)，模擬真實(shí)手術(shù)環(huán)境中眼科醫(yī)生通過光學(xué)顯微器械觀察手術(shù)對(duì)象，使用多種手術(shù)器械，如開瞼器、穿刺刀、縫線結(jié)扎鑷等，完成白內(nèi)障手術(shù)中的穿刺、縫合手術(shù)步驟。真實(shí)的交互方式和逼真實(shí)時(shí)的視覺反饋是保證訓(xùn)練系統(tǒng)有效性的關(guān)鍵要素。本系統(tǒng)可以分為軟硬件2個(gè)模塊，軟件模塊包括角膜變形模擬、角膜穿刺模擬和角膜縫合模擬，通過基于PBD的統(tǒng)一仿真框架實(shí)現(xiàn)白內(nèi)障手術(shù)中眼角膜和手術(shù)器械的交互仿真，保證了仿真過程的真實(shí)感和實(shí)時(shí)性；硬件模塊包括顯微顯示裝置、顯微控制裝置和手術(shù)器械跟蹤定位裝置，以HTC Vive，Geomagic Touch X為硬件基礎(chǔ)，從逼真的視覺反饋和交互方式2個(gè)方面保證了系統(tǒng)的體驗(yàn)感和真實(shí)度，具體的系統(tǒng)框圖如圖1所示。

圖1 系統(tǒng)框圖

2.1 基于PBD的統(tǒng)一物理仿真

本文采用基于位置動(dòng)力學(xué)方法(position based dynamics，PBD)實(shí)現(xiàn)了統(tǒng)一的物理仿真模塊。PBD提供了一種基于位置的動(dòng)力學(xué)仿真框架[11]，其基于統(tǒng)一粒子的方法，通過約束連接的粒子作為整個(gè)系統(tǒng)的基本構(gòu)建塊，可以實(shí)現(xiàn)所有模塊的數(shù)據(jù)統(tǒng)一。系統(tǒng)能夠以統(tǒng)一的方式處理各模塊間的接觸和碰撞，自然地實(shí)現(xiàn)各模塊和手術(shù)器械的交互仿真。相比其他仿真框架采用不同的方法實(shí)現(xiàn)各個(gè)模塊的仿真，雖然單個(gè)模塊的仿真效果較好，但是卻不能避免模塊間同步帶來的各種問題，所以基于PBD的統(tǒng)一模塊具有更高的穩(wěn)定性和效率。

同時(shí)基于位置動(dòng)力學(xué)方法可以忽略內(nèi)力直接計(jì)算點(diǎn)的位置，通過粒子和粒子間的約束(如距離，角度等)對(duì)仿真對(duì)象的運(yùn)動(dòng)進(jìn)行建模，在迭代求解過程中，不斷通過約束糾正粒子位置，形變過程的可控性更強(qiáng)。而且算法較為簡單，求解快，并行性好，適用于仿真過程交互性較強(qiáng)的環(huán)境[12-14]。此外為了支持高精度模型仿真過程中精確高效的碰撞檢測，系統(tǒng)使用模型的層次包圍盒(bounding volume hierarchies, BVH) [15-16]對(duì)碰撞檢測進(jìn)行加速。

2.1.1 角膜形變模擬

本系統(tǒng)中眼角膜使用三角網(wǎng)格進(jìn)行表達(dá)，因此仿真算法直接以三角網(wǎng)格的頂點(diǎn)作為PBD的粒子集，并在此基礎(chǔ)上設(shè)置粒子間的約束[17]。由于眼角膜自身具有一定的彈性和硬度，為模擬此屬性，算法分別添加相鄰頂點(diǎn)的距離約束和相鄰三角面片非公用頂點(diǎn)的彎曲約束。

本文基于基本的PBD表達(dá)，可以實(shí)現(xiàn)與鑷子的交互，例如按壓和夾取等動(dòng)作。在仿真過程中，當(dāng)系統(tǒng)檢測到碰撞事件，可以計(jì)算出鑷子與眼角膜網(wǎng)格的相交點(diǎn)，當(dāng)鑷子繼續(xù)向軟體內(nèi)移動(dòng)時(shí)，軟體表面局部范圍內(nèi)的PBD粒子會(huì)跟隨鑷子向內(nèi)移動(dòng)，產(chǎn)生按壓的效果。同樣進(jìn)行夾取操作時(shí)，局部范圍內(nèi)的PBD粒子會(huì)跟隨鑷子向外移動(dòng)，進(jìn)行夾取。圖2為軟體按壓和夾取時(shí)的變形效果，可以看到2種不同操作下，軟體的變形均能展現(xiàn)逼真的角膜軟體特性，網(wǎng)格變形穩(wěn)定。

(a) 按壓 (b) 夾取

2.1.2 角膜穿刺模擬

在穿刺過程中，穿刺刀會(huì)改變角膜表面網(wǎng)格的結(jié)構(gòu)，而系統(tǒng)的物理模擬是建立在表面三角網(wǎng)格的基礎(chǔ)上。因此為了實(shí)現(xiàn)穿刺仿真，首先需要根據(jù)穿刺操作更新表面網(wǎng)格，然后根據(jù)新生成的角膜表面網(wǎng)格更新PBD模擬的約束，以保持物理模擬的一致性。

在穿刺時(shí)系統(tǒng)通過碰撞檢測記錄手術(shù)刀開始穿刺時(shí)的位置。手術(shù)刀在穿刺時(shí)可以看做是一條線段，通過記錄上一幀以及這一幀的2條線段構(gòu)建出一個(gè)平面，判斷模型哪些線段與此平面相交以及相交所產(chǎn)生的點(diǎn)，通過相交點(diǎn)重新生成三角面使平面兩端分離，產(chǎn)生切口[18-19]。切口處會(huì)發(fā)生碰撞檢測，通過BVH檢測到表面網(wǎng)格與刀面相交的三角面及其交點(diǎn)，如圖3(a)所示。然后對(duì)表面每一個(gè)相交的三角形進(jìn)行重構(gòu)，同時(shí)對(duì)交點(diǎn)做一次復(fù)制，以適應(yīng)切面兩端的三角化，如圖3(b)所示。最后根據(jù)表面的拓?fù)浣Y(jié)構(gòu)，修改粒子與粒子之間的約束關(guān)系，使其與表面網(wǎng)格保持一致。

(a) 網(wǎng)格斷裂 (b) 三角形重構(gòu)

為了使系統(tǒng)的模擬更加真實(shí)，切口形成后需要重新構(gòu)建PBD的約束。通過三角網(wǎng)格模型的更新，PBD約束會(huì)根據(jù)三角面更新而不斷修改來維持粒子的拓?fù)浣Y(jié)構(gòu)，保持穿刺過程中的軟體形變。具體穿刺仿真圖如圖4所示。

圖4 穿刺過程

2.1.3 角膜縫合模擬

本文采用基于PBD框架實(shí)現(xiàn)統(tǒng)一的仿真模塊，同樣采用基于PBD表達(dá)的縫合線，并設(shè)計(jì)相應(yīng)的約束模擬縫合線的運(yùn)動(dòng)。在縫合過程中，縫合線會(huì)影響穿孔周邊的角膜PBD粒子位置，從而導(dǎo)致角膜的變形。在縫合結(jié)束時(shí)，縫合線縮短會(huì)導(dǎo)致起切口的相互靠近，完成縫合。

縫線結(jié)扎鑷通過碰撞檢測判定夾持縫合針，縫合針是剛性模型，當(dāng)縫合針開始向軟體移動(dòng)進(jìn)行縫合操作時(shí)，其與軟體接觸觸發(fā)碰撞檢測。針尖的第一個(gè)檢測點(diǎn)的位置生成一個(gè)穿刺點(diǎn)并儲(chǔ)存交點(diǎn)信息，附近一定范圍內(nèi)的PBD點(diǎn)與其綁定，當(dāng)縫合針繼續(xù)穿入時(shí)，綁定的PBD點(diǎn)會(huì)跟隨穿刺點(diǎn)進(jìn)行移動(dòng)使軟體表面產(chǎn)生一定幅度的變形效果?？p合針模型上均勻排列著無數(shù)檢測點(diǎn)，當(dāng)1號(hào)檢測點(diǎn)的移動(dòng)超出穿刺點(diǎn)一定范圍時(shí)，穿刺點(diǎn)會(huì)滑向2號(hào)檢測點(diǎn)。穿刺點(diǎn)記錄的信息不斷更新為之后檢測點(diǎn)的交點(diǎn)信息，并依次向后面的檢測點(diǎn)滑動(dòng)直到完全穿過軟體，如圖5所示。圖6是縫合過程示意圖，縫合線由無數(shù)檢測點(diǎn)以一定的間隔連接構(gòu)成。相鄰的粒子之間存在角度約束以及距離約束，縫合線的頭部與縫合針的尾部相連。當(dāng)縫合針完全穿過軟體表面時(shí)，穿刺點(diǎn)開始滑向縫合線上的檢測點(diǎn)，并隨著拉線過程依次向后面的檢測點(diǎn)移動(dòng)。

圖6 縫合過程

在具體的縫合過程中，通過縫線結(jié)扎鑷夾持縫合針進(jìn)行操作，針尖與角膜軟體表面網(wǎng)格之間發(fā)生碰撞檢測時(shí)出現(xiàn)如圖7所示的紅色小球標(biāo)記點(diǎn)，以此來記錄碰撞點(diǎn)的位置。當(dāng)縫合完畢，用打夾器固定縫線一端，便于拉緊縫線如圖7(d)所示，可以看到拉緊縫線后的軟體出現(xiàn)重疊逐漸合攏切口，直到軟體間的碰撞檢測作用而停止運(yùn)動(dòng)。最后用剪線鉗剪斷縫線完成縫合，具體仿真畫面如圖7所示。在縫合過程中角膜軟組織保持高逼真的變形，為高沉浸感的手術(shù)環(huán)境提供了良好的基礎(chǔ)。

(a) 縫針進(jìn)入端檢測點(diǎn) (b) 縫合第1針