戴凌磊，宋燁，郝泳濤

摘要：增強(qiáng)現(xiàn)實(shí)在醫(yī)療中的應(yīng)用能有效提高醫(yī)生的空間感知能力，其中的一個關(guān)鍵步驟就是數(shù)字模型與患者的耦合。提出一種基于生物不變特征的數(shù)字物理耦合方法，該方法利用人體特征的不變性，在數(shù)字模型和患者身體的相同特征位置放置標(biāo)記點(diǎn)，最終通過兩組標(biāo)記點(diǎn)的轉(zhuǎn)換實(shí)現(xiàn)自動耦合。在人體模型實(shí)驗(yàn)中僅使用少量的標(biāo)記就能實(shí)現(xiàn)耦合，并具有較低的誤差。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí);醫(yī)療;數(shù)字模型;不變特征;數(shù)字物理耦合

中圖分類號：TP399? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）20-0144-03

Digital-physical Coupling Method Based on Biological Invariant Characteristics

DAI Ling-lei1， SONG Ye2， HAO Yong-tao1

（1. College of Electronic and Information Engineering， Tongji University， Shanghai 201804，China; 2. Xiaoyi Technology co.， LTD.， Shanghai 201203，China）

Abstract： The application of augmented reality in medical treatment can effectively improve the doctor's spatial perception ability. One of the key steps is the coupling of the digital model and the patient. A digital-physical coupling method based on biological invariant characteristics is proposed. The method uses the invariance of human body characteristics to place markers at the same characteristic positions of the digital model and the patient's body， and finally realizes automatic coupling through the conversion of two sets of markers. In the human body model experiment， the coupling can be achieved with a small amount of markers and has a lower error.

Key words： augmented reality; medical treatment; digital model; invariant charac-teristics; digital-physical coupling

1 引言

隨著增強(qiáng)現(xiàn)實(shí)（AR）與3D建模技術(shù)的發(fā)展，將AR技術(shù)與醫(yī)療應(yīng)用結(jié)合的嘗試也越來越多[1]。沉浸式醫(yī)療AR系統(tǒng)是其中一個重要的研究方向，它的主要功能就是將數(shù)字模型與患者對應(yīng)部位進(jìn)行耦合，以提高醫(yī)生的空間感知能力。在本論文中，我們提出了一種可用于人體多個部位的基于生物不變特征的數(shù)字物理耦合方法，這里的不變特征包括肉眼可見的顯性特征（比如關(guān)節(jié)，五官）和肉眼不可見的隱性特征（比如人體穴位）。我們的應(yīng)用安裝在具有光學(xué)透視顯示的商業(yè)AR頭戴式設(shè)備上（Microsoft HoloLens2），該設(shè)備在對比度感知、任務(wù)負(fù)荷和顯示幀率方面比其他商業(yè)設(shè)備的性能更好，更適合臨床使用[2]。我們的系統(tǒng)在工作過程中只需要少量標(biāo)記點(diǎn)，通過在數(shù)字模型和患者的相同特征點(diǎn)放置標(biāo)記并計算轉(zhuǎn)換矩陣實(shí)現(xiàn)數(shù)字物理耦合。

1.1相關(guān)工作

為了實(shí)現(xiàn)數(shù)字物理耦合，國內(nèi)外研究針對不同的手術(shù)場景提出了多種解決方案。第一種解決方案是手動耦合。文獻(xiàn)[3]認(rèn)為手動耦合足夠快速和準(zhǔn)確，文獻(xiàn)[4]在手動耦合前使用輪廓匹配算法進(jìn)行粗略的自動耦合，文獻(xiàn)[5]采用先耦合人體特征點(diǎn)，再耦合整體模型的方法。手動耦合規(guī)避了數(shù)字物理耦合這一難題，但是靠肉眼判斷耦合程度可能會造成較大的誤差。第二種解決方案是借助Vuforia的識別技術(shù)進(jìn)行耦合[6，7]。Vuforia可以識別特定的圖像或規(guī)則物體，并在該圖像或規(guī)則物體附近的位置呈現(xiàn)數(shù)字模型，這對圖像或規(guī)則物體的擺放位置有一定的要求，導(dǎo)致其應(yīng)用范圍十分狹窄。第三種解決方案需要借助光學(xué)跟蹤器和額外的光學(xué)標(biāo)記[8-9]。光學(xué)跟蹤器往往作為固定的現(xiàn)實(shí)坐標(biāo)系，利用光學(xué)跟蹤器和對應(yīng)的光學(xué)標(biāo)記，可以精準(zhǔn)的建立虛擬世界與現(xiàn)實(shí)世界的聯(lián)系，實(shí)現(xiàn)誤差較小的耦合并且可以實(shí)時跟蹤患者。但是該方案需要在患者和相應(yīng)器材上固定光學(xué)標(biāo)記，對手術(shù)環(huán)境有較高的要求，難以普及。第四種解決方案是無標(biāo)記的耦合方法。文獻(xiàn)[10]利用HoloLens自有的空間映射和凝視交互功能，通過迭代最近點(diǎn)算法耦合表面，文獻(xiàn)[11]將兩個HoloLens配準(zhǔn)在同一世界坐標(biāo)中，利用錐形束CT坐標(biāo)可知的特點(diǎn)實(shí)現(xiàn)數(shù)字物理耦合，這屬于特定場景的耦合方法，文獻(xiàn)[12]利用HoloLens的深度相機(jī)數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的面部特征檢測，通過面部點(diǎn)云和模型點(diǎn)云的配準(zhǔn)實(shí)現(xiàn)數(shù)字物理耦合，但該方法只能用于頭部的耦合。

1.2貢獻(xiàn)

生物不變特征在人體各個部位都存在，而現(xiàn)有的3D建模技術(shù)已經(jīng)具有足夠的精細(xì)程度，這使得建立數(shù)字模型特征點(diǎn)與對應(yīng)人體特征點(diǎn)之間的聯(lián)系成為可能。因此，我們的貢獻(xiàn)在于提出了一種基于生物不變特征點(diǎn)的，只需要少量簡單標(biāo)記的數(shù)字物理耦合策略，該策略適用于人體多個部位（只要該部位表面足以貼上標(biāo)記），具有一定的適用性。