盧 榮，宋權(quán)予

（廣東科技學(xué)院 廣東 東莞 523083）

1 引言

目前，我們有很多場(chǎng)景是通過(guò)普通相機(jī)無(wú)法拍攝的，更不可能得到三維全景圖像，比如說(shuō)人體的膝關(guān)節(jié)。而基于雙目視覺(jué)的三維膝關(guān)節(jié)重構(gòu)，通過(guò)兩臺(tái)相機(jī)獲得的數(shù)據(jù)進(jìn)行立體匹配后，得到深度信息，之后進(jìn)行三維模型的構(gòu)建，也就是從二維圖像到三維模型的構(gòu)建。這項(xiàng)技術(shù)除了對(duì)VR技術(shù)、計(jì)算機(jī)視覺(jué)方面有著重要的影響外，對(duì)醫(yī)學(xué)中的人體結(jié)構(gòu)的三維重構(gòu)也具有很深的臨床醫(yī)學(xué)研究?jī)r(jià)值。

2 研究現(xiàn)狀

通過(guò)兩個(gè)感光CCD攝像機(jī)固定在同一條水平軸上類似于人眼看物體時(shí)雙眼成像的原理，然后兩個(gè)角度同時(shí)去觀測(cè)膝關(guān)節(jié)，將不同視角下的不同光照環(huán)境下的膝關(guān)節(jié)圖像，利用水平視差得出深度信息，然后采用立體匹配的方式。立體匹配是為搜索物體同一點(diǎn)在左右兩個(gè)視覺(jué)圖中的投影。為了能夠在重建精度效果和時(shí)間效率上均衡，可通過(guò)模式匹配處理算法，來(lái)進(jìn)行圖像的均勻增強(qiáng)和圖像的分割。三維重建技術(shù)是計(jì)算機(jī)視覺(jué)、人工智能、虛擬現(xiàn)實(shí)等領(lǐng)域研究的熱點(diǎn)和難點(diǎn)問(wèn)題，用計(jì)算機(jī)來(lái)顯示虛擬的人體膝關(guān)節(jié)技術(shù)，三維建模的關(guān)節(jié)測(cè)量數(shù)據(jù)值接近真實(shí)人體，對(duì)如何選擇關(guān)節(jié)內(nèi)口位置具有顯著的臨床醫(yī)學(xué)意義，通過(guò)測(cè)量的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，比對(duì)運(yùn)動(dòng)屈曲狀態(tài)和伸直狀態(tài)下的膝關(guān)節(jié)數(shù)據(jù)進(jìn)行膝關(guān)節(jié)的三維重構(gòu)，比原始的二維數(shù)據(jù)更加真實(shí)貼切。

在基于雙目視覺(jué)的三維重構(gòu)發(fā)展史上，日本東京大學(xué)研發(fā)了機(jī)器人動(dòng)態(tài)行走導(dǎo)航方針系統(tǒng)，大阪大學(xué)則研發(fā)了自適應(yīng)的雙目視覺(jué)伺服系統(tǒng)，實(shí)現(xiàn)了自適應(yīng)的運(yùn)動(dòng)數(shù)據(jù)跟蹤。日本的Nihon大學(xué)則采用雙目視覺(jué)進(jìn)行對(duì)人體身高自動(dòng)測(cè)量的研究。我國(guó)多個(gè)科研機(jī)構(gòu)諸如中科院自動(dòng)化研究所、浙大機(jī)械系都曾采用了雙目視覺(jué)進(jìn)行了機(jī)械物的三維重構(gòu)。

三維建模后的模型和真實(shí)實(shí)體相差無(wú)異，對(duì)模型上的測(cè)量數(shù)據(jù)甚至可以替代對(duì)實(shí)體上的測(cè)量，仿佛實(shí)體上的測(cè)量，不需要切除所覆蓋的組織即可深入內(nèi)部測(cè)量，可以任意增加大量的測(cè)量點(diǎn)，使得測(cè)量點(diǎn)均勻的分布在要測(cè)量的膝關(guān)節(jié)內(nèi)部，這樣通過(guò)關(guān)節(jié)的運(yùn)動(dòng)，對(duì)測(cè)量點(diǎn)的運(yùn)動(dòng)軌跡的追蹤和數(shù)據(jù)的分析，更容易找出膝關(guān)節(jié)中的關(guān)鍵數(shù)據(jù)-等距點(diǎn)。該模型的建立除了具有良好的研究?jī)r(jià)值外，還利于外科手術(shù)的定位，有利于臨床醫(yī)學(xué)的研究和手術(shù)當(dāng)中的應(yīng)用。

3 研究策略

在體育運(yùn)動(dòng)當(dāng)中，有關(guān)體育運(yùn)動(dòng)的損傷大多數(shù)都是人體關(guān)節(jié)的損傷，而這其中以膝關(guān)節(jié)和踝關(guān)節(jié)居多。前交叉韌帶是維持膝關(guān)節(jié)穩(wěn)定的重要靜力結(jié)構(gòu)，在運(yùn)動(dòng)和外傷中經(jīng)常受損，如不及時(shí)修復(fù)將會(huì)造成膝關(guān)節(jié)其他韌帶的松弛，以及關(guān)節(jié)內(nèi)部軟骨和半月板的受損，都對(duì)關(guān)節(jié)運(yùn)動(dòng)產(chǎn)生不可逆轉(zhuǎn)的巨大影響，甚至影響到今后的關(guān)節(jié)屈曲運(yùn)動(dòng)。關(guān)節(jié)鏡下ACL重建術(shù)作為修復(fù)ACL是延緩關(guān)節(jié)退變的重要方法，對(duì)關(guān)節(jié)鏡下ACL重建術(shù)后10天內(nèi)的患者，進(jìn)行多層螺旋CT三維重建，具有非常高的臨床醫(yī)學(xué)價(jià)值。有關(guān)膝關(guān)節(jié)的韌帶損傷，通過(guò)外部物理檢測(cè)誤差較大，雖關(guān)節(jié)鏡檢測(cè)精度較高，可是關(guān)節(jié)鏡是有創(chuàng)操作，有一定的風(fēng)險(xiǎn)，很難被患者所接受。本課題的主要意義是通過(guò)對(duì)人體關(guān)節(jié)點(diǎn)的三維重構(gòu)，再現(xiàn)關(guān)節(jié)外部及內(nèi)部韌帶結(jié)構(gòu)，來(lái)實(shí)現(xiàn)對(duì)體育運(yùn)動(dòng)中人體膝關(guān)節(jié)外部和韌帶損傷的檢測(cè)，從而對(duì)患者實(shí)施有效的重建手術(shù)。

本文是對(duì)標(biāo)定方法、匹配方法和深度后處理等方法進(jìn)行深入的研究，并將人體部位進(jìn)行具有較好直觀效果的三維重構(gòu)。所采用的技術(shù)儲(chǔ)備方案有三種：

（1）技術(shù)儲(chǔ)備一：攝像機(jī)標(biāo)定技術(shù)。研究基礎(chǔ)是在傳統(tǒng)的攝像機(jī)標(biāo)定方法上提出基于棋盤(pán)平面方格的半自動(dòng)攝像機(jī)標(biāo)定方法。

（2）技術(shù)儲(chǔ)備二：匹配策略與匹配算法。同過(guò)研究平滑窗口函數(shù)自適應(yīng)算法以及和Harris角點(diǎn)與區(qū)域聯(lián)合的立體匹配算法。

（3）技術(shù)儲(chǔ)備三：深度信息處理求和后續(xù)處理。深度的感知測(cè)量從而進(jìn)行了三維重建，通過(guò)不同視角下的雙目視差，進(jìn)行了數(shù)據(jù)測(cè)量從而獲得了3D的建模數(shù)據(jù)，通過(guò)深度數(shù)據(jù)分析、計(jì)算和統(tǒng)計(jì)，在MFC的OpenGL平臺(tái)上，進(jìn)行深度提取和三維重建。

4 實(shí)驗(yàn)效果

本項(xiàng)目的特色和創(chuàng)新之處，將人工智能、模式識(shí)別與圖像處理等技術(shù)綜合應(yīng)用于開(kāi)發(fā)，從技術(shù)上實(shí)現(xiàn)三維重構(gòu)在人體組織上的有效應(yīng)用。通過(guò)高效率且低成本的三維重構(gòu)人體運(yùn)動(dòng)關(guān)關(guān)節(jié)，基于特征的匹配，重構(gòu)的三維模型更接近真實(shí)人體關(guān)節(jié)，在運(yùn)動(dòng)關(guān)節(jié)的病理臨床治療上提供了一個(gè)更加真實(shí)的參考模型，因此具備一定的醫(yī)學(xué)研究?jī)r(jià)值。

如圖1所示，暫時(shí)未考慮軟骨組織的人體左右膝關(guān)節(jié)三維重建圖。

5 結(jié)論與改進(jìn)

5.1 結(jié)論

本文研究的最終目的是為了醫(yī)學(xué)重建ACL，通過(guò)最終建立的ACL模型的參數(shù)和人體損傷的關(guān)節(jié)所反饋出來(lái)的疼痛感來(lái)對(duì)ACL的受損程度進(jìn)行判斷。如果為嚴(yán)重的關(guān)節(jié)損傷者，那么則需要最終重建ACL損傷部位來(lái)植入到患者關(guān)節(jié)當(dāng)中。

5.2 改進(jìn)

（1）如何解決匹配速度與精度以及匹配窗口大小難以選擇的問(wèn)題；（2）如何利用區(qū)域匹配視差圖的致密性以及特征匹配視差圖的魯棒性；（3）如何解決匹配誤差及標(biāo)定偏差等原因帶來(lái)的深度圖不平滑、邊界不對(duì)齊的問(wèn)題；（4）如何完成韌帶醫(yī)學(xué)的三維重建。

[1]余俊.基于雙目視覺(jué)的機(jī)器人目標(biāo)檢測(cè)與控制研究[D].背景交通大學(xué)，2011.

[2]佟帥、徐曉剛，等.基于視覺(jué)的三維重建技術(shù)綜述[J].計(jì)算機(jī)應(yīng)用技術(shù)研究.2011，28(7)：2411-2417.

[3]薛亞?wèn)|.雙目視覺(jué)技術(shù)在人體交互體育運(yùn)動(dòng)中的應(yīng)用[J].自動(dòng)化與儀器儀表.2016年第8期：267-268.

[4]高艷、唐曉英，等.基于物體空間序法的CT圖像三維重建算法的研究[J].北京生物醫(yī)學(xué)工程.2003，22(3)：180-183.