袁 紅，李 瑾，黃 婧

(西南醫(yī)科大學(xué)醫(yī)學(xué)信息與工程學(xué)院，四川 瀘州 646000)

1 引言

當前，信息獲取技術(shù)與處理技術(shù)發(fā)展迅速，如何利用計算機技術(shù)對虛擬和現(xiàn)實世界高度融合，已經(jīng)成為非常重要的研究課題。但是融合的對象的復(fù)雜程度越來越高，使建模技術(shù)在計算效率與交互的自然性面臨了較大的挑戰(zhàn)。視頻圖像的重建多為超分辨率重建，其過程即為從低分辨率圖像或視頻序列中得到高分辨率圖像的過程。視頻圖像重建技術(shù)在醫(yī)學(xué)、航空和電子監(jiān)控等眾多領(lǐng)域均有廣泛應(yīng)用。當前，最新一代的超高清視頻已經(jīng)日漸普及，其視頻像素高達3840×2048，但是，多數(shù)的視頻圖像內(nèi)容在采集、傳送以及存儲中面臨一些難點問題。因此，需要視頻重建算法從全高清視頻(1920×1080)或更低分辨率的視頻中生成超高清內(nèi)容。在這種背景下，較多學(xué)者均開展了關(guān)于視頻場景重建方法的研究。

在視頻圖像技術(shù)研究相關(guān)領(lǐng)域，一些國內(nèi)外學(xué)者已經(jīng)得到了一些較好的研究成果。文獻[1]研究了基于深度相機的大場景三維重建方法，該方法主要對圖像的幾何誤差與亮度誤差進行了估計，對局部場景模型進行重建，并尋找所有的對應(yīng)表面點，實現(xiàn)虛擬重建；文獻[2]研究了雙視系統(tǒng)的室內(nèi)三維場景重建方法，該方法利用了場景的點云信息，進行點云配準，實現(xiàn)三維重建。文獻[3]利用多圖形處理單元(multi-GPU)和三個空間光調(diào)制器(SLMs)分別對紅、綠、藍(RGB)色重建，利用彩色電全息系統(tǒng)實現(xiàn)了實時三維彩色視頻。在多GPU集群中包含GPU的CGH顯示節(jié)點，用于在SLMs上顯示。4個CGH計算節(jié)點使用12個GPU。CGH計算節(jié)點中的gpu通過管道處理生成3d彩色視頻中RGB重建光對應(yīng)的CGH。實時彩色電全息技術(shù)實現(xiàn)了由每種顏色約21000個點組成的三維彩色物體。文獻[4]采用三維(3D)視頻重建系統(tǒng)重建了電子全息真實視頻場景。利用RGB-D攝像機獲得的3D信息計算生成的全息圖。并驗證了所提方法以每秒約14幀的速度運行。通過改變RGB-D攝像機和人之間的距離來改變在現(xiàn)實空間中移動物體數(shù)量，并評估了三維(3D)視頻重建系統(tǒng)的性能。雖然上述方法能夠?qū)崿F(xiàn)虛擬重建，但是均存在重建后誤差較大問題。

為此設(shè)計基于雙目圖像的復(fù)雜視頻場景虛擬重建方法。實驗結(jié)果表明，所研究的重建方法有效提高了重建準確度，解決了傳統(tǒng)方法的不足。

2 雙目視覺攝像機標定

攝像機標定是對復(fù)雜視頻場景虛擬重建的首要步驟，可獲得攝像機中的內(nèi)部參數(shù)A與外部參數(shù)R，將其表示為

(1)

(2)

式(1)與式(2)中，αx、αy分別代表圖像坐標系的尺度因子，γ代表攝像機的焦距，u0代表光學(xué)中心，r1～r9代表畸變參數(shù)。

利用上述過程獲得外部參數(shù)與內(nèi)部參數(shù)，依據(jù)上述參數(shù)建立成像模型，成像過程主要與三個坐標系相關(guān)。

第一，成像平面坐標系[5]，該坐標主要利用攝像機的成像平面參數(shù)建立起的二維平面坐標系，將其表示為

(3)

式(3)中，μx、μy代表像素點的物理尺寸，yctgθ代表任意像素點，v0代表坐標轉(zhuǎn)變參數(shù)。

第二，攝像機坐標系，將其表達為

(4)

式(4)中，Xc、Yc、Zc、1代表攝像機坐標參數(shù)，x、y、1代表成像的平面坐標參數(shù)。

第三，世界坐標系，將世界坐標系利用齊次坐標表示，將其記作

(5)

式(5)中，A代表攝像機的內(nèi)部參數(shù)矩陣，主要代表攝像機的內(nèi)部特征參數(shù)，R、T代表攝像機的外矩陣參數(shù)，Xw、Yw、Zw代表轉(zhuǎn)換后的坐標參數(shù)。

3 基于顏色和紋理的重建區(qū)域立體匹配

在此基礎(chǔ)上，立體匹配重建區(qū)域，其目的在于在重建場景中尋找到匹配點。選取復(fù)雜視頻場景中的匹配單元，匹配單元能夠?qū)D像特征基元匹配，為匹配區(qū)域中更多元素，采用顏色與紋理的方式進行匹配。原因為傳統(tǒng)的匹配方法雖然能夠描述鄰域的特征，但是存在匹配誤差大的問題，而顏色與紋理匹配算法能夠?qū)D像匹配的支持區(qū)域合理提取，并能夠?qū)χ亟▍^(qū)域內(nèi)的紋理與顏色相似度計算，得到相應(yīng)的支持區(qū)域。

在視頻場景中，由較多的點、線與區(qū)域等基元組成，這些特征以很多形式存在，為提高匹配的準確性，首先確定初始的支持區(qū)域[6-9]，假設(shè)該匹配場景中共有n個顏色標簽，將圖像中元素位置均值表示為

(6)

式(6)中，p代表像素點，z代表集合中的一個元素。

由于復(fù)雜視頻場景中存在較多的關(guān)鍵幀，為了降低重建的復(fù)雜度，需要對一些冗余的關(guān)鍵幀去除。在實際的重建過程匯總，若一個關(guān)鍵幀的大多數(shù)特征已經(jīng)被其它的關(guān)鍵幀跟蹤到，則將這個關(guān)鍵幀剔除。

然后，對區(qū)域的顏色特征描述，將其表達為

(7)

式(7)中，N代表待重建區(qū)域內(nèi)所有像素的數(shù)量，ni代表第i個顏色標簽。

再次，判斷兩個區(qū)域內(nèi)的相似度，將其表達為

(8)

最后對特征點匹配，利用勻速運動模型對當前幀的初始位姿進行估計[10-12]，其估計流程如圖1所示。

圖1 位姿估計流程

Tc=VTl

(9)

式(9)中，V代表圖像點的速度參數(shù)，Tl代表當前幀的位姿參數(shù)。

在此基礎(chǔ)上，對特征點與投影點的目標函數(shù)計算

(10)

式(10)中，RXi代表特征點的平移向量，t代表匹配時間，xi代表當前幀圖像的特征點，ρ代表投影參數(shù)。

基于上述過程對重建區(qū)域立體匹配，通過匹配能夠?qū)Τ跏嫉囊暡钸M行校準，能夠提高重建精度。

4 基于雙目圖像的三維重建

利用上述匹配過程得到的匹配點，依據(jù)得到的匹配點對復(fù)雜視頻場景虛擬重建。由于在實際的視頻拍攝時，會為了減少圖像遮擋問題導(dǎo)致圖像的傾斜角過大，從而難免存在誤差，為此通過匹配，找到兩個點，根據(jù)點的位置，與空間點建立聯(lián)系。假設(shè)圖像的匹配點為pi，圖像像素的坐標為(ul，vl)，按照成像的比例關(guān)系將匹配關(guān)系推導(dǎo)為

(11)

式(11)中，xi、yi、zi代表復(fù)雜場景下的三維空間坐標，fx、fy代表像素點的坐標。

在此基礎(chǔ)上，對復(fù)雜視頻場景的圖像進行極線校準，將匹配點設(shè)置在同一行中，將其表示為

(12)

由于顯示中存在的噪聲情況較多，導(dǎo)致有一些曲線不能完全相交，為此需要對交點進一步估計，表達式為

(13)

式(13)中，Di代表最佳估計參數(shù)。

經(jīng)過上述匹配后，能夠獲得復(fù)雜場景中對象的深度信息以及像素點之間對應(yīng)的關(guān)系，從而對復(fù)雜視頻場景虛擬重建，重建過程如圖2。

圖2 重建過程

圖2為虛擬場景重建過程，主要是將上述獲得的匹配像素點匹配到目標圖像中，并選取重建控制點，將控制點加入到重建中，以此完成復(fù)雜視頻場景虛擬重建。

其中控制點的計算過程如下所示

(14)

式(14)中，(dp，dq)代表控制點，s代表匹配點。

5 實驗對比

為驗證設(shè)計的基于雙目圖像的復(fù)雜視頻場景虛擬重建方法在實際中的應(yīng)用效果，進行實驗，并將文獻1方法與文獻2方法與其對比，對比三種方法的重建效果。

在實驗之前，預(yù)先對視頻拍攝，實驗中應(yīng)用到的攝像機的參數(shù)如下表1所示：

表1 攝像機的具體參數(shù)

實驗中，三種重建方法均采用上述攝像機進行拍攝視頻，以保證實驗的嚴謹性。

5.1 相對位姿誤差對比

分別采用傳統(tǒng)兩種方法與所研究的方法對視頻場景重建，對比在重建過程中的相對位姿誤差，其對比結(jié)果如下表2：

表2 相對位姿誤差對比

根據(jù)表2可知，此次研究的重建方法在重建過程中相對位姿誤差較小，原因是所研究的重建方法能夠有效提取視頻圖像中的特征數(shù)量。而傳統(tǒng)的兩種重建方法，在重建過程中，相對位姿誤差則高于所研究的方法，原因是傳統(tǒng)方法受到視頻圖像紋理的影響較大，在線段特征的匹配上誤差較大，從而增加了重建過程中的相對位姿誤差。

5.2 場景特征點匹配結(jié)果對比

圖3為三種方法的場景特征點匹配準確度的對比結(jié)果。

圖3 場景特征點匹配準確性對比

通過分析圖3發(fā)現(xiàn)，文獻[1]方法的特征點匹配準確性最低。原因是復(fù)雜視頻中存在運動模糊圖像，該方法不能進行有效的篩選與匹配。文獻[2]方法的重建方法特征點匹配準確度雖高于文獻[1]方法，但是仍然達不到該領(lǐng)域的應(yīng)用要求。相比之下，所研究方法特征點匹配準確度最高。這主要是因為此次研究的方法預(yù)先對場景特征點匹配處理，然后采用了雙目視覺方法實現(xiàn)了虛擬重建，從而降低了特征點匹配的誤差。

5.3 重建時間對比

對比傳統(tǒng)兩種重建方法與所研究方法的視頻場景重建時間，如下表3所示：

表3 重建時間對比

依據(jù)表3可知，傳統(tǒng)兩種重建方法的重建時間較長，在重建過程中會受到視頻復(fù)雜度的影響，當相機運動速度過快與圖像特征點過多時，都會增加重建的時間。而所研究的重建方法重建時間少于傳統(tǒng)兩種方法，原因是所研究的重建方法能夠及時對產(chǎn)生的新信息處理并且重建過程中，采用了關(guān)鍵幀的方法對圖像重建，并設(shè)計了控制點，減少了重建過程中的冗余性，因而提高了重建效果。

6 結(jié)束語

綜上所述，完成基于雙目圖像的復(fù)雜視頻場景虛擬重建方法的設(shè)計.實驗結(jié)果表明，所研究的方法較傳統(tǒng)方法重建精度更好，時間更短。本研究方法的主要工作有以下兩個方面：

第一，研究了位姿估計方法，克服了傳統(tǒng)方法內(nèi)外參數(shù)估計恢復(fù)時的誤差問題，有效提高了重建的效率；

第二，設(shè)計了復(fù)雜視頻場景的圖像極線校準方法，減少匹配點的誤匹配現(xiàn)象，希望所研究的重建仿真方法能夠為相關(guān)的領(lǐng)域提供幫助。

當前需要虛擬重建的視頻場景越來越多，為此在后續(xù)研究中還需要對視頻的動態(tài)性與復(fù)雜性進行分析，不斷優(yōu)化所研究的重建方法，以更好地提高場景重建效果。