呂 霽

(黎明職業(yè)大學，福建 泉州 362000)

虛擬現實(Virtual Reality，VR)是一種實現人機交互，讓用戶沉浸于虛擬環(huán)境中的技術，其涉及計算機圖形學、傳感器技術等多學科領域。三維重構技術在測繪、軍事、虛擬現實等方面發(fā)揮著至關重要的作用，基于VR全景圖像的三維重構以VR全景圖像作為輸入，具有價格低、體積小、使用便捷等優(yōu)點[1]?；谌皥D像的三維重構是將像素由二維圖像坐標轉換到三維空間坐標，通過計算視差來確定像素點與照相機之間距離的深度信息。王媛媛等對雙目視覺中的攝像機標定、立體匹配及三維重構算法進行研究，以FPGA為計算平臺獲取場景深度信息，實現了良好的三維顯示效果[2]。金顯華等針對采樣點距離近導致重構表面易產生褶皺的問題提出了基于擬蒙特卡洛和Taubin平滑的三維圖像重構算法，即用擬蒙特卡洛提取圖像測量點特征，通過Taubin平滑對三角網格表面進行渲染，將提出的三維圖像重構算法應用于人的左右心房重構中，重構結果表明圖像的大部分細節(jié)信息得到保留，滿足了動態(tài)圖像導航要求[3]。該文采用領域限制和放松方法對全景圖像深度提取，同時運用差值算法確定最佳位置，實現對全景圖像的三維重構。

1 三維全景圖像重構

1.1 全景圖像深度提取

傳統(tǒng)全景圖像深度提取由多個設備拍攝同一場景所獲得的圖像信息差，其中攝像機的幾何位置和攝像機的參數是圖像深度提取的重點[4]。對于全景圖像而言，其視圖是在選定的方向上進行平行投影，即全景圖像深度信息D為

(1)

式中：d為視差，Ψ為圖像設備孔徑，F為圖像設備焦距，Δt為不同視圖之間采樣距離。

由式(1)可知，通過視差取值可以得到全景圖像深度信息，采用SSD計算準則的塊匹配算法對VR全景圖像進行深度提取。設相同圖像的兩幅視圖分別為I1和I2，從第二幅視圖I2的候選區(qū)選擇和第一幅視圖I1對應的像素點(x,y)，由像素點(x,y)獲取最匹配的區(qū)域，記為(x+d，y)，d∈[-R,R]。塊匹配算法的計分評價標準為[5]

-I2(x+d,y))2}}

(2)

式中：(x,y)為分析點坐標，I1(x,y)為分析點(x,y)的強度，ω為圖像像素匹配窗口，R為圖像像素匹配大致范圍。

采用鄰域限制和放松方法對全景圖像深度提取，其在SSD計分準則的基礎上充分地考慮了空間因素的限制。根據放松方法計算可以得到全景圖像深度信息在對應空間上呈現連續(xù)分段狀態(tài)。為了使得匹配位置能夠有效確定，需要對塊鄰域進行綜合考慮，具體如圖1所示。

圖1 塊鄰域

考慮鄰域限制，對匹配評價的判定標準進行改進，即

(3)

式中：Bij為像素點(i,j)窗口，N(Bij)為Bij鄰域的集合，W(Bkj,Bij)為相互不同鄰域塊權重系數。

鄰域限制表現為鄰域塊視差，對于每一個鄰域塊視差而言，其都有不同的視差局部改變，從而導致鄰域塊和中心塊不同。因此，在計算SSD的過程中給領域塊視差增加一個變量，即

(4)

由式(3)～式(4)得到鄰域限制和放松的完整判斷標準，鄰域限制由窗口SSD決定，領域放松由變量d決定。當函數score取最小值時，那么該數值為所期望的視差取值。采用SSD評分標準獲得全部可能差點的剩余取值，在所有的剩余取值中確定閾值Rth，該值通常為最小剩余取值min_residue的η倍，即

Rth=η·min_residue

(5)

所有數值小于代表閾值Rth的值為最終的匹配結構，如果所選擇的殘余閾值比較大，那么就會產生更多的候選結果，具體如圖2所示。

圖2 候選過程示意圖

1.2 全景圖像三維重建

VR全景圖像三維重建，提高全景圖像的分辨率，達到圖像數據處理的目的[6]。VR三維全景圖像的深度信息是由圖像二維視圖和視差之間的關系得到的，根據全景圖像的視差信息來對圖像匹配程度進行計算，給定匹配窗口，同時在第二幅圖中搜索，獲得最小殘差閾值位置。由深度信息提取算法可知，圖像像素點的許多候選視差取值呈現離線分布，即實際計算得到的視差取值往往不能夠達到準確的最小值，實際計算結果如圖3所示。

圖3 差值算法確定最佳位置示意圖

由圖3可知，候選視差值比較多且離散分布，這導致求解得到的視差值和實際視差值之間的差別比較大，即深度信息沒有達到完全準確的目的。通過采用差值算法對視差值點采用二次函數進行擬合得到擬合后的拋物線，計算擬合拋物線的最小值，最終得到score函數中最小的候選視差值?；诓钪邓惴ǖ淖罴岩暡钪荡_定流程如圖4所示。

圖4 確定最佳視差值流程圖

由圖4可知，對VR全景圖像的三維重構是根據score函數的最小值來確定d值，同時選擇d鄰近的差值，對d值和鄰近的差值采用拋物線進行擬合，同時計算擬合拋物線的最小值，達到對VR全景圖像三維重構的目的。

2 實例分析

2.1 VR全景圖像選擇

高質量的VR圖像在傳輸的過程中受到網絡帶寬的限制，其往往是以一個完整的球體界面呈現，同時三維的圖像將導致數據量增加1倍。網絡傳輸的VR圖像是球體界面，在轉化為平面全景圖像時要考慮網絡帶寬，根據帶寬信息實現由三維圖像向二維圖像的轉變，這樣才能使得VR全景圖像看起來更加逼真。選擇VR室內全景圖像，具體如圖5所示。

a) 第一幅 b) 第二幅

2.2 三維重構結果分析

采用該文給出的全景圖像三維重構算法分別對第一幅和第二幅VR室內全景圖像進行重構，結果如圖6所示。

a) 第一幅 b)第二幅

由圖6對VR室內全景圖像重構的結果可知，該文給出的三維重構算法能夠實現對VR室內全景圖像的三維重構。對比第一幅全景圖像和第二幅全景圖像可知，第一幅全景圖像的重構模型準確性比較差，這是由于第一幅全景圖像受到光線的影響所導致的。表1為兩幅室內全景圖像重構數據對比。

表1 兩幅室內全景圖像重構數據對比

由表1可知，VR室內全景圖像能夠在1分鐘內實現三維重構，三維重構算法效率比較高，與第二幅圖相比，第一幅圖的重構時間更短，但是重構的精度比較低，即提高VR全景圖像三維重構的精度必須提高VR全景圖像的分辨率，但是伴隨著VR全景圖像分辨率的增加，對VR全景圖像三維重構的時間也增加。

3 結論

全景圖像三維重構是VR制作的核心技術，針對傳統(tǒng)三維重構存在的失真問題，該文采用領域限制和放松方法來提取VR全景圖像深度，同時運用差值算法確定最佳位置，確保深度信息完全準確表達，實現對全景圖像的三維重構。將三維重構算法應用于VR室內全景圖像重構中，重構結果表明提出的算法能夠有效實現對VR室內全景圖像的三維重構，同時全景圖像分辨率越高，重構精度越高，但是也導致重構的時間增加。