徐建偉

（中海油信息科技有限公司湛江分公司，廣東 湛江 524000）

隨著虛擬現(xiàn)實（Virtual Reality，VR）技術的不斷發(fā)展，VR 技術已應用于教育、醫(yī)療以及交通等領域[1-2]。在視景仿真方面，VR 技術能夠對全景視頻區(qū)域進行重構，在此基礎上對運動目標進行精確追蹤和識別，提高對全景視頻視覺信息的識別能力，因此研究VR 全景視頻運動目標追蹤對提高視頻成像的清晰度和運動目標識別的準確性具有十分重要的意義[3]。

VR 全景視頻技術快速發(fā)展。為了提高體育教學的樂趣，蘭青等[4]將VR 全景視頻技術應用于體育教學實踐中，使體育教學具有創(chuàng)造性，給學生帶來了良好的交互式體驗。韓圣千等[5]利用VR 全景視頻技術對時空切片的傳輸流量進行建模，提出了一種基于VR 技術的全景視頻嵌套優(yōu)化方法，采用實際算例進行仿真分析，驗證了該方法的可靠性和實用性。任靖娟等[6]采用Canny 算子處理圖片邊緣信息，并利用角點匹配進行全景視頻拼接，提出了一種基于VR 全景視頻的目標可視化仿真模型，仿真結果驗證了該模型能夠廣泛應用于多種場景。目前，VR 全景視頻技術在目標追蹤方面的應用較少，如何實現(xiàn)全景視頻運動目標精確追蹤還有待進一步研究。

1 VR 技術

1.1 VR 的基本概念

VR 技術是集多媒體、計算機、圖像處理、仿真和電子等多種技術于一體的新技術[7]。它由實體虛擬、虛擬現(xiàn)實和相對復雜的計算處理組合而成，屬于計算機模擬系統(tǒng)，利用計算機建模構造與現(xiàn)實世界基本相同的虛擬場景。VR 技術具有4 個基本要素：1） 基本模型?；灸Ｐ褪菍F(xiàn)實場景虛擬化的基礎元素之一，利用建模將現(xiàn)實世界虛擬化，并保留其物理屬性。2） 空間定位。根據體驗者佩戴的工具定位他的實際位移情況，利用傳感器傳輸信息，系統(tǒng)界面接收信息后及時進行反饋。3） 聲音跟蹤。利用傳感器接收聲音并確定聲源位置及其傳播方向，從而提高交互性。4） 視覺追蹤。視覺追蹤是將現(xiàn)實場景虛擬化的核心元素，跟隨體驗者的視覺移動呈現(xiàn)相應的畫面，該技術主要是通過投影來實現(xiàn)的，根據時間和地點投影不同的畫面，從而確定追蹤對象的位置和方向。

1.2 VR 全景技術的特點

VR 全景技術具有以下3 個特點：1） 沉浸性。體驗者處在虛擬場景中，可以觀察周圍環(huán)境，其注意力容易被周圍環(huán)境吸引，從而拉近體驗者與虛擬場景之間的心理距離。VR全景技術通過刺激體驗者的感知，使體驗者產生共鳴，體驗者在虛擬場景獲得更強的視覺沖擊力后，產生身臨其境的感覺，從而獲得沉浸性的體驗。2） 真實性。VR 全景技術通過虛擬場景對現(xiàn)實畫面進行還原，體驗者可以從任何角度觀看，獲得多維度感觀和體驗，體驗者感覺自身處于真實場景且不受空間和時間的束縛，時空體驗感更好。3） 交互性。與傳統(tǒng)視頻圖像相比，VR 全景技術使體驗者由被動接收轉化為主動參與，通過一些設備和VR 設備提高體驗者的主觀能動性，提高其體驗感，體驗者與周圍環(huán)境的交互感更好，從而打破空間的局限性。

2 VR 全景視頻運動目標成像及特征分析

2.1 目標成像

目標成像是指在VR 全景視頻中建立運動目標的成像模型，在圖像的邊緣輪廓提取特征值，結合特征分解方法進行信息融合和目標成像，并利用高斯模板進行匹配，建立基于VR 技術的全景視頻運動目標融合模型。

假設在運動區(qū)域共分布N 個特征點，每個特征點均滿足圖模型G=（V，E）。其中，運動區(qū)域的模型用dG=（u，v）表示，在成像區(qū)域對圖模型G=（V，E）進行特征分割并進行分塊匹配，得到的像素序列u（2）如公式（1）所示。

式中：u1（2）～u4（2）為4 個像素點。在像素序列中輸入特征數(shù)據，并利用公式（2）計算運動目標的像素序列u。

式中：y0、z0、λ 和φ 為4 個光線參數(shù)。

得到的新像素序列u（3）如公式（3）所示。

式中：u1（3）～u4（3）為4 個新的像素點。

利用像素排序方法對像素序列進行重組并進行濾波處理，就可以得到公式（4）。

式中：c 為濾波后的像素序列；X（3）為特征點。

對公式（4）進行逆映射，可以得到目標圖像分布均勻的像素點，如公式（5）所示。

式中：θ*、ρ*為2 個光線坐標；p為均勻分布的像素點；X(cs2)為新的特征點。

在空間坐標系中建立運動目標的三維融合模型，如公式（6）所示。

式中：θe、ρe分別為基準線的橫、縱坐標。

在成像區(qū)，以運動目標的灰度特征為x軸重構圖像目標，可以得到灰度特征，如公式（7）所示。

式中：EX(cs2)、EY(cs2)和EZ(cs2)分別為X、Y和Z方向上的灰度特征；h為邊緣像素集。

根據上述步驟可以得到全景視頻運動目標的三維流行分布圖，如圖1 所示。

2.2 特征分析

當提取目標成像的特征值時，可以用矩陣T表示VR 全景視頻的虛擬成像模型，如公式（8）所示。

式中：T11、T12、T21和T22均為特征矩陣中的元素。

采用時頻特征分解法[8]對公式（8）進行特征分解，根據特征重組步驟可以得到VR 全景視頻運動目標成像的分布條件，如公式（9）～公式（12）所示。

式中：A為關聯(lián)規(guī)則集合；N為標量序列的個數(shù)；s、t為2 個二階特征量；κ（A）為分塊融合模型；P為調整系數(shù)；ai為特征元素。

考慮全景視頻的灰度圖像，采用模糊信息融合法[9]對任意像素（x，y）進行處理，得到VR 全景視頻運動目標成像的拓撲結構，如公式（13）～公式（15）所示。

式中：h為方向比；s為扁平度；v為橢圓長短半軸的和；θ為成像區(qū)的主方向角；λ1為成像區(qū)橢圓的長半軸長度；λ2為成像區(qū)橢圓的短半軸長度。

采用對稱分割法對運動圖像進行分割處理，就可以得到該圖像的分塊融合模型，如公式（16）所示。

采用公式（16）就可以對目標圖像進行特征提取和追蹤識別。

3 全景視頻運動目標精確追蹤

3.1 提取目標特征

在運動目標成像模型的基礎上，設計目標精確追蹤的優(yōu)化算法，該文提出了一種基于VR 技術的全景視頻運動目標精確追蹤方法。首先，對運動目標的邊緣輪廓特征進行提取。其次，利用角點跟蹤法進行融合處理。最后，對運動目標的圖像像素進行進一步融合。對Harris 角點來說，采用分塊檢測法進行處理，得到運動目標的像素集，通過特征匹配得到灰度鄰域，并對目標成像進行加權融合，提取其中的關聯(lián)信息，可以得到全序列特征量GD，如公式（17）所示。

式中：L為高斯尺度；I為全景視頻運動目標的灰度值；di為特征元素。

對運動目標進行融合處理，并對其向量進行量化編碼，得到的編碼集如公式（18）、公式（19）所示。

式中：ω為方向；ω0為初始方向；σr為方向關聯(lián)系數(shù)；θ為角度；σθ為角度關聯(lián)系數(shù)；j為編碼；J為編碼容量；θj為關聯(lián)規(guī)則特征集。

對目標成像進行加權融合，就可以得到其信息熵H'（X），如公式（20）所示。

式中：H為信息熵集合，Xt為信息熵集合中的元素。

利用灰度窗口進行匹配，建立運動目標特征分割模型，確定其融合特征Eθj（x），如公式（21）所示。

式中：Fθj（x）為水平融合特征集；Hθj（x）為垂直融合特征集。

采用時頻融合法對運動目標的像素進行特征分析，以提高對運動目標進行追蹤的準確性。

3.2 輸出跟蹤目標

對VR 全景視頻運動目標的關聯(lián)特征量進行提取，并對其進行追蹤融合，得到運動目標圖像的關聯(lián)算子，關聯(lián)特征集如公式（22）、公式（23）所示。

式中：δBT（F）（x，y）為關聯(lián)特征集；<（S，I）為條件“或”；>（S，I）為條件“與”；A（x，y）為特征量。

根據關聯(lián)映射F：E→R3，令特征集為T：E→PDS（2），得到運動目標的高維分割張量模型（S，I），重構后的全序輸出如公式（24）、公式（25）所示。

式中：Ai為分割后的張量；Aj為分割前的張量；h（S，I）為張量模型；S為張量元素。

對全景視頻運動目標進行梯度分解，得到相應的梯度模型，對邊緣像素進行重建，即可得到重建系數(shù)SP，如公式（26）所示。

式中：d為像素點間的距離。

根據上述步驟，基于VR 技術對全景運動目標的特征量進行提取，在虛擬仿真模型中實現(xiàn)運動目標的精確追蹤和準確識別，得到優(yōu)化輸出如公式（27）所示。

式中：T為優(yōu)化后的特征點集；B為特征點集。

4 仿真分析

為了驗證該文提出的全景視頻運動目標精確追蹤方法的實用性，采用仿真試驗進行驗證，將圖片的像素值設置為120 px，運動目標的最大迭代次數(shù)設置為300 次，利用高分辨率光譜分析儀進行視頻采樣，在Vega Prime 平臺中進行運動目標跟蹤識別。其中，像素值a1=（0.4，0.9，0.9）、a2=（0.6，0.7，0.6），特征分割系數(shù)α=0.35，關聯(lián)系數(shù)σ=0.41，圖像匹配系數(shù)β=0.32，分割張在不同幀數(shù)下全景視頻運動目標追蹤結果如圖2 所示。

圖2 不同幀數(shù)下全景視頻運動目標精確結果

從追蹤結果上來看，該文提出的基于VR 技術的全景視頻運動目標精確追蹤結果較好，能夠很好地識別追蹤目標的特征。采用ITV 跟蹤方法進行對比，對比結果如圖3 所示，由圖3 可知，當追蹤目標不超過3 個時，該文提出的方法與增量視覺跟蹤法（ITV）的效果一致。當追蹤目標較多時，該文提出的方法進行運動目標追蹤的精度更高。

圖3 WPA 優(yōu)化結果

5 結語

該文提出了一種基于VR 技術的全景視頻運動目標精確追蹤方法，通過提取運動目標的邊緣輪廓特征來建立VR 全景視頻運動目標融合模型，利用像素排序方法對運動目標的特征進行重組，采用分塊檢測法進行處理，根據特征匹配結果得到灰度鄰域，并對目標成像進行加權融合，提取其中的關聯(lián)信息，實現(xiàn)了在虛擬仿真模型中精確追蹤和準確識別運動目標的目標。仿真分析結果表明，該文提出的基于VR 技術的全景視頻運動目標精確追蹤結果較好，能夠很好地識別追蹤目標的特征，獲得更高的追蹤精度。