（中國移動(dòng)通信集團(tuán)遼寧有限公司，沈陽 110179）

一種基于視頻流的增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)研究與實(shí)現(xiàn)

顧寧倫

（中國移動(dòng)通信集團(tuán)遼寧有限公司，沈陽 110179）

當(dāng)下，將真實(shí)世界和虛擬世界信息“無縫”集成的增強(qiáng)現(xiàn)實(shí)技術(shù)正逐步融入人們的生活，為我們帶來顛覆式的視覺感受與體驗(yàn)。本文針對移動(dòng)增強(qiáng)現(xiàn)實(shí)關(guān)鍵技術(shù)開展研究，提出了一種基于視頻流的實(shí)時(shí)運(yùn)動(dòng)的估計(jì)方法。仿真分析和應(yīng)用表明，該技術(shù)可有效提升增強(qiáng)現(xiàn)實(shí)中穩(wěn)定、智能識(shí)別視頻流的能力。后續(xù)將結(jié)合移動(dòng)特有的海量數(shù)據(jù)資源，開展該技術(shù)在智慧地圖、智慧旅游、AR手游等新興場景的應(yīng)用，提升通信行業(yè)在信息化服務(wù)領(lǐng)域的發(fā)展能力和核心競爭力。

增強(qiáng)現(xiàn)實(shí)；流視頻；運(yùn)動(dòng)估計(jì)

1 背景

AR (Augmented Reality, 增強(qiáng)現(xiàn)實(shí))技術(shù)是一種通過利用計(jì)算機(jī)科學(xué)技術(shù)模擬生成的虛擬信息在一定時(shí)間、空間范圍內(nèi)精準(zhǔn)的疊加到真實(shí)環(huán)境中，實(shí)現(xiàn)虛擬世界和現(xiàn)實(shí)世界的無縫隙融合，被人類感覺器官所感知，從而達(dá)到增強(qiáng)、超越現(xiàn)實(shí)環(huán)境效果的技術(shù)。

移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)借助移動(dòng)通信與數(shù)據(jù)計(jì)算存儲(chǔ)技術(shù)、計(jì)算機(jī)視覺圖形技術(shù)、顯示與交互等技術(shù)生成用戶所處實(shí)際環(huán)境中不存在的虛擬信息對象，再利用傳感器技術(shù)、實(shí)時(shí)定位技術(shù)以及跟蹤與配準(zhǔn)技術(shù)實(shí)時(shí)的跟蹤用戶手機(jī)在真實(shí)場景中的位置及姿態(tài)，并計(jì)算出虛擬物體信息與目標(biāo)物體在攝像頭視場中所對應(yīng)的空間坐標(biāo)位置，最終實(shí)現(xiàn)虛擬信息與實(shí)際場景畫面無縫隙的融為一體，達(dá)到成為周圍真實(shí)環(huán)境的有機(jī)組成部分，呈現(xiàn)給用戶另一種在感官效果非常貼切、真實(shí)的新環(huán)境。

運(yùn)動(dòng)估計(jì)是增強(qiáng)現(xiàn)實(shí)技術(shù)中對視頻壓縮編碼的核心技術(shù)之一，采用運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償技術(shù)可以消除視頻信號(hào)的時(shí)間冗余以提高編碼效率。目前，如何提高運(yùn)動(dòng)估計(jì)的效率，使運(yùn)動(dòng)估計(jì)算法的搜索過程更健壯、更快速、更高效是當(dāng)前增強(qiáng)現(xiàn)實(shí)技術(shù)的一個(gè)研究熱點(diǎn)。目前，典型的運(yùn)動(dòng)估計(jì)算大體上可分成4類：塊匹配法、遞歸估計(jì)法、貝葉斯估計(jì)法和光流法。這些算法多存在搜算性能低、算法復(fù)雜、易陷入局部最優(yōu)等弊端。

2 概覽

與傳統(tǒng)的運(yùn)動(dòng)估計(jì)算法相比，本論文中提出的十字中心搜索算法具有算法簡單、高效、穩(wěn)定等特點(diǎn)。該算法基于塊匹配方法的優(yōu)化，通過基于視頻流的運(yùn)動(dòng)估計(jì)算法的研究，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)中智能掃描與識(shí)別圖像的功能，仿真分析和應(yīng)用表明，具有有效提升搜索效率、提高圖像掃描的準(zhǔn)確性的效果，概述如下。

（1）對視頻圖像序列運(yùn)動(dòng)估計(jì)的原理進(jìn)行分析，并研究基于塊匹配運(yùn)動(dòng)估計(jì)的基本原理、匹配準(zhǔn)則、評定參考指標(biāo)以及搜索窗口等。

（2）對基于預(yù)測自適應(yīng)的十字中心搜索運(yùn)動(dòng)估計(jì)算法進(jìn)行設(shè)計(jì)并實(shí)現(xiàn)，并完成算法的仿真實(shí)驗(yàn)，通過與幾種經(jīng)典運(yùn)動(dòng)估計(jì)算法的對比，從而說明十字中心搜索運(yùn)動(dòng)估計(jì)算法的性能等優(yōu)勢。

（3）特別是在緩慢運(yùn)動(dòng)、抖動(dòng)劇烈以及圖像序列中的物體運(yùn)動(dòng)過快的情況下，該算法實(shí)現(xiàn)智能掃描和識(shí)別圖像、視頻等，大幅縮減圖像傳輸?shù)臄?shù)據(jù)量以及數(shù)據(jù)計(jì)算復(fù)雜度。

3 運(yùn)動(dòng)估計(jì)方法設(shè)計(jì)

本文設(shè)計(jì)并實(shí)現(xiàn)了一種預(yù)測自適應(yīng)的十字中心搜索算法NCCS的運(yùn)動(dòng)評估方法。如圖1塊匹配運(yùn)動(dòng)估計(jì)原理示意圖所示，設(shè)視頻圖像幀k為當(dāng)前幀，視頻圖像幀k-1為參考幀，由于在許多經(jīng)典的塊匹配運(yùn)動(dòng)估計(jì)搜索算法中一幀視頻圖像常常被分割為M×N像素大小的宏塊，當(dāng)然也可以是N×N像素大小等其它形狀的宏塊，以M×N像素大小的宏塊為例，則此時(shí)的搜索窗口為(M+2dx)×(N+2dy)大小，此時(shí)該搜索窗口中總共含有(M+2dx+1)×(N+2dy+1)個(gè)待檢測像素點(diǎn)。

由于宏塊中的任意一像素點(diǎn)都可以表明其位移信息，若想計(jì)算當(dāng)前幀k中的某一宏塊上的像素點(diǎn)(x, y)的運(yùn)動(dòng)矢量，只需要采取某一個(gè)適合的搜索算法在參考幀k-1的搜索窗口中的塊與當(dāng)前塊幀中對應(yīng)的塊的差值，利用選擇的匹配準(zhǔn)則選取最優(yōu)的匹配塊即可，從而得到當(dāng)前塊的最佳運(yùn)動(dòng)矢量。

為了提高視頻圖像中基于塊匹配運(yùn)動(dòng)估計(jì)算法的搜索速率和搜索精度，在深入研究各類快速塊匹配運(yùn)動(dòng)估計(jì)算法的基礎(chǔ)上，本章節(jié)提出了一種基于視頻圖像中運(yùn)動(dòng)矢量中心偏置分布特性與十字偏置分布特性新的快速塊匹配搜索運(yùn)動(dòng)估計(jì)算法。采取十字中心搜索模板CCSP，并給出了NCCS算法的研究內(nèi)容。

圖1 塊匹配運(yùn)動(dòng)估計(jì)原理示意圖

NCCS算法所采用的搜索模板目的是為增強(qiáng)對搜索窗口中心區(qū)域的搜索，充分利用了運(yùn)動(dòng)矢量的中心偏置分布特性和十字偏置分布特性，采用如圖2中(a)、(b)、(c)所示的大十字模板LCSP、斜十字模板OCSP、小十字模板SCSP。LCSP與SCSP組合成為如上圖所示的十字中心搜索模板，其中LCSP是大步長的搜索，SCSP是最小步長的搜索，主要針對中小運(yùn)動(dòng)或者是靜止宏塊，起到了對運(yùn)動(dòng)矢量最小SAD點(diǎn)的判斷和提前終止退出搜索的目的；而OCSP主要是一個(gè)針對十字中心搜索模板最外層4個(gè)像素點(diǎn)的大運(yùn)動(dòng)宏塊可能性的模板，彌補(bǔ)對其它4個(gè)方向搜索的不足。OCSP搜索規(guī)則如圖2中(d)所示，給出了一種搜索位置的可能性，其余的位置也是與之相類似的，其中白點(diǎn)代表待搜索的像素點(diǎn)，總共4個(gè)點(diǎn)，分別代表了當(dāng)前被包圍的黑點(diǎn)往4個(gè)方向發(fā)散的待搜索檢測點(diǎn)。

4 仿真實(shí)驗(yàn)

4.1 數(shù)據(jù)準(zhǔn)備

圖2 十字中心搜索算法模版細(xì)分圖

在仿真實(shí)驗(yàn)測試過程中，設(shè)定視頻圖像序列的宏塊大小為16×l6，搜索窗口大小為15×15，即以搜索窗口為中心的±7個(gè)步長，最佳搜索最小塊誤差MBD點(diǎn)采用最小絕對差異和SAD匹配準(zhǔn)則，搜索的像素點(diǎn)數(shù)和峰值信噪比PSNR值分別為以下視頻序列中前150幀內(nèi)數(shù)據(jù)計(jì)算得到的實(shí)驗(yàn)結(jié)果平均值，考慮到相鄰連續(xù)幀之間的差距太小，故將幀之間的間隔設(shè)為2。視頻圖像序列分為以下3類。

(1) 小運(yùn)動(dòng)視頻序列：Container、Mother-Daughter。

(2) 中等運(yùn)動(dòng)視頻序列：Coastguard、Foreman。

(3) 大運(yùn)動(dòng)視頻序列：Football (總共只有130幀，則全部讀取)、Soccer。

4.2 十字中心搜索算法仿真

在仿真實(shí)驗(yàn)測試過程中，采用4:2:0 YUV數(shù)據(jù)流的形式，設(shè)定視頻圖像序列的宏塊大小為16×l6，搜索窗口為中心的 ±7個(gè)步長，大小為15×15。視頻圖像序列使用Container、Mother-Daughter；Coastguard、Foreman；Football (總共只有130幀，則全部讀取)、Soccer。

為了驗(yàn)證各類算法在不同視頻圖像序列中的搜索性能，同樣采取每個(gè)宏塊平均的搜索點(diǎn)數(shù)和平均峰值信噪比PSNR值這兩個(gè)指標(biāo)進(jìn)行衡量搜索速率和搜索精度的差異。對于上述的6個(gè)YUV視頻圖像序列，本節(jié)將NCCS算法分別與常見的快速塊匹配運(yùn)動(dòng)估計(jì)算法CSS算法、FS算法、TSS算法、NTSS算法、FSS算法及DS算法進(jìn)行對比實(shí)驗(yàn)，并對實(shí)驗(yàn)結(jié)果做出了分析。視頻圖像序列中NCCS算法的仿真實(shí)驗(yàn)結(jié)果如表1所示。

表1 NCCS算法搜索實(shí)驗(yàn)結(jié)果

從NCCS算法仿真的實(shí)驗(yàn)結(jié)果可以看出，NCCS算法在各種運(yùn)動(dòng)類型的視頻序列中，相對于其它快速塊匹配運(yùn)動(dòng)估計(jì)算法在搜索點(diǎn)數(shù)上都有很大程度的改善。

在圖3小運(yùn)動(dòng)視頻序列每塊平均搜索點(diǎn)數(shù)對比發(fā)現(xiàn)，NCCS算法對較小運(yùn)動(dòng)視頻序列進(jìn)行搜索時(shí)，可以很大程度提高搜索速率，并且仍保持同樣的性能。例如在Container小運(yùn)動(dòng)序列中，其中靜止宏塊相對較多，測得的搜索點(diǎn)數(shù)分別是FS算法的39.97倍，TSS算法的4.65倍，NTSS算法的3.19倍，F(xiàn)SS算法的3.18倍，DS算法的2.48倍，因?yàn)镹CCS算法中采用了自適應(yīng)預(yù)判搜索模式，對CCS算法也提高到了1.79倍。

圖3 小運(yùn)動(dòng)視頻序列每塊平均搜索點(diǎn)數(shù)對比

圖4 中等運(yùn)動(dòng)視頻序列平均搜索數(shù)對比

同樣在圖4中等運(yùn)動(dòng)視頻序列每塊平均搜索點(diǎn)數(shù)對比不難看出，NCCS算法在對中等運(yùn)動(dòng)視頻序列進(jìn)行搜索時(shí)，搜索的準(zhǔn)確率與FS算法中的平均PSNR值差別不大，保證同樣的性能。例如在Foreman中等運(yùn)動(dòng)序列中，測得的搜索點(diǎn)數(shù)分別是FS算法的24倍，TSS算法的2.81倍，NTSS算法的2.41倍，F(xiàn)SS算法的2.21倍，很大程度提高了搜索速率。

圖5 大運(yùn)動(dòng)視頻序列每塊平均搜索點(diǎn)數(shù)對比

從圖5大運(yùn)動(dòng)視頻序列每塊平均搜索點(diǎn)數(shù)對比可知，NCCS算法對劇烈運(yùn)動(dòng)的視頻序列采用了預(yù)測搜索起點(diǎn)的自適應(yīng)預(yù)判搜索模式，使得初始搜索起點(diǎn)距離最佳MBD點(diǎn)較近，明顯降低了算法的計(jì)算復(fù)雜度，避免了陷入局部最優(yōu)的可能。且通過各算法的平均PSNR值對比可以看出，NCCS算法很大程度提高了搜索速率，所以NCCS算法適合于具有劇烈運(yùn)動(dòng)和復(fù)雜運(yùn)動(dòng)的視頻序列。

5 增強(qiáng)現(xiàn)實(shí)應(yīng)用

在移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用場景中，即使攝像頭基本是處于穩(wěn)定狀態(tài)的，但上傳的視頻序列的內(nèi)容也可能是錯(cuò)誤信息，再者結(jié)合用戶使用手機(jī)拍照的習(xí)慣，通過傳入的智能手機(jī)視頻圖像序列，為提高速率可以只針對以當(dāng)前視頻圖像序列中間區(qū)域的有限鄰域內(nèi)進(jìn)行搜索，減少搜索區(qū)域范圍，具體可以采用以下4個(gè)步驟。

(1) 定時(shí)獲取的視頻圖像序列，以搜索起點(diǎn)為搜索窗口中心采用NCCS算法進(jìn)行搜索，超過一定閾值的運(yùn)動(dòng)過大的宏塊暫時(shí)保存，不采取處理，最終找到相似度最相似的宏塊后，根據(jù)二者位置獲取兩幀之間的運(yùn)動(dòng)矢量。

(2) 移動(dòng)增強(qiáng)現(xiàn)實(shí)場景中，通過所得到的運(yùn)動(dòng)矢量需要判斷實(shí)際視頻序列的運(yùn)動(dòng)狀態(tài)，其中主要?dú)w為4類狀態(tài)，分別是運(yùn)動(dòng)、準(zhǔn)靜止、運(yùn)動(dòng)到準(zhǔn)靜止、準(zhǔn)靜止到運(yùn)動(dòng)。

(3) 前視頻序列的準(zhǔn)靜止過程可以認(rèn)為用戶攝像頭獲取的圖像區(qū)域沒有明顯的運(yùn)動(dòng)變化（或者是只有小幅度移動(dòng)），同時(shí)加上運(yùn)動(dòng)到準(zhǔn)靜止?fàn)顟B(tài)也是本系統(tǒng)認(rèn)為可以上傳圖像的最佳時(shí)機(jī)，此時(shí)只需要上傳當(dāng)前視頻圖像幀。

(4) 服務(wù)器接收得到的視頻圖像，經(jīng)過匹配搜索數(shù)據(jù)庫并返回結(jié)果，結(jié)果若合理，則客戶端終止繼續(xù)發(fā)送視頻圖像，并進(jìn)入后續(xù)的物體跟蹤與配準(zhǔn)，以及顯示與交互模塊。

6 結(jié)束語

隨著多媒體等技術(shù)的飛速發(fā)展，增強(qiáng)現(xiàn)實(shí)技術(shù)將走進(jìn)千家萬戶，成為新一代互聯(lián)網(wǎng)技術(shù)寵兒。本文通過對基于視頻流的運(yùn)動(dòng)估計(jì)方法的增強(qiáng)現(xiàn)實(shí)技術(shù)研究，將十字中心搜索運(yùn)動(dòng)估計(jì)算法特性應(yīng)用到增強(qiáng)現(xiàn)實(shí)中來，旨在對多種多樣運(yùn)動(dòng)狀態(tài)的目標(biāo)物體采取不同的自適應(yīng)運(yùn)動(dòng)估計(jì)，以實(shí)現(xiàn)智能視頻流掃描與識(shí)別。后續(xù)，可將該項(xiàng)技術(shù)廣泛應(yīng)用于不同的AR場景中。有理由相信，未來增強(qiáng)現(xiàn)實(shí)將真正改變我們觀察世界的方式，為我們帶來顛覆式的視覺感知與體驗(yàn)。

[1]Ronald T, Azuma. A Survey of augmented reality. Presence[J]. Teleoperators and Virtual Environments,1997,6( 4) :355－385.

[2]Azuma R, et al, A Motion-Stabilized Outdoor Augmented Reality System[A]. Proc. IEEE Virtual Reality[C]. California: IEEE CS Press,1999: 252-259.

[3]S. Feiner, B. MacIntyre, T. Hollerer, et al. A touring machine: prototyping 3D mobile augmented reality systems for exploring the urban environment[A].Proceeding of First IEEE International Symposium on Wearable Computers(ISWC’97)[C].Cambridge:[s. n.],1997: 74-81.

[4]J. Park, B. Jiang, U. Neumann. Vision-based pose computation: Robust and accurate augmented reality tracking[A]. In Proceedings of the 2nd IEEE and ACM International Workshop on Augmented Reality '99[C]. San Fran- cisco, CA: 1999:3-12.

[5]B. Thomas, B. Close, J. Donoghue, et al. ARQuake: an outdoor/ indoor augmented reality first person application[A].proceeding of the 4th International Symposium on Wearable Computers[C].South Australia:[s. n.],2000: 139-146.

[6]Hakkarainen M, Woodward C. SymBall: camera driven table tennis for mobile phones[A]. Proceedings of the 2005 ACM SIGCHI International Conference on Advances in computer entertainment technology[C]. Spain: 2005: 391-392.

News

Fraunhofer IIS通過搭載MPEG-H的3D Soundbar為消費(fèi)者家庭帶來沉浸式音頻體驗(yàn)

Fraunhofer IIS將采用德州儀器66AK2G02 DSP+ARM系統(tǒng)芯片（SoC）改善消費(fèi)者的音頻體驗(yàn)。2017年初，F(xiàn)raunhofer將推出搭載MPEG-H技術(shù)的沉浸式soundbar以及音視頻接收機(jī)(AVR)參考設(shè)計(jì)，從而讓消費(fèi)者在家中即可便利享受3D聲音效果，并將音頻質(zhì)量提升至全新高度。

2017年春天，MPEG-H電視音頻系統(tǒng)將正式應(yīng)用于韓國基于ATSC 3.0的全新地面超高清電視系統(tǒng)。目前，MPEG-H已正式成為數(shù)字視頻廣播標(biāo)準(zhǔn)（DVB）的一部分。MPEG-H致力于推動(dòng)全球廣播電視領(lǐng)域的長遠(yuǎn)發(fā)展，它具有交互式和沉浸式的特點(diǎn)，而通用傳輸功能夠讓它適用于眾多消費(fèi)設(shè)備。

為了讓原始設(shè)備制造商更好地采納音視頻接收機(jī)（AVR）參考設(shè)計(jì)，F(xiàn)raunhofer將在業(yè)內(nèi)領(lǐng)先的音視頻接收機(jī)以及soundbars平臺(tái)——德州儀器66AK2G02 SoC上植入MPEG-H和 Fraunhofer 3D soundbar處理技術(shù)。

對廣播電視公司和流媒體服務(wù)提供商來說，具備先進(jìn)功能的MPEG-H系統(tǒng)能夠以相對較低的比特率，以成本節(jié)約的方式傳輸流媒體和電視音頻內(nèi)容。

(趙青)

Research and implementation of a method based on video stream for key technologies of AR

GU Ning-lun
(China Mobile Group Liaoning Co., Ltd., Shenyang 110179, China)

Nowadays, augmented reality that seamlessly integrates the information of real world and virtual world is gradually being incorporated into people's life. And it brings us subversive visual feelings and experience. In this paper, a real-time motion estimation method based on video stream is proposed in the key technology of mobile augmented reality. Experimental results show that the proposed method can effectively enhance the ability of recognizing video stream steadily and intelligently in augmented reality. In the future, the technology that combines with China Mobile speci fi c massive data will be used in wisdom map, wisdom tourism, AR-hand tour and other emerging scenes.

augmented reality; video stream; motion estimation

TN929.5

A

1008-5599（2017）02-0050-05

2017-01-22