賈立兵,唐 棣

(遼寧師范大學(xué) 計算機(jī)與信息技術(shù)學(xué)院，遼寧 大連116081)

增強(qiáng)現(xiàn)實AR(Augmented Reality),也被稱為混合現(xiàn)實，是近年來國外眾多知名大學(xué)和研究機(jī)構(gòu)的研究熱點之一。增強(qiáng)現(xiàn)實借助計算機(jī)建模技術(shù)、計算機(jī)圖形技術(shù)和可視化技術(shù)，通過生成真實環(huán)境中不存在的虛擬對象并將其應(yīng)用到AR系統(tǒng)中用于交互的真實場景，虛擬物體和真實場景實時地疊加到同一個畫面或空間，兩種信息相互補(bǔ)充、完善，使用戶的體驗更為真實，具有虛實結(jié)合的特征。AR技術(shù)不僅有著與虛擬現(xiàn)實(VR)技術(shù)相類似的應(yīng)用領(lǐng)域，諸如尖端武器開發(fā)、數(shù)據(jù)模型的可視化、虛擬訓(xùn)練、娛樂與藝術(shù)等，而且由于其具有能夠?qū)φ鎸嵀h(huán)境進(jìn)行增強(qiáng)顯示并輸出的特性，在醫(yī)療研究與解剖訓(xùn)練、精密儀器制造和維修、工程設(shè)計和遠(yuǎn)程機(jī)器人控制等領(lǐng)域，具有比VR技術(shù)更加明顯的優(yōu)勢[1]。20世紀(jì)90年代末，這個領(lǐng)域的研究者開始在一些每年召開的與AR相關(guān)的國際研討會和工作會議上聚會，例如，國際增強(qiáng)現(xiàn)實工作會議(IWAR)、國際增強(qiáng)現(xiàn)實研討會(ISAR)和國際混合與增強(qiáng)現(xiàn)實會議(ISMAR)等,這些會議在很大程度上促進(jìn)了AR的研究與發(fā)展。

AR技術(shù)已經(jīng)有著廣泛的應(yīng)用。對于有些領(lǐng)域(如醫(yī)學(xué)領(lǐng)域)，AR系統(tǒng)需要保持虛擬信息與真實信息有著視覺上的差異以便醫(yī)生進(jìn)行診斷；但是，對于其他領(lǐng)域(如游戲領(lǐng)域)，AR系統(tǒng)則需要保持兩者視覺上的融合已達(dá)到用戶猶如身臨其境的效果[2]。

傳統(tǒng)的AR系統(tǒng)中虛擬物體與真實場景之間在顯示端存在著較為明顯的視覺差異，這種差異大大降低了用戶交互體驗、操作的真實感。針對這點，本文提出了一種新的方法來改進(jìn)傳統(tǒng)的AR系統(tǒng),分別對攝像頭采集的背景圖像和計算機(jī)生成的虛擬物體進(jìn)行基于非真實感的渲染NPR(Non-Photorealistic Rendering)技術(shù)的風(fēng)格化處理,減少二者的視覺差異,最終輸出帶有水彩畫效果的疊加后圖像,從而提高虛實結(jié)合的程度，在顯示端達(dá)到視覺的統(tǒng)一。

1 相關(guān)工作

AR系統(tǒng)致力于將計算機(jī)生成的虛擬物體與真實場景融為一體，通過虛擬物體的信息補(bǔ)充來增強(qiáng)用戶對真實環(huán)境的理解。目前，AR系統(tǒng)中一些關(guān)鍵的技術(shù)，諸如顯示技術(shù)和跟蹤[3]、定位技術(shù)[4]已經(jīng)具有一定的成熟度，但對虛擬物體與真實場景之間的視覺融合技術(shù)研究非常少。在實時的AR系統(tǒng)中，要保持虛擬物體和真實場景的完美融合，達(dá)到視覺上的統(tǒng)一是很困難的。為達(dá)到這個目的，一種方法是使計算機(jī)生成的虛擬物體盡可能地逼真，但這不僅需要精準(zhǔn)的計算機(jī)模型，而且還需要過長的模型計算時間，這在實時的AR系統(tǒng)中是難以實現(xiàn)的。另一種方法是使用NPR技術(shù)，使虛擬物體和真實場景通過風(fēng)格化融合以達(dá)到視覺上的統(tǒng)一。目前已經(jīng)有卡通風(fēng)格化渲染、油畫風(fēng)格化渲染、馬賽克風(fēng)格化[5]渲染等多種NPR技術(shù)在AR系統(tǒng)中實施。丁帆等[6]將卡通風(fēng)格的NPR技術(shù)應(yīng)用到了AR系統(tǒng)中,該方法減去了較多的真實場景的信息，融合后的視頻圖像比較模糊。BOUSSEAU A[7]比較系統(tǒng)地提出了處理二維圖像和三維模型水彩風(fēng)格化的方案。他將風(fēng)格化分為多種可選的效果，用戶根據(jù)自己的需要進(jìn)行選擇并可以實時地看到渲染結(jié)果。為了更加直觀地模擬水彩，BOUSSEAU A的方法沒有采用庫伯卡-芒克模型。雖然該方法可以達(dá)到實時渲染，但是得到的渲染結(jié)果略顯生硬。此外，CURTIS C J[8]提出了基于物理模型的水彩畫風(fēng)格渲染，但是計算代價高昂。

本文提出了采用Voronoi圖來處理視頻圖像幀以模擬圖像幀的水彩畫風(fēng)格效果，達(dá)到虛擬物體與真實場景的無縫結(jié)合。首先利用Voronoi圖簡化視頻幀顏色信息，然后檢測出視頻幀邊緣，最后將邊緣線疊加到風(fēng)格化渲染后的視頻幀中。實驗結(jié)果證明，該方法在實時的AR系統(tǒng)中方便、快捷，能很好地實現(xiàn)虛擬物體與真實場景的無縫結(jié)合，并能夠保持良好的時間、視覺連貫性。

2 算法原理

將AR系統(tǒng)的視頻圖像幀利用Voronoi圖來處理,以達(dá)到簡化圖像幀的顏色區(qū)域的目的,使得真實的場景與計算機(jī)虛擬的物體之間的視覺差異減小,從觀察者的角度來達(dá)到視覺融合,減小視覺瑕疵。同時，檢測圖像幀中的物體(包括虛擬物體和真實場景中的物體)邊緣輪廓,將檢測出的邊緣同區(qū)域顏色簡化后的圖像幀相疊加,得到最后的觀察者接收到的視頻圖像幀。計算機(jī)虛擬物體和真實場景得到風(fēng)格化的融合，處理過程如圖1所示。

圖1 過程概述圖

3 算法實現(xiàn)

3.1 視頻圖像幀的顏色區(qū)域簡化

給定一個同時包含了虛擬物體和真實場景的AR視頻圖像幀，第一個目標(biāo)是對該圖像幀進(jìn)行水彩畫效果的風(fēng)格化。風(fēng)格化過程分為兩步：(1)生成一個與圖像幀同樣大小的Voronoi圖，Voronoi圖的結(jié)構(gòu)類似于洋蔥表皮細(xì)胞的排列，每個洋蔥“細(xì)胞”對應(yīng)了Voronoi圖中一個多邊形域，如圖2所示；(2)用該Voronoi圖中的多邊形域分割圖像幀，并對每個多邊形域“細(xì)胞”著色，所著顏色由該“細(xì)胞”在圖像幀中相應(yīng)位置處像素的平均顏色決定。通過這兩步將一些冗余的顏色信息去除，達(dá)到圖像幀的顏色區(qū)域簡化，使畫面顏色更加接近水彩畫效果。

圖2 洋蔥表皮細(xì)胞與Voronoi圖中多邊形域的對應(yīng)關(guān)系

3.1.1 生成Voronoi圖

為了生成Voronoi圖,采用平面抖動采樣算法得到Voronoi多邊形域的中心。假設(shè)視頻幀大小為W×H，創(chuàng)建m×n多邊形域。那么第i行第j列的多邊形域的抖動中心V(i,j)可以用如下公式計算得到：

V(i,j)即為Voronoi圖的多邊形域的中心點。

3.1.2 風(fēng)格化視頻幀

在圖形硬件中，圓錐體由凸多邊形集合近似模擬，Voronoi多邊形域同樣是凸多邊形，所以可以通過在每個Voronoi“細(xì)胞”的中心 “安置”一個圓錐體近似模擬Voronoi多邊形域，從而達(dá)到快速生成Voronoi圖的目的。實驗證明，可以用像素的深度緩存值來決定椎體的大小，使得距觀察者越近的物體被渲染得更為細(xì)膩。在深度緩存開啟的情況下以V(i,j)為中心柵格m×n個圓錐體。此時幀緩存被Voronoi“細(xì)胞”分割成m×n個Voronoi多邊形域。圖2(b)模擬了柵格化圓錐體后的幀緩存,可見此時視頻幀被分割成許多不規(guī)則的Voronoi多邊形域。

在柵格化的過程中，每個圓錐體被賦予單獨的RGB顏色值，該值由該區(qū)域中心點V(i,j)處的RGB顏色值決定，所以每個圓錐體區(qū)域能通過檢查幀緩存中該椎體區(qū)域像素顏色值來被唯一標(biāo)識并且被索引。如圖2(b)所示，這些多邊形域組成了一個特定的Voronoi模版，通過該模版將AR視頻幀渲染成水彩畫風(fēng)格。具體做法是：使用多邊形域?qū)?yīng)原始圖片處的平均顏色值對該多邊形域進(jìn)行著色。圖3顯示了一幅初始的AR視頻幀，圖4顯示了風(fēng)格化后的視頻幀。

圖3 初始AR視頻幀

圖4 Voronoi圖模版處理后的視頻幀

為了更好地勾勒出物體的形狀從而有著很明顯的邊緣輪廓線，在下一步將通過對視頻幀進(jìn)行邊緣檢測來模擬這種風(fēng)格。結(jié)合Voronoi模版風(fēng)格化視頻幀和檢測邊緣線，達(dá)到了基于NPR的水彩風(fēng)格的增強(qiáng)現(xiàn)實。

3.2 視頻幀的邊緣檢測

邊緣檢測是NPR風(fēng)格化渲染中普遍用到的技術(shù)，因為許多NPR風(fēng)格圖片擁有突出、鮮明的邊緣輪廓線。

在本文算法中，首先對虛擬物體使用簡單的卡通著色，然后對該視頻幀進(jìn)行邊緣檢測。使用簡單的卡通著色代替OpenGL默認(rèn)的高氏著色(Gouraud Shading)是因為卡通著色能增強(qiáng)區(qū)域間的顏色對比而使得檢測出更為突出、明顯的邊緣輪廓線。

對于一個物體表面，卡通著色器通過設(shè)置強(qiáng)度閾值來產(chǎn)生3個離散的表面強(qiáng)度，進(jìn)而用不同的顏色進(jìn)行著色而不是使用連續(xù)色調(diào)進(jìn)行著色。卡通著色的片段著色器的代碼如下：

虛擬物體和真實場景被渲染并結(jié)合成為一幅紋理圖片暫存于著色器中，因此邊緣檢測可以在片段著色器中進(jìn)行，而不需要將紋理的像素數(shù)據(jù)從GUP復(fù)制到CPU，大大節(jié)省了處理所用時間。RGB顏色空間和YUV顏色空間中的像素信息將會同時用來進(jìn)行邊緣檢測。兩種顏色空間之間像素轉(zhuǎn)換在著色器中完成，代碼如下：

邊緣檢測公式如下。其中，▽是沿著x軸和y軸的顏色差。如果這個值大于設(shè)定的閾值，則該像素將被認(rèn)為是一個邊緣像素。

分別在YUV顏色空間和RGB顏色空間下進(jìn)行邊緣檢測，然后加權(quán)計算得到最終的邊緣輪廓線。圖5顯示了一幅帶有檢測出的邊緣輪廓線的AR視頻幀。3個虛擬的物體(茶壺、立方體和兔子)和真實場景中的物體的輪廓線均被檢測到。

圖5 視頻幀中檢測出的邊緣線

3.3 生成水彩畫風(fēng)格視頻幀

首先利用Voronoi圖來生成水彩畫風(fēng)格的視頻幀。同時，在RGB和YUV兩種顏色空間下分別對視頻幀進(jìn)行邊緣檢測并且兩種輪廓線加權(quán)后進(jìn)行融合。最后，將檢測出的邊緣線與風(fēng)格化后的視頻幀進(jìn)行結(jié)合，產(chǎn)生水彩畫效果的視頻幀，視頻幀中虛擬物體與真實場景很好地結(jié)合在一起。輸出過程如圖6所示，實驗結(jié)果如圖7所示。

圖6 輸出最終視頻幀過程

圖7 水彩畫效果的視頻圖像幀(左上顯示一幅原視頻圖像幀)

通過對基于視頻的AR技術(shù)進(jìn)行研究，闡述了一種新的應(yīng)用Voronoi圖生成水彩畫風(fēng)格的實時的AR技術(shù)——水彩畫風(fēng)格增強(qiáng)現(xiàn)實系統(tǒng)。將NPR的方法引入AR系統(tǒng)中，使得計算機(jī)虛擬出的物體和攝像機(jī)提供的真實場景間在一定程度上實現(xiàn)無縫結(jié)合，克服了傳統(tǒng)AR系統(tǒng)中虛擬物體和真實場景的視覺上的不統(tǒng)一，給予用戶更加真實的體驗。此外，由于本文算法使用圖像空間的技術(shù)實現(xiàn)，可以利用GPU進(jìn)行加速計算，因此，伴隨硬件技術(shù)的不斷發(fā)展，該方法的運行速度還有很大的提升空間。

[1]張菁,張?zhí)祚Y,陳懷友.虛擬現(xiàn)實技術(shù)及應(yīng)用[M].北京：清華大學(xué)出版社,2011.

[2]鐘慧娟,劉肖琳,吳曉莉.增強(qiáng)現(xiàn)實系統(tǒng)及其關(guān)鍵技術(shù)研究[J].計算機(jī)仿真,2008,25(1)∶252-255.

[3]全紅艷,王長波,林俊雋.增強(qiáng)現(xiàn)實中虛實結(jié)合的新方法[J].機(jī)器人,2008,30(6)∶561-565.

[4]陳靖,施琦,王涌天.基于視覺增強(qiáng)現(xiàn)實系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機(jī)工程與應(yīng)用,2001,37(21)∶55-57.

[5]BATTIATO S,BLASI G,FARINELLA G,et al.Digital mosaic frameworks-an overview[J].Computer Graphics Forum 2007,26(4)∶794-812.

[6]丁帆,李利軍,管濤.卡通風(fēng)格增強(qiáng)現(xiàn)實系統(tǒng)[J].計算機(jī)與數(shù)字工程,2007,38(6)∶76-78.

[7]BOUSSEAU A,NEYRET F,THOLLOT J.et al.Video watercolorization using bidirectional texture advection[J].ACM Transactions on Graphics,2007,26(3)∶104∶1-104∶7

[8]CURTIS C J,ANDERSON S E,SEIMS J E.Computergenerated watercolor[C].Computer Graphics Proceedings,Annual Conference Series,ACM SIGGRAPH,Los Angeles,1997：421-430.