李大錦

(山東師范大學(xué)傳媒學(xué)院數(shù)字媒體系,山東濟(jì)南,250014)

一種應(yīng)用于虛擬現(xiàn)實(shí)的基于網(wǎng)格變形的立體圖像生成方法

李大錦

(山東師范大學(xué)傳媒學(xué)院數(shù)字媒體系,山東濟(jì)南,250014)

文章針對(duì)虛擬現(xiàn)實(shí)系統(tǒng),介紹了立體圖像的生成方法.提出了利用單個(gè)相機(jī)通過(guò)不同的投影變換來(lái)拍攝雙眼圖像.基于單相機(jī)拍攝的方法,分析了立體圖像的視差形成機(jī)制,給出了有頭跟蹤設(shè)備和無(wú)頭跟蹤設(shè)備兩種情況下雙眼圖像的視差變換矩陣.進(jìn)一步分析了視差大小、感知深度、感知變形和模型變形之間的聯(lián)系,將視差的產(chǎn)生歸結(jié)為模型的幾何變形.提出可以通過(guò)模型的幾何變形來(lái)控制視差和感知物體的變形,從而給出了一種基于模型網(wǎng)格變形的非線(xiàn)性深度映射方法.該方法能有效的減少因感知物體的變形而帶來(lái)的視覺(jué)瑕疵,并能消除在頭跟蹤系統(tǒng)中因深度映射導(dǎo)致的圖像漂移.

3D顯示;網(wǎng)格變形;感知深度;深度映射

1 引言

立體顯示是模擬人類(lèi)的雙眼視覺(jué)機(jī)制.人在雙眼觀(guān)察時(shí),物體于左右眼中的成像在水平方向上會(huì)產(chǎn)生視差,人通過(guò)視差來(lái)形成深度感知[1,2].所以立體圖像包括一對(duì)具有水平視差的圖像,分別代表左右眼圖像.如何產(chǎn)生和控制左右眼圖像的視差是立體圖像創(chuàng)建的關(guān)鍵問(wèn)題.

立體圖像的獲取最直接的方法是利用雙相機(jī)分別拍攝左右眼圖像[3,4];另一種方法是基于圖像合成的方法[5,6].基于雙相機(jī)拍攝的方法是采用兩個(gè)水平放置的相機(jī),兩個(gè)相機(jī)軸線(xiàn)可以平行或水平傾斜相交.基于圖像合成的方法是在原有的單個(gè)或多個(gè)視點(diǎn)的圖像基礎(chǔ)上,合成新的視點(diǎn)圖像[5～7].基于圖像的方法借助像素的深度信息,對(duì)像素進(jìn)行重新投影形成新的圖像,由于在像素重新投影的過(guò)程中,容易產(chǎn)生空洞,而完美的實(shí)現(xiàn)空洞充填仍然是一個(gè)有待解決的關(guān)鍵問(wèn)題[6,8].近幾年來(lái),圖像變形技術(shù)逐漸被應(yīng)用于立體圖像[9,10],可以避免產(chǎn)生空洞,但是存在一個(gè)潛在的問(wèn)題是容易造成左右眼圖像投影的不一致[10].基于圖像的生成方法主要應(yīng)用在2D到3D圖像轉(zhuǎn)換,很難應(yīng)用于實(shí)時(shí)渲染系統(tǒng).

人們?cè)陂L(zhǎng)時(shí)間觀(guān)看立體圖像時(shí)容易引起視覺(jué)疲勞或不適.引起視覺(jué)疲勞的原因很多,既有圖像質(zhì)量的原因又有硬件性能等方面的原因.大量研究證明:長(zhǎng)時(shí)間較大的調(diào)節(jié)與匯聚沖突是立體圖像引起視覺(jué)疲勞的主要原因[11].感知深度范圍越大,調(diào)節(jié)匯聚沖突也越大.在一定的觀(guān)看條件下,存在一個(gè)觀(guān)看者能承受的感知深度適宜區(qū)[12].Wopking[13]認(rèn)為較舒適的感知深度對(duì)應(yīng)的視差范圍應(yīng)小于1度.Patterson[1]認(rèn)為感知深度范圍應(yīng)限制在DOF(Depth of Field)之內(nèi).從調(diào)節(jié)匯聚沖突的角度來(lái)考慮,如果人的注意力較多的集中于顯示屏幕附近(視差接近0)可進(jìn)一步減少視覺(jué)疲勞[12].

通過(guò)改變圖像視差來(lái)改變感知深度,從而避免視覺(jué)疲勞,這種方法稱(chēng)為深度映射或視差映射[14].深度映射最直接的方法是在拍攝過(guò)程中,直接調(diào)整相機(jī)的軸距、匯聚距離等參數(shù).如文獻(xiàn)[3,4,15]分別根據(jù)場(chǎng)景深度和觀(guān)看適宜區(qū),計(jì)算出合適的相機(jī)軸距、輻輳等參數(shù).但這些方法都是壓縮全局感知深度的線(xiàn)性壓縮.深度映射會(huì)使感知物體變形,Holliman[14]為減少重要圖像內(nèi)容的變形,將場(chǎng)景沿深度方向分成多個(gè)區(qū)段,不同區(qū)段采用不同的相機(jī)參數(shù),但這種分段壓縮方法在不同區(qū)段上仍然是線(xiàn)性映射,會(huì)導(dǎo)致相鄰區(qū)段中物體變形的不一致.利用圖像變形[9,10]來(lái)調(diào)整雙眼圖像視差可以實(shí)現(xiàn)非線(xiàn)性深度映射,但這種方法只能應(yīng)用于立體圖像的后期處理,無(wú)法應(yīng)用于虛擬現(xiàn)實(shí)這樣的實(shí)時(shí)渲染系統(tǒng).在頭跟蹤虛擬現(xiàn)實(shí)系統(tǒng)中,由于深度映射會(huì)帶來(lái)感知物體的變形,這種變形會(huì)導(dǎo)致感知物體隨著頭部的運(yùn)動(dòng)而產(chǎn)生水平方向上漂移[16].

在虛擬場(chǎng)景中,由于模型的幾何屬性和虛擬相機(jī)的投影變換都具有可控性,所以通過(guò)投影變換和模型幾何的修改也可以控制視差的產(chǎn)生.本文正是基于這個(gè)思想,提出了虛擬現(xiàn)實(shí)系統(tǒng)中的立體圖像生成方法,我們?cè)谇捌谘芯縖17]的基礎(chǔ)上,討論了帶頭跟蹤設(shè)備和無(wú)頭跟蹤設(shè)備兩種情況下的視差控制方法.本文的主要?jiǎng)?chuàng)新之處在于：

(1)通過(guò)雙眼圖像視差的幾何分析,提出利用模型網(wǎng)格的變形來(lái)控制視差的思想;給出了在單相機(jī)空間內(nèi)頭跟蹤和無(wú)頭跟蹤兩種情況下的視差的矩陣表示.

(2)基于模型網(wǎng)格的變形,給出了一種平滑的非線(xiàn)性深度映射方法.該方法不僅簡(jiǎn)單、靈活,還能消除因視點(diǎn)運(yùn)動(dòng)而產(chǎn)生的圖像漂移.

2 與視點(diǎn)無(wú)關(guān)的立體圖像

在無(wú)頭跟蹤設(shè)備的虛擬現(xiàn)實(shí)系統(tǒng)中,立體圖像的拍攝是假定觀(guān)看者的雙眼處于和物理屏幕平行的水平線(xiàn)上,觀(guān)看者和屏幕的位置固定.所以雙眼圖像只和兩個(gè)相機(jī)的位置和方向有關(guān),與觀(guān)看者的位置無(wú)關(guān),我們可稱(chēng)之為與視點(diǎn)無(wú)關(guān)的立體圖像.在這種情況下,因?yàn)榱Ⅲw圖像對(duì)的水平視差與軸距成線(xiàn)性關(guān)系,所以我們可以利用投影矩陣產(chǎn)生視差,并用同一個(gè)相機(jī)通過(guò)不同的投影變換得到左右眼圖像.

如圖1所示：假設(shè)雙相機(jī)的軸距為s;投影平面距相機(jī)距離為F;設(shè)點(diǎn)P(x,y,z)在左右相機(jī)上的投影為Ileft和Iright.在左右相機(jī)的中間位置創(chuàng)建一個(gè)中間相機(jī)Cmid,我們希望通過(guò)中間相機(jī)Cmid來(lái)獲取左右圖像,可以將點(diǎn)P沿水平方向平移使之在中間相機(jī)Cmid上的投影正好與其在左右相機(jī)上的投影重合.假設(shè)對(duì)應(yīng)左右相機(jī)投影點(diǎn)的平移距離分別為dl和dr,根據(jù)幾何關(guān)系可知：

該平移變換利用矩陣表示為：

MLpar和MRpar是為形成左右眼視差的變換矩陣,所以我們之為圖像的視差矩陣.MLpar和MRpar是兩個(gè)斜切變換,所以創(chuàng)建雙眼圖像的過(guò)程也可以理解為：先將模型進(jìn)行斜切變換,然后再進(jìn)行標(biāo)準(zhǔn)的透視投影.

3 與視點(diǎn)有關(guān)的立體圖像

在有頭跟蹤設(shè)備(不包括HMD)的系統(tǒng)中,觀(guān)看者的視點(diǎn)可以移動(dòng),但物理顯示屏幕固定,立體圖像和視點(diǎn)的位置和方向有關(guān).所以我們稱(chēng)之為與視點(diǎn)有關(guān)的立體圖像.拍攝這類(lèi)圖像,需要在虛擬環(huán)境中創(chuàng)建一個(gè)對(duì)應(yīng)的固定的圖像投影面,拍攝方向始終垂直于該投影面,相機(jī)坐標(biāo)系的Y軸始終豎直向上.該投影面可以在世界坐標(biāo)系中定義,投影前,首先將投影面變換到相機(jī)坐標(biāo)系,并根據(jù)投影面的尺寸來(lái)定義視截體.所以視截體通常是一個(gè)非對(duì)稱(chēng)視截體.視截體會(huì)隨著頭部的運(yùn)動(dòng)而改變.

在一般情況下,相機(jī)基線(xiàn)不水平,和投影面也不平行.圖2示意了虛擬世界中相機(jī)和投影平面相對(duì)位置的一般情況.和我們?cè)跓o(wú)跟蹤系統(tǒng)中所討論的方法一樣,我們?cè)谧笥蚁鄼C(jī)的中間位置建立一個(gè)中間相機(jī)Cmid,如圖2所示,設(shè)從中間相機(jī)指向左相機(jī)的向量為S;中間相機(jī)距投影平面距離為F.從第2節(jié)的討論知道,左右圖像的視差可以由斜切變換生成.由于S不一定水平,所以在頭跟蹤系統(tǒng)中,除了產(chǎn)生水平視差,還會(huì)產(chǎn)生垂直視差.先考慮在特殊情況下,當(dāng)向量S平行于投影平面時(shí),可以利用2節(jié)的方法得到左眼圖像的視差變換矩陣為：

(1)

同理右眼的視差矩陣：

可以看出：在頭跟蹤立體顯示系統(tǒng)中,為形成雙眼視差,除了對(duì)模型做水平和豎直方向上的斜切變形,還需要做沿Z軸方向上的縮放變形.在單相機(jī)空間內(nèi),將視差矩陣MLpar和MRpar與標(biāo)準(zhǔn)的透視投影矩陣相乘即可得到左右圖像的投影矩陣.

4 感知深度控制

4.1 感知變形

使用相對(duì)較小的相機(jī)軸距來(lái)拍攝立體圖像會(huì)使是感知物體產(chǎn)生變形.圖4示意了在相機(jī)軸距小于人的雙眼距離的情況下,感知物體的變形情況.其中實(shí)線(xiàn)的矩形表示原始物體形狀,虛線(xiàn)圖形表示感知的物體的形狀.可以看出：深度壓縮所導(dǎo)致的物體變形包括沿水平方向上的斜切變形和沿深度方向上的收縮變形,其中深度方向上的收縮變形使感知深度變小.這種變形我們稱(chēng)之為感知變形.深度映射實(shí)質(zhì)上是產(chǎn)生一定的感知變形,使感知范圍位于觀(guān)察適宜區(qū).由第2、3節(jié)的討論可知：可以對(duì)實(shí)際模型施加水平方向的斜切變形和深度方向上的縮放變形來(lái)生成左右圖像,對(duì)模型的斜切和縮放變形的強(qiáng)度決定了圖像視差的大小.所以如果將相機(jī)軸距等于觀(guān)看者的雙眼距離,感知深度可以直接通過(guò)模型網(wǎng)格的變形來(lái)控制.從這個(gè)意義上來(lái)說(shuō),感知變形可以通過(guò)模型變形來(lái)實(shí)現(xiàn).如果要在不同深度區(qū)域使用不同的深度壓縮比例,可以在不同的深度區(qū)域施加不同強(qiáng)度的模型變形.

4.2 非線(xiàn)性深度映射

為減少感知變形帶來(lái)的視覺(jué)瑕疵,一個(gè)有效的方法是采用非線(xiàn)性深度壓縮,即將主要的觀(guān)察內(nèi)容施以較小的壓縮比,而非重要內(nèi)容用較大的壓縮比[14,17].因?yàn)槠聊桓浇侨搜塾^(guān)看最適宜的區(qū)域,人在觀(guān)看時(shí)也會(huì)更多的注意屏幕附近的影像.所以本文給出的非線(xiàn)性深度壓縮方法是將場(chǎng)景總的感知深度壓縮在適宜區(qū)范圍,同時(shí)希望在屏幕附近的物體盡可能減少感知變形,而在較遠(yuǎn)的物體產(chǎn)生較大的感知變形.圖5示意了本文的非線(xiàn)性深度壓縮中感知物體的變形情況.

第2、3節(jié)可知,圖像視差與感知深度可以由模型的水平斜切和深度方向上的縮放變形來(lái)控制.首先,我們來(lái)計(jì)算沿深度方向的縮放.我們以投影面作為變形的固定位置,將處于投影平面兩側(cè)的模型沿相機(jī)坐標(biāo)系Z軸向投影平面擠壓,頂點(diǎn)移動(dòng)距離隨深度增加而增加.在中間相機(jī)坐標(biāo)系內(nèi),假設(shè)相機(jī)到投影平面的距離為F.任意某頂點(diǎn)的坐標(biāo)為P(x,y,z),經(jīng)過(guò)縮放變形后的坐標(biāo)為P′(x′,y′,z′ ).對(duì)模型的的z坐標(biāo)執(zhí)行以下非線(xiàn)性變換：

(2)

假設(shè)處于相機(jī)遠(yuǎn)裁剪面上的頂點(diǎn)(z坐標(biāo)為-f)被擠壓到坐標(biāo)為-f′處,處于近裁剪面上的頂點(diǎn)(z坐標(biāo)為-n)被擠壓到-n′.將他們帶入式(2),可求得a,b的值,得到最后的變換公式：

(3)

其中：A=F-f′,B=F-n′,C=F-f,D=F-n.f′和n′可根據(jù)一定觀(guān)看條件下的觀(guān)看適宜區(qū)來(lái)確定.如何計(jì)算適宜區(qū)的范圍不是本文要討論的內(nèi)容,可參閱文獻(xiàn)[1,18].圖6是式(3)的變換曲線(xiàn).

經(jīng)過(guò)式(3)的縮放變形后,物體由于被移向投影面而使視差減小,從而減少了立體圖像的感知深度.但是經(jīng)過(guò)透視投影后的物體尺寸也發(fā)生變化.物體的透視尺度是感知物體相對(duì)深度的一個(gè)重要線(xiàn)索,單純的進(jìn)行深度方向上的縮放會(huì)嚴(yán)重減小場(chǎng)景中各物體的相對(duì)深度.所以在進(jìn)行深度縮放的同時(shí),在X、Y兩個(gè)方向上也對(duì)模型進(jìn)行縮放變形,以消除因物體被拉向投影面而造成的投影尺寸的改變.在中間相機(jī)坐標(biāo)系內(nèi),當(dāng)任意點(diǎn)P(x,y,z) 被平移到點(diǎn)P′(x′,y′,z′),要保證物體投影后的尺寸不發(fā)生改變,只需使P′在投影平面上的投影點(diǎn)和P相同.所以我們可對(duì)該點(diǎn)在XY方向上施加如下變換：

(4)

這兩個(gè)式子分別是X、Y方向上的斜切變換,該斜切變形是以相機(jī)作為透視參考點(diǎn),以相機(jī)坐標(biāo)系的Z軸為基準(zhǔn)線(xiàn),物體向Z軸彎曲.圖7表示了在X方向上的斜切變形.由于z′ 的變換是非線(xiàn)性變換,所以斜切變形也是非線(xiàn)性的.式(4)保證了物體由于相對(duì)深度不同而產(chǎn)生的透視效果.

這樣,立體圖像的生成過(guò)程可概括為：首先根據(jù)觀(guān)看條件確定雙相機(jī)軸距、投影平面以及觀(guān)看適宜區(qū)范圍;創(chuàng)建中間相機(jī),同時(shí)確定遠(yuǎn)近裁剪面的距離f、n;再根據(jù)觀(guān)看適宜區(qū)確定f′ 和n′;將模型變換到中間相機(jī)空間,利用式(3)和式(4)對(duì)模型進(jìn)行非線(xiàn)性縮放和斜切變形;最后通過(guò)視差矩陣MLpar和MRpar生成左右眼圖像.4.3 頭跟蹤系統(tǒng)中的非線(xiàn)性深度映射

在頭跟蹤系統(tǒng)中,如果采用縮小相機(jī)軸距的方法進(jìn)行深度映射,當(dāng)頭部左右運(yùn)動(dòng)時(shí),感知到的圖像會(huì)跟隨頭部運(yùn)動(dòng)而運(yùn)動(dòng).Zachary等[16]給出了一個(gè)反向變形的矩陣用于消除線(xiàn)性深度映射中的圖像漂移,但他們的方法只能用于線(xiàn)性壓縮.本文提出的基于3D網(wǎng)格變形的非線(xiàn)性深度映射生成方法可以有效的解決圖像漂移問(wèn)題.

因?yàn)槲覀兺ㄟ^(guò)對(duì)模型在深度方向上進(jìn)行縮放,可以直接減少圖像視差和感知深度,所以我們不需要減少相機(jī)軸距,而直接將相機(jī)軸距等于觀(guān)察者的雙眼距離.但是如果按4.2節(jié)所討論變形方法,以相機(jī)坐標(biāo)系的原點(diǎn)為透視參考點(diǎn)計(jì)算模型的斜切變形也會(huì)隨相機(jī)的移動(dòng)而發(fā)生改變.如圖8(a)所示,當(dāng)相機(jī)從位置1移動(dòng)到位置2時(shí),因?qū)?yīng)的透視參考點(diǎn)不同,斜切變形強(qiáng)度也發(fā)生變化.因此仍然會(huì)產(chǎn)生圖像漂移.如果要消除圖像漂移,只需要將透視參考點(diǎn)在XY方向上保持不變.

如圖8(b)所示,我們?cè)谕ㄟ^(guò)投影平面中心且與相機(jī)坐標(biāo)系的Z軸平行的軸線(xiàn)(圖8(b)中的紅色點(diǎn)畫(huà)線(xiàn))上取一點(diǎn)作為投影參考點(diǎn),該點(diǎn)距離投影面與相機(jī)到投影面的距離相等.設(shè)投影參考點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)為(Dx,Dy,0).則式(4)的斜切變換成為：

(5)

當(dāng)相機(jī)軸距與觀(guān)察者的雙眼距離相同時(shí),感知到的物體和實(shí)際場(chǎng)景一致,不會(huì)產(chǎn)生額外的感知變形.采用式5進(jìn)行斜切變形,感知物體的形狀和位置不會(huì)因相機(jī)在XY方向上的移動(dòng)而發(fā)生改變,從而消除圖像漂移現(xiàn)象.圖9是我們根據(jù)感知深度幾何繪制的線(xiàn)性映射、分段映射和本文方法的非線(xiàn)性映射在不同視點(diǎn)下的感知變形情況.其中,實(shí)線(xiàn)框?yàn)樵嘉矬w,粗虛線(xiàn)框?yàn)轭^部處于位置1時(shí)的感知物體形狀,細(xì)虛線(xiàn)框?yàn)槲恢?時(shí)的感知物體形狀.在線(xiàn)性映射(圖9(a)) 中,相機(jī)軸距為人眼軸距的3/5;在分段映射(圖9(b))中,我們將場(chǎng)景分為兩段,在靠近投影面的一段采用的相機(jī)軸距和觀(guān)察者雙眼距離相等,第二段采用的相機(jī)軸距為人眼距離的3/5.在本文方法中(圖9(c)),采用和人眼距離相等的相機(jī)軸距.從圖中可以看出,本文方法在兩個(gè)視點(diǎn)位置的感知物體的形狀和位置完全相同.

5 結(jié)果和討論

傳統(tǒng)的通過(guò)調(diào)整相機(jī)軸距來(lái)控制視差尺度的方法缺乏靈活性,而且不能實(shí)現(xiàn)非線(xiàn)性深度壓縮.本文從感知變形的角度來(lái)理解視差的產(chǎn)生,視差決定著感知變形,而視差可以不改變相機(jī)軸距的情況下,直接通過(guò)模型的變形來(lái)實(shí)現(xiàn).因此在虛擬環(huán)境中,深度映射同樣可以通過(guò)模型變形來(lái)實(shí)現(xiàn).利用模型變形實(shí)現(xiàn)深度映射的主要優(yōu)點(diǎn)在于其靈活性,可以方便的實(shí)現(xiàn)非線(xiàn)性深度壓縮.

線(xiàn)性映射是一種均勻的深度映射,即感知深度壓縮比例是恒定的.Holliman[14]的分段映射和本文的非線(xiàn)性映射都是非均勻的深度映射.分段映射法在不同的區(qū)域中使用不同的相機(jī)配置參數(shù),所以每個(gè)分段區(qū)域都要單獨(dú)進(jìn)行一次拍攝,這致使渲染過(guò)程變得非常復(fù)雜.而基于模型網(wǎng)格變形的映射方法只需要采用統(tǒng)一的相機(jī)參數(shù),經(jīng)過(guò)一次拍攝即可完成.我們分別對(duì)線(xiàn)性映射、分段映射和本文的非線(xiàn)性映射方法所得到的結(jié)果進(jìn)行了對(duì)比,同時(shí)還進(jìn)行了主觀(guān)評(píng)價(jià)實(shí)驗(yàn).

5.1 感知變形

圖10是線(xiàn)性映射、分段映射和本文的非線(xiàn)性映射的結(jié)果比較.三種方法都是把相同的場(chǎng)景映射到相同的整體深度范圍之內(nèi).在圖中的分段壓縮方法中,我們將場(chǎng)景分為兩段區(qū)域.從圖中可以看出,在本文方法中,處于屏幕附近的恐龍和汽車(chē)的感知變形很小.而線(xiàn)性壓縮只能采用相同的壓縮比例,導(dǎo)致恐龍和汽車(chē)看起來(lái)明顯的趨于扁平.雖然分段壓縮也能得到不錯(cuò)的結(jié)果,但分段壓縮方法對(duì)于同一個(gè)物體,只能采用相同的深度壓縮比例,如果物體同時(shí)處于兩個(gè)分段區(qū)域,只能按照一個(gè)區(qū)域的壓縮比例進(jìn)行壓縮.這樣會(huì)使物體之間的相對(duì)感知深度與實(shí)際不符.如第三行圖中上部的立方體同時(shí)處于兩個(gè)深度區(qū)域,采用了較大的壓縮比例之后,其位置看起來(lái)被前移.分段壓縮其本質(zhì)上還是線(xiàn)性映射,不同的分段交界處壓縮比例是不連續(xù)的,所以在頭跟蹤系統(tǒng)中,物體的感知深度壓縮比例會(huì)隨著視點(diǎn)的運(yùn)動(dòng)產(chǎn)生變形的躍變.

5.2 主觀(guān)評(píng)價(jià)

經(jīng)過(guò)試驗(yàn),我們篩選了二十個(gè)能正常觀(guān)看立體圖像的有效實(shí)驗(yàn)個(gè)體分別在無(wú)頭跟蹤和有頭跟蹤兩種情況下對(duì)幾種映射方法進(jìn)行了主觀(guān)評(píng)價(jià)實(shí)驗(yàn).所有實(shí)驗(yàn)個(gè)體都來(lái)自在校學(xué)生,平均年齡21.3歲,其中男13人,女7人.

在無(wú)頭跟蹤虛擬現(xiàn)實(shí)系統(tǒng)中,我們采用了圖10第一行和第二行圖中的場(chǎng)景對(duì)線(xiàn)性映射、分段映射和本文的非線(xiàn)性映射進(jìn)行了對(duì)比實(shí)驗(yàn).為了避免因個(gè)體受試者的操作差異而產(chǎn)生的動(dòng)態(tài)畫(huà)面的不同,我們將場(chǎng)景動(dòng)畫(huà)渲染成3D視頻.每個(gè)受試者分別就以下的兩個(gè)方面進(jìn)行評(píng)價(jià).

(1) 對(duì)感知變形強(qiáng)度打分 (0～5分,分值越低感知變形越小).

(2) 你感覺(jué)哪個(gè)結(jié)果更好(選擇一個(gè)或沒(méi)有區(qū)別).

對(duì)比實(shí)驗(yàn)分兩次進(jìn)行,第一次分別對(duì)線(xiàn)性映射和分段映射進(jìn)行比較,第二次對(duì)分段映射和本文方法進(jìn)行比較.如圖11所示：圖11 (a)是對(duì)感知變形強(qiáng)度評(píng)價(jià)的兩次實(shí)驗(yàn)數(shù)據(jù).在頭跟蹤系統(tǒng)試驗(yàn)中,我們對(duì)本文方法和Zachary[16]提出消除圖像漂移的線(xiàn)性映射方法和的進(jìn)行了對(duì)比試驗(yàn).圖11 (b)的直方圖表示了在有頭跟蹤和無(wú)頭跟蹤兩種情況下,受試個(gè)體對(duì)幾種方法主觀(guān)偏好的比例.我們讓受試者兩側(cè)的邊緣之間來(lái)回移動(dòng)4次,在觀(guān)看兩種方法的結(jié)果以后,對(duì)上面的第二個(gè)問(wèn)題進(jìn)行回答.由圖11可以看出,在感知變形產(chǎn)生的視覺(jué)影響和觀(guān)看者主觀(guān)的偏好兩方面,本文方法都優(yōu)于線(xiàn)性映射和分段映射方法.

6 結(jié)論

本文針對(duì)虛擬現(xiàn)實(shí)系統(tǒng),給出了頭跟蹤和無(wú)頭跟蹤兩種情況下,雙眼圖像視差形成的幾何分析.推導(dǎo)了雙眼圖像的投影矩陣.基于單相機(jī)拍攝的方法,我們討論了模型變形和感知變形的關(guān)系,從而提出感知變形可以通過(guò)三維模型的網(wǎng)格變形來(lái)實(shí)現(xiàn),并給出了利用模型變形來(lái)減小感知深度的方法.該方法可以實(shí)現(xiàn)平滑的非線(xiàn)性深度映射,如果應(yīng)用于頭跟蹤系統(tǒng)中,還可以消除由于頭部運(yùn)動(dòng)產(chǎn)生的圖像漂移現(xiàn)象.實(shí)驗(yàn)證明本文給出的深度映射方法可以有效的減少因感知變形帶來(lái)的視覺(jué)瑕疵.雖然我們是基于虛擬現(xiàn)實(shí)的應(yīng)用而研究立體圖像的生成,但本文方法也可以應(yīng)用于虛擬場(chǎng)景的3D視頻的渲染.

[1]Patterson R. Review paper-Human factors of stereo displays-An update[J]. Journal of the Society for Information Display,2009,17(12):987-996.

[2]侯春萍,袁萬(wàn)鑫,沈麗麗. 視差式立體信息采集、感知幾何模型及舒適觀(guān)看區(qū)研究綜述[J].電子學(xué)報(bào),2013,41(3):561-569. Hou C P,Yuan W X,Shen L L. The acquisition,perception geometric model and the comfortable viewing zone in stereoscopic video system:A review[J]. Acta Electronica Sinica,2013,41(3):561-569. (in Chinese)

[3]Oskam T,Hornung A,Bowles H,et al. OSCAM-Optimized stereoscopic camera control for interactive 3D [J]. Transactions on Graphics,2011,30(6):61-64.

[4]Heinzle S,Greisen P,Gallup D.Computational stereo camera system with programmable control loop[J].ACM Transaction on Graphics,2011,30(4):1-10.

[5]Zhang L,Vazquez C,Knorr S. 3D-TV content creation:Automatic 2D-to-3D video conversion [J]. IEEE Transactions on Broadcasting,2011,57(2):372-383.

[6]Ndjiki-Nya P,Koppel M,Doshkov D,et al. Depth image-based rendering with advanced texture synthesis for 3D video [J]. IEEE Transactions on Multimedia,2011,13(3):453-465.

[7]Sun W ,Au O C,Xu L,et al. Seamless view synthesis through texture optimization [J]. IEEE Transactions on Image Processing,2014,23(1):342-355.

[8]Yao C,Tillo T,Zhao Y,et al. Depth map driven hole filling algorithm exploiting temporal correlation information [J]. IEEE Transactions on Broadcasting,2014,60(2):394-404.

[9]Lang M,Hornung A,Wang O,et al. Nonlinear disparity mapping for stereoscopic 3D[J]. ACM Transactions,on Graphics,2010,29(4):157-166.

[10]Du S P,Hu S M,Ralph R. Martin changing perspective in stereoscopic images [J]. IEEE Transactions on Visualization & Computer Graphics,2013,19(8):1288-97.

[11]Lambooij M,Marten F,Ingrid H,et al. Visual discomfort and visual fatigue of stereoscopic displays-a review [J]. Journal of Imaging Science and Technology,2009,53(3):1-14.

[12]Mendiburu B. 3D Movie Making [M]. Burlington,USA:Elsevier Press,2009.

[13]Wopking M. Viewing comfort with stereoscopic pictures:an experimental study on the subjective effects of disparity magnitude and depth of focus [J]. Journal of the Society for Information Display,1995,3(3):101-103.

[14]Holliman N S. Smoothing region boundaries in variable depth mapping for real-time stereoscopic images [A]. Stereoscopic displays and virtual reality systems XII [C]. San Jose,USA:SPIE Press,2005. 281-292.

[15]Zilly F,Müller M,Eisert P,et al. The stereoscopic analyzer-an image-based assistance tool for stereo shooting and 3D production [A]. 17th IEEE International Conference on Image Processing [C].Los Alamitos:IEEE CPS,2010. 4029-4032.

[16]Zachary W,Larry F H,William R. Balancing fusion,image depth and distortion in stereoscopic head-tracked displays [A]. 1999 International Conference on Computer Graphics and Interactive Techniques (SIGGRAPH'99) [C].New York,USA:ACM Press,1999. 351-358.

[17]李大錦，白成杰. 實(shí)時(shí)立體視覺(jué)系統(tǒng)中的深度映射[J].中國(guó)圖像圖形學(xué)報(bào)，2015,20(3):366-373.

Li Dajin and Bai Chengjie. Depth mapping in real-time stereoscopic systems [J]. Journal of Image and Graphics,2015,20(3):366-373. (in Chinese)

[18]Shibata T,Kim J,Hoffman D M,et al. The zone of comfort:Predicting visual discomfort with stereo displays [J]. Journal of Vision,2011,11(8):74-76.

李大錦 男，1971年生于江蘇省連云港，現(xiàn)為山東師范大學(xué)數(shù)字媒體系副教授，研究方向?yàn)橛?jì)算機(jī)圖形學(xué)，虛擬現(xiàn)實(shí)，計(jì)算機(jī)動(dòng)畫(huà)技術(shù).

E-mail:ldjwqc@163.com

A Mesh-Warping-Based Method for Stereoscopic Images Generation in Virtual Reality System

LI Da-jin

(DigitalMediaDepartment,CommunicationSchool,ShandongNormalUniversity,Jinan,Shandong250014,China)

The paper introduced a novel method for stereoscopic image creation in virtual reality system.In this method,the left-and-right images were produced through different projection transformations in a single camera space,and the two types of projection matrices were derived respectively for stereoscopic head-tracked and non-head-tracked systems.Based on the single-camera method,we analyzed the relations among disparity,perceived depth,deformation of perceived objects and model mesh warping.The disparity and perceived deformation were modeled as 3D warping,so the disparity and the perceived deformation could be controlled by deforming the model mesh.Finally,a nonlinear perceived depth mapping method using mesh warping was proposed,which could reduce the artifacts caused by perceived distortion,and could avoid the image shift caused by perceived depth mapping in stereoscopic head-tracked system when the viewer moved his head left and right.

stereoscopic display;mesh warping;perceived deformation;depth mapping

2015-04-26；

2015-12-10；責(zé)任編輯：梅志強(qiáng)

國(guó)家自然科學(xué)基金(No.61340019)；山東省科技發(fā)展計(jì)劃(No.2014GGH201004)；山東省重點(diǎn)研發(fā)計(jì)劃 (No. 2015GGB01295)；山東自然科學(xué)基金(No.ZR2012FM029)

TP391

A

0372-2112 (2016)12-2946-08

??學(xué)報(bào)URL:http://www.ejournal.org.cn

10.3969/j.issn.0372-2112.2016.12.019