安 平 ，張 倩 ，鞠 芹 ，王 賀 ，張兆楊

（1.上海大學(xué) 通信與信息工程學(xué)院，上海 200072；2.上海大學(xué) 新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實(shí)驗(yàn)室，上海 200072）

1 引言

多視點(diǎn)成像是指用攝像機(jī)陣列同時(shí)獲取動(dòng)態(tài)時(shí)變場景，獲得高性能的多視點(diǎn)視頻數(shù)據(jù)，使人眼能直接從立體顯示設(shè)備中獲得具有真實(shí)、立體、交互甚至現(xiàn)實(shí)世界無法獲取的視覺內(nèi)容，由此逐漸引起人們的高度興趣和重視，其中，三維電視（3DTV）是最重要的應(yīng)用之一[1]，成為繼高清晰度電視（HDTV）之后的下一代電視技術(shù)，有廣闊的應(yīng)用前景。

3DTV能夠給用戶交互式的3D深度感覺[2]，可讓用戶自由選擇視點(diǎn)，通過3D立體顯示器顯示3D圖像，給用戶身臨其境的立體感。如何發(fā)展自由視點(diǎn)視頻的新的視點(diǎn)繪制方法是決定3DTV立體圖像質(zhì)量的關(guān)鍵技術(shù)之一?；谏疃葓D像的繪制（DIBR）、基于光線空間的繪制以及光場繪制是3類典型的圖像繪制技術(shù)[3]。針對(duì)3DTV應(yīng)用，筆者將這3類圖像繪制技術(shù)用于3DTV虛擬視點(diǎn)圖像的生成，提出了幾種改進(jìn)的圖像繪制方法，生成的新視點(diǎn)圖像具有良好的質(zhì)量。

2 基于DIBR和圖像融合的任意視點(diǎn)繪制

基于深度圖像的繪制（DIBR）技術(shù)[4]利用三維圖像變換方程將參考圖像中的像素映射到目標(biāo)圖像中。由于將場景的深度信息引入到圖像繪制中，因此DIBR能大大減少參考圖像的數(shù)目。為此，提出一種高效的基于DIBR和圖像融合的新視點(diǎn)生成方法，與一般的DIBR方法相比，本方法對(duì)目標(biāo)攝像機(jī)的位置沒有限制，適用于生成真實(shí)場景的任意新視點(diǎn)圖像。首先對(duì)參考圖像進(jìn)行預(yù)處理，包括深度圖像邊緣濾波和彩色圖像規(guī)正，以減少在目標(biāo)圖像中產(chǎn)生的較大空洞以及虛假邊緣；然后利用三維圖像變換生成新視點(diǎn)圖像，并對(duì)兩幅目標(biāo)圖像進(jìn)行融合得到新視點(diǎn)圖像，最后用插值法填充剩余的較小空洞。算法流程如圖1所示。

圖1 基于DIBR的新視點(diǎn)生成算法框圖

2.1 用邊緣濾波預(yù)處理深度圖

用邊緣濾波器[5]平滑深度圖像中深度值有較大變化的所有區(qū)域 （對(duì)象的邊緣部分而不僅僅是水平邊緣部分）。為了減少贗像，在平滑深度圖的時(shí)候，應(yīng)當(dāng)保持前景物體的深度值不變，因?yàn)槿搜蹖?duì)前景對(duì)象的變化比對(duì)背景的變化要敏感。

2.2 三維圖像變換

推出一種簡潔高效的三維圖像變換方程式

2.3 圖像融合

利用三維圖像變換方程，根據(jù)深度信息可將參考圖像中的像素坐標(biāo)映射到目標(biāo)圖像中的對(duì)應(yīng)位置。使用兩幅參考圖像分別生成目標(biāo)圖像，然后再將這兩幅目標(biāo)圖像融合成最終的新視點(diǎn)圖像，克服了僅由一幅參考圖像提供信息的不充分性。

2.4 實(shí)驗(yàn)結(jié)果

用上述DIBR算法，對(duì)Microsoft Research提供的“Ballet”序列的測試結(jié)果如圖2所示。攝像機(jī)4圖像（見圖2a）生成的攝像機(jī)5圖像如圖2d所示，攝像機(jī)6圖像（見圖2b）生成的攝像機(jī)5圖像如圖2e所示，圖2d和圖2e融合的結(jié)果示于圖2f。與攝像機(jī)5的原始圖像（圖2c）相比，融合后生成的攝像機(jī)5圖像的峰值信噪比（PSNR）可達(dá)32.03 dB，圖像質(zhì)量好，真實(shí)感強(qiáng)。

3 基于光線空間的自由視點(diǎn)繪制

光線空間表示法是實(shí)現(xiàn)復(fù)雜場景3DTV的關(guān)鍵技術(shù)，能在沒有任何幾何信息的前提下，利用一系列參考圖像產(chǎn)生新視點(diǎn)圖像。為了繪制出高真實(shí)感的新視點(diǎn)圖像，需要對(duì)場景進(jìn)行密集采樣，但是在實(shí)際應(yīng)用中，密集采樣非常復(fù)雜而且代價(jià)昂貴，因此主要利用稀疏采樣的光線空間數(shù)據(jù)進(jìn)行新視點(diǎn)的繪制。

3.1 方法描述

首先需要求得從左到右以及從右到左的視差，可采用各種成熟且效果好的視差估計(jì)算法。然后需要根據(jù)視差找到對(duì)應(yīng)點(diǎn)在中間視點(diǎn)圖像上的坐標(biāo)位置，這一過程需要將計(jì)算得到的視差投影到中間虛擬視點(diǎn)圖像上。

設(shè)平行攝像系統(tǒng)，攝像機(jī)基線距離為B、焦距為F。假設(shè)場景中一點(diǎn)P與攝像機(jī)的距離為z，且P在最左端和最右端圖像平面上的投影點(diǎn)為 PL和 PR，設(shè) dLR（x，y）表示以左圖像為參考，從左到右的視差，則 dLR（XL，Y）=。

設(shè)中間攝像機(jī)CI到最左端攝像機(jī)的距離為x，則在無遮擋時(shí)CI的視差為

視點(diǎn)CI中對(duì)應(yīng)點(diǎn)的坐標(biāo)值XI為

若已知中間虛擬攝像機(jī)位置α、左右圖像匹配點(diǎn)的相對(duì)位置XL和 XR（或者 XL和 dLR），則點(diǎn) P在中間虛擬攝像機(jī)圖像上投影點(diǎn)的坐標(biāo)XI可以由式（5）得到，由此可以獲得XI的灰度值

若以右圖像作為參考圖像，以dRL表示從右到左的視差，同理可以得到

當(dāng)中間虛擬圖像中某一像素點(diǎn)（X，Y）在左右圖像中都有對(duì)應(yīng)點(diǎn)時(shí)，將式（6）和式（7）進(jìn)行加權(quán)平均作為它的灰度值，即

對(duì)遮擋作如下處理：對(duì)中間虛擬視點(diǎn)圖像中橫坐標(biāo)X＜α·ImageWidth和 X＞α·ImageWidth區(qū)域的內(nèi)容分別主要從左參考圖像和右參考圖像中獲取。

3.2 實(shí)驗(yàn)結(jié)果

用實(shí)驗(yàn)室實(shí)拍序列“小熊”測試了以上算法，實(shí)驗(yàn)結(jié)果如圖3所示。其中圖3a和3b分別為最左端和最右端的參考圖像，圖3c為生成的新視點(diǎn)圖像，可見本文方法生成的圖像主觀質(zhì)量良好。

4 基于光場繪制的新視點(diǎn)生成算法

光場繪制利用參考圖像數(shù)據(jù)庫來合成新視點(diǎn)圖像，其過程可以看作光線查找和插值的過程。為克服一般光場繪制存在的深度固定和焦距固定的缺點(diǎn)，提出一種新的光線數(shù)據(jù)庫的參數(shù)化方法，該方法能在較低光場采樣的條件下利用一個(gè)可變焦平面重構(gòu)深度值未知且有較大變化的場景，同時(shí)還能交互地實(shí)現(xiàn)改變焦距和改變景深的功能。

4.1 算法流程

設(shè)一條光線r=（s，t，u，v）的顏色值 c（r）=c（s，t，u，v），光線r與目標(biāo)圖像平面交點(diǎn)的像素坐標(biāo)為 （x，y），并且（x，y）的顏色值為 c（x，y），用 K 表示投影中心為 o的目標(biāo)攝像機(jī)。令w（x，y）表示光圈加權(quán)函數(shù)，δ為光圈寬度。對(duì)于參考攝像機(jī)DS，t，用RC表示一個(gè)由所確定的多邊形 C，用 Rk表示 RC在目標(biāo)攝像機(jī)圖像平面上的投影。對(duì)于在Rk內(nèi)的每一個(gè)像素（x，y），用 r表示穿過 o 和（x，y）的一條光線。

第一步，求出目標(biāo)光線r與平面C與F的交點(diǎn)（s′，t′）和（f，g）F，并且設(shè)定好虛擬光圈的大小，即確定那些參考攝像機(jī)的光線參與對(duì)目標(biāo)光線r的重構(gòu)；第二步，利用映射求出光線 r與目標(biāo)圖像平面的交點(diǎn)（u，v）；第三步，根據(jù)第一步得到的（s′，t′），計(jì)算不同參考光線對(duì)應(yīng)的加權(quán)函數(shù)weight；第四步，根據(jù)第一步確定的虛擬光圈大小及第三步確定的加權(quán)函數(shù)weight，利用方程來計(jì)算目標(biāo)圖像上坐標(biāo)為（x，y）的像素的顏色值。

4.2 實(shí)驗(yàn)結(jié)果

用日本名古屋大學(xué)提供的測試序列“Akko&Kayo”對(duì)提出的算法進(jìn)行驗(yàn)證。圖4為利用不同的虛擬光圈生成的具有不同景深效果的虛擬視點(diǎn)圖像，其中圖4a，4b，4c分別為使用2，4，6條參考光線來合成虛擬光圈。圖5為前后移動(dòng)焦平面時(shí)生成的具有不同焦距的新視點(diǎn)圖像，其中圖5a，5b，5c分別為聚焦在左邊人手位置、左邊人臉位置和中間窗簾位置時(shí)的效果。

可見，所提算法不僅能夠利用2D稀疏攝像機(jī)陣列生成任意位置的虛擬視點(diǎn)圖像，還可以通過交互地改變焦平面的位置和虛擬光圈的大小實(shí)現(xiàn)改變焦距和改變景深的功能。

5 小結(jié)

筆者對(duì)3類圖像繪制技術(shù)的典型方法進(jìn)行了改進(jìn)，提出基于DIBR和圖像融合的新視點(diǎn)生成算法、基于視差估計(jì)的光線空間插值方法、新的光場參數(shù)化方法。所提出的新視點(diǎn)圖像繪制方法實(shí)驗(yàn)效果良好，適用于真實(shí)場景的任意視點(diǎn)繪制，可用于3DTV的場景渲染，滿足觀眾交互性視點(diǎn)變化的要求。

[1]KUBOTA A，SMOLIC A，MAGNOR M，et al.Multiview imaging and 3DTV[J].IEEE Signal Processing Magazine，2007，24（6）：10-21.

[2]MATUSIK W，PFISTER H.3DTV:a scalable system for real-time acquisition， transmission and autostereoscopic display of dynamic scenes[EB/OL].[2009-03-01.]http://people.csail.mit.edu/wojciech/3DTV/3DTV.pdf.

[3]CHEN Wan yu，CHANG Yu lin，LIN S F，et al.Efficient depth image based rendering with edge dependent depth filter and interpolation[C]//Proc.IEEE International Conference on Multimedia and Expo， 2005（ICME 2005）.[S.l.]：IEEE Press，2005：1314-1317.

[4]鞠芹，安平，張倩，等.高質(zhì)量的虛擬視點(diǎn)圖像的繪制方法[J].電視技術(shù)，2009，33（9）：9－11.

[5]ZHANG C，CHEN T.A survey on image-based rendering-representation， sampling， and compression[J].Signal Processing:Image Communication，2004，19（1）：1-28.