趙建府，王慧敏

(1.電子科技大學(xué)成都學(xué)院，四川成都 611731；2.西南民族大學(xué)，四川成都 611731)

1 引言

視頻靈活性與感官體驗(yàn)逐漸引起人們的重視，目前的二維平面效果已無(wú)法滿足實(shí)際需求，三維立體視頻開(kāi)始日益盛行。三維立體視頻以人眼視差理念作為基礎(chǔ)，經(jīng)過(guò)大腦分析接收?qǐng)D像的深度信息，使呈現(xiàn)于人眼的圖像具有立體視覺(jué)效果，該技術(shù)在醫(yī)療、教育、監(jiān)控等多個(gè)領(lǐng)域應(yīng)用十分廣泛。無(wú)序圖像虛擬視點(diǎn)繪制是三維立體視頻中的核心技術(shù)，該技術(shù)能夠確保終端快速、有效地合成符合人眼視覺(jué)的無(wú)序圖像，使用戶更好地享受立體感，并且在觀看視頻時(shí)可以擺脫視角限制。因此，研究無(wú)序圖像視點(diǎn)繪制方法對(duì)三維立體視頻的發(fā)展具有重要意義。

許多相關(guān)專家學(xué)者都對(duì)該領(lǐng)域進(jìn)行了細(xì)致探討與研究，如梁海濤等人使用深度圖預(yù)處理和圖像修復(fù)方法完成無(wú)序圖像視點(diǎn)繪制，該方法繪制的無(wú)序圖像與真實(shí)圖像的相似度較高，但繪制實(shí)時(shí)性較差，欠缺少數(shù)有效信息的恢復(fù)；郭秋紅等人使用3D Warping方法完成無(wú)序圖像視點(diǎn)繪制，該方法的時(shí)間復(fù)雜度較低，能有效改善裂紋問(wèn)題，但無(wú)法修復(fù)繪制過(guò)程中出現(xiàn)的全部空洞。

虛擬視覺(jué)是虛擬現(xiàn)實(shí)技術(shù)(Virtual Reality System，VR)中運(yùn)用最廣泛的技術(shù)之一，通過(guò)計(jì)算機(jī)可為參與者提供視覺(jué)感受，使其身臨其境，能夠打破各種約束對(duì)虛擬空間內(nèi)的事物進(jìn)行觀察，從而獲得及時(shí)、精確的仿真結(jié)果。本文提出基于虛擬視覺(jué)的無(wú)序圖像視點(diǎn)繪制仿真方法，通過(guò)圖像的半像素處理、雙向異步映射、亮度校正、融合、空洞填補(bǔ)，完成虛擬視點(diǎn)繪制，獲得視覺(jué)效果優(yōu)異的無(wú)序圖像。

2 基于虛擬視覺(jué)的無(wú)序圖像視點(diǎn)繪制仿真

2.1 基于半像素的無(wú)序圖像虛擬視點(diǎn)繪制算法

無(wú)序圖像虛擬視點(diǎn)繪制算法流程用圖1描述。

圖1 基于半像素的無(wú)序圖像虛擬視點(diǎn)繪制算法流程

基于半像素的無(wú)序圖像虛擬視點(diǎn)繪制算法，能夠解決傳統(tǒng)算法易導(dǎo)致無(wú)序圖像中出現(xiàn)空洞、亮度不均等問(wèn)題，從而提高無(wú)序圖像的視覺(jué)效果。

2.2 參考圖像的半像素處理

2.2.1 半像素精度插值

圖像的半像素插值處理，可通過(guò)將半像素點(diǎn)加進(jìn)兩個(gè)整像素點(diǎn)之間實(shí)現(xiàn)。對(duì)與半像素插值點(diǎn)鄰近的像素點(diǎn)求平均數(shù)，可獲得半像素插值點(diǎn)的值。

2.2.2 調(diào)整攝像機(jī)內(nèi)參數(shù)

根據(jù)式(1)調(diào)整攝像機(jī)內(nèi)參數(shù)，以確保圖像完成半像素插值后仍符合準(zhǔn)確的映射關(guān)系

(1)

式中，圖像的寬用

W

描述，圖像的高用

H

描述。

2.3 圖像的雙向異步映射

2

.

3

.

1 正向映射

1)圖像繪制

將完成半像素操作的參考圖像與相應(yīng)的深度無(wú)序圖作為基礎(chǔ)，使用式(2)得到虛擬圖像及虛擬深度無(wú)序圖，在映射時(shí)出現(xiàn)的重疊問(wèn)題可通過(guò)遮擋兼容算法清除

(2)

2)噪點(diǎn)去

繪制的圖像中會(huì)產(chǎn)生噪點(diǎn)，是因?yàn)椴痪_的深度無(wú)序圖、舍入誤差等問(wèn)題造成，在經(jīng)過(guò)中值濾波方法處理后，仍會(huì)存在一些無(wú)法去除的噪點(diǎn)，此類噪點(diǎn)呈規(guī)律分布，較小深度值的前景像素，會(huì)留在較大深度值的背景中，較大深度值的背景像素，會(huì)留在較小深度值的前景中。

噪點(diǎn)存在位置可根據(jù)噪點(diǎn)和其附近像素具有的較大深度差進(jìn)行定位。在深度無(wú)序圖內(nèi)，(

x

，

y

)位置的深度值用

D

(

x

，

y

)描述，式(3)為去除噪點(diǎn)的步驟

(3)

式中，

z

的取值為[0，1，…，

N

-1]，且

t

<

t

<

t

。為使圖像中的噪點(diǎn)去除，可將圖像中與像素為0的深度無(wú)序圖中的點(diǎn)相匹配的點(diǎn)賦值為0，是因?yàn)閳D像與深度無(wú)序圖中的噪點(diǎn)方位相同。

3)深度圖融合

使用式(4)所描述的加權(quán)合成方法，對(duì)深度無(wú)序圖進(jìn)行融合，參考視點(diǎn)與虛擬視點(diǎn)間的距離越近，其權(quán)值越大

(4)

式中，

α

=|

t

-

t

|

/

(|

t

-

t

|+|

t

-

t

|)，在(

x

，

y

)位置上，虛擬深度無(wú)序圖的值用

D

(

x

，

y

)描述；根據(jù)左參考視點(diǎn)獲得的值，用

D

(

x

，

y

)描述；根據(jù)右參考視點(diǎn)獲得的值，用

D

(

x

，

y

)描述。

4)分辨率轉(zhuǎn)換

對(duì)分辨率較高的虛擬視點(diǎn)無(wú)序圖像執(zhí)行分辨率轉(zhuǎn)換操作，以得到原始分辨率的圖像。在(

x

，

y

)位置上，圖像轉(zhuǎn)換前的像素值用

g

(

x

，

y

)描述，轉(zhuǎn)換后的像素值用

f

(

x

，

y

)描述，兩者滿足如式(5)所示的映射關(guān)系

(5)

式中，將

g

(2

x

，2

y

)作為中心的塊，用

ψ

描述，其大小為3×3，其內(nèi)非空洞點(diǎn)數(shù)量用

N

描述。2

.

3

.

2 逆向映射設(shè)置

I

、

I

，表示根據(jù)兩幅參考圖像得到的虛擬視點(diǎn)無(wú)序圖像，與其匹配的數(shù)組分別用

flag

、

flag

描述，可對(duì)該點(diǎn)的逆向映射發(fā)生狀況進(jìn)行標(biāo)記。使用0初始化

flag

、

flag

，為得到空洞點(diǎn)像素值，對(duì)完成融合的虛擬深度無(wú)序圖執(zhí)行逆向映射處理，使

I

、

I

的空洞點(diǎn)呈現(xiàn)在相應(yīng)的參考圖像中，將與其匹配的

flag

、

flag

內(nèi)的點(diǎn)值設(shè)置成1。

2.4 基于同態(tài)濾波的亮度校正算法

在(

x

，

y

)位置上，虛擬視點(diǎn)無(wú)序圖像的亮度用

f

′(

x

，

y

)描述，其由照度分量

i

(

x

，

y

)及反射分量

r

(

x

，

y

)組成，則亮度的數(shù)學(xué)表達(dá)式為

f

′(

x

，

y

)=

i

(

x

，

y

)·

r

(

x

，

y

)

(6)

式中，

i

(

x

，

y

)的取值為(0，∞)；

r

(

x

，

y

)的取值為(0，1)。

為將式(6)所示的乘積模型轉(zhuǎn)換為加性模型，可取其對(duì)數(shù)，表示如下

ln

f

(

x

，

y

)=ln

i

(

x

，

y

)+ln

r

(

x

，

y

)

(7)

照度與反射分量在執(zhí)行上述運(yùn)算后，所處位置不發(fā)生變動(dòng)，對(duì)上式進(jìn)行傅立葉變換，結(jié)果用式(8)描述

F

(

u

，

v

)=

I

(

u

，

v

)+

R

(

u

，

v

)

(8)

照度分量受空間影響較小，在頻域空間中與低頻部分相匹配；反射分量在圖像邊緣起伏劇烈，可對(duì)圖像細(xì)節(jié)部分進(jìn)行反映，在頻域空間中與高頻部分相匹配。式(9)為弱化照度分量及強(qiáng)化反射分量的表達(dá)式

S

(

u

，

v

)=

H

(

u

，

v

)

F

(

u

，

v

)=

H

(

u

，

v

)

I

(

u

，

v

)+

H

(

u

，

v

)

R

(

u

，

v

)

(9)

式(10)為對(duì)上式執(zhí)行傅立葉反變換所得結(jié)果

s

(

x

，

y

)=

F

{

H

(

u

，

v

)

F

(

u

，

v

)}

(10)

使用同態(tài)濾波完成亮度校正的虛擬視點(diǎn)無(wú)序圖像

g

′(

x

，

y

)，可通過(guò)對(duì)上式執(zhí)行反對(duì)數(shù)變換獲得，表示如下

g

′(

x

，

y

)=exp{

s

(

x

，

y

)}

(11)

2.5 圖像融合

融合兩幅虛擬視點(diǎn)無(wú)序圖像，提高虛擬視點(diǎn)無(wú)序圖像的視覺(jué)效果。在進(jìn)行圖像融合時(shí)，優(yōu)先使用正向映射，虛擬視點(diǎn)無(wú)序圖像用

I

(

u

，

v

)描述；在(

u

，

v

)位置上，根據(jù)左參考視點(diǎn)獲得的像素值用

I

(

u

，

v

)描述；根據(jù)右參考視點(diǎn)獲得的像素值用

I

(

u

，

v

)描述；給定閾值用

TT

(賦值為5)描述。通過(guò)下述處理，填補(bǔ)無(wú)序圖像中的大多數(shù)空洞。1)將

I

(

u

，

v

)使用完成加權(quán)合成的像素值進(jìn)行賦值，是在根據(jù)相同映射過(guò)程得到

I

(

u

，

v

)與

I

(

u

，

v

)的情況下；2)根據(jù)不同映射過(guò)程得到

I

(

u

，

v

)與

I

(

u

，

v

)，若要使用完成加權(quán)合成的像素值對(duì)

I

(

u

，

v

)進(jìn)行賦值，則兩者差值小于

TT

，若要使用正向映射所得像素值對(duì)

I

(

u

，

v

)進(jìn)行賦值，則兩者差值比

TT

大；3)若

I

(

u

，

v

)與

I

(

u

，

v

)之中存在等于0的值，可使用不等于0的像素值對(duì)

I

(

u

，

v

)進(jìn)行賦值，若兩者均等于0，可使用0對(duì)

I

(

u

，

v

)進(jìn)行賦值。

2.6 基于區(qū)域的空洞填補(bǔ)算法

利用基于區(qū)域的空洞填補(bǔ)算法修復(fù)剩余空洞，以下為具體流程。

1)對(duì)優(yōu)先級(jí)進(jìn)行計(jì)算。將需要修復(fù)的空洞范圍標(biāo)記出來(lái)，對(duì)其邊緣各像素點(diǎn)的優(yōu)先級(jí)進(jìn)行計(jì)算，根據(jù)計(jì)算結(jié)果排序。

2)搜索最優(yōu)匹配塊。需要修復(fù)的塊為最大優(yōu)先級(jí)的塊，以絕對(duì)誤差和當(dāng)作匹配原則，在非空洞區(qū)域中，使用全局搜索方法找出與需要修復(fù)塊最為相似的匹配塊，將其像素值用于空洞區(qū)域的修復(fù)。

3)對(duì)優(yōu)先級(jí)進(jìn)行更新。實(shí)現(xiàn)一次修復(fù)操作，便更新一次邊緣的優(yōu)先級(jí)，是因?yàn)榭斩催吘壪袼攸c(diǎn)在每次修復(fù)后，其優(yōu)先級(jí)均會(huì)改變。

循環(huán)執(zhí)行上述流程，停止條件為所有空洞區(qū)域均非空，即可完成空洞填補(bǔ)。

3 結(jié)果分析

使用C語(yǔ)言及Matlab仿真軟件搭建測(cè)試環(huán)境，將從微軟研究院中獲取的Breakdancers與Ballet多視點(diǎn)視頻序列作為實(shí)驗(yàn)對(duì)象，該研究對(duì)象通過(guò)8路攝像機(jī)獲得，各視點(diǎn)由120幀無(wú)序圖像、深度無(wú)序圖、攝像機(jī)參數(shù)構(gòu)成，以弧形方式排列8路攝像機(jī)，將其中Cam4攝像機(jī)當(dāng)作虛擬視點(diǎn)，參考視點(diǎn)為其臨近的已知攝像機(jī)。

使用峰值信噪比(PSNR)衡量無(wú)序圖像視點(diǎn)繪制質(zhì)量，其值越大，質(zhì)量越高，式(12)為峰值信噪比的計(jì)算過(guò)程

(12)

虛擬視點(diǎn)與左右參考視點(diǎn)的距離和為視點(diǎn)距離，測(cè)試當(dāng)處理幀為第40幀時(shí)，不同視點(diǎn)距離下，繪制兩個(gè)多視點(diǎn)視頻序列所得無(wú)序圖像的PSNR值，結(jié)果用表1描述。

表1 無(wú)序圖像視點(diǎn)繪制的PSNR值

分析表1可以看出，無(wú)序圖像視點(diǎn)繪制質(zhì)量隨著視點(diǎn)距離增大而變差，對(duì)于兩個(gè)測(cè)試序列，最優(yōu)PSNR值分別為36.2541、37.8265。因此可得，將與虛擬視點(diǎn)距離最小的視點(diǎn)當(dāng)作參考視點(diǎn)，能夠獲得較好的無(wú)序圖像視點(diǎn)繪制質(zhì)量。

以MOS認(rèn)證為基準(zhǔn)，劃分PSNR值為五個(gè)等級(jí)，詳情用表2描述。

表2 PSNR值等級(jí)劃分

進(jìn)一步測(cè)試無(wú)序圖像視點(diǎn)繪制質(zhì)量，并設(shè)計(jì)對(duì)比實(shí)驗(yàn)，選擇文獻(xiàn)[3]的預(yù)處理和修復(fù)繪制方法與文獻(xiàn)[4]的3D Warping繪制方法，作為本文方法的對(duì)比方法，不同視點(diǎn)距離下，三種方法繪制Breakdancers序列所得無(wú)序圖像的PSNR值結(jié)果用圖2描述。

圖2 三種方法的PSNR值結(jié)果

分析圖2可得，隨著視點(diǎn)距離增加，三種方法繪制Breakdancers序列所得無(wú)序圖像的PSNR值均呈下降趨勢(shì)，但本文方法的PSNR值下降速率十分緩慢，且始終高于40，繪制得到的無(wú)序圖像質(zhì)量處于最高等級(jí)；預(yù)處理和修復(fù)繪制方法與3D Warping繪制方法的PSNR值呈快速下降趨勢(shì)，當(dāng)視點(diǎn)距離增加至50時(shí)，二者的PSNR值分別為17、13，所得無(wú)序圖像質(zhì)量非常差。對(duì)比這些數(shù)據(jù)可以說(shuō)明，本文方法具有較優(yōu)異的無(wú)序圖像視點(diǎn)繪制效果，受視點(diǎn)距離影響較小，能夠繪制出高質(zhì)量的無(wú)序圖像。

引入結(jié)構(gòu)相似度(SSIM)衡量繪制獲得的無(wú)序圖像和Cam4攝像機(jī)獲得的實(shí)際圖像之間的相似度，值域?yàn)閇0，1]，其值越接近1，相似度越高。對(duì)于前20幀，三種方法繪制Ballet序列所得SSIM值結(jié)果用圖3描述。

圖3 三種方法的SSIM值結(jié)果

分析圖3可得，相對(duì)于其它兩種方法，本文方法繪制Ballet序列所得SSIM值與1最為接近；預(yù)處理和修復(fù)繪制方法與3D Warping繪制方法的SSIM值波動(dòng)較大，最大SSIM值分別為0.88、0.79，與本文方法的SSIM最大值差距較大。因此可以說(shuō)明，本文方法繪制所得的無(wú)序圖像和實(shí)際圖像之間的相似度最高，更符合用戶視覺(jué)需求，無(wú)序圖像視點(diǎn)繪制優(yōu)勢(shì)顯著。

4 結(jié)論

三維立體視頻的廣泛普及可為人們提供優(yōu)質(zhì)的感官體驗(yàn)，在影視、醫(yī)學(xué)、軍事等領(lǐng)域具有十分廣闊的發(fā)展空間，無(wú)序圖像視點(diǎn)繪制技術(shù)在三維立體視頻中發(fā)揮著重要作用，本文以虛擬視覺(jué)為基礎(chǔ)，研究基于虛擬視覺(jué)的無(wú)序圖像視點(diǎn)繪制方法，經(jīng)實(shí)驗(yàn)驗(yàn)證，該方法具有較理想的無(wú)序圖像視點(diǎn)繪制效果，能夠獲得高質(zhì)量的無(wú)序圖像，可為三維立體視頻的進(jìn)一步發(fā)展提供借鑒。