摘 要： 自由立體顯示器提供了一種新型的立體觀察手段，它最大的優(yōu)點(diǎn)就在于不需要借助任何輔助手段就可以體驗(yàn)到真實(shí)的三維立體圖像。實(shí)現(xiàn)自由立體顯示是一個復(fù)雜且技術(shù)含量高的過程，本文論述了Davinci DM6446開發(fā)平臺的立體視頻播放器的設(shè)計原理，研究了H.264壓縮編碼以及MVC壓縮，針對立體視頻的特點(diǎn)，提出了一種改進(jìn)的MVC編碼結(jié)構(gòu)。
　　關(guān)鍵詞： 自由立體顯示 多視點(diǎn)編碼 H.264 視差補(bǔ)償
　　
　　一、引言
　　人們對視頻享受的要求一直在不斷提高，從黑白電視發(fā)展到彩色電視，又從模擬電視發(fā)展到高清晰數(shù)字電視。下一次變革將從平面電視發(fā)展到立體電視。而立體電視視頻需要存儲或者傳輸?shù)臄?shù)據(jù)量非常龐大，必須對原始視頻數(shù)據(jù)進(jìn)行壓縮，因此研究高速、高效、高質(zhì)量的立體視頻壓縮算法具有很大的實(shí)用價值。把二維視頻信號轉(zhuǎn)換為立體圖像的方法在很多文獻(xiàn)中已經(jīng)有了很多的研究，也提出了基于深度的立體視頻合成算法。同二維視頻信息一樣，立體視頻信息不僅具有時間冗余信息、空間冗余信息、心理視覺冗余信息和編碼冗余信息，而且具有視點(diǎn)間的視差冗余信息。因此大多數(shù)立體視頻壓縮算法的研究都是基于二維視頻壓縮算法，同時針對立體視頻特有的視差冗余信息進(jìn)行算法改進(jìn)和擴(kuò)展。ITU－T視頻專家組（VCEG，Video Coding Experts Group）和ISO/IEC運(yùn)動圖像專家組（Moving Picture Experts Group，MPEG）在2001年組成了一個聯(lián)合視頻小組JVT（Joint Video Team），聯(lián)合開發(fā)了一個比早期研發(fā)的MPEG和H.263性能更好的視頻壓縮編碼標(biāo)準(zhǔn)。這就是被稱為ITU-T H.264建議和MPEG-4的第十部分標(biāo)準(zhǔn)，簡稱H.264/AVC或者H.264。這個標(biāo)準(zhǔn)已經(jīng)于2003年3月被ITU-T正式通過。
　　二、立體顯示器的原理
　　目前立體顯示根據(jù)其產(chǎn)品特點(diǎn)可分為：立體鏡（需要輔助設(shè)備——各種立體視覺眼鏡來實(shí)現(xiàn)左右眼的區(qū)分）、單人觀看的單視點(diǎn)顯示技術(shù)（透鏡柱面和視差柵欄），多人觀看多視點(diǎn)顯示技術(shù)以及全息立體顯示技術(shù)（球形立體顯示，液晶平面隊(duì)列，全息技術(shù)）。由于多視點(diǎn)顯示技術(shù)適合多人觀看，且實(shí)現(xiàn)技術(shù)相對于全息立體更加容易，已成為目前市場上的主流，本文也將主要探討多視點(diǎn)立體顯示及其編碼技術(shù)。
　　總的來說，立體顯示器都經(jīng)過兩部分的處理。首先要進(jìn)行軟件處理，把圖像處理成需要的格式，比如左右眼交叉的柵狀圖，然后利用硬件手段（如條狀柱鏡、狹縫光柵）將左右眼畫面分別折射到各自的區(qū)域，人們站在一些特定的位置上，便可以看到立體圖像。由于技術(shù)上原因，目前的3D顯示器基本都是基于LCD液晶或者PDP等離子顯示器，且等離子壽命短，已趨于淘汰狀態(tài)。
　　三、Davinci DM6446開發(fā)平臺硬件和顯示屏
　　1.Davinci DM6446開發(fā)平臺
　　Davinci DM6446開發(fā)平臺的立體視頻播放器是基于一種雙核處理器的架構(gòu)，每塊芯片都含有一個ARM核心和一個業(yè)界最高性能的DSP（Digital Signal Processing）-TMS320C6000，該技術(shù)大大加速了數(shù)字電視應(yīng)用的創(chuàng)新。它的雙核包括：TI高性能的TMS322064+TM系列DSP和ARM92EJ-S處理器，同時它還集成了視頻加速器，網(wǎng)絡(luò)外圍設(shè)備和外圍存儲設(shè)備及接口等模塊。ARM92EJ-S是一個32位精簡指令集的處理器，它能夠執(zhí)行32位或者16位的指令。TMS322064+ 系列DSP能夠采用第二代高性能的超長指令體系結(jié)構(gòu)。因此，這種處理器非常適合數(shù)字多媒體應(yīng)用。
　　2.顯示屏的硬件組成
　　前置式狹縫光柵立體顯示器硬件主要由LCD液晶或PDP等離子外加狹縫光柵組成。為了能夠?qū)崿F(xiàn)立體影像的正確分離，對其狹縫光柵的精度要求比較高，光柵柵距必須與相應(yīng)的LCD液晶或PDP等離點(diǎn)距相匹配。另外為了避免多視點(diǎn)立體顯示單純降低水平分辨率的缺點(diǎn)，采用了狹縫光柵斜放一定的角度以提高水平分辨率，降低垂直分辨率。
　　目前市場上基于前置式狹縫光柵的自由立體顯示器其立體數(shù)據(jù)多采用8視點(diǎn)或9視點(diǎn)圖像進(jìn)行排列。由于采用了光柵斜放，使其最終合成的圖像水平和垂直分辨率各為原來的1/3。
　　四、基于H.264的多視點(diǎn)視頻編碼MVC
　　多視點(diǎn)編碼（MVC）是H.264編碼標(biāo)準(zhǔn)的擴(kuò)展集之一。它是利用H.264高級編碼壓縮算法，針對多視點(diǎn)的特點(diǎn)，通過更改一部分H.264編碼器的框架，擴(kuò)展編碼器對應(yīng)的功能，來達(dá)到壓縮視點(diǎn)視頻的目的。
　　1.H.264時間分級結(jié)構(gòu)
　　在H.264AVC標(biāo)準(zhǔn)中，任何一幅圖片都能被標(biāo)志為參考圖片并用于隨后幀的運(yùn)動補(bǔ)償預(yù)測。AVC的特性就是能夠自由選擇編碼預(yù)測的結(jié)構(gòu)。如圖2所示是一種四級預(yù)測結(jié)構(gòu)，這種結(jié)構(gòu)能夠提供四個時間層次的分級性。視頻序列的第一幀是I幀，也叫關(guān)鍵幀，兩個關(guān)鍵幀之間的幀和后一個關(guān)鍵幀一起構(gòu)成一組圖片（GOP:Group of Picture）。關(guān)鍵幀采用幀內(nèi)預(yù)測，同時依賴前一個關(guān)鍵幀作為參考的幀間運(yùn)動補(bǔ)償預(yù)測。GOP中剩余的圖片采用分層次的B幀結(jié)構(gòu)來預(yù)測。每個B幀有兩個參考幀，分別是最近過去和最近將來更低時間級別的幀。在MVC編碼標(biāo)準(zhǔn)草案中，GOP可以是2，1≤n≤6。GOP還可以是12和15兩種特殊形式。
　　雖然各個攝像機(jī)拍攝景物的角度不同，但是，同一組視點(diǎn)的視頻之間在同一時刻的圖像具有很強(qiáng)的相關(guān)性，利用視點(diǎn)間的預(yù)測的方法可以有效降低視點(diǎn)之間的冗余信息。
　　2.多視點(diǎn)的編碼結(jié)構(gòu)
　　基于H.264標(biāo)準(zhǔn)的立體視頻編碼器如圖2所示，圖中ME代表運(yùn)動估計，DE代表視差估計，MV代表運(yùn)動矢量，DV代表視差矢量，VLC代表熵編碼。
　　MVC草案中定義的編碼器結(jié)構(gòu)如圖3所示，水平坐標(biāo)為時間軸，垂直坐標(biāo)為視點(diǎn)軸，S0表示第0號視點(diǎn)，T0表示第0幀視頻。MVC采用分層次的B幀構(gòu)造可分級預(yù)測結(jié)構(gòu)，每幀字母右下角的數(shù)字表示級別，0級優(yōu)先級最高。圖中從時間分級角度來說，被分成0，1，2，3，4五個等級。S0的第0幀是I幀，S3，S6和S7的第0幀采用視點(diǎn)間P幀預(yù)測，S1，S3和S5的第0幀采用視點(diǎn)間的B幀預(yù)測，其余都采用B幀預(yù)測結(jié)構(gòu)，與H.264AVC不同的是，有一些B幀既有前向預(yù)測和后向預(yù)測，還有視點(diǎn)間的預(yù)測。為了視頻流的同步，全視點(diǎn)圖片組（GOGOP）都以I幀開始，從視點(diǎn)的可分級角度分析。這種編碼結(jié)構(gòu)分為三級：S0視點(diǎn)為第一級，S2，S4，S6為第二級，S1，S3，S5，S7為第三級。
　　3.改進(jìn)的MVC編碼結(jié)構(gòu)
　　在圖4描述的參考編碼結(jié)構(gòu)中，如果相鄰的視頻具有人眼的標(biāo)準(zhǔn)視差，那么參考編碼結(jié)構(gòu)至少需要傳送三個視點(diǎn)的信息（S0，S1，S2）才能完成解碼，并利用S0和S1或者S1和S2分別構(gòu)成立體視頻?？紤]打破立體視頻基本流的最少只需要兩個視點(diǎn)，對于立體視頻基本流的需求而言就浪費(fèi)了一個視點(diǎn)的帶寬。除此之外，參考編碼結(jié)構(gòu)在視點(diǎn)的分級結(jié)構(gòu)上也需要根據(jù)立體視頻的特殊性做適當(dāng)調(diào)整。按照參考水平排列的多視點(diǎn)立體視頻，原始結(jié)構(gòu)中的視點(diǎn)S0到其余視點(diǎn)的平均距離較大。離S0最遠(yuǎn)的視點(diǎn)的累積誤差較大，而中間視點(diǎn)到其余視點(diǎn)的平均距離較小，各個視點(diǎn)平均的累積誤差較小。
　　該結(jié)構(gòu)的視點(diǎn)間完全是I-P-B-B-B的視點(diǎn)間的預(yù)測結(jié)構(gòu)。這時，多視點(diǎn)立體視頻分為8級：第一級為S3，第二級增加S4，第三級增加S2，第四級增加S5，第五級增加S1，第六級增加S6，第七級增加S0，第八極增加S7。在這種結(jié)構(gòu)中，基本視頻流是S3，基本立體視頻流是S3和S4。這種結(jié)構(gòu)只需要傳輸兩級視頻，兩個視點(diǎn)就可以獲得立體視頻了。
　　五、結(jié)語
　　對于多維立體顯示技術(shù)而言，要做到真正的面向大眾應(yīng)用，要做的工作還是很多的，通過傳統(tǒng)的壓縮編碼已經(jīng)很難使得立體圖像進(jìn)行不失真的傳輸，而且新的立體壓縮技術(shù)的評價標(biāo)準(zhǔn)還有待建立。本文只是在平面多視點(diǎn)圖像向立體圖像合成方面進(jìn)行了有益的探索。就目前的3D顯示器而言，它所重現(xiàn)的物體深度都只是在某一視點(diǎn)的立體視覺效果，當(dāng)我們想通過移動腦袋來看到物體另外的側(cè)面或者后面根本是不可能的。將來的立體顯示器將會更多的傾向類似于全息立體顯示技術(shù)的效果，我們可以通過走動看到物體的側(cè)面，基到物體的背面，并且站在不同的位置應(yīng)該看到不同的物體面。
　　
　　參考文獻(xiàn)：
　?。?］侯春萍.平面圖像立體化技術(shù)的研究［D］.天津：天津大學(xué)博士論文，1998：27-34.
　?。?］張兆楊，安平，劉蘇醒.3D多視點(diǎn)立體顯示及其關(guān)鍵技術(shù)［J］.電子器件，2008，31，（1）：302-307.
　?。?］梁發(fā)云，鄧善熙，楊永躍.裸眼立體顯示液晶屏的光學(xué)結(jié)構(gòu)及設(shè)計［J］.液晶與顯示，2005，20，（6）：544-548.
　　 注：“本文中所涉及到的圖表、公式、注解等請以PDF格式閱讀”