趙德亮，余建華，張翼?xiàng)?/p>

（深圳大學(xué) 電子科學(xué)與技術(shù)學(xué)院，深圳518060）

引 言

目前，3D顯示已逐漸融入到人們的生活當(dāng)中，因其能再現(xiàn)真實(shí)的三維場(chǎng)景，受到了人們的青睞，紅藍(lán)3D圖像獲取的基本原理如圖1所示。攝像頭采集同一場(chǎng)景的兩路視頻圖像信號(hào)，對(duì)其中一路信號(hào)只提取圖像信號(hào)的紅色分量；另一路提取圖像信號(hào)的藍(lán)、綠色合成的青色分量。將兩路信號(hào)采用同步色差合成算法合成紅藍(lán)3D視頻圖像。

圖1 紅藍(lán)3D圖像獲取基本原理

目前國(guó)內(nèi)3D電視產(chǎn)業(yè)面臨的主要問題在于：①3D電視芯片的缺少而導(dǎo)致3D片源的短缺；②視頻處理的復(fù)雜度較高；③顯示與觀看效果不佳。為此本文對(duì)傳統(tǒng)的視頻處理過程中色度分量的提取、亮度的增強(qiáng)、紅藍(lán)3D眼鏡的設(shè)計(jì)等方面進(jìn)行了改進(jìn)，并采用LCOS作為微顯示器件，投影出紅藍(lán)3D視頻圖像。

1 顏色分量的獲取與亮度的增強(qiáng)

傳統(tǒng)的方法只采用紅加藍(lán)、紅加綠色度分量合成3D視頻，這樣會(huì)使畫面的損傷較大，丟失33%以上的顏色分量，觀看起來顏色失真較大，亮度也大大降低，增加了眼睛的負(fù)擔(dān)，易產(chǎn)生疲勞。針對(duì)顏色失真問題，本文采用紅加青的方法以減少色度的丟失，這樣可使畫面色度飽和度還原到原始畫面的90%以上。

針對(duì)亮度降低提出了基于亮度的圖像增強(qiáng)方法。傳統(tǒng)的基于Retinex理論的演變法存在一定的不足，如將RGB空間轉(zhuǎn)換到HSI空間需要大量的三角函數(shù)運(yùn)算，并采用傅里葉變換處理Retinex理論部分的高斯函數(shù)，大大影響了處理速度。本文提出了基于YCbCr顏色空間的亮度分量處理法，同時(shí)采用無限脈沖響應(yīng)數(shù)字濾波器（IIR）實(shí)現(xiàn)高斯函數(shù)運(yùn)算。實(shí)驗(yàn)證明，該算法不但能增強(qiáng)圖像的質(zhì)量，而且還能有效避免Retinex算法中帶來的光環(huán)效應(yīng)，同時(shí)大大加快算法處理速度?；诹炼萗分量的Retinex處理過程可表示為：

式中，Y（x，y）為亮度分量函數(shù)，F(xiàn)（x，y）被稱為環(huán)境函數(shù)，一般用高斯函數(shù)表達(dá)式為：

式中，σ為高斯函數(shù)的標(biāo)準(zhǔn)偏差，k表示環(huán)境函數(shù)的個(gè)數(shù)。環(huán)境函數(shù)Fk用于選取不同的標(biāo)準(zhǔn)偏差σk；Wk用來控制環(huán)境函數(shù)范圍的尺度，它表示與Fk相關(guān)的權(quán)重系數(shù)。

Retinex處理算法的主要步驟就是高斯濾波，其運(yùn)算速度直接決定了算法運(yùn)行效率。為避免傅里葉變換的復(fù)雜運(yùn)算和不足，對(duì)高斯濾波器進(jìn)行了IIR實(shí)現(xiàn)，把高斯濾波器分解為正向?yàn)V波器和反向?yàn)V波器的組合，如下面的差分方程。

正向?yàn)V波器：

反向?yàn)V波器：

式中，C、d′i是濾波器系數(shù)，I[n]是輸入數(shù)據(jù)，w1[n]和w2[n]分別是正向和反向?yàn)V波器的中間狀態(tài)，O1[n]、O2[n]為其處理結(jié)果。正向和反向?yàn)V波器就構(gòu)成了高斯濾波器的IIR實(shí)現(xiàn)過程?？梢岳酶咚购瘮?shù)的可分離性：

對(duì)圖像先逐行后逐列進(jìn)行處理，最終就可以實(shí)現(xiàn)二維高斯數(shù)字濾波。圖2展示了原圖，以及采用傳統(tǒng)Retinex算法、基于Y分量Retinex算法處理后的對(duì)比圖?？梢钥闯觯瑐鹘y(tǒng)算法可以增強(qiáng)圖像亮度，但灰度化也很明顯；而本文采用的方法不僅可以增強(qiáng)亮度，還可以保持原有圖像的整體鮮艷效果。

圖2 基于Y分量Retinex算法與傳統(tǒng)Retinex算法的對(duì)比效果圖

另外，傳統(tǒng)的3D眼鏡僅采用紅色或藍(lán)色塑料或玻璃鏡片作為濾光片，濾光效果大打折扣，觀眾佩戴觀看影片時(shí)，會(huì)出現(xiàn)不同程度的重影現(xiàn)象，影響觀看效果。為此本文采用反射率和透過率都達(dá)到90%以上的反青透紅和反紅透青的濾光片作為3D眼鏡的鏡片，這樣可以使紅色鏡片僅通過紅色畫面、青色鏡片通過藍(lán)、綠色畫面，消除了重影現(xiàn)象，使觀看效果更加鮮活、逼真。圖3為濾光片及制作的紅藍(lán)3D眼鏡。

圖3 加濾光片的紅藍(lán)3D眼鏡

2 視頻處理系統(tǒng)基本結(jié)構(gòu)與簡(jiǎn)化

整個(gè)視頻處理系統(tǒng)結(jié)構(gòu)如圖4所示。兩路攝像頭將采集到的信號(hào)送入TW2867進(jìn)行A/D轉(zhuǎn)換，輸出的復(fù)用信號(hào)送入解復(fù)用（demux）模塊，分離出的兩路復(fù)合視頻數(shù)據(jù)分別送入BT656數(shù)據(jù)解碼模塊、幀緩存控制模塊、像素分辨率縮放模塊、YCbCr 4：2：2轉(zhuǎn) YCbCr 4：4：4數(shù)據(jù)模塊、YCbCr亮度增強(qiáng)模塊、YCbCr 4：4：4轉(zhuǎn) RGB數(shù)據(jù)模塊，最后將RGB數(shù)據(jù)送入LCOS時(shí)序控制模塊。以鎂光公司的CS-FLCOS作為微顯示器件，搭建光機(jī)系統(tǒng)，顯示出3D視頻畫面。分別要對(duì)TW2867和LCOS進(jìn)行I2C總線配置和SPI總線配置，以配置其內(nèi)部的相關(guān)寄存器參數(shù)。

（1）TW2867解碼

采用帶有LED夜視功能的Sony CCD感光芯片攝像頭，視頻輸出分辨率為720×576，為標(biāo)準(zhǔn)的PAL制式視頻格式。選用Techwell公司的TW2867 A/D轉(zhuǎn)換芯片，能自動(dòng)識(shí)別PAL/NTSC/SECAM格式的2路復(fù)合視頻信號(hào)。通過I2C總線的配置，TW2867將兩路攝像頭信號(hào)轉(zhuǎn)換為符合BT656標(biāo)準(zhǔn)的8位YCbCr數(shù)字信號(hào)。TW2867每一路都含有10位ADC轉(zhuǎn)換器、高質(zhì)量的鉗位和增益控制器以及梳狀濾波器，以濾除信號(hào)中的噪聲；同時(shí)采用了一些圖像增強(qiáng)技術(shù)，以獲得高質(zhì)量的YCbCr數(shù)字信號(hào)。

（2）BT656數(shù)據(jù)解碼模塊

國(guó)際電信聯(lián)盟無線電通信組（ITU-CCIR）發(fā)布了ITU-BT656的視頻標(biāo)準(zhǔn)，其行數(shù)據(jù)結(jié)構(gòu)如圖5所示。該模塊首先需要檢測(cè)數(shù)據(jù)流中是否按序出現(xiàn)了FF、00、00的幀頭SAV或幀尾EAV信息。如果出現(xiàn)則對(duì)后8位的XY值進(jìn)行判斷，判斷是否出現(xiàn)SAV、EAV信號(hào)，將有效視頻信號(hào)的亮度分量（Y）作為高8位，色度分量（Cb或Cr）作為低8位合成16位的YCbCr數(shù)據(jù)，將BT656數(shù)據(jù)奇偶場(chǎng)的數(shù)據(jù)合并為一幀寫入幀緩存中。

圖4 3D顯示系統(tǒng)框圖

圖5 BT656行數(shù)據(jù)結(jié)構(gòu)

（3）像素分辨率縮放模塊

幀緩存中裝載的是兩場(chǎng)視頻數(shù)據(jù)，在讀取的時(shí)候采用FIFO緩存并采用雙線性插值算法，將原來720×576的像素分辨率放大到852×480。雙線性插值算法將在水平和垂直兩個(gè)方向分別進(jìn)行一次線性插值。其定量計(jì)算方法如下：空間坐標(biāo)系下4個(gè)點(diǎn)為 A（x，y＋1）、B（x，y）、C（x＋1，y）、D（x＋1，y＋1），如圖6所示，其灰度值依次為 Ga、Gb、Gc、Gd，dx和dy分別表示目標(biāo)點(diǎn)與點(diǎn)B在水平和垂直兩個(gè)方向上的增量。

圖6 雙線性插值法示意圖

其灰度值Gt可以由其余四點(diǎn)量化表示：

從電路實(shí)現(xiàn)方面而言，式（8）共需要8個(gè)乘法器、2個(gè)減法器和4個(gè)加法器，將會(huì)占用較多的邏輯資源。將公式變形為：

式（9）是一種簡(jiǎn)化了電路的表示方法，僅需要4個(gè)乘法器、4個(gè)減法器和3個(gè)加法器。計(jì)算結(jié)果會(huì)有5個(gè)時(shí)鐘周期的延時(shí)，當(dāng)像素時(shí)鐘為27 MHz時(shí)，計(jì)算的時(shí)鐘為一幀的數(shù)據(jù)轉(zhuǎn)換為852×480×（1/27 MHz）＝15 ms，即可以實(shí)現(xiàn)實(shí)時(shí)的分辨率調(diào)整。

（4）YCbCr 4：2：2轉(zhuǎn)YCbCr 4：4：4數(shù)據(jù)模塊

將 YCbCr 4：4：4數(shù)據(jù)轉(zhuǎn)換到 YCbCr 4：2：2是數(shù)字視頻中的一個(gè)選通功能。而將YCbCr 4：2：2數(shù)據(jù)轉(zhuǎn)換到Y(jié)Cr Cb 4∶4∶4是重采樣的過程，采樣的數(shù)據(jù)格式轉(zhuǎn)換如圖7所示。

圖7 YCbCr 4∶2∶2轉(zhuǎn)YCbCr 4∶4∶4操作示意圖

可知，輸入16位YCbCr轉(zhuǎn)換成了相應(yīng)各8位Y、Cb、Cr信號(hào)，且輸出像素采樣率比輸入采樣率快了一倍，由此可見YCbCr 4∶2∶2的數(shù)據(jù)格式壓縮了將近一半的數(shù)據(jù)帶寬。

（5）YCbCr4∶4∶4轉(zhuǎn)RGB模塊

將YCbCr數(shù)據(jù)轉(zhuǎn)換為RGB數(shù)據(jù)可由圖8所示的數(shù)據(jù)關(guān)系得到。

由于FPGA進(jìn)行浮點(diǎn)運(yùn)算較為復(fù)雜，且占用的時(shí)鐘周期較長(zhǎng)（比如16位的浮點(diǎn)加法電路，一般多達(dá)十幾到二三十個(gè)時(shí)鐘周期），并不適合于實(shí)時(shí)視頻數(shù)據(jù)處理，所以先通過對(duì)上式左右兩端放大128倍化為整數(shù)運(yùn)算，計(jì)算后再對(duì)結(jié)果除以128（右移7位），即可獲得正確的結(jié)果。

圖8 YCbCr 4∶4∶4轉(zhuǎn)RGB數(shù)據(jù)關(guān)系圖

（6）LCOS時(shí)序控制模塊

LCOS時(shí)序發(fā)生器主要用于產(chǎn)生微顯示器件所需的時(shí)序，包括提供像素時(shí)鐘（clk）、行同步信號(hào)（hsync）、場(chǎng)同步信號(hào)（vsync）、有效信號(hào)（valid），并輸出當(dāng)前行、列像素坐標(biāo)值，從幀緩沖區(qū)發(fā)出數(shù)據(jù)請(qǐng)求信號(hào)并讀出紅、綠、藍(lán)的視頻數(shù)據(jù)。LCOS的時(shí)序仿真圖如圖9所示。

圖9 Modelsim中LCOS時(shí)序仿真圖

3 FPGA紅藍(lán)3D視頻獲取及主觀評(píng)價(jià)

FPGA選用的是Altera公司的Cyclone IV系列的EP4CE30F23C6N。FPGA和DDR2之間的時(shí)鐘頻率可以達(dá)到200 MHz，DDR2內(nèi)部時(shí)鐘頻率達(dá)到400 MHz，充分滿足了兩路視頻處理的要求。

通過對(duì)視頻處理過程中模塊的編寫，編譯后其消耗的的邏輯單元數(shù)為13 615個(gè)，僅占總邏輯單元數(shù)的47%，使視頻處理過程更加簡(jiǎn)便高效。視頻處理過程略——編者注。

將以上各模塊搭建、調(diào)試、下載到FPGA中，并采用鎂光公司的LCOS芯片作為微顯示器件，攝像頭采集到的《阿凡達(dá)》2D電影的一個(gè)畫面轉(zhuǎn)換為3D畫面效果圖略——編者注。

可以看到圖面中的人物具有視差的紅藍(lán)兩路圖像，佩戴上紅藍(lán)3D眼鏡，即可看到人物出屏的效果。

目前針對(duì)于3D顯示的評(píng)價(jià)方法主要是主觀的評(píng)價(jià)方法，按照2000年國(guó)際電信聯(lián)盟發(fā)布的ITU-R BT.1438立體電視圖像主觀評(píng)價(jià)標(biāo)準(zhǔn)，分為5級(jí)，即優(yōu)秀、良好、一般、不好、壞5個(gè)級(jí)別。

以立體圖片上的一點(diǎn)為中心，單眼左右移動(dòng)時(shí)，圖像會(huì)出現(xiàn)連續(xù)的跳躍，兩次跳躍之間眼睛移動(dòng)的角度為立體圖像的視變角，視角越大，觀看越舒適，但視角變大意味著立體感減弱。通過多人觀看本文的3D視頻，本設(shè)計(jì)主觀評(píng)價(jià)在良好級(jí)別，達(dá)到了預(yù)期的設(shè)計(jì)效果。

結(jié) 語

本文實(shí)現(xiàn)了一種基于Altera公司的Cyclone IV系列FPGA的3D視頻前端處理與顯示系統(tǒng)，具有設(shè)計(jì)周期短、結(jié)構(gòu)簡(jiǎn)單、穩(wěn)定可靠、實(shí)現(xiàn)效果逼真、節(jié)約設(shè)計(jì)成本的優(yōu)點(diǎn)。

高速圖像采集系統(tǒng)采用FPGA作為采集控制部分，不僅可以提高系統(tǒng)處理的速度，而且可以提高系統(tǒng)的靈活性和適應(yīng)性。該設(shè)計(jì)解決了當(dāng)前3D電視芯片缺少的問題，對(duì)原有的視頻處理過程及顯示器件進(jìn)行了改進(jìn)，并提出了一種簡(jiǎn)便性和普適性的圖像增強(qiáng)算法。該系統(tǒng)在安防監(jiān)控、倒車影像、圖像分析、影視拍攝和投影顯示等方面都具有良好的應(yīng)用前景。

編者注：本文為期刊縮略版，全文見本刊網(wǎng)站www.mesnet.com.cn。

[1]祝長(zhǎng)鋒，肖鐵軍.基于FPGA的視頻圖像采集系統(tǒng)的設(shè)計(jì)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，29（17）：4404-4407.

[2]藺志強(qiáng)，孟令軍，彭晴晴.基于FPGA的視頻圖像采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].電視技術(shù)，2011，35（17）：36-38.

[3]董小龍，施建華，邵詩強(qiáng).基于FPGA的VGA接口裸眼3D顯示系統(tǒng)設(shè)計(jì).[C]//2012中國(guó)平板顯示學(xué)術(shù)會(huì)議.上海，2012：559-562.

[4]李克斌，李世奇.3D顯示技術(shù)的最新研究進(jìn)展[J].計(jì)算機(jī)工程，2003，29（12）：3-4.

[5]蔣艷紅.基于FPGA的VGA圖象信號(hào)發(fā)生器設(shè)計(jì)[J].電子測(cè)量技術(shù)，2008，31（3）：78-81.

[6]夏宇聞.Verilog數(shù)字系統(tǒng)設(shè)計(jì)教程[M].北京：北京航空航天大學(xué)出版社，2008：15-17.