謝俊國(guó)，趙 慧

（廣東輕工職業(yè)技術(shù)學(xué)院 電子通信工程系，廣東 廣州510300）

1 引 言

集成成像技術(shù)源于100多年前法國(guó)物理學(xué)家G.Lippmann提出的集成攝影術(shù)［1］（Integral Photography），它使用微透鏡陣列（lens array）來(lái)記錄和再現(xiàn)3D 空間場(chǎng)景，具有水平和垂直方向的連續(xù)視差，極具發(fā)展?jié)摿Α?/p>

早期的集成攝影的記錄過(guò)程是通過(guò)微透鏡單元或針孔成像在背部的銀鹽膠片經(jīng)感光獲取3D場(chǎng)景信息，感光膠片經(jīng)顯影定影得到2D 圖像陣列；再現(xiàn)過(guò)程仍采用同樣參數(shù)的微透鏡陣列并將2D 圖像陣列膠片放置于微透鏡陣列的焦平面上，根據(jù)光路可逆原理，微透鏡陣列將2D 圖像元透射出來(lái)的光線再聚集還原，從而在微透鏡陣列的正面重建出3D 場(chǎng)景的立體圖像。

上述全光學(xué)的集成成像技術(shù)因受限于早期微透鏡陣列制造困難和精度誤差，以及光學(xué)膠片記錄處理的不便，存在的種種缺陷和再現(xiàn)效果一直難于令人滿意，使其面世近百年而一直未能商業(yè)化推廣應(yīng)用。

近年來(lái)隨著精密加工技術(shù)和計(jì)算機(jī)處理技術(shù)的巨大進(jìn)步，集成成像三維顯示技術(shù)迎來(lái)了發(fā)展的熱潮［2－3］，之前的諸多缺陷得到克服，如3D 深度翻轉(zhuǎn)問(wèn)題，實(shí)虛轉(zhuǎn)換［4］問(wèn)題及采集鏡頭巨多等都有了對(duì)應(yīng)解決辦法［5］，在增大分辨率、景深和觀看視場(chǎng)角方面的研究也都有了相應(yīng)的進(jìn)展［6］，特別是計(jì)算機(jī)輔助集成成像記錄和計(jì)算集成圖像重建技術(shù)［7］使圖像顯示和深度重現(xiàn)質(zhì)量有了明顯提高。

在集成成像圖像采集記錄方面，利用計(jì)算機(jī)仿真建模和虛擬采集記錄無(wú)疑具有很高的記錄準(zhǔn)確度，但集成成像未來(lái)發(fā)展應(yīng)用，如實(shí)時(shí)視頻采集轉(zhuǎn)換離不開(kāi)現(xiàn)場(chǎng)的實(shí)物拍攝，而實(shí)拍的參數(shù)及提高集成成像三維系統(tǒng)的顯示分辨率是研究的關(guān)鍵，以下基于數(shù)碼相機(jī)靜物實(shí)拍為例進(jìn)行分析，其結(jié)論對(duì)于動(dòng)態(tài)視頻的集成成像三維顯示也有借鑒意義。

2 數(shù)碼相機(jī)鏡頭成像分辨率分析

專業(yè)數(shù)碼相機(jī)的鏡頭大多是由多組透鏡組合以修正像差與畸變，鏡頭成像素質(zhì)高，但仍可用薄透鏡模型進(jìn)行分析。如圖1所示，設(shè)物距L0的物點(diǎn)B（物平面）成像在距透鏡g0的感光平面（像平面）上匯聚為清晰的像點(diǎn)B’，在感光平面位置不變的情況下，所有偏離物點(diǎn)B 所在物平面的物點(diǎn)如A、C 將匯聚在感光平面的前后，因此，在感光平面上將出現(xiàn)散焦現(xiàn)象，由高斯成像公式及幾何關(guān)系可計(jì)算物點(diǎn)A 或C 在感光平面上因散焦所形成的圓形光斑的直徑為：

圖1 薄透鏡成像與散焦Fig.1 Thin lens imaging principle and defocusing

其中：L 是物點(diǎn)離透鏡的距離，f 是透鏡焦距，D為鏡頭光圈直徑，將鏡頭光圈指數(shù)

代入整理得：

由式（3）可知當(dāng)物距L＝L0時(shí)物體在感光平面上剛好完全聚焦呈現(xiàn)最清晰的高分辨率的圖像，偏離L0的物體都不同程度存在散焦，減小散焦提高前后景分辨率可通過(guò)減小L－L0差值，增大F，也即采用小光圈增加景深，這在靜物拍攝中不難實(shí)現(xiàn)，因此，在集成成像的實(shí)拍景物采集中可忽略鏡頭散焦的影響。

3 集成成像3D 顯示的分辨率

根據(jù)微透鏡陣列到顯示屏液晶像素距離g與微透鏡焦距f 間的關(guān)系，集成成像有3種顯示模式——實(shí)模式、虛模式和聚焦模式，g＝f 的顯示模式稱聚焦模式，此種顯示模式顯示屏上的液晶像素經(jīng)微透鏡折射形成平行出射光線，可實(shí)現(xiàn)較大深度范圍的3D 景深，但由于顯示像點(diǎn)尺寸等同于透鏡節(jié)距［8］，顯示分辨率不高，這里不做過(guò)多討論；當(dāng)g＞f 的顯示模式稱實(shí)模式，如圖2（a）所示，此時(shí)所顯示的3D 圖像浮現(xiàn)于微透鏡陣列前方，為一實(shí)像；當(dāng)g＜f 的顯示模式稱虛模式，如圖2（b）所示，此時(shí)所顯示的3D 圖像處于微透鏡陣列后方，為一虛像；實(shí)、虛顯示模式下，當(dāng)顯示屏上的圖像液晶像素陣列通過(guò)微透鏡陣列重構(gòu)的3D 圖像位置與中心深度平面重合時(shí)，可重構(gòu)最清晰的高分辨率圖像，以下進(jìn)行分析。

圖2 集成成像的實(shí)虛顯示模式Fig.2 Real／virtual mode display

3.1 中心深度平面的3D 成像的分辨率

中心深度平面是指顯示屏上各像素經(jīng)微透鏡陣列折射成像后形成的系列交點(diǎn)所組成的平面，也即滿足高斯成像公式：

式（4）所對(duì)應(yīng)的距微透鏡陣列距離L 的各像素的共軛成像平面。

以實(shí)像顯示模式為例，如圖3所示，在共軛成像情況下，A0成像于中心深度平面，液晶顯示屏像素被透鏡陣列放大，由幾何關(guān)系可得到中心深度平面上的像素尺寸為：

圖3 集成成像的實(shí)模式成像光路Fig.3 Real mode optical path

其中：L0為微透鏡陣列到中心深度平面的距離，g0為顯示屏距微透鏡陣列的距離，這里g0＞f，p為液晶顯示屏像素尺寸，P 為中心深度平面上的3D 像的像素尺寸，其倒數(shù)為顯示圖像的分辨率R：

其中：r＝1／p 為液晶顯示屏像素分辨率。

由式（6）可見(jiàn)，在中心深度平面上成像的3D圖像的分辨率正比于液晶屏像素分辨率，與微透鏡元的節(jié)距無(wú)關(guān)，這一特點(diǎn)有別于聚焦顯示模式。因此，實(shí)／虛顯示模式不必過(guò)于追求減小微透鏡陣列的節(jié)距，這樣可降低光的衍射效應(yīng)的影響，提高微透鏡陣列光學(xué)系統(tǒng)的性能。

3.2 中心深度平面3D成像的深度范圍

集成成像實(shí)／虛顯示模式的三維圖像，在中心深度平面具有最大的分辨率，保持該最大分辨率的3D 圖像有一定的深度范圍，仍以圖3 為例分析如下：

設(shè)A0，A1，A2為不同微透鏡元下子圖陣列中對(duì)應(yīng)像素尺寸的同一邊緣物點(diǎn)（可視為無(wú)窮小點(diǎn)），該系列物點(diǎn)經(jīng)各微透鏡元成像在后平面的B點(diǎn)，B 點(diǎn)距中心深度平面ΔZ，為非共軛點(diǎn)，成像過(guò)程中點(diǎn)A0、A1、A2在像點(diǎn)B 處形成一個(gè)散焦斑，由幾何光學(xué)理論可推導(dǎo)出，散焦斑的大小為：

因散焦使原放大像素?cái)U(kuò)大為原尺寸的2 倍時(shí)，相鄰像素重疊，分辨率下降，因此，保持中心深度圖像分辨率不變的極限條件為：

也即

將式（5）（7）代入式（8）可得：

滿足上述公式對(duì)應(yīng)的后平面稱為后深度平面，考慮到幾何關(guān)系的對(duì)稱性，距中心深度平面之前ΔZ距離的平面為前深度平面，因此，保持式（6）所述可分辨的清晰3D 圖像的深度范圍為：

3D 成像需要一定的顯示深度，由式（10）增大L0，減小D 或者犧牲部分顯示分辨率R 都可增加顯示深度，更好的方法是采用實(shí)／虛雙模式的集成成像系統(tǒng)［9］同時(shí)顯示實(shí)模式和虛模式3D 圖像，將大大提高3D 場(chǎng)景的深度范圍和實(shí)現(xiàn)高分辨的3D 圖像顯示。

4 實(shí)驗(yàn)驗(yàn)證

根據(jù)實(shí)／虛顯示模式集成成像的原理，設(shè)計(jì)了相機(jī)實(shí)拍的集成成像圖像采集與顯示實(shí)驗(yàn)方案：利用數(shù)碼相機(jī)沿導(dǎo)軌水平及縱向平移進(jìn)行圖像采集，基于集成成像原理進(jìn)行圖像處理合成后精密打印輸出，再經(jīng)過(guò)縱橫柱鏡光柵交疊襯墊透明薄膜膠片調(diào)整物距進(jìn)行實(shí)驗(yàn)驗(yàn)證。

4.1 相機(jī)實(shí)拍集成成像采集系統(tǒng)

采集設(shè)備如圖4所示，數(shù)碼相機(jī)平移圖像采集的拍攝參數(shù)如表1所示。

圖4 相機(jī)實(shí)拍圖像采集系統(tǒng)Fig.4 Cameras acquisition system

為提高相機(jī)圖像的拍攝質(zhì)量，相機(jī)鏡頭采用EF50mm 專業(yè)定焦鏡頭，所有參數(shù)采用手動(dòng)模式，快門采用專用遙控線，拍攝平移間隔5 mm，縱橫平移50～100次，因此，實(shí)拍采集面臨大數(shù)據(jù)量的處理。以制作微透鏡節(jié)距1 mm，面積50mm×50mm的二維集成成像樣板為例，所需拍攝采集圖像多達(dá)2 500個(gè)鏡頭，利用圖像插幀技術(shù)可大大減少場(chǎng)景采集數(shù)量［10］。

表1 相機(jī)拍攝參數(shù)Tab.1 Camera parameters

4.2 實(shí)／虛模式集成成像實(shí)驗(yàn)樣品

集成成像的實(shí)／虛顯示模式要求微透鏡陣列和顯示屏的間距滿足成實(shí)像或虛像的高斯成像公式的約束，否則不能在中心深度平面獲得最高分辨率的3D 圖像。目前市場(chǎng)上現(xiàn)有的柱鏡光柵板大多設(shè)計(jì)為聚焦模式，也即其厚度等于柱鏡光柵的焦距，實(shí)模式顯示可通過(guò)調(diào)整襯墊透明薄膜膠片達(dá)到所需物間距，虛模式顯示時(shí)需對(duì)柱鏡光板進(jìn)行適當(dāng)磨削加工。

圖5為實(shí)拍的虛模式顯示集成成像樣品，實(shí)拍鏡頭數(shù)目95，原始圖像采集大小640×480像素，采集參數(shù)同表1，顯示參數(shù)見(jiàn)表2，g0＝3.2，打印輸出像素理論分辨率為50mm－1，實(shí)際測(cè)試為20mm－1，代入式（6）得R＝6.4mm－1，由式（10）計(jì)算得2ΔZ＝3.1mm。

圖5 虛模式顯示集成成像樣品Fig.5 Virtual mode sample

該實(shí)驗(yàn)樣品中心深度平面位于酒瓶表面，酒瓶花紋圖案范圍位于上述深度范圍，顯示極為清晰細(xì)致，背景靜物超過(guò)上述深度范圍，圖像虛化，但仍具較強(qiáng)3D 顯示效果。

表2 顯示參數(shù)Tab.2 Display parameters

圖6為計(jì)算集成實(shí)／虛顯示模式的單幅人物集成成像實(shí)驗(yàn)樣品，樣品尺寸85mm×145mm。

圖中左邊美女為實(shí)模式顯示樣品，右邊美女為虛模式顯示樣品，基本參數(shù)為：

透鏡節(jié)距2.52mm，f＝3.25mm，實(shí)模式顯示光柵板厚度d＝4.2mm，虛模式顯示光柵板厚度d＝3.0mm。

圖6的集成成像實(shí)／虛顯示模式成像在中心深度平面，因而具有極高的顯示分辨率，由圖6中左邊圓形放大區(qū)可見(jiàn)，處于透鏡節(jié)距區(qū)內(nèi)的發(fā)絲仍清晰可見(jiàn)，大大優(yōu)于傳統(tǒng)基于視差原理的多視點(diǎn)裸眼立體顯示的分辨率［11］，也優(yōu)于聚焦模式的集成成像顯示分辨率。

圖6 實(shí)虛模式集成成像樣品Fig.6 Real／virtual display mode samples

5 結(jié) 論

通過(guò)幾何光學(xué)的分析，對(duì)集成成像實(shí)／虛顯示模式的分辨率作了分析，進(jìn)一部推導(dǎo)出在中心深度給定分辨率下的深度范圍，通過(guò)實(shí)拍數(shù)據(jù)采集進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果驗(yàn)證了該深度范圍圖像顯示效果極佳，實(shí)／虛顯示模式分辨率明顯優(yōu)于聚焦模式和傳統(tǒng)基于視差原理的多視點(diǎn)裸眼立體顯示的分辨率，理論與實(shí)驗(yàn)結(jié)果相符，為集成成像系統(tǒng)的設(shè)計(jì)和充分發(fā)揮集成成像三維顯示的自身優(yōu)勢(shì)提供了實(shí)驗(yàn)依據(jù)。

［1］ Lippmann G.La Photograhie integrale［J］.Comptes Rendus Acad.Sci，1908，146：446－451.

［2］ Park J H，Hong K，Lee B.Recent progress in three－dimensional information processing based on integral imaging［J］.Appl.Opt，2009，48（34）：77－94.

［3］ Cho M，Daneshpanah M，Javidi B.Three－dimensional optical sensing and visualization using integral imaging［J］.Proc.IEE，2011，99（4）：556－575.

［4］ 王瓊?cè)A.3D 顯示技術(shù)與器件［M］.北京：科學(xué)出版社，2011：219－224.Wang Q H，3 D Display Technologies and Devices［M］.Beijing：Science Press，2011：219－224.（in Chinese）

［5］ Deng H，Wang Q H，Li D H.Method of generating orthoscopic elemental image array from sparse camera array［J］.Chinese Optics Letters，2012，10（6）：061102（1－3）.

［6］ Park J H，Jung S，Choi H，et al.Integral imaging with multiple image planes using a uniaxial crystal plate［J］.Opt.Express，2003，11（16）：1862－1875.

［7］ Shin D H，Yoo H.Image quality enhancement in 3Dcomputational integral imaging by use of interpolation methods［J］.Optics Express，2007，15（19）：12039－12049.

［8］ Lee B，Park Jae－Hyeung，Min Sung－Wook.Three－dimensional display and information processing based on integral imaging［C］／／Digital Holography and Three－Dimensional Display，US：Springer，2006：333－378.

［9］ Kim Y，Park J H，Choiet H，et al.Depth－enhanced three－dimensional integral imaging by use of multilayered display devices［J］.Appl.Opt，2006，45（1）：4334－4343.

［10］ Zitnick C L，Jojic N，Kang S B.Consistent segmentation for optical flow estimation［C］／／Proc.IEEE Int.Conf.Computer Vision，US：Springor，2005：1308－1315.

［11］ 郝敦博，李大海，王瓊?cè)A，等.柱面透鏡自由立體顯示器的分辨率損失研究［J］.液晶與顯示，2008，23（4）：494－498.Hao D B，Li D H，Wang Q H，et al.Resolution loss of autostereoscopic display based on lenticular［J］.Chinese Journal of Liquid Crystals and Display，2008，23（4）：494－498.（in Chinese）