邢毓華, 胡曉龍, 楊琛

(西安理工大學(xué)自動化與信息工程學(xué)院, 陜西 西安 710048)

0 引 言

隨著人們生活水平的提高,對顯示的要求也越來越高,普通的二維顯示已經(jīng)無法滿足人類的需求。集成成像3D 顯示技術(shù)具有全視差、真彩色、無觀看視覺疲勞和結(jié)構(gòu)簡單等優(yōu)點,是目前最有發(fā)展前景的裸眼真3D 顯示技術(shù)之一[1-4]。集成成像系統(tǒng)由采集和顯示兩部分組成,采集過程得到包含物體三維信息的微單元圖像陣列,顯示過程再現(xiàn)三維立體圖像[1-4]。目前,采集方法主要包括透鏡陣列采集[5-9]和相機陣列采集[10-13]。

透鏡陣列采集能夠一次性同時采集所有單元圖像,無需機械移動、分時復(fù)用等,但視角小和分辨率低的問題限制了透鏡陣列采集法的發(fā)展。為解決此問題,2003 年,Jang 等[5]利用移動陣列小透鏡技術(shù)實現(xiàn)了集成成像的觀看分辨率和視角的同時提高。2015 年,Zhang 等[6]使用光纖耦合單中心透鏡陣列實現(xiàn)了廣角集成成像,進一步提高了可視角度,同年,Yang 等[7]將超分辨率技術(shù)應(yīng)用于集成成像系統(tǒng)中,提高了集成成像顯示分辨率。2016 年,Kwon 等[8]提出雙視頻通道和微透鏡陣列組成空間復(fù)用結(jié)構(gòu)的集成成像系統(tǒng),與傳統(tǒng)的集成成像系統(tǒng)相比,該方法大幅度提高了重建像的景深。2019 年Chen 等[9]提出利用曲面拾取方法建立集成成像系統(tǒng)的數(shù)學(xué)模型,提高了集成成像的觀看角度和角度分辨率,并消除了因曲面拾取過程形成的畸變。這些方法在一定程度上解決了透鏡采集視角小、分辨率差的問題,但透鏡陣列采集始終受限于視點采樣和空間采樣之間的相互權(quán)衡。

相機陣列采集可以提高采集分辨率、擴大觀看視角。2015 年,Okaichi 等[10]提出一種三維場景采集系統(tǒng),通過增加相機數(shù)量提升了觀看視角。2018 年,Xing 等[11]利用8×8 相機陣列搭建了集成成像采集系統(tǒng),并通過重映射的方法得到微單元圖像陣列,通過GPU 加速實現(xiàn)高質(zhì)量渲染過程。隨著顯示規(guī)模的提高,相機陣列的規(guī)模也在擴大,造成成本的增加。為了減少采集成本,并保證觀看視角和視點采集的質(zhì)量,2014 年,LYU 等[12]利用稀疏相機陣列采集三維光場,并利用立體視覺與三維重構(gòu)得到拍攝到的圖像序列中所有像素點的空間位置,通過映射得到立體元圖像陣列。2019 年,Wang 等[13]通過采集稀疏視點圖像,然后映射成低分辨率微單元圖像陣列,利用超分辨率的方法得到了高分辨率的微單元圖像陣列,實現(xiàn)了高質(zhì)量顯示過程。

以上對集成成像采集系統(tǒng)的研究大都基于透鏡陣列、相機陣列或者單個相機結(jié)合平移臺模擬相機陣列。透鏡陣列采集系統(tǒng)裝置簡單,只需一次拍攝就可以實現(xiàn)采集過程,但是采集分辨差、視角小;相機陣列采集系統(tǒng)可以實現(xiàn)高分辨率、大視角的采集過程,但是隨著視點的增加采集成本也在增加;單個相機結(jié)合平移臺模擬相機陣列采集方法保證了大視角、高分辨的采集過程,但是采集效率較低。虛擬視點合成方法雖然可以提高集成成像信息采集過程的效率,但是由于視點合成過程中的遮擋問題會使視點合成的質(zhì)量下降,導(dǎo)致集成成像顯示過程分辨率降低。為解決這些問題,本文將二維視點合成方法和分層聚類去遮擋技術(shù)相結(jié)合應(yīng)用到集成成像系統(tǒng)中,既實現(xiàn)了高分辨率大視角的采集過程,又解決了集成成像采集成本高、采集時間長的問題。

1 基本原理

集成成像系統(tǒng)主要由記錄和顯示兩部分組成,原理如Fig.1 所示,記錄過程利用透鏡陣列或者相機陣列,通過一次或多次的采集過程得到包含物體所有三維信息的微單元圖像陣列。顯示過程中將微單元圖像陣列通過顯示面板進行顯示,通過與記錄參數(shù)相同的透鏡陣列觀察顯示面板,基于光路可逆原理,就可以再現(xiàn)三維立體圖像。

電動平移臺搭載單個相機集成成像記錄系統(tǒng),可以實現(xiàn)大視角、高分辨率三維信息采集過程,以及大規(guī)模立體顯示。該采集系統(tǒng)在采集較多視點時效率較低,使用二維視點合成的方法可以在保證圖像質(zhì)量的同時提高信息采集的效率。根據(jù)視點合成的原理,可以將集成成像系統(tǒng)設(shè)計成Fig.2 的形式。

圖1 集成成像原理示意圖Fig.1 Schematic diagram of integral imaging principle

圖2 基于視點合成的集成成像系統(tǒng)流程圖Fig.2 Flow chart of integral imaging based on viewpoint synthesis

二維虛擬視點合成的過程如Fig.3(a)所示,以2×2 稀疏視點圖像陣列生成3×3 多視點圖像陣列為例。其中I 為實際采集圖像,II 和III 由I 經(jīng)水平方向和垂直方向視點合成得到,IV 由II 和III 視點合成得到。Fig.3(b)是水平方向視點合成流程圖,以左右視點為參考圖像,經(jīng)3D 變換[14]將二維圖像點投影到三維空間點,然后平移、旋轉(zhuǎn),再重投影到新的二維圖像點,得到兩個初始虛擬視點圖像,可分別表示為

式中α ∈(0,1), 表示虛擬視點到右視點或左視點的距離與左、右視點間距的比值。I0、I1和d0、d1分別為左右參考視圖和視差圖,像素大小為為初始虛擬視點圖像。i= 0, 1, ··· ,C-1,j=0, 1, ··· ,R-1 分別為像素點和視差值在參考視圖和視差圖中的位置坐標(biāo)。通過控制α 的值可以實現(xiàn)兩視點之間任意位置的視點合成。

圖3 二維視點合成原理圖。 (a)橫向和縱向視點合成;(b)橫向視點合成流程圖Fig.3 Principle diagram of 2D viewpoint synthesis.(a)Horizontal and vertical viewpoint synthesis;(b)Flow chart of horizontal viewpoint synthesis

生成的視點圖像由于前景的遮擋會造成重影失真,結(jié)合右參考相機合成同樣位置的虛擬視點,然后將兩個視點融合以減少重影失真的情況。利用線性融合的方式得It× Dt,融合過程可表示為

由于區(qū)域遮擋和圖像采樣率不足的問題,融合后的圖像依然存在空洞,使用層次聚類去遮擋填充技術(shù)[15]對融合后的深度圖進行處理,并協(xié)助彩色圖像的修復(fù)。通過探索每個孔周圍相鄰像素的深度分布,確定周圍深度平面的數(shù)量。對于每個孔洞,根據(jù)其深度值將分層聚類應(yīng)用于其三階相鄰像素,每個像素以集群的形式開始。每個像素均以聚類開始,如果兩個集群A、B 滿足

則進行合并。這意味著最接近的集群首先合并,每個集群都被視為一個深度平面,當(dāng)其余集群之間的所有成對距離都超過τd時,融合過程將停止。剩余最遠(yuǎn)的像素C(H)i將有助于恢復(fù)孔洞Hi,包含空洞的像素x 的填充過程可表示為

式中y ∈N3(x)∩C(Hi), N3表示三階鄰域,median 是取像素的中值。

得到多視點圖像陣列后,利用像素映射得到微單元圖像陣列,用于集成成像顯示過程。像素映射關(guān)系[16,17]可以表示為

式中f1、 f2是映射前、后的圖片, x、y 表示f1中的像素位置。% 是取余,是向下取整, x =(0,1,2,··· ,mi-1), y = (0,1,2,··· ,nj-1), 映射后圖片由i× j 個映射單元圖片組成, 每個映射單元圖片的像素是m×n。Fig.4 為映射的過程,映射前的圖像由2×2 個圖像組成,每個圖像的像素為3×3,映射后的圖像由3×3 個映射單元組成,每個映射單元的像素是2×2。

圖4 像素映射關(guān)系示意圖Fig.4 Schematic diagram of pixel mapping relationship

2 實驗結(jié)果

為了驗證基于分層聚類的二維視點合成技術(shù),可以在保證合成視點質(zhì)量的同時提高視點采集效率,使用采集平臺對三維目標(biāo)進行成像,將所得圖像作為實際采集結(jié)果,抽取其中一部分進行視點合成實驗。Fig.5(a)為實驗場景的示意圖。三維場景由樂高玩具組成,樂高玩具與鏡頭間距離z= 45 cm,相機焦距為50 mm,分辨率為5184 pixel×3456 pixel。樂高玩具的長、寬、高大小分別約為4、5、15 cm。Fig.5(b)是相機移動過程的示意圖,視點采集過程中將相機安裝在電動平移臺上,通過電腦編程控制電動平移臺的移動和停止。電腦控制平移臺的水平軸和垂直軸等間隔地移動,每次移動的距離為5 mm,以獲得相機在不同位置下拍攝到的圖像信息。在同一水平方向拍攝完成后回到初始位置,然后向垂直方向移動一定距離,再次進行水平方向拍攝。在相機的移動過程中,使用遙控器控制相機對三維目標(biāo)進行成像。

圖5 三維場景視點采集。(a)實驗場景示意圖;(b)視點采集路徑Fig.5 3D scene viewpoint collection.(a)Schematic diagram of the experimental scene;(b)Viewpoint collection path

利用采集平臺得到9×9 多視點圖像陣列,記錄得到的圖像如Fig.6(a)所示。在視點合成實驗過程中,抽取奇數(shù)行和列作為參考圖像,在此基礎(chǔ)上合成偶數(shù)行和列,生成一組9×9 的圖像陣列。Fig.6(b)為參考圖像,其余視點采用視點合成方法得到(α=0.5)。進行兩組對比實驗,分別利用文獻[18]、[19]的方法和所提出方法進行二維視點合成,用客觀評價標(biāo)準(zhǔn)峰值信噪比(PSNR)和圖像結(jié)構(gòu)相似度指標(biāo)(SSIM)對部分合成圖像與原圖像進行計算,來衡量合成視點圖像的質(zhì)量,進一步證明基于分層聚類的二維視點合成技術(shù)的可靠性。計算結(jié)果如Table 1 所示,其給出了部分合成虛擬視點的PSNR 和SSIM 值。結(jié)果表明,文獻[18]方法的PSNR、SSIM 值平均為30.27 dB、0.90。文獻[19]方法的PSNR、SSIM 值平均為31.08 dB、0.92。所提出方法的PSNR、SSIM 值平均為34.08 dB、0.94。由計算結(jié)果可知,所提出方法的視點合成質(zhì)量有一定的提高;但由Table 1 的標(biāo)準(zhǔn)差可看出,所提出方法相比于另外兩種方法不夠穩(wěn)定。

圖6 稀疏視點圖像陣列。 (a)9×9;(b)5×5Fig.6 Sparse viewpoint image array.(a)9×9;(b)5×5

表1 部分虛擬視點合成圖像的PSNR(dB)和SSIMTable 1 PSNR(dB)and SSIM of partial virtual viewpoint composite image

將合成得到的虛擬視點和參考視點進行拼接,按照Fig.4 的方法映射得到微單元圖像陣列,如Fig.7所示。由(7)式的映射關(guān)系可知,采集視點的數(shù)量等于每個微單元圖像的像素數(shù)。每個微單元圖像包含的像素數(shù)決定了顯示的質(zhì)量,因此增加采集視點的數(shù)量可以提升顯示的分辨率。若要提高微單元像素數(shù),則需要增加視點采集的數(shù)量,所以隨著顯示分辨率的提高,采集視點數(shù)量也會大幅度增加。利用視點合成,可以通過控制α 的值實現(xiàn)兩視點之間任意位置的視點合成。例如,利用5×5 多視點圖像陣列,通過設(shè)置不同的α 值(α = 0.25, 0.5, 075),可以得到17×17 多視點圖像陣列,所以該方法可以提高集成成像視點的采集效率。

為驗證合成的微單元圖像的可用性,用計算集成成像算法[20]實現(xiàn)對三維場景的重建,得到如Fig.8所示的具有不同深度值的圖像序列。Fig.8(a)、(b)分別是在47 cm、49 cm 處的重建結(jié)果?？梢钥闯?隨著重建距離的改變,物體聚焦在不同的位置,可以實現(xiàn)集成成像計算重建過程。

圖7 微單元圖像陣列Fig.7 Elemental image array

圖8 在(a)47 cm 和(b)49 cm 處的集成成像重建結(jié)果Fig.8 Integral imaging reconstruction results at(a)47 cm and(b)49 cm

3 結(jié) 論

將分層聚類的二維視點合成技術(shù)應(yīng)用在集成成像系統(tǒng)中。采用編程控制采集平臺的方式獲取稀疏視點圖像陣列;利用部分圖像序列,合成得到多視點圖像序列,提高了視點采集效率,減少了集成成像視點采集過程中的拍攝成本和工作量。實驗結(jié)果表明,該系統(tǒng)以及分層聚類二維視點合成技術(shù)可以在保證合成視點質(zhì)量的同時,有效解決視點采集效率較低的問題,并且視點數(shù)量可以自由地控制,系統(tǒng)更加靈活,對集成成像的實際應(yīng)用有一定的理論指導(dǎo)作用。