賀芷椰 張彥東 唐春華 李軍利 李四維? 于斌?

1) (深圳大學(xué)物理與光電工程學(xué)院,深圳市光子學(xué)與生物光子學(xué)重點(diǎn)實(shí)驗(yàn)室,光電子器件與系統(tǒng)教育部/廣東省重點(diǎn)實(shí)驗(yàn)室,深圳 518060)

2) (珠海城市職業(yè)技術(shù)學(xué)院,珠海 519000)

3) (馬來西亞敦胡先翁大學(xué),柔佛州巴株巴轄 83000)

像素編碼曝光成像技術(shù)是一種先進(jìn)的高速成像技術(shù),其利用數(shù)字微鏡器件(digital micromirror device,DMD)對相機(jī)每個(gè)像素的曝光進(jìn)行編碼,將多幀圖像信息融入到單幀編碼圖像中,然后再利用解碼算法進(jìn)行圖像重構(gòu),將低幀頻相機(jī)的圖像采集速率提升數(shù)倍,實(shí)現(xiàn)低幀頻相機(jī)的高速成像.在該技術(shù)中,DMD 的像素與相機(jī)像素之間的精確匹配是實(shí)現(xiàn)編碼曝光成像的前提,因此,相關(guān)研究人員主要關(guān)注于如何實(shí)現(xiàn)像素的精確匹配.然而,兩者之間中繼成像系統(tǒng)的分辨率作為編碼曝光成像的另一重要影響因素,卻鮮有人研究和分析.為此,本文從理論上分析了中繼成像系統(tǒng)的分辨率對解碼圖像重建效果的影響,并結(jié)合模擬和實(shí)際成像實(shí)驗(yàn)對理論分析進(jìn)行驗(yàn)證.在此基礎(chǔ)上,搭建了像素編碼曝光成像系統(tǒng),提出了一種基于條紋相位的成像系統(tǒng)點(diǎn)擴(kuò)散函數(shù)估計(jì)方法,并將Richard-Lucy 反卷積算法引入到編碼圖像的重構(gòu)過程中,有效改善編碼曝光成像的質(zhì)量,對于像素編碼曝光成像技術(shù)的發(fā)展具有重要的意義.

1 引言

高速成像技術(shù)是研究瞬態(tài)變化現(xiàn)象的一種必不可少的工具,被廣泛應(yīng)用于工業(yè)、醫(yī)療和軍事等重要領(lǐng)域[1?4].CCD 或CMOS,作為最為常用的成像探測器,具有體積小、圖像質(zhì)量高、成本低等優(yōu)點(diǎn),在光學(xué)成像技術(shù)中起著重要作用.但是,受到傳感器陣列讀出和存儲數(shù)據(jù)時(shí)間的限制,傳統(tǒng)CCD 或CMOS 的圖像采集幀率通常為30 Hz,難以捕捉高速變化的動(dòng)態(tài)物體場景[5?7],然而現(xiàn)有的高速探測器不僅價(jià)格昂貴,并且體積較大,難以得到廣泛的產(chǎn)業(yè)化應(yīng)用.為了解決上述問題,多種基于像素編碼曝光技術(shù)的高速成像方法被提出[8?13],在2009 年,Bub 等[8]將像素編碼曝光技術(shù)引入到生命科學(xué)領(lǐng)域,提出了一種時(shí)間像素復(fù)用(temporal pixel multiplexing,TPM)的成像方法,將原有的低幀率探測器的數(shù)據(jù)采集效率提升了25 倍,實(shí)現(xiàn)了心臟細(xì)胞的鈣瞬變觀測.同年,Ri 等[9]提出了一種單次曝光三維測量方法,該方法通過像素編碼曝光技術(shù)將包含被測物體輪廓信息的四張相移條紋圖像記錄在單幀編碼圖像中,從而可以僅使用一次相機(jī)曝光和后期處理來計(jì)算出物體的三維信息,實(shí)現(xiàn)動(dòng)態(tài)物體的實(shí)時(shí)三維測量.在2013 年,Liu[10]將像素編碼曝光和壓縮感知算法相結(jié)合,并通過視頻學(xué)習(xí)的方法建立冗余的算法字典,可以有效地從編碼圖像中重建出高分辨率的動(dòng)態(tài)物體圖像信息,有效改善像素編碼曝光成像分辨率與成像速度此消彼長的問題.2016 年,Feng 等[11]對像素編碼曝光成像技術(shù)進(jìn)行了系統(tǒng)的理論分析,并設(shè)計(jì)了三元素中值排序算法以實(shí)現(xiàn)對曝光元素的排序和組合,最后依據(jù)時(shí)間序列從編碼圖像中提取多幅高分辨率的子幀,大大地提高了成像系統(tǒng)的時(shí)間分辨率.2018 年,Khan 等[12]基于頻域時(shí)分復(fù)用理論,通過像素編碼曝光技術(shù)將不同時(shí)刻的圖像信息放置在編碼圖像傅里葉域的相互不重疊區(qū)域,然后再通過數(shù)字濾波將多幀圖像信息提取出來,實(shí)現(xiàn)高速成像.2021 年,Niu 等[13]在 Khan 工作基礎(chǔ)上提出了一種高速高動(dòng)態(tài)的成像方法,該方法基于頻域時(shí)分復(fù)用技術(shù)將不同曝光值的圖像編碼在單幀圖像中,然后通過圖像提取和融合來重構(gòu)出一張高分辨、高動(dòng)態(tài)的圖像,相比于傳統(tǒng)高動(dòng)態(tài)成像技術(shù)具有更高的時(shí)間分辨率.

綜上所述,像素編碼曝光成像技術(shù)可以按照一定規(guī)律對相機(jī)上每個(gè)像素的曝光進(jìn)行調(diào)制,從而將多幀圖像信息記錄在單幀編碼圖像中,然后再利用后期處理算法對多幀圖像信息進(jìn)行重構(gòu),最終實(shí)現(xiàn)低幀率相機(jī)的高速成像[14?20].其中,數(shù)字微鏡器件(digital micromirror device,DMD)與CCD 像素的匹配與校準(zhǔn)是實(shí)現(xiàn)高精度圖像調(diào)制編碼的前提.因此,一些研究人員[21,22]開展了微鏡與像素的匹配方法研究工作,實(shí)現(xiàn)高精度的像素匹配.值得一提的是,像素編碼曝光的成像效果不僅受到像素匹配的影響,在DMD 與CCD 之間的中繼透鏡的分辨率同樣是一個(gè)重要的影響因素,即使像素完全配準(zhǔn),中繼透鏡較低的分辨率依舊會(huì)使不同圖像在編碼過程中產(chǎn)生串?dāng)_,造成最終重構(gòu)圖像的模糊.為了解決這一問題,本文通過理論、模擬以及實(shí)際成像實(shí)驗(yàn)來系統(tǒng)地分析中繼透鏡的分辨率對像素編碼曝光成像結(jié)果的影響.在此基礎(chǔ)上,本文針對像素編碼曝光成像技術(shù)提出了一種基于光柵條紋相位的中繼透鏡點(diǎn)擴(kuò)散函數(shù)的測量方法,并利用Richard-Lucy 反卷積算法對編碼圖像進(jìn)行反卷積處理,有效改善低分辨率中繼透鏡條件下的像素編碼曝光成像結(jié)果.

2 像素編碼曝光成像技術(shù)的基本原理

2.1 光路設(shè)計(jì)及成像原理

根據(jù)像素編碼曝光成像技術(shù),本文設(shè)計(jì)并搭建了一套像素編碼曝光成像系統(tǒng),光路如圖1(a)和圖1(b)所示,首先被測物體表面受到數(shù)字光處理(digital light processing,DLP)投影儀照射下產(chǎn)生漫反射,反射的信號光經(jīng)透鏡(組合鏡頭,Sunvision F 25 mm、慕藤光MT1.0-110-HR)和全內(nèi)反射(total internal reflection,TIR)棱鏡后聚焦到DMD(德州儀器DLP 4500,微鏡尺寸7.56 μm)面板上,接著“on”狀態(tài)的微反射鏡會(huì)將信號光反射進(jìn)后續(xù)的中繼透鏡 (慕藤光MZ7.0 X,放大倍率為0.7×至4.5×)中,而“off”狀態(tài)的則會(huì)將多余的信號光反射出系統(tǒng).最終調(diào)制后的信號光經(jīng)中繼透鏡聚焦在CCD (映美精DMK 33 UX287,像素尺寸6.9 μm)上并被記錄.為了精確控制CCD 上每個(gè)像素的曝光起始和持續(xù)時(shí)間,需要將DMD 的每個(gè)微反射鏡與CCD 的像素進(jìn)行精確匹配,如圖1(c)所示,從而可以通過改變每個(gè)微反射鏡“on”和“off”狀態(tài)的持續(xù)時(shí)間來控制CCD每個(gè)像素曝光時(shí)間的長短.

圖1 (a) 像素編碼曝光成像光路設(shè)計(jì);(b) 實(shí)驗(yàn)裝置;(c) DMD 微反射鏡與CCD 像素對應(yīng)關(guān)系Fig.1.(a) Optical configuration design of pixel-wise coded exposure;(b) experimental device;(c) mapping relationship between DMD micro-mirrors and the CCD pixels.

基于上述系統(tǒng),利用數(shù)字采集卡(data acquisition,DAQ)對DMD 和CCD 進(jìn)行同步觸發(fā),通過切換DMD 載入的二值圖案來控制每個(gè)微反射鏡的開關(guān)狀態(tài),保證每一時(shí)刻僅特定位置的CCD 像素進(jìn)行曝光,從而將不同幀物體的圖像信息編碼到單幀的圖像中,如圖2(a)所示.實(shí)驗(yàn)將采用文獻(xiàn)[8]中的編碼方式,其中CCD 每次曝光的時(shí)間為T,DMD 編碼模板持續(xù)的時(shí)間為t,具體如圖2(b)所示,在相機(jī)每次長曝光時(shí)間內(nèi),對DMD進(jìn)行四次分時(shí)切換,將四幅圖像信息編碼到單幀圖像中.最終,根據(jù)編碼方式對圖像的像素值進(jìn)行提取,重構(gòu)出物體在t1—t4四個(gè)不同時(shí)刻的A,B,C,D 圖像信息.

圖2 (a) 單幀編碼圖像;(b) DMD 與CCD 之間的同步控制原理;(c) 不同時(shí)刻的重構(gòu)圖像信息Fig.2.(a) Single frame encoded image;(b) principle of synchronous control between DMD and CCD;(c) reconstructed image information at different times.

2.2 像素編碼曝光成像理論分析

根據(jù)像素編碼曝光成像的原理,物體經(jīng)透鏡成像在DMD 上時(shí),其光強(qiáng)信號分布為I0(x,y,N),經(jīng)模板S(x,y,N) 編碼后被中繼透鏡成像在CCD上,當(dāng)動(dòng)態(tài)物體經(jīng)連續(xù)編碼成像后,其編碼后的單幀圖像信息可以表示為

式中,k為編碼圖像個(gè)數(shù);?為卷積運(yùn)算;h為中繼透鏡的理論強(qiáng)度點(diǎn)擴(kuò)散函數(shù)(point s(pread func)tion,PSF),采用高斯函數(shù)近似,其標(biāo)準(zhǔn)差σ決定了中繼透鏡的分辨率.根據(jù)(1)式可以看出,隨著σ增加,圖像I的分辨率會(huì)逐漸下降,最終導(dǎo)致重構(gòu)圖像的信息錯(cuò)誤.為了驗(yàn)證這一點(diǎn),本文利用數(shù)值模擬來分析單個(gè)“on”狀態(tài)的DMD微鏡在CCD 上的像素值分布,結(jié)果如圖3 所示.假設(shè)CCD 的像素尺寸為6.9 μm,與實(shí)驗(yàn)使用的相機(jī)參數(shù)一致;當(dāng)PSF 的σ=2.1 μm,約0.3 CCD pixelsize,微鏡反射的信號光全部聚焦在對應(yīng)的CCD 像素上,沒有對相鄰的CCD像素產(chǎn)生影響,如圖3(a)所示.隨著中繼透鏡分辨率的降低,σ會(huì)隨之增大,從而造成CCD 上的聚焦光斑尺寸變大,最終對特定像素周邊的灰度值產(chǎn)生影響,如圖3(b)和圖3(c)所示.從圖3(b)和圖3(c)可以看出,當(dāng)中繼透鏡分辨率較低時(shí),不同的圖像信息S(x,y,N)·E(x,y,N)會(huì)在CCD 的像素之間產(chǎn)生串?dāng)_,造成重構(gòu)圖像錯(cuò)誤.為了改善這一問題,利用Richard-Lucy 反卷積算法對圖像I進(jìn)行反卷積處理后再進(jìn)行圖像重構(gòu),可以有效減少多幀圖像在編碼過程中的串?dāng)_,提高成像效果.

圖3 (a) σ=0.3 pixelsize 時(shí)的成像效果;(b) σ=0.6 pixelsize 時(shí)的成像效果;(c) σ=0.9 pixelsize 時(shí)的成像效果Fig.3.(a) Imaging effect of image I when σ=0.3 pixelsize;(b) imaging effect of image I when σ=0.6 pixelsize;(c) imaging effect of image Iwhen σ=0.9 pixelsize.

2.3 中繼透鏡的點(diǎn)擴(kuò)散函數(shù)確定

在實(shí)際應(yīng)用中,中繼透鏡的分辨率與理論數(shù)值存在一定差異,為了準(zhǔn)確地測量中繼透鏡的實(shí)際PSF,傳統(tǒng)方法主要利用透鏡對尺寸小于分辨率的點(diǎn)狀物體或圖案進(jìn)行成像,在相機(jī)探測面上形成獨(dú)立分布的圓形光斑,然后利用二維高斯函數(shù)對光斑進(jìn)行曲面擬合來獲得標(biāo)準(zhǔn)差σ,最終利用σ計(jì)算出高斯函數(shù)的半高寬,即透鏡的分辨率.該方法雖然原理簡單,但是存在樣品制備成本高的問題.為此,本文提出了一種基于光柵條紋相位的PSF 測量方法,該方法不需要額外特制的成像樣品,具有更強(qiáng)的適用性,其工作原理如下,首先,利用投影儀向白色參考平面投射四幅相移 π/2 的正弦光柵條紋圖案,其分布用公式表示:

式中,I′(x,y) 和I′′(x,y) 分別代表平均背景亮度和調(diào)制幅度;φ(x,y) 是期望獲取的相位值.

將四幅條紋圖像編碼到單幀圖像中(圖4(a))并與數(shù)值模擬產(chǎn)生的PSF 圖像(圖4(b))進(jìn)行反卷積處理.最終,從編碼圖像中重構(gòu)出四幅條紋圖案(圖4(c))并用

計(jì)算折疊相位圖像(圖4(d)),其在某個(gè)周期內(nèi)的相位變化如圖4(e)所示.

圖4 (a) 單幀條紋編碼圖像;(b) 數(shù)值模擬產(chǎn)生的PSF;(c) 重構(gòu)的條紋圖像信息;(d) 計(jì)算獲得的相位圖;(e) 圖(d)中黃線虛線處的切面相位值Fig.4.(a) Single frame fringe encoded image;(b) numerical simulation of PSF;(c) reconstructed fringe image information;(d) calculated phase diagram;(e) section phase value at dotted line of yellow line in Figure (d).

可以看出,當(dāng)模擬PSF 的σ與真實(shí)值差距較大時(shí),相位切面的線性度較差,隨著σ不斷接近真實(shí)值,曲線的線性度越來越好,因此,本文利用Levenberg-Marquarelt 算法來獲取線性度最佳時(shí)對應(yīng)σ,從而精確地獲取中繼透鏡的PSF.

3 模擬與實(shí)驗(yàn)

3.1 數(shù)值模擬與結(jié)果分析

為了進(jìn)一步驗(yàn)證中繼透鏡分辨率對編碼圖像信息準(zhǔn)確性的影響,本文根據(jù)圖1 的系統(tǒng)光路進(jìn)行成像模擬,其中CCD 像素尺寸設(shè)為6.9 μm.首先,實(shí)驗(yàn)生成四張模擬圖像A,B,C,D,尺寸為300 pixel × 300 pixel,接著將四張圖像分別乘以編碼模板并與不同σ的PSF 進(jìn)行卷積處理,最后將編碼卷積后的圖像的像素值進(jìn)行直接疊加,獲得最終的單幀編碼圖像,過程如圖5 所示.

圖5 單幀編碼圖像Fig.5.Single frame encoded image.

接著,對不同σ值的編碼圖像進(jìn)行對比,如圖6(a)—(c)所示.通過局部放大的圖像信息可以看出,當(dāng)PSF 的σ為0.3 CCD pixelsize 時(shí),如圖6(a)所示,像素之間的邊界非常明顯.但是隨著σ的增加,區(qū)域圖像變得更為模糊,這說明原始的多幀圖像信息在編碼中產(chǎn)生了干擾,如圖6(b)和圖6(c)所示.如果直接對編碼圖像中A 對應(yīng)像素位置的像素值進(jìn)行提取,則重構(gòu)圖像A 中將包含大量多余的信息,如圖6(f)和圖6(g)所示.可以發(fā)現(xiàn),重構(gòu)圖像A 中包含了BCD 的部分信息,造成圖像A 的失真.為了改善這一問題,對編碼圖像6(a)—(c)進(jìn)行反卷積處理并再次對像素值進(jìn)行提取.通過比較圖6(i)與圖6(f)可以看出,反卷積算法的引入能夠有效減少編碼圖像中像素之間的信息串?dāng)_,將重構(gòu)圖像中多余信息很好的濾除.最后,通過對兩組重構(gòu)圖像的峰值信噪比(peak signal to noise ratio,PSNR)進(jìn)行計(jì)算和分析,可以發(fā)現(xiàn),中繼透鏡分辨率的高低直接決定了重構(gòu)圖像質(zhì)量的好壞,并且Richard-Lucy 反卷積算法的引入能夠在一定程度上提升圖像最終的重構(gòu)質(zhì)量.

圖6 (a)—(c) 不同 σ 值的編碼圖像;(e)—(g) 對編碼圖像直接提取得到的重構(gòu)圖像;(h)—(k)對編碼圖像反卷積處理后的重構(gòu)圖像Fig.6.(a)–(c) Coded images of different σ ;(e)–(g) the reconstructed image obtained by directly extracting the coded image;(h)–(k) the reconstructed image after deconvolution of the coded image.

3.2 實(shí)際成像實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證真實(shí)工作狀態(tài)下中繼透鏡分辨率對像素編碼曝光成像的影響,本文使用兩款不同分辨率的中繼透鏡(慕藤光MZ7.0X 和陜西維視ZML6.4X),利用自主搭建的編碼曝光成像系統(tǒng)進(jìn)行實(shí)際成像實(shí)驗(yàn).開展成像實(shí)驗(yàn)之前,為了獲取中繼透鏡的真實(shí)PSF 標(biāo)準(zhǔn)差,實(shí)驗(yàn)將基于2.3 節(jié)的方法進(jìn)行,首先通過投影條紋圖案并相機(jī)同步采集來獲取編碼后的圖像,如圖7(a)所示.接著,對編碼圖像進(jìn)行反卷積處理并重構(gòu)出四幅不同的條紋圖像.然后,通過判斷某個(gè)周期內(nèi)相位變化的線性度來確定PSF 標(biāo)準(zhǔn)差的準(zhǔn)確性,如圖7(d)所示,其為圖7(c)中黃線位置的切面相位值的線性擬合結(jié)果.最終,通過使用Levenberg-Marquarelt 算法進(jìn)行8 次迭代計(jì)算,獲得中繼透鏡PSF 的標(biāo)準(zhǔn)差σ.經(jīng)計(jì)算,慕藤光MZ7.0X 和陜西維視ZML6.4X的σ分別約為2.7 μm 和4.1 μm,即實(shí)際分辨率分別為6.4 μm 和9.7 μm.

圖7 (a) 編碼圖像;(b) 重構(gòu)的條紋圖像信息;(c) 相位圖;(d) 圖(c)中黃線位置的切面相位值的線性擬合結(jié)果Fig.7.(a) Coded images;(b) reconstructed fringe image information;(c) phase diagram;(d) linear fitting results of phase values of the yellow line position in Figure (c).

為了進(jìn)一步驗(yàn)證中繼透鏡的分辨率對像素編碼曝光成像的影響,使用石膏雕像作為被測樣品,通過搭建系統(tǒng)對樣品在四個(gè)不同的位姿進(jìn)行成像并編碼在一張圖像中,如圖8(a)和圖8(c)所示.接著,分別對編碼圖像中的像素值進(jìn)行提取排布,獲得兩組清晰的重構(gòu)石膏圖像,如圖8(a1)—(a4)與圖8(c1)—(c4)所示.從圖8(a1)—(a4)與 圖8(c1)—(c4)可以看出,在兩種分辨率條件下重構(gòu)的石雕表面均存在重影,原本清晰的頭發(fā)細(xì)節(jié)變得模糊難以分辨,特別是一些黑色背景區(qū)域出現(xiàn)了多余的石雕信息.接著,利用Richard-Lucy 反卷積算法將原圖8(a)和圖8(c)分別與計(jì)算得到的PSF 圖像進(jìn)行反卷積處理并進(jìn)行圖像重構(gòu).通過上下兩行圖片的對比,可以看出經(jīng)反卷積處理后重構(gòu)圖像的PSNR 得到大幅提升,黑色的背景區(qū)域沒有出現(xiàn)多余的圖像信息.最后,通過對不同分辨率條件下的重構(gòu)圖像質(zhì)量進(jìn)行對比分析,可以看出高分辨率相比低分辨率而言能夠獲得更高質(zhì)量的重構(gòu)圖像,減少圖像之間的信息串?dāng)_,實(shí)驗(yàn)結(jié)果與3.1 節(jié)數(shù)值模擬結(jié)果一致.因此,PSF 在像素編碼曝光成像中是一個(gè)非常關(guān)鍵的影響因素,低分辨率中繼透鏡的應(yīng)用會(huì)降低最終重構(gòu)圖像的準(zhǔn)確性.

圖8 (a) 低分辨率條件下的編碼圖像及重構(gòu)結(jié)果;(b) 編碼圖象(a)經(jīng)反卷積處理及重構(gòu)的結(jié)果;(c) 高分辨率條件下的編碼圖像及重構(gòu)結(jié)果;(d) 編碼圖象(c)經(jīng)反卷積處理及重構(gòu)的結(jié)果Fig.8.(a) Coded images and reconstruction results at low resolution;(b) results of deconvolution and reconstruction of coded image (a);(c) coded images and reconstruction results at high resolution;(d) results of deconvolution and reconstruction of coded image (c).

4 總結(jié)

本文理論分析了中繼透鏡的分辨率對像素編碼曝光成像結(jié)果的影響.在此基礎(chǔ)上,通過模擬實(shí)驗(yàn)驗(yàn)證了點(diǎn)擴(kuò)散函數(shù)的尺寸與編碼圖像重構(gòu)質(zhì)量的關(guān)系.另外,本文引入了Richard-Lucy 反卷積算法,通過將編碼圖像與中繼透鏡的點(diǎn)擴(kuò)散函數(shù)進(jìn)行反卷積,有效地改善中繼透鏡分辨率不足造成的影響.在此基礎(chǔ)上,本文自主搭建了一套像素編碼曝光成像系統(tǒng),通過實(shí)驗(yàn)驗(yàn)證了中繼成像透鏡的點(diǎn)擴(kuò)散函數(shù)對成像結(jié)果的影響.通過本文的工作,不僅可以幫助研究人員更好地開展高速成像技術(shù)的相關(guān)研究工作,并且能夠有效地改善曝光編碼成像的圖像質(zhì)量,具有重要的意義.