唐武盛，隋京高，張小亞，張圣輝，陳怡休，賈 輝，楊建坤

(國防科學(xué)技術(shù)大學(xué) 理學(xué)院，湖南 長沙 410073)

引言

隨著對光學(xué)成像要求的提高，拍攝時(shí)相機(jī)抖動(dòng)對成像質(zhì)量造成的影響必須得到有效克服，因此人們提出了穩(wěn)像的概念。流行當(dāng)前的穩(wěn)像技術(shù)大多是用電子和機(jī)械的方法實(shí)現(xiàn)的。美軍軍事研究實(shí)驗(yàn)室(ARL)研制的應(yīng)用在無人駕駛越野車上的穩(wěn)像系統(tǒng)，穩(wěn)像速度達(dá)到30幀/s，穩(wěn)像精度已優(yōu)于1個(gè)像元[1]。傳統(tǒng)電子和機(jī)械穩(wěn)像技術(shù)在處理速度上存在極限，同時(shí)也由于精度不高只能應(yīng)用在相機(jī)等普通器件上?；诠鈱W(xué)相關(guān)器的穩(wěn)像方法是綜合較早出現(xiàn)的光學(xué)相關(guān)運(yùn)算的概念[2]，用光學(xué)計(jì)算的方法實(shí)現(xiàn)穩(wěn)像，擺脫傳統(tǒng)電子與機(jī)械穩(wěn)像的性能瓶頸。在國外，K. Janschek等人于2007年提出了基于聯(lián)合變換相關(guān)器的適時(shí)運(yùn)動(dòng)補(bǔ)償(即穩(wěn)像)結(jié)構(gòu)，在SNR較低的條件下達(dá)到了2 000次/s的相關(guān)運(yùn)算速度(256像元×256像元)，其相關(guān)運(yùn)算輸出的RMS誤差達(dá)到0.05像元[3]。在國內(nèi)，中國科學(xué)院西安光學(xué)精密機(jī)械研究所于2010年提出了基于聯(lián)合變換相關(guān)器的光電數(shù)字混合穩(wěn)像系統(tǒng)的概念[4]，成為穩(wěn)像器的重要理論支撐。本文以光學(xué)聯(lián)合變換相關(guān)器為核心，充分發(fā)揮光學(xué)計(jì)算的速度優(yōu)勢，通過優(yōu)化相關(guān)峰提取方法和補(bǔ)償算法，大大減少了系統(tǒng)誤差，提高了穩(wěn)像器的測量精度，實(shí)現(xiàn)了高速視頻的實(shí)時(shí)、高精度穩(wěn)像。相較于前文提到的各種穩(wěn)像技術(shù)，該穩(wěn)像器能夠進(jìn)行實(shí)時(shí)處理，大大減小了亞像元誤差，并在實(shí)驗(yàn)室條件下實(shí)現(xiàn)了旋轉(zhuǎn)穩(wěn)像。

1 基于光學(xué)相關(guān)器的穩(wěn)像原理

基于光學(xué)相關(guān)器的穩(wěn)像系統(tǒng)基本原理：通過對高速視頻前后兩幀圖像進(jìn)行光學(xué)聯(lián)合相關(guān)變換(joint transform correlation，JTC)，產(chǎn)生相關(guān)峰，而相關(guān)峰位置信息反映了兩幀圖像的像移差，利用該像移差可進(jìn)行圖像的穩(wěn)像。

1.1 用于穩(wěn)像的光學(xué)相關(guān)器

光學(xué)穩(wěn)像器的核心是光學(xué)聯(lián)合變換相關(guān)器[5]，簡稱光學(xué)相關(guān)器，它可以通過高速視頻流前后兩幀的對比，探測出兩幀圖像的微小像移差。光學(xué)聯(lián)合變換器一般采用4-f系統(tǒng)，其原理如圖1所示。圖1中，P1、P2、P3分別是物平面、譜平面和像平面，它們和2個(gè)傅里葉透鏡L1、L2的距離均為焦距f。參考圖像和目標(biāo)圖像中心相距2b，經(jīng)過2個(gè)透鏡傅里葉變換后，相關(guān)峰距離4b。

圖1 聯(lián)合變換相關(guān)器原理Fig.1 Principle of joint transform correlation

為實(shí)現(xiàn)穩(wěn)像功能，對圖1光路進(jìn)行重新設(shè)計(jì)，達(dá)到進(jìn)一步縮小尺寸及小型化要求，采用如圖2(a)所示的折疊光路，實(shí)現(xiàn)相關(guān)處理。上述光路中，核心器件是基于反射式數(shù)字微鏡元件(digital mirror device，DMD)的空間光調(diào)制器(spatial light modulator，SLM)，速率可達(dá)10 000幀/s，能夠滿足實(shí)時(shí)性要求。DMD按時(shí)序控制依次顯示拼接視頻(連續(xù)兩幀分別作為參考圖像和目標(biāo)圖像)和頻譜圖，頻譜圖再次經(jīng)過傅里葉透鏡(L2)，得到相關(guān)峰圖像，由高速CCD(每秒千幀圖像探測)接收。用來加載圖像的激光由氦氖激光器提供，準(zhǔn)直擴(kuò)束系統(tǒng)(L1)和全內(nèi)反射棱鏡(TIR)是為了保證激光到DMD的入射角度而設(shè)計(jì)。圖2(a)中，光學(xué)相關(guān)器的3個(gè)主要部件DMD、傅里葉透鏡(L2)、CCD都被復(fù)用，系統(tǒng)大大縮小了穩(wěn)像器的體積，實(shí)物如圖2(b)。

圖2 光學(xué)穩(wěn)像器結(jié)構(gòu)示意圖Fig.2 Optical image stabilization layout

1.2 像移差的產(chǎn)生及補(bǔ)償

對平移穩(wěn)像來說[6]，取DMD中心為坐標(biāo)原點(diǎn)，以當(dāng)前幀f0(x,y)作為參考圖像，下一幀f1(x,y)作為對比圖像，橫向拼接后對稱地輸入DMD，輸入坐標(biāo)為(x0,0)和(-x0,0)，則當(dāng)前幀為f0(x+x0,y)。假設(shè)下一幀相對當(dāng)前幀有(Δx1,Δy1)的位移矢量，則表示為f1(x-x0-Δx1,y-Δy1)。輸入面就有以下形式:

f(x,y)=f0(x+x0,y)+f1(x-x0-Δx1,

y-Δy1)

(1)

該面經(jīng)過傅里葉透鏡，在CCD處得到f(x,y)的頻譜圖為

(2)

就旋轉(zhuǎn)穩(wěn)像來說，其核心仍舊是對參考幀和對比幀進(jìn)行光學(xué)聯(lián)合相關(guān)變換，只是在補(bǔ)償算法上，與平移穩(wěn)像有所不同。取當(dāng)前幀f0(x,y)作為參考圖像，下一幀f1(x,y)作為對比圖像。假設(shè)下一幀f1(x,y)是參考幀f0(x,y)逆時(shí)針旋轉(zhuǎn)Δθ1得到的圖像，則兩者之間在理論上滿足[5]：

f1(x,y)=f0(xcosΔ1+ysinΔθ1,-xsinΔθ1+

ycosΔθ1)

(3)

通過水平和垂直方向上的位移差得到旋轉(zhuǎn)角度Δθ1。同樣的方法依次得到每幀圖像之間的Δθk，補(bǔ)償之后完成旋轉(zhuǎn)穩(wěn)像。

1.3 穩(wěn)像原理

綜合上述過程，運(yùn)用光學(xué)穩(wěn)像器能夠探測出一系列像移差，在系統(tǒng)的一次曝光周期內(nèi)，根據(jù)這些像移差組成的累計(jì)運(yùn)動(dòng)矢量對每一幀都進(jìn)行運(yùn)動(dòng)補(bǔ)償，其技術(shù)原理如圖3所示。

圖3 光學(xué)穩(wěn)像器技術(shù)原理示意圖Fig.3 Principle diagram of optical image stabilization technology

連續(xù)2次傅里葉變換能夠得到相關(guān)峰位置變化信息，提取出像移差反饋給計(jì)算機(jī)，補(bǔ)償輸出穩(wěn)定視頻流。

2 穩(wěn)像實(shí)驗(yàn)

為提高穩(wěn)像精度，減小系統(tǒng)誤差和相關(guān)峰位置提取亞像元誤差，對相關(guān)峰位置提取算法和圖像補(bǔ)償算法進(jìn)行優(yōu)化，并利用光學(xué)計(jì)算的速度優(yōu)勢完成了旋轉(zhuǎn)穩(wěn)像的實(shí)驗(yàn)。

2.1 實(shí)驗(yàn)過程

按照光學(xué)穩(wěn)像器的原理要求，利用前端相機(jī)隨機(jī)采集了景物視頻流圖像，將其輸入計(jì)算機(jī)進(jìn)行預(yù)處理。采用Labview軟件將視頻第一幀與第二幀拼接后輸入DMD，如圖4(a)所示。輸入圖像經(jīng)過第一次傅里葉變換后，在CCD上得到兩幅圖像的聯(lián)合頻譜圖，再經(jīng)過第二次傅里葉變換，產(chǎn)生相關(guān)峰輸出，如圖4(b)所示。當(dāng)輸入的圖像穩(wěn)定時(shí)，相關(guān)峰的相對位置不變。某一時(shí)刻引入不規(guī)則抖動(dòng)時(shí)，圖像因?yàn)橄鄼C(jī)的平移產(chǎn)生像移。相關(guān)峰的位置隨之改變，與起始坐標(biāo)產(chǎn)生差值。采用軟件進(jìn)行實(shí)時(shí)補(bǔ)償，輸出處理后的穩(wěn)定圖像。

圖4 實(shí)驗(yàn)中計(jì)算機(jī)顯示內(nèi)容Fig.4 Image displaying on computer

實(shí)驗(yàn)中計(jì)算機(jī)實(shí)時(shí)顯示預(yù)處理后相鄰兩幀的拼接圖像(分辨率1 024像元×768像元)。每一次光學(xué)處理后，均會得到頻譜圖以及相關(guān)峰的坐標(biāo)信息。待穩(wěn)視頻和經(jīng)過光學(xué)穩(wěn)像器處理后的穩(wěn)定視頻同時(shí)顯示在屏幕上，可以動(dòng)態(tài)地觀察穩(wěn)像效果。如圖5所示，待穩(wěn)視頻中的某一幀圖像經(jīng)過光學(xué)穩(wěn)像器后得到穩(wěn)定圖像。

圖5 穩(wěn)像前后視頻圖像效果對比Fig.5 Before and after video image stabilization

2.2 相關(guān)峰位置提取及亞像元誤差分析

在穩(wěn)像過程中，穩(wěn)像器在補(bǔ)償一定數(shù)量的單幀圖像后，產(chǎn)生固定的補(bǔ)償誤差。為得到穩(wěn)像誤差，用一個(gè)特定目標(biāo)(本文采用黑色圓)的可控運(yùn)動(dòng)來模擬相機(jī)的運(yùn)動(dòng)。保持前后兩幅圖像在DMD上相對位置不變，使用2種不同口徑(25 mm和80 mm)傅立葉透鏡，得到的誤差波動(dòng)范圍分別約為0.2像元和0.1個(gè)像元。目標(biāo)圖像在DMD的不同位置對應(yīng)于目標(biāo)在進(jìn)行光學(xué)傅里葉變換時(shí)的不同入射角，經(jīng)光學(xué)穩(wěn)像器計(jì)算后，得到相關(guān)峰位置的波動(dòng)。然后，利用二次加權(quán)質(zhì)心提取算法[7]得到相關(guān)峰位置變化值。經(jīng)過分析，本系統(tǒng)主要誤差應(yīng)該是由傅里葉透鏡的像差以及算法累積誤差引起。如圖6(a)所示。為檢驗(yàn)亞像元提取誤差對結(jié)果的影響，實(shí)驗(yàn)中采用固定DMD中的一個(gè)目標(biāo)，另一個(gè)目標(biāo)每20幀移動(dòng)1個(gè)像元進(jìn)行勻速運(yùn)動(dòng)。處理后得到相關(guān)峰位置信息隨運(yùn)動(dòng)目標(biāo)圖像的變化關(guān)系，如圖6(b)所示的實(shí)線。利用最小二乘法的原理，用一條斜直線擬合，得到相關(guān)峰位置真值，如圖6(b)所示的虛線。

圖6 提取相關(guān)峰坐標(biāo)Fig.6 Extracting coordinates of correlation peak

對比發(fā)現(xiàn)，相關(guān)峰位置仿真實(shí)驗(yàn)值和真值之間存在明顯的亞像元誤差。通過對算法進(jìn)行優(yōu)化，采用多次加權(quán)平均方法，得到相關(guān)峰位置提取的最佳算法[7]。根據(jù)殘差理論[8]，在相關(guān)實(shí)驗(yàn)基礎(chǔ)上得到圖7所示的補(bǔ)償后的殘差圖，可看出這種補(bǔ)償方法可將亞像元誤差的殘差波動(dòng)范圍從約±0.1個(gè)像元補(bǔ)償?shù)郊s±0.04個(gè)像元，大大減小了亞像元誤差，有效提高了坐標(biāo)位置的提取精度。

圖7 殘差與質(zhì)心坐標(biāo)關(guān)系Fig.7 Relation between residual error and facula centroid coordinate

2.3 旋轉(zhuǎn)條件下的穩(wěn)像

在旋轉(zhuǎn)條件下，將視頻流相鄰兩幀拼接后輸入到DMD上，經(jīng)過光學(xué)相關(guān)器的計(jì)算，得到輸入圖像頻譜圖的相關(guān)峰圖像，如圖8所示。提取相關(guān)峰坐標(biāo)，可以計(jì)算出旋轉(zhuǎn)的角度為Δθ1。

圖8 目標(biāo)圖像旋轉(zhuǎn)前后相關(guān)峰圖像Fig.8 Images of correlation peak before and after rotation

將第二幀圖像逆時(shí)針旋轉(zhuǎn)Δθ1后輸出，兩幀圖像間沒有位矢差。對其余圖像依次進(jìn)行相同過程，得到穩(wěn)定的視頻流圖像，如圖9所示。

圖9 旋轉(zhuǎn)穩(wěn)像前后視頻圖像對比Fig.9 Before and after video image stabilization of rotation

兩幀的差異還體現(xiàn)在尺度上的變化[9]，由于光學(xué)相關(guān)處理能夠識別圖像很小的旋轉(zhuǎn)角，在這種條件下，可以認(rèn)為兩幀圖像在尺度上保持不變。構(gòu)建旋轉(zhuǎn)與平移關(guān)系的算法[10]，就能夠得到需要補(bǔ)償?shù)男D(zhuǎn)角。取實(shí)際拍攝景物進(jìn)行對比，得到光學(xué)穩(wěn)像器能夠進(jìn)行穩(wěn)像的最小旋轉(zhuǎn)角度低至0.1°。

3 結(jié)論

本文在闡明光學(xué)相關(guān)穩(wěn)像器原理的基礎(chǔ)上，設(shè)計(jì)方案進(jìn)行了實(shí)驗(yàn)，實(shí)現(xiàn)了光學(xué)穩(wěn)像器的功能。對于實(shí)驗(yàn)過程中出現(xiàn)的系統(tǒng)誤差和亞像元誤差，通過亞像元定位補(bǔ)償，使得實(shí)驗(yàn)誤差達(dá)到最小。在實(shí)驗(yàn)室條件下，實(shí)現(xiàn)了高速視頻的抖動(dòng)和旋轉(zhuǎn)穩(wěn)像。實(shí)驗(yàn)表明，穩(wěn)像器平移穩(wěn)像的精度可以達(dá)到±0.1個(gè)像元(改進(jìn)補(bǔ)償算法后可達(dá)±0.04個(gè)像元)，旋轉(zhuǎn)穩(wěn)像的精度可達(dá)0.1°。

在實(shí)驗(yàn)中，由于器件對圖像的要求較高，待穩(wěn)視頻在進(jìn)入光學(xué)系統(tǒng)前必須進(jìn)行預(yù)處理，降低了整個(gè)系統(tǒng)的處理速度；對DMD進(jìn)行復(fù)用時(shí)，時(shí)序控制尤其重要，偶爾會出現(xiàn)亂幀現(xiàn)象；對于稍大角度的旋轉(zhuǎn)，光學(xué)相關(guān)器就會誤認(rèn)為是相機(jī)的正常旋轉(zhuǎn)，不對圖像進(jìn)行穩(wěn)像，低于預(yù)期效果。通過算法改進(jìn)、視頻流控制，光路調(diào)整等措施，基于光學(xué)相關(guān)器的光學(xué)穩(wěn)像器會繼續(xù)向集成化，小型化發(fā)展，大大提高了實(shí)用性。

[1] Han Shaokun, Zhao Yuejin, Liu Mingqi, et al. Electronic image stabilization techniques and development[J]. Optical Technique, 2001,7(1):71-73.

韓紹坤,趙躍進(jìn),劉明奇,等. 電子穩(wěn)像技術(shù)及其發(fā)展[J]. 光學(xué)技術(shù),2001,7(1):71-73.

[2] Goodman J W. Introduction to Fourier optics[M]. New York: Mc-Graw-Hill,1968.

[3] Janschek K, Tchernykh V, Dyblenko S. Performance analysis of opto-mechatronic image stabilization for a compact space camera[J]. Control Engineering Practice, 2007, 15(3): 333-347.

[4] Yi Hongwei, Zhao Hui, Wen Desheng, et al. Static simulation experiment of image motion measurement based on optical joint transform correlator[J]. Acta Optica Sinica, 2010, 30(12):3471-3475.

易紅偉,趙惠,汶德勝,等. 聯(lián)合變換相關(guān)器像移測量靜態(tài)仿真實(shí)驗(yàn)分析[J]. 光學(xué)學(xué)報(bào), 2010, 30(12):3471-3475.

[5] Ma Jin, Tian Tao. Target tracking method based on joint transform correlation[J]. Journal of Applied Optics,2012,33(5):904-908.

馬進(jìn),田濤.基于聯(lián)合變換相關(guān)的目標(biāo)跟蹤方法[J].應(yīng)用光學(xué),2012,33(5): 904-908.

[6] Yi Hongwei, Zhao Hui, Li Yingcai, et al. Improved digital processing method used for image motion measurement based on hybrid opto-digital joint transform correlator[J]. Chinese Optics Letters, 2010, 8(10):989-992.

[7] Zhang Xiaoya, Sui Jinggao, Tang Wusheng, et al. Subpixel centroid error analysis and compensation for optical joint transform correlator[J]. Chinese Journal of Lasers, 2012, 39(s2): s209006.

張小亞,隋京高,唐武盛,等. 光學(xué)聯(lián)合變換相關(guān)器相關(guān)峰亞像素定位誤差的分析與補(bǔ)償[J]. 中國激光, 2012, 39(s2): s209006.

[8] Song Feijun,Jutamulia S.Modern optical information processing[M]. Beijing: Beijing University Press, 200,78-84.

宋菲君, S.Jutamulia.近代光學(xué)信息處理[M].北京：北京大學(xué)出版社，2001:78-84.

[9] Du Dengchong, Jiang Xiaoyu, Yao Jun. Electronic image stabilization algorithm for estimating rotation and translation simultaneously[J]. Computer Engineering and Application, 2010,46(4):233-235.

杜登崇,蔣曉瑜,姚軍.可同時(shí)估計(jì)旋轉(zhuǎn)和平移的電子穩(wěn)像方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2010,46(4):233-235.

[10] Mao Liangjin. Research and implementation of rotating electronic image stabilization technology[D]. Hangzhou: Zhejiang University, 2010.

毛良瑾. 旋轉(zhuǎn)電子穩(wěn)像技術(shù)的研究和實(shí)現(xiàn)[D]. 杭州: 浙江大學(xué)，2010.