楊敬鈺，徐 吉，李 坤，胡浩豐，郭 鑫

(1.天津大學(xué)電氣自動化與信息工程學(xué)院，天津 300072；2.天津大學(xué)智能與計算學(xué)部，天津 300350；3.天津大學(xué)精密儀器與光電子工程學(xué)院，天津 300072)

偏振圖像與普通彩色圖像相比，可以獲取場景中目標(biāo)物體光波的不同偏振態(tài)，含有更豐富的信息，可以用于金屬材質(zhì)的強反射自由曲面的測量、軍事上的目標(biāo)識別與目標(biāo)探測、導(dǎo)航定位、大氣及云層探測以及環(huán)境惡劣條件下如低照度或霧霾天氣下的圖像增強等.且由線偏振片與傳統(tǒng)彩色相機構(gòu)成的偏振成像系統(tǒng)并不會影響對場景顏色的采集，偏振信息可以很好地用于圖像處理領(lǐng)域.

利用光波中攜帶的偏振信息可以有效增強圖像場景信息，得到更多的場景細(xì)節(jié)信息，因此近年來偏振成像受到廣泛關(guān)注[1-2].傳統(tǒng)的偏振捕捉系統(tǒng)由單目彩色相機前放置可旋轉(zhuǎn)的偏振片，通過手動旋轉(zhuǎn)偏振片來獲取場景的不同偏振態(tài)[3]，該方法每次采集場景時都要手動調(diào)整偏振片的位置，容易造成鏡頭抖動，并且人工旋轉(zhuǎn)偏振片不僅拍攝不便，其偏振角度的精度也不可控，同時這種采集方法只適合采集靜態(tài)場景.Hu等[4]利用單目相機、線性偏振器及四分之一波片搭建偏振圖像采集系統(tǒng)，實現(xiàn)水下渾濁條件下的圖像復(fù)原.但是他們的系統(tǒng)需要主動光照明，且對拍攝條件有很高要求，在實際中很難應(yīng)用.Zhang等[5]設(shè)計制作了偏振片陣列，每 2×2單元的偏振方向設(shè)置為 0°、45°、90°、135°，將其與相機的 CCD 集成在一起，通過采集單張圖像可以記錄場景的不同偏振態(tài)，滿足了實時性要求，但該制作工藝十分復(fù)雜，且精度不能保證.而集成好的商用偏振相機，價格高昂.

本文提出了一種簡易廉價的偏振成像系統(tǒng)，該系統(tǒng)由4個普通彩色相機組成，通過同步線控裝置可以同時捕捉4個偏振態(tài)下的場景圖片，達到對系統(tǒng)實時性的要求，且鏡頭、偏振片固定，可以保證系統(tǒng)的穩(wěn)定性.由于光線經(jīng)過透鏡時會發(fā)生折射，且不同偏振片角度對光線的折射能力不同，同一束光線通過不同的角度的偏振片會落在不同的像素，因此傳統(tǒng)的多視角幾何校正方法[6-7]并不適用于本系統(tǒng)的四視角對齊.本文采用多分辨率變分光流方法，利用梯度恒常模型對光照不敏感的特性，在光流數(shù)據(jù)項引入梯度，由光流結(jié)果對齊四視角圖像.利用光的斯托克斯矢量從偏振相機系統(tǒng)中捕獲的圖像中提取偏振信息，該信息可用于圖像增強.為了測量系統(tǒng)的性能，本文使用提出的偏振系統(tǒng)采集光線暗淡條件下的場景圖像，結(jié)合暗通道方法和偏振模型恢復(fù)低照度圖像，在捕獲的圖像極暗處，偏振信息依然可以恢復(fù)圖像細(xì)節(jié)，與直接由彩色相機系統(tǒng)捕捉的圖像的恢復(fù)結(jié)果相比，取得了更好的恢復(fù)效果.

1 偏振相機系統(tǒng)

1.1 系統(tǒng)搭建

為了能夠同時采集場景的不同偏振態(tài)，選擇搭建由 2×2相機陣列組成的四目偏振相機系統(tǒng)，如圖1(a)所示，4個相機由特質(zhì)金屬架固定在同一個平面，為了保證 4個相機的光學(xué)結(jié)構(gòu)一致，使用相同型號的相機，并調(diào)整相機參數(shù)如曝光度、對比度、焦距等，以保證捕捉到的 4幅圖像沒有明顯的差異性.圖1(b)為本系統(tǒng)使用的偏振片，其可以固定在相機的鏡頭前，既保證了系統(tǒng)的穩(wěn)定性，也杜絕了由偏振片本身反光引起的場景誤差.設(shè)置 4個相機的偏振方向分別為 0°、45°、90°、135°.為了相機之間能有較大的重合視角，設(shè)置相機之間的基線距離為 35mm.捕捉時采用電腦遠(yuǎn)程控制，以減少由于手動引起的誤差.

圖1 偏振相機系統(tǒng)Fig.1 Polarization camera system

1.2 視角對齊

幾何校正是多視角相機常用的對齊方法，其根據(jù)拍攝時采集的標(biāo)定板數(shù)據(jù)，獲得相機參數(shù)，經(jīng)過矩陣變換來實現(xiàn)多視角圖像的對齊.但是對于帶有偏振片的相機來說，光線進入相機前會在偏振片處發(fā)生折射，不同的偏振片角度對光的折射效果不同.因此，對同一個相機采集不同的偏振片角度圖像，其像素也不是準(zhǔn)確對齊的.為了顯示得更明顯，近距離拍攝小物體，其結(jié)果如圖 2所示.橫線為第 66行，縱線為344列，由圖2可以看出在不同偏振角下即使是同一個相機拍出的場景也有很大偏移.且相機校準(zhǔn)還存在算法本身的誤差，由此產(chǎn)生的結(jié)果其精度并不能達到系統(tǒng)要求.

圖2 同一相機不同視角的偏振圖像Fig.2 Polarization images of the same camera from different perspectives

光流的概念最初是由 Gibson于 1950年首先提出來的.主要用于描述相鄰幀之間像素的“移動”，也稱為光流場，其反映了圖像上每個像素點灰度的變化趨勢.光流算法根據(jù)約束條件的不同分為 4類：基于梯度的光流計算方法[8-9]、基于特征或區(qū)域的光流計算方法[10]、基于能量的光流計算方法[11]以及基于相位光流計算方法[12].本文采用多分辨率變分光流算法進行求解.

假設(shè)相鄰兩幀之間像素位移很小，且對應(yīng)的像素點的灰度值保持恒定.設(shè)t時刻的光流圖像為I(x，y，t)，經(jīng)過時間間隔 dt，像素點(x，y)移動到(x+dx，y+dy)處，由灰度不變假設(shè)，有

根據(jù)泰勒展開，式(1)可以寫為

由式(1)、式(2)可以得到

對式(3)兩邊同時除以t?，并使t?→0，得

式中u和v表示圖像點的運動速度.

如果僅僅依靠灰度不變假設(shè)去求解光流，亮度發(fā)生的輕微變化也會對光流估計的結(jié)果造成一定的影響，為了增強其對于亮度變化的魯棒性，引入梯度恒常假設(shè)，其松弛了比較強的灰度不變假設(shè)，允許在灰度上出現(xiàn)比較小的變化，表達式為

式中 ? =(?x,?v)T，表示對x、y的偏導(dǎo)數(shù).

Brox光流能量函數(shù)的數(shù)據(jù)項就是由這兩部分組成，可表示為

式中w=(u,v,1)T；γ代表權(quán)重值.

前面兩項的假設(shè)都是在局部估計像素的運動，而忽略了相鄰像素之間的相互作用.所以，一旦梯度在某處消失，或者只能估計到梯度在法線方向上的流動，就會造成問題，所以這里引入平滑性去約束這個問題.平滑項可以表示成一個能量函數(shù)

式中 ?3=(?x,?v,?z)T.

總的能量函數(shù)就可以表示成數(shù)據(jù)項、平滑項的加權(quán)和形式為

最小化E(u,v)是一個變分分問題，根據(jù)變分理論，需要去求解歐拉-拉格朗日方程.為了找到全局最小值，Brox算法用到了多尺度的思想，構(gòu)建了尺度金字塔，用在較大尺度上求出的解來做小尺度上的初始化，來達到解從粗糙到精細(xì)的過程.

綜上，本文采用多分辨率變分光流方法，利用梯度恒常模型對光照不敏感的特性，在光流數(shù)據(jù)項引入梯度，從而將其他三視角的圖片與基準(zhǔn)視角圖片對齊，得到同一視角的4張不同偏振方向的圖像.

2 實驗結(jié)果與分析

光流結(jié)果如圖 3所示.圖 3(a)為相機的視角1(左上角)的偏振圖像，圖 3(b)～(d)分別為其他 3個視角的光流warp結(jié)果，圖3(e)、(f)分別為圖3(b)向圖 3(a)對齊后的 UV分量的結(jié)果.由圖 3可以觀察到光流方法可以較準(zhǔn)確地對齊4個視角的圖像，且前景細(xì)節(jié)處理較好.4幅偏振圖像保存了場景的不同偏振態(tài)信息，可以看到4幅圖像中有由偏振片角度不同引起的光線變化.本系統(tǒng)將相機固定在特制的相機架子上，且偏振片可固定在鏡頭前部，因此系統(tǒng)的穩(wěn)定性很好，不會產(chǎn)生由于人的操作造成鏡頭抖動或引起偏振片角度改變等誤差.降低拍攝成本的同時可以保證精確度.相機可以通過線控同步采集室內(nèi)、室外的場景，對一些要求同步的采集如視頻采集等可以提供支持.

圖3 光流及warp結(jié)果圖像Fig.3 Optical flow and warp result image

3 系統(tǒng)應(yīng)用

3.1 低照度下圖像復(fù)原

為了驗證本文系統(tǒng)的有效性，本文使用提出的偏振相機系統(tǒng)采集了弱光照條件下的4幅偏振圖像，利用光流方法對齊四視角圖像，并求解 stokes矢量，利用偏振信息結(jié)合暗通道先驗[13-14]去霧算法，實現(xiàn)對低照度圖像的增強.圖4是整個算法的流程.

Stokes計算式為

取圓偏光V＝0，結(jié)合 Zhang等[15]偏振信息的提取方法與 Dong等[16]提出的反轉(zhuǎn)后的夜間弱光條件下拍攝的圖像，其結(jié)果與白天有霧條件下拍攝的圖像非常相似.對圖像做如下處理.

將得到的低照度圖像反轉(zhuǎn).

式中L表示處理后的低照度圖像，c∈{R，B，G}.

根據(jù)暗通道規(guī)律，無霧的自然圖像的非天空區(qū)域，像素的某一個顏色通道總會有很低的值，即圖像的暗通道圖是像素值接近 0的圖像.由此，可得到投射率公式為

式中：Ω(x)為像素y的鄰域；A為大氣光.實驗結(jié)果如圖5所示，圖5(b)展示了偏振的透射率圖像.

3.2 結(jié)果分析

如圖 5(a)所示，傳統(tǒng)的相機系統(tǒng)在夜間光照較低時，捕捉的圖像質(zhì)量較低，大部分圖像細(xì)節(jié)難以辨識.偏振圖像攜帶了場景除光強外其他的光線信息，有利于恢復(fù)圖像的對比度及局部細(xì)節(jié).圖 5(c)為本文提出的系統(tǒng)恢復(fù)的結(jié)果，圖 5(d)為彩色圖像恢復(fù)的結(jié)果.由圖 5可以看到，直接由彩色圖像恢復(fù)的結(jié)果，顏色失真嚴(yán)重，如窗簾處整體偏暗.而偏振圖可以很好地恢復(fù)窗簾的顏色.

此外，圖 5中左右兩側(cè)的椅子由于顏色較暗，與背景顏色相近，很難區(qū)分.圖 5(e)、(f)(圖 5(c)、(d)的白色框放大圖像)分別展示了偏振圖像與彩色圖像中使用暗通道先驗方法，左側(cè)椅子的恢復(fù)情況.可以看出，圖 5(f)彩色圖像無法恢復(fù)椅子，而偏振圖像根據(jù)光的信息可以恢復(fù)該細(xì)節(jié).

圖5 室內(nèi)低照度下圖像恢復(fù)結(jié)果Fig.5 Result of image restoration under indoor low illumination

為了驗證實驗方法的有效性，采集了室外數(shù)據(jù)，如圖 6所示.由偏振的恢復(fù)結(jié)果圖 6(c)可以觀察到背景處的車輪廓，且圖像噪聲較小.

對比度是指投影圖像最亮和最暗之間的區(qū)域之間的比率，一般來說對比度越大，圖像越清晰醒目.實驗中取中心像素灰度值與周圍 8近鄰像素灰度值之差的平方之和，來計算對比度.實驗結(jié)果如表 1所示，本系統(tǒng)恢復(fù)的圖像對比度值更大，這與視覺效果相一致.

圖6 室外低照度下圖像恢復(fù)結(jié)果Fig.6 Result of image restoration under outdoor low illumination

表1 圖像對比度計算Tab.1 Computation of the image contrast

4 結(jié) 語

本文提出了一個 2×2的偏振相機系統(tǒng)，由相機固定架、彩色相機、可固定偏振片組成，該系統(tǒng)使用光流方法保證各偏振角圖像的同步對齊采集.利用斯托克斯矢量求解場景的偏振信息，可用于圖像增強.系統(tǒng)成本低，且方法簡單.由低照度下的圖像恢復(fù)實驗可以證明本文提出系統(tǒng)的有效性.