徐 浩，譚一博，劉博文，王國宇

(中共海洋大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266100)

圖像去霧處理方法是當(dāng)前計(jì)算機(jī)視覺和圖像處理領(lǐng)域的研究熱點(diǎn)之一。散射介質(zhì)(包括霧天和水下)成像退化的原因來自介質(zhì)對(duì)光的吸收和散射效應(yīng)。相比于吸收效應(yīng)，影響成像質(zhì)量的主要因素是散射效應(yīng)，按照對(duì)成像的影響分為前向散射和后向散射。前向散射發(fā)生在目標(biāo)光在向傳感器傳輸?shù)倪^程中，即目標(biāo)點(diǎn)的成像光線由于前向散射而發(fā)生偏移，導(dǎo)致目標(biāo)點(diǎn)模糊，一般可以用成像系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)來描述；后向散射發(fā)生光源在照射目標(biāo)時(shí)，照明光在介質(zhì)中傳輸時(shí)產(chǎn)生的后向散射光被傳感器接收，形成一種“霧化”背景，降低了圖像對(duì)比度。在霧天和水下成像中，影響觀測的主要障礙是后向散射導(dǎo)致的圖像對(duì)比度下降。圖像去霧處理的目的就是消除后向散射從而提高圖像對(duì)比度并還原顏色信息。

目前已有大量關(guān)于圖像去霧處理方法的研究，包括基于非物理模型的圖像增強(qiáng)方法和基于物理模型的圖像復(fù)原方法以及基于深度學(xué)習(xí)的方法[1-3]。其中基于物理模型的圖像復(fù)原方法因其物理有效性已成為圖像去霧研究的熱點(diǎn)。此類方法是從散射介質(zhì)成像退化模型出發(fā)，根據(jù)觀測圖像估計(jì)模型中的相關(guān)參數(shù)，反演獲得無霧條件下的場景清晰圖像[4-11]。最常用的霧天圖像退化模型是Nayer和Narasimhan所提出的散射介質(zhì)成像模型(1)。

I(x)=Jt(x)+A(1-t(x))。

(1)

其中:I是觀察圖像強(qiáng)度；J是場景輻射強(qiáng)度；A是大氣光強(qiáng)度；t為透射率。上述模型中包含了RGB三個(gè)通道。

對(duì)于單幅圖像去霧問題，基于模型(1)的圖像復(fù)原本質(zhì)上是一個(gè)病態(tài)問題，所以需要先驗(yàn)信息或附加約束求解。其中比較有代表性的也是應(yīng)用最廣泛的就是基于暗通道先驗(yàn)(Dark Channel Prior,DCP)的去霧算法[10-11]。He等通過觀察大量無霧圖像得出統(tǒng)計(jì)規(guī)律，即圖像場景中大部分像素的RGB三個(gè)通道中存在一個(gè)暗通道，其亮度值等于或接近零，據(jù)此由散射成像模型估計(jì)出透射率圖，并使用軟摳圖(Soft Matting)算法對(duì)透射率進(jìn)行細(xì)化，從而恢復(fù)出無霧場景圖像。后來He等[11]又提出引導(dǎo)濾波(Guided Filter)代替軟摳圖來細(xì)化透射率，提高了算法效率。該算法簡單有效且適應(yīng)性較強(qiáng)，因而得到廣泛應(yīng)用。

在暗通道算法實(shí)現(xiàn)中，暗通道的提取是在固定大小的窗口內(nèi)進(jìn)行的，一個(gè)窗口中可能覆蓋遠(yuǎn)近不同的多個(gè)物體，存在深度不連續(xù)的窗口像素的透射率變得不確定，這會(huì)導(dǎo)致局部透射率的錯(cuò)誤估計(jì)，導(dǎo)致透射率圖存在“塊”效應(yīng)，復(fù)原圖像的物體邊緣處也可能產(chǎn)生偽影問題，因而需要對(duì)透射率圖進(jìn)行細(xì)化。He提出了軟摳圖算法和導(dǎo)向?yàn)V波算法對(duì)初始估計(jì)的透射率圖進(jìn)行細(xì)化，雖然算法獲得了良好的去霧效果，但是其對(duì)透射率圖的濾波處理是以改善視覺效果為前提的，本質(zhì)上仍屬于圖像增強(qiáng)的手段，如典型的導(dǎo)向?yàn)V波算法中以輸入圖像作為透射率圖的引導(dǎo)圖像，但實(shí)際上透射率僅與景深相關(guān)，與場景的亮度并不相關(guān)，所以依此對(duì)透射率圖進(jìn)行細(xì)化仍欠缺物理有效性的解釋。

本文提出了一種基于圖像分割和暗通道先驗(yàn)的透射率優(yōu)化估計(jì)方法，該方法的主要思想是：首先，應(yīng)用超像素提取算法對(duì)輸入圖像進(jìn)行分割，用分割后的不規(guī)則區(qū)域替代傳統(tǒng)的暗通道算法中的固定窗口。由于分割區(qū)域內(nèi)的像素在亮度、色相和飽和度屬性上具有一致性，可以認(rèn)為它們?cè)诰吧钜约巴干渎噬弦簿哂幸恢滦裕虼嗽趯?duì)這些局部區(qū)域提取暗通道時(shí)，可以獲得魯棒性和精確性更好的透射率估計(jì)，避免了景深不連續(xù)時(shí)的錯(cuò)誤估計(jì)，也降低了噪聲干擾。實(shí)驗(yàn)證實(shí)，在無需進(jìn)行濾波細(xì)化等增強(qiáng)手段的情況下，直接用超像素透射率估計(jì)得到的去霧復(fù)原效果優(yōu)于傳統(tǒng)的暗通道算法。同時(shí)，由于不再需要基于增強(qiáng)的濾波細(xì)化步驟，保持了基于暗通道先驗(yàn)的圖像去霧處理的物理有效性解釋。

1 超像素分割簡介

超像素概念在2003年由Ren 等[12]首先提出，主要用于圖像分割上。超像素是指具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的有一定視覺意義的不規(guī)則像素塊。該技術(shù)利用像素之間的相似性將像素分組，用少量的超像素代替大量的像素來表達(dá)圖片特征，很大程度上降低了圖像后處理的復(fù)雜度，所以通常作為分割算法的預(yù)處理步驟。超像素分割的主要優(yōu)點(diǎn)包括：(1) 超像素塊可以作為支持特征向量區(qū)域，在表述圖像局部特征上超像素塊遠(yuǎn)遠(yuǎn)優(yōu)于固定的矩形窗口劃分，超像素塊只屬于一種目標(biāo)，而固定窗口可能覆蓋多種；(2) 超像素分割可以保證邊界的完整性。物體邊緣是超像素邊緣的子集；(3) 超像素可以大幅提高計(jì)算效率。超像素分割技術(shù)已被廣泛應(yīng)用于計(jì)算機(jī)視覺領(lǐng)域[13-15]。

超像素分割算法主要有基于圖論的算法和基于梯度下降的算法[16-20]。其中，SLIC算法是一種基于顏色相似度和空間距離關(guān)系的局部迭代聚類算法，相比于其他分割算法，SLIC 算法具有較好的邊緣貼合度和可控的超像素緊密度，并且運(yùn)算時(shí)間較短，因此本文應(yīng)用SLIC 算法來對(duì)輸入圖像進(jìn)行超像素分割，其實(shí)現(xiàn)步驟包括：

(1) 初始化聚類中心。CIELAB 彩色空間中定義5維特征向量Ci=[li,ai,bi,xi,yi]T，其中{l,a,b}是CIELAB空間中的3維顏色特征，{x,y}是圖像平面中的位置，{i}為聚類中心編號(hào)。初始化k個(gè)聚類中心，即在間隔S個(gè)像素的均勻網(wǎng)格上進(jìn)行采樣，尋找每一個(gè)采樣點(diǎn)的3×3鄰域中梯度最低的點(diǎn)，將其設(shè)為聚類中心，并計(jì)算特征向量。這樣可以避免將超像素的中心點(diǎn)定位到圖像中物體的邊緣上，同時(shí)減少噪聲點(diǎn)的影響。

(2) 像素聚類。圖像中每一個(gè)像素都會(huì)被賦予與其距離最近的聚類中心標(biāo)簽，為了提高計(jì)算效率，算法將搜索范圍限定在聚類中心的鄰域范圍內(nèi)，使得計(jì)算復(fù)雜度與超像素(聚類中心)數(shù)量k無關(guān)。

(3) 更新聚類中心。當(dāng)每一個(gè)像素都與其距離最近的聚類中心關(guān)聯(lián)后，算法進(jìn)行聚類中心的更新，新的聚類中心位于該聚類中心所屬像素的平均值位置。當(dāng)聚類中心更新完畢后，算法重新進(jìn)行像素聚類。反復(fù)迭代直至聚類中心位置的改變量小于預(yù)先設(shè)定的閾值，迭代停止。

(4) 后處理。當(dāng)算法停止迭代后，可能出現(xiàn)具有相同標(biāo)簽號(hào)的像素之間并不鄰接，即出現(xiàn)了兩個(gè)或多個(gè)具有相同標(biāo)簽號(hào)的超像素。算法采用簡單的近鄰合并策略將出現(xiàn)相同標(biāo)簽號(hào)的超像素與各自相鄰的面積最大的超像素合并。因此 SLIC 算法實(shí)際生成的超像素?cái)?shù)量一般會(huì)略小于用戶的設(shè)定值k。

將上述超像素分割算法應(yīng)用于霧天圖像，其結(jié)果如圖1所示。

2 基于超像素和暗通道先驗(yàn)的透射率估計(jì)

對(duì)輸入圖像進(jìn)行超像素提取后，分割后的不規(guī)則區(qū)域在亮度、色相和飽和度屬性上具有一致性，可以認(rèn)為它們?cè)诰吧钜约巴干渎噬弦簿哂幸恢滦浴Ｔ趯?duì)輸入圖像求取暗通道時(shí)，我們用分割后的區(qū)域替代傳統(tǒng)的暗通道算法中的固定窗口，然后應(yīng)用暗通道先驗(yàn)來估計(jì)超像素塊的透射率。

首先將式(1)表示為如下歸一化形式：

(2)

公式(2)對(duì)應(yīng)了每一個(gè)獨(dú)立的通道c(r,g,b)。在暗通道算法中，對(duì)公式(2)兩邊進(jìn)行局部區(qū)域?yàn)?x)的最小值濾波，并且假定在此局部區(qū)域內(nèi)的透射率為常量，得到

(3)

由暗通道先驗(yàn)可知

(4)

((a) 超像素?cái)?shù)=300 Number of superpixels is 300；(b) 超像素?cái)?shù)=2000 Number of superpixels is 2 000.)圖1 超像素分割示例Fig.1 Example of superpixel segmentation

因此由(3)式，可得

(5)

對(duì)輸入圖像進(jìn)行超像素分割后，我們用超像素塊代替(3)中的固定窗口(x)?？梢院侠淼丶僭O(shè)，單個(gè)超像素塊內(nèi)的所有像素的暗通道是相同的。所以，考慮到噪聲等干擾因素，為了提高估計(jì)的魯棒性，在對(duì)超像素區(qū)域應(yīng)用暗通道先驗(yàn)時(shí)，我們對(duì)傳統(tǒng)算法中的最小值濾波進(jìn)行了松弛處理，即將暗通道最小值及其之后的若干值排除，將式(3)修正為：

(6)

其中S((x)是以x為中心的超像素塊中，排除最小的前5%暗通道值之后剩下的像素集合。由暗通道先驗(yàn)可得

(7)

實(shí)驗(yàn)證實(shí)，由于超像素分割后的窗口區(qū)域具有透射率一致性的特點(diǎn)，采用松弛后的透射率估計(jì)可以減少噪聲干擾，獲得更好的復(fù)原效果。圖2的例子說明了直接使用經(jīng)典的最小值濾波與使用松弛算法所得到的透射率在復(fù)原效果上的差異。可以看出，使用最小值濾波的復(fù)原結(jié)果在與天空交界的山脊處出現(xiàn)明顯錯(cuò)誤(紅線圈出)，而使用改進(jìn)的松弛算法并沒有出現(xiàn)此問題。

((a)原圖 Input image；(b)最小值濾波 Minimum filtering；(c)松弛算法 Relaxation algorithm.)圖2 基于超像素透射率得到的復(fù)原結(jié)果Fig.2 Restoration result based on transmittance of superpixels

基于超像素分割的透射率估計(jì)方法在保持估計(jì)的準(zhǔn)確性的同時(shí)，其另一個(gè)優(yōu)點(diǎn)是可以保證邊界的完整性。因?yàn)槲矬w邊緣是超像素邊緣的子集，所以獲得的透射率圖具有邊緣保持性。實(shí)驗(yàn)證實(shí)，即使不采用傳統(tǒng)算法中的導(dǎo)向?yàn)V波步驟，在圖像去霧復(fù)原時(shí)也可以避免邊緣處的偽影現(xiàn)象。

在得到大氣光照強(qiáng)度A及透射率圖的基礎(chǔ)上，根據(jù)公式(1)即可恢復(fù)出無霧場景J，即

(8)

其中t0為預(yù)先設(shè)定的透射率估計(jì)的下限。

3 實(shí)驗(yàn)結(jié)果

將基于超像素分割得到的透射率代入成像模型(1)，根據(jù)式(8)就可以得到去霧復(fù)原圖像。對(duì)大氣光值的估計(jì)我們?nèi)匀徊捎肏e的傳統(tǒng)算法中所使用的方法。實(shí)驗(yàn)中進(jìn)行超像素分割時(shí)的超像素?cái)?shù)目取2 000。

圖3給出用本算法得到的透射率圖，作為比較，同時(shí)給出傳統(tǒng)算法(本文稱為He算法)的結(jié)果。圖4給出了應(yīng)用本算法和He算法以及經(jīng)典的Tarel算法的去霧結(jié)果比較。

( (a)He算法結(jié)果 He’s method；(b)本算法結(jié)果 The proposed method.)圖3 透射率圖Fig.3 Transmission map

(自左至右分別為：原始圖像，He算法，Tarel算法，本算法。From left to right:Input image,He’s method,Tarel’s method and the proposed method.)圖4 本算法和其它經(jīng)典算法的復(fù)原結(jié)果Fig.4 Restoration results using the proposed and the compared methods

進(jìn)一步用去霧評(píng)價(jià)指標(biāo)[21]進(jìn)行比較，結(jié)果如表1和表2所示。表1的評(píng)價(jià)指標(biāo)e是去霧后圖像中新增可見邊緣的比例；表2的評(píng)價(jià)指標(biāo)r是去霧后和去霧前圖像中邊緣的梯度大小變化的平均比值，用于評(píng)價(jià)平均能見度(對(duì)比度)增強(qiáng)效果。理論上e和r值越大，表明去霧效果越好。從表中數(shù)據(jù)可以看出，對(duì)于圖4中的實(shí)驗(yàn)樣本，本算法的量化評(píng)價(jià)結(jié)果優(yōu)于大多數(shù)He方法的結(jié)果，與Tarel方法的平均結(jié)果相當(dāng)。另外可以看到，本算法在不用導(dǎo)向?yàn)V波進(jìn)行透射率細(xì)化的情況下，圖像的細(xì)節(jié)部分基本沒有出現(xiàn)偽影現(xiàn)象。考慮到在實(shí)際應(yīng)用中，較好的算法需要兼顧人眼觀察效果和量化指標(biāo)之間的權(quán)衡。因此綜合人眼觀察和量化評(píng)價(jià)，本算法的去霧效果優(yōu)于經(jīng)典算法。

表1 可見邊緣評(píng)價(jià)指標(biāo) eTable 1 Visible edge evaluation index e

表2 梯度評(píng)價(jià)指標(biāo) rTable 2 Gradient evaluation index r

4 結(jié)語

在基于物理模型的圖像去霧復(fù)原方法中，暗通道先驗(yàn)算法因其簡單有效且適應(yīng)性強(qiáng)而得到廣泛應(yīng)用，但原有算法中暗通道的提取是在固定大小的窗口內(nèi)進(jìn)行的，因此存在局部透射率的錯(cuò)誤估計(jì)和透射率圖的“塊”效應(yīng)，而該算法中對(duì)透射率圖進(jìn)行細(xì)化的軟摳圖和導(dǎo)向?yàn)V波方法本質(zhì)上屬于圖像增強(qiáng)的手段，從而在某種程度上破壞了圖像復(fù)原的物理有效性解釋。本文提出了一種基于超像素分割和暗通道先驗(yàn)的透射率優(yōu)化估計(jì)方法，應(yīng)用超像素分割獲得的不規(guī)則區(qū)域替代傳統(tǒng)算法中的固定窗口，從而克服了原有算法中對(duì)初始透射率圖的估計(jì)存在塊效應(yīng)的問題，并采用松弛策略以獲得魯棒性和準(zhǔn)確性更好的透射率結(jié)果。由于超像素分割對(duì)局部透射率描述具有良好的適應(yīng)性，所以無需進(jìn)行另外的濾波細(xì)化步驟即可完成圖像去霧復(fù)原，從而保持了圖像去霧的物理有效性解釋。實(shí)驗(yàn)結(jié)果表明，本文所提出的方法在復(fù)原效果上優(yōu)于傳統(tǒng)的暗通道算法和其它幾種經(jīng)典的去霧算法。