景元萍，彭群聶，稅昌健

(1.洛陽(yáng)理工學(xué)院數(shù)學(xué)與物理教學(xué)部,河南 洛陽(yáng) 471000；2.光電控制技術(shù)重點(diǎn)實(shí)驗(yàn)室,河南 洛陽(yáng) 471000; 3.拉瓦爾大學(xué)計(jì)算機(jī)工程實(shí)驗(yàn)室,魁北克 999040)

0 引言

由于復(fù)雜光源環(huán)境與目標(biāo)表面材質(zhì)等因素綜合作用，成像過(guò)程中目標(biāo)表面極易出現(xiàn)耀光、光斑等鏡面反射光的干擾。鏡面反射光分布面積廣、強(qiáng)度不均勻，掩蓋了目標(biāo)原有的色彩紋理特征，嚴(yán)重影響目標(biāo)檢測(cè)、識(shí)別、跟蹤、立體匹配等應(yīng)用性能?，F(xiàn)有視覺(jué)處理算法大多假定目標(biāo)成像過(guò)程中為理想Lambertain表面，忽略鏡面反射光的存在；或?qū)㈢R面反射光視作噪聲與異常值處理[1]，不可避免存在色彩細(xì)節(jié)失真、區(qū)域空洞等問(wèn)題。因此,有效準(zhǔn)確抑制分離鏡面反射分量具有極大的研究意義和工程應(yīng)用價(jià)值。

目前，針對(duì)鏡面反射分量抑制分離的研究均集中于單幅圖像的處理，依賴于先驗(yàn)信息、局部梯度、偽編碼等一系列約束實(shí)現(xiàn)漫反射分量的估計(jì)。文獻(xiàn)[2]利用局部鄰域內(nèi)像素梯度一致性約束，求解偏微分方程去除鏡面反射光；文獻(xiàn)[3]結(jié)合色彩分布統(tǒng)計(jì)特性和結(jié)構(gòu)相似性形成能量方程最小化約束，求解漫反射分量與鏡面反射分量；文獻(xiàn)[4-9]研究利用暗通道先驗(yàn)、色彩空間等不同約束，構(gòu)建漫反射-鏡面反射(SF)先驗(yàn)策略，引導(dǎo)鏡面反射分量的分離。文獻(xiàn)[10-11]搭建深度CNN網(wǎng)絡(luò)，通過(guò)大量的數(shù)據(jù)訓(xùn)練，實(shí)現(xiàn)圖像漫反射分量的復(fù)原。以上算法對(duì)于特定場(chǎng)景下，均能取得一定程度的鏡面反射分量抑制結(jié)果；但針對(duì)表面結(jié)構(gòu)單一、紋理不顯著的強(qiáng)反光目標(biāo)，其依賴的先驗(yàn)、約束條件受到限制，結(jié)果極易出現(xiàn)大區(qū)域數(shù)據(jù)空洞、紋理細(xì)節(jié)丟失等問(wèn)題，嚴(yán)重影響視覺(jué)效應(yīng)。

1 基于光學(xué)偏振成像的鏡面反射分量分離

1.1 本文算法

針對(duì)現(xiàn)有算法的缺陷，本文提出基于光學(xué)偏振成像的鏡面反射分量分離算法。結(jié)合雙色反射模型的偏振成像機(jī)理，探究體反射與鏡面反射光的偏振特性差異，提出了基于Stokes參數(shù)的體反射強(qiáng)度反演機(jī)制；聯(lián)合CbCr空間雙色度矢量約束、最小二乘法遍歷式進(jìn)行反射系數(shù)求解，準(zhǔn)確抑制分離鏡面反射分量，高效恢復(fù)目標(biāo)表面原有的紋理、邊緣、色彩等細(xì)節(jié)特征，進(jìn)一步提升視覺(jué)質(zhì)量。算法不依賴于諸多假設(shè)、先驗(yàn)信息，物理可靠性高，場(chǎng)景適應(yīng)性強(qiáng)。其算法流程如圖1所示。

圖1 基于光學(xué)偏振成像的鏡面反射分離算法流程圖Fig.1 Flow chart of the specular reflection separation algorithm based on polarization imaging

1.2 雙色反射模型偏振成像機(jī)理分析

根據(jù)雙色反射模型[12]，非均質(zhì)目標(biāo)表面發(fā)生的反射效應(yīng)，其成像強(qiáng)度I可以描述為漫反射分量Id與鏡面反射分量Is的線性組合，即

I(x)=Id(x)+Is(x)=ρd(x)D(x)+ρs(x)S(x)

(1)

式中:x為像素坐標(biāo)；Id(x)=ρd(x)D(x)，Is(x)=ρs(x)·S(x),ρd,ρs分別為漫反射系數(shù)和鏡面反射系數(shù)，與目標(biāo)表面材質(zhì)分布、理化特性(粗糙度)相關(guān)，D為目標(biāo)表面的體反射強(qiáng)度，S為光源能量強(qiáng)度。鑒于中性界面反射假設(shè)[1]，自然場(chǎng)景下其可見(jiàn)光波段光源能量密度恒定，近似為白光，滿足S=[255,255,255]T。

偏振成像特征統(tǒng)計(jì)表明[13]，目標(biāo)成像過(guò)程中，其介質(zhì)表面發(fā)生的單次鏡面反射分量IS具有強(qiáng)起偏效應(yīng)，近似為線偏振光；而由于目標(biāo)內(nèi)部多次散射消偏效應(yīng)顯著，其體反射強(qiáng)度D起偏效應(yīng)微弱，可近似為無(wú)偏光?；阽R面反射與體反射的偏振特性差異，本文利用目標(biāo)偏振成像，有效分離目標(biāo)表面的鏡面反射分量。

目標(biāo)圖像強(qiáng)度隨偏振方位角φ呈余弦變化關(guān)系。其圖像強(qiáng)度數(shù)學(xué)表達(dá)式為

(2)

式中:α為偏振相角；Imax，Imin分別為不同偏振方位角下，觀測(cè)圖像的最大和最小強(qiáng)度值，且對(duì)應(yīng)兩個(gè)偏振方位角相互正交。由以上分析可知，體反射可近似為無(wú)偏光，即表明體反射強(qiáng)度不隨偏振方位角的變化而發(fā)生變化。結(jié)合雙色反射模型與偏振成像機(jī)理分析，求取得到成像強(qiáng)度Imin后，可將其作為目標(biāo)體反射強(qiáng)度D的有效估計(jì)，則有

D≈Imin。

(3)

1.3 基于Stokes參數(shù)的體反射強(qiáng)度反演機(jī)制

偏振成像測(cè)量中，Stokes參數(shù)作為一種有效的數(shù)學(xué)表示方法，常利用3個(gè)偏振方位角下的強(qiáng)度參數(shù)描述目標(biāo)表面反射光的線性偏振態(tài)。本文對(duì)觀測(cè)目標(biāo)進(jìn)行[0°,45°,90°]三角度偏振成像，其Stokes相關(guān)參數(shù)數(shù)學(xué)表達(dá)式為

(4)

式中:H為兩正交偏振方位角的圖像總強(qiáng)度，滿足I(0°)+I(90°)=Imax+Imin；Q為水平方向上的線偏振光強(qiáng)度；U為45°方向上的線偏振光強(qiáng)度。

線偏振度PLP表征線偏振光強(qiáng)度在總光強(qiáng)中的占比，反映目標(biāo)表面的起偏強(qiáng)弱效應(yīng)。其Stokes聯(lián)合參數(shù)表達(dá)式如下

(5)

聯(lián)合式(4)～(5)，基于Stokes參數(shù)可解析得到目標(biāo)的線偏振信息，進(jìn)而反演得到目標(biāo)圖像的最大強(qiáng)度值Imax與最小強(qiáng)度值Imin，即實(shí)現(xiàn)目標(biāo)表面體反射強(qiáng)度D的有效估計(jì)。其表達(dá)式為

(6)

(7)

現(xiàn)有鏡面反射分離算法[4-9]依賴于色彩一致性、暗通道等眾多先驗(yàn)信息估計(jì)體反射強(qiáng)度。當(dāng)光源環(huán)境復(fù)雜、目標(biāo)表面色彩紋理信息單一時(shí)，其不可避免存在色彩紋理失真、數(shù)據(jù)空洞等問(wèn)題。不依賴于現(xiàn)有算法的先驗(yàn)假設(shè)，本文提出基于Stokes參數(shù)的體反射強(qiáng)度反演機(jī)制，僅利用目標(biāo)成像的偏振信息進(jìn)行反演，不受限于目標(biāo)表面的色彩、紋理約束，物理可靠性高。

1.4 CbCr空間雙色度矢量

基于Stokes參數(shù)反演機(jī)制能有效估計(jì)體反射強(qiáng)度。為進(jìn)一步徹底分離鏡面反射分量、抑制噪聲等異常值干擾，本文構(gòu)建CbCr空間雙色度矢量約束，實(shí)現(xiàn)鏡面反射分量的物理隔離。

將式(7)求解的體反射強(qiáng)度圖像D歸一化轉(zhuǎn)換至YCbCr空間實(shí)現(xiàn)處理，其矩陣轉(zhuǎn)換表達(dá)式為

(8)

式中:Ooffset=[0,128/255,128/255]T為歸一化偏置參數(shù);R,G,B為色彩通道。依據(jù)色彩空間轉(zhuǎn)換特性研究[14]，YCbCr色彩空間中目標(biāo)圖像僅Y分量受鏡面反射影響，Cb和Cr色度與鏡面反射無(wú)關(guān)?；诖颂匦?，本文以體反射強(qiáng)度圖像D，構(gòu)建其CbCr空間雙色度矢量機(jī)制，表達(dá)式為

VD(x)=[DCb(x)，DCr(x)]T。

(9)

由式(9)可知，CbCr空間雙色度矢量與鏡面反射分量高度無(wú)關(guān)。即對(duì)于目標(biāo)圖像I，其對(duì)應(yīng)的CbCr空間雙色度矢量VI亦與鏡面反射分量高度無(wú)關(guān)，同時(shí)與體反射強(qiáng)度圖像D的雙色度矢量VD應(yīng)保持強(qiáng)度一致性分布。因此對(duì)于p,q分別為目標(biāo)圖像與體反射強(qiáng)度圖像的兩像素，滿足約束

q=arg min||

(10)

不同于現(xiàn)有算法RGB空間色度估計(jì)策略，其三通道均受鏡面反射影響，本文構(gòu)建的CbCr空間雙色度矢量實(shí)現(xiàn)鏡面反射分量的高度無(wú)關(guān)。其物理隔離機(jī)制，有效解決現(xiàn)有算法RGB空間色度估計(jì)不準(zhǔn)確導(dǎo)致噪聲放大、邊緣不連續(xù)等問(wèn)題。

1.5 遍歷式最小二乘反射系數(shù)求解

由1.4節(jié)可知，本文構(gòu)建的CbCr空間雙色度矢量實(shí)現(xiàn)了鏡面反射分量的物理隔離，且體反射強(qiáng)度圖像D的雙色度矢量VD與目標(biāo)圖像I的雙色度矢量VI保持分布一致性。本文聯(lián)合CbCr空間雙色度矢量約束，提出遍歷式最小二乘法逐像素實(shí)現(xiàn)漫反射系數(shù)與鏡面反射系數(shù)的快速求解策略，高效引導(dǎo)鏡面反射分量的徹底分離。其算法過(guò)程如下。

1) 為進(jìn)一步抑制過(guò)程中噪聲等異常值的干擾，本文針對(duì)CbCr空間雙色度矢量約束，融合了鄰域分布相似性思想。對(duì)于像素p，遍歷其像素局部鄰域內(nèi)體反射圖像雙色度矢量VD(q)與其目標(biāo)圖像雙色度矢量VI(p)最接近的像素q，滿足歐氏距離最小。即有

q=arg min||

(11)

2) 將像素q對(duì)應(yīng)的體反射強(qiáng)度值作為目標(biāo)圖像中像素p體反射強(qiáng)度值的有效估計(jì)，即有D(p)=D(q)，代入雙色反射模型，則有

I(p)=ρd(p)D(q)+ρs(p)S。

(12)

3) 利用最小二乘法對(duì)式(12)進(jìn)行線性求解，其反射系數(shù)解為

(13)

式中,“-1”表示矩陣的偽逆。鑒于鏡面反射系數(shù)具有非負(fù)性，若解得ρs(p)<0，則式(13)可轉(zhuǎn)化為

ρd(p)=D(p)-1I(p)。

(14)

4) 對(duì)于求解得到的漫反射系數(shù)ρd(p)，其對(duì)應(yīng)的漫反射分量強(qiáng)度表達(dá)式為

Id(p)=ρd(p)D(p)=ρd(p)D(q)

(15)

此時(shí)，對(duì)應(yīng)的鏡面反射分量強(qiáng)度即為

Is(p)=I(p)-Id(p)。

(16)

綜上可知，本文利用CbCr空間雙色度矢量進(jìn)行約束，引導(dǎo)實(shí)現(xiàn)遍歷式逐像素最小二乘反射系數(shù)的快速求解；同時(shí)，考慮局部鄰域信息，有效抑制噪聲等異常值干擾，其鏡面反射分量抑制結(jié)果更為徹底，精確度更高，視覺(jué)效應(yīng)更為優(yōu)異。其算法實(shí)現(xiàn)步驟如下。

算法：基于光學(xué)偏振成像的鏡面反射分量分離。

輸入：目標(biāo)偏振圖像。

輸出：鏡面反射分量分離結(jié)果。

1) 根據(jù)式(4)～(5)，分別求解目標(biāo)的Stokes參數(shù)[H,Q,U]，線偏振度PLP。

3) 構(gòu)建體反射強(qiáng)度圖像的CbCr雙色度矢量約束：VD(x)=[DCb(x),DCr(x)]T,q=arg min||

5) 求解得到漫反射分量Id與鏡面反射分量Is：Id(p)=ρd(p)D(p),Is(p)=I(p)-Id(p)。

2 實(shí)驗(yàn)分析及評(píng)價(jià)

為驗(yàn)證算法有效性和可靠性，本文對(duì)真實(shí)場(chǎng)景進(jìn)行偏振成像，針對(duì)強(qiáng)反光目標(biāo)進(jìn)行試驗(yàn)探究。結(jié)合主客觀評(píng)價(jià)指標(biāo)，對(duì)鏡面反射分量抑制效果、局部紋理細(xì)節(jié)還原度、色彩保真度及圖像質(zhì)量評(píng)價(jià)等方面定性分析，與文獻(xiàn)[9]算法和文獻(xiàn)[5]算法進(jìn)行對(duì)比評(píng)價(jià)。其中：文獻(xiàn)[9]算法以逐像素通道偏差估計(jì)漫反射分量的初始估計(jì)，聯(lián)合像素聚類、鄰域強(qiáng)度比值一致性先驗(yàn)區(qū)分漫反射分量與鏡面反射分量；文獻(xiàn)[5]算法利用偽編碼圖像，利用雙邊濾波進(jìn)行漫反射色度最優(yōu)估計(jì)。不同于上述兩種算法的強(qiáng)度比值先驗(yàn)及偽編碼圖像約束，本文算法基于體反射與鏡面反射的偏振特性差異，提出Stokes參數(shù)的體反射反演機(jī)制，準(zhǔn)確實(shí)現(xiàn)鏡面反射的抑制分離。

2.1 實(shí)驗(yàn)及結(jié)果

場(chǎng)景一(orange)中，目標(biāo)圖像鏡面反射影響嚴(yán)重，具有高亮度、離散不均勻的分布特點(diǎn)。其相應(yīng)鏡面反射分離結(jié)果如圖2所示。

圖2 場(chǎng)景一鏡面反射分離結(jié)果Fig.2 Specular reflection separation results of Scene 1

由圖2可看出，由于文獻(xiàn)[5]算法和文獻(xiàn)[9]算法缺陷，對(duì)于表面色度單一、紋理缺乏的高反光目標(biāo)，其鏡面反射分量抑制分離結(jié)果存在大面積數(shù)據(jù)空洞、細(xì)節(jié)紋理模糊、色彩失真、噪聲顯著等問(wèn)題；而本文提出的基于偏振成像的鏡面反射分量算法結(jié)合偏振特性分析、結(jié)合雙色度矢量約束，其鏡面分量抑制分離準(zhǔn)確、徹底，同時(shí)，目標(biāo)表面的結(jié)構(gòu)紋理完整性、色彩邊緣得到極大程度保留，其細(xì)節(jié)更清晰、視覺(jué)效應(yīng)更為優(yōu)異。

場(chǎng)景二(cup)中，目標(biāo)表面為高反射性涂層，成像過(guò)程中極易受耀光、雜散光等鏡面反射的干擾。其對(duì)應(yīng)的鏡面反射分離結(jié)果如圖3所示。

圖3 場(chǎng)景二鏡面反射分離結(jié)果Fig.3 Specular reflection separation results of Scene 2

針對(duì)場(chǎng)景二，文獻(xiàn)[5]算法和文獻(xiàn)[9]算法一定程度上有效抑制分離了鏡面反射分量，但其結(jié)果出現(xiàn)明顯的噪聲放大、字符邊緣畸變模糊、紋理細(xì)節(jié)空洞等問(wèn)題；而本文算法結(jié)果中鏡面反射分量整體抑制視覺(jué)效應(yīng)更為優(yōu)異，且色彩保真度、邊緣紋理清晰度、字符辨識(shí)度更高。

2.2 定量評(píng)價(jià)分析

為進(jìn)一步評(píng)價(jià)鏡面反射抑制結(jié)果的圖像質(zhì)量，除以上的視覺(jué)效應(yīng)對(duì)比外，本文結(jié)合無(wú)源圖像質(zhì)量評(píng)價(jià)機(jī)制CurveletQA[15]進(jìn)行鏡面反射抑制結(jié)果視覺(jué)質(zhì)量的定量評(píng)價(jià)分析。CurveletQA描述復(fù)頻域下圖像特征信息的損失度。其值越小，代表圖像紋理結(jié)構(gòu)特征丟失度越小，圖像質(zhì)量越佳。針對(duì)上述兩組測(cè)試場(chǎng)景，其評(píng)價(jià)結(jié)果如表1所示。

表1 CurveletQA圖像質(zhì)量評(píng)價(jià)結(jié)果Table 1 Image quality evaluation of CurveletQA

以上視覺(jué)效應(yīng)和客觀評(píng)價(jià)指標(biāo)均表明，本文算法性能更為優(yōu)異。利用鏡面反射的偏振成像特性，構(gòu)建CbCr空間雙色度矢量約束，結(jié)合最小二乘法遍歷式反射系數(shù)求解機(jī)制，實(shí)現(xiàn)了鏡面反射分量的準(zhǔn)確抑制分離；同時(shí)，極大地保留了目標(biāo)表面原有的色彩邊緣、紋理結(jié)構(gòu)等細(xì)節(jié)特征。本文算法不依賴于諸多假設(shè)先驗(yàn)，物理可靠性高，場(chǎng)景適應(yīng)性強(qiáng)。

3 結(jié)束語(yǔ)

鏡面反射干擾一直是困擾檢測(cè)、識(shí)別等視覺(jué)應(yīng)用的難題。本文提出了基于光學(xué)偏振成像的鏡面反射分量分離算法，結(jié)合雙色反射模型的偏振成像機(jī)理，提出了基于Stokes參數(shù)的體反射反演機(jī)制；構(gòu)建CbCr空間雙色度矢量約束，結(jié)合最小二乘法遍歷式求解反射系數(shù)，實(shí)現(xiàn)了鏡面反射分量的準(zhǔn)確抑制分離。算法不依賴于諸多先驗(yàn)假設(shè)，極大保留了目標(biāo)表面原有的紋理結(jié)構(gòu)、色彩邊緣等細(xì)節(jié)特征，有效抑制了噪聲的干擾。相比于現(xiàn)有算法，其鏡面反射分量抑制效果及圖像視覺(jué)質(zhì)量更為優(yōu)異。