趙宇曉,李劍飛,朱志亮,2,段潤(rùn)濤,黃曉生

(1.華東交通大學(xué) 軟件學(xué)院,江西 南昌 330013;2.中國(guó)科學(xué)院軟件研究所 計(jì)算機(jī)科學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京 100190)

彩色圖像灰度化是指將具有3個(gè)通道的彩色圖像變成只含有一個(gè)通道的灰度圖。盡管實(shí)際生活中能夠感知到的幾乎都是一些具有色彩的物體,但是相比于只有一個(gè)通道的灰度圖像而言,彩色數(shù)字圖像存在占用空間大、冗余信息多、運(yùn)算時(shí)通道相關(guān)性難以保持的問題。這些問題導(dǎo)致彩色圖像不適合部分生活、辦公和商業(yè)用途,比如黑白印刷、電子墨水設(shè)備、數(shù)字墨水顯示和黑白激光打印機(jī)等。此外,圖像處理和計(jì)算機(jī)視覺任務(wù)中的邊緣檢測(cè)[1]、字典學(xué)習(xí)[2]等通常都是在灰度圖中進(jìn)行的。因此,彩色圖像灰度化技術(shù)的研究仍然具有很好的應(yīng)用前景。

彩色圖像灰度化是一個(gè)降維處理的過程,在這個(gè)過程中不可避免地會(huì)造成原彩色圖像的色度、對(duì)比度、結(jié)構(gòu)等特征信息的丟失或弱化[3],從而極大地降低了圖像帶給人們的視覺體驗(yàn)。傳統(tǒng)灰度化算法通常是采用顏色空間進(jìn)行直接映射,提取圖像的亮度通道值作為灰度值得到灰度圖。這類方法在顏色對(duì)比高于亮度對(duì)比的區(qū)域會(huì)失去圖像對(duì)比,不能區(qū)分一張圖像中亮度相同但是顏色不同的區(qū)域。圖1展示的是Lu等[4]提出的實(shí)時(shí)對(duì)比度保持灰度化方法得到的灰度化圖像與傳統(tǒng)的利用心理學(xué)灰度公式得到的灰度化圖像,其中圖1(a)是原彩色圖,圖1(b)是傳統(tǒng)方法得到的灰度圖,圖1(c)是對(duì)比度保持方法得到的灰度圖。從圖中可以看出,基于對(duì)比度保持的灰度化方法得到的灰度圖像更加能夠反映原彩色圖像的信息分布。除了對(duì)比度保持的方法外,為了在灰度圖像中更好地保持原有彩色圖像的對(duì)比度、結(jié)構(gòu)等特征信息,國(guó)內(nèi)外許多學(xué)者提出了很多其他的灰度化算法。盧紅陽等[5]提出一種基于最大加權(quán)投影求解的算法。該算法借鑒線性降維局部保留投影的思想,將原始圖像梯度的權(quán)重引入到最大化函數(shù)中,建立最大化加權(quán)局部保留投影模型,使得原彩色圖像中對(duì)比度比較小的區(qū)域在灰度化后也能得到較好地保留。局部映射法得到的灰度圖像能夠保持圖像的部分結(jié)構(gòu)信息和局部對(duì)比度信息,但是由于沒有考慮到全局結(jié)構(gòu)特征對(duì)于灰度化結(jié)果的影響,會(huì)導(dǎo)致灰度化后的結(jié)果產(chǎn)生光暈、噪聲等現(xiàn)象。全局映射法能夠避免局部映射法的這種不足。Gooch 等[6]提出一種顯著性保留的全局映射灰度化方法。該方法首先將彩色圖像從RGB空間轉(zhuǎn)換到CIELAB空間,然后結(jié)合亮度與色度差去建立像素間帶符號(hào)的顏色差,最后利用灰度值與顏色差的最小二乘作為目標(biāo)函數(shù),并通過共軛梯度迭代法來求解目標(biāo)函數(shù)。但是該方法的運(yùn)算量很大,并且對(duì)于自然風(fēng)景之類的高動(dòng)態(tài)圖片以及色彩豐富的圖片進(jìn)行處理時(shí)容易出現(xiàn)局部極值的結(jié)果,從而導(dǎo)致度化效果并不理想。Tanaka 等[7]用矩陣的形式得到Gooch能量函數(shù)的一個(gè)顯式解,從而彌補(bǔ)了Gooch算法運(yùn)算量過大的問題。但是該方法并沒有在灰度化效果上有較為明顯的提升。朱薇等[8]使用改進(jìn)HLS(Improved HLS,IHLS)顏色空間建立了關(guān)于亮度、色度和飽和度3個(gè)因子的全局非線性映射模型,提出一種全局非線性三向映射的灰度化方法。Jin等[9]通過最大化灰度圖像的方差來實(shí)現(xiàn)彩色圖像灰度化的對(duì)比度保持。Lu等[10]將灰度化函數(shù)定義為由R、G、B 組合的9個(gè)多項(xiàng)式基加權(quán)求和,在對(duì)目標(biāo)函數(shù)進(jìn)行最小化求解時(shí)將局部約束和非局部約束結(jié)合起來,即利用K-means的方法把具有相同顏色的顏色對(duì)聚集在一起形成顏色對(duì)集,從而只計(jì)算圖像中不同的顏色對(duì)。此方法可以提高計(jì)算效率,但也可能出現(xiàn)過擬合情況,并且由于最小化目標(biāo)函數(shù)是對(duì)權(quán)值求偏導(dǎo)數(shù)的過程,具有高度非線性,只能尋找到解的近似值,而且有可能是局部解。為了改善這些問題,Liu 等[11]提出一種半?yún)?shù)方法,首先將Lu等[10]提出的9個(gè)多項(xiàng)式基分為3個(gè)子空間,灰度映射函數(shù)分為兩部分,然后對(duì)Lu的目標(biāo)函數(shù)進(jìn)行改進(jìn)得到6個(gè)方程,最后對(duì)這些方程求解得到最終的灰度化圖像。全局映射法能夠更好地保持全局結(jié)構(gòu)信息,但由于所有的像素采用相同的映射法,會(huì)使結(jié)果圖像變平滑,灰度化后可能無法保持原彩色圖像的局部特征[12]。

圖1 彩色圖像灰度化示意圖

上述方法在一定程度上能夠較好地保持原有彩色圖像的對(duì)比度、結(jié)構(gòu)等特征,但都采用歐氏距離的方法來度量彩色像素點(diǎn)與周圍其他像素點(diǎn)的差異。盡管歐氏距離能將彩色像素作為一個(gè)整體,但是該距離度量公式僅僅考慮到了通道整體的相關(guān)性,沒有考慮到通道之間的相關(guān)性,因此可能導(dǎo)致距離的不準(zhǔn)確,進(jìn)而導(dǎo)致灰度化后的結(jié)果出現(xiàn)噪聲或者細(xì)節(jié)丟失的情形。研究表明[13-18],利用四元數(shù)的理論和方法去研究彩色圖像處理技術(shù),能夠克服現(xiàn)有彩色圖像處理方法中的很多缺陷和不足。利用四元數(shù)的表示形式,可以將一個(gè)具有3個(gè)分量的彩色像素作為一個(gè)整體來表示,利用四元數(shù)的相關(guān)運(yùn)算規(guī)則對(duì)彩色圖像進(jìn)行處理時(shí)不會(huì)破壞彩色像素3個(gè)通道之間的相關(guān)性。利用四元數(shù)的相關(guān)理論,本文提出一種新的對(duì)比度保持灰度化方法。首先,本文利用四元數(shù)旋轉(zhuǎn)理論提出基于色度面投影的四元數(shù)色度距離度量公式;其次利用該色度距離公式,提出基于隨機(jī)差分的彩色圖像全局對(duì)比度度量方法和基于水平和垂直差分的彩色圖像局部對(duì)比度度量方法;最后利用對(duì)比度保持灰度化的思想實(shí)現(xiàn)對(duì)彩色圖像的灰度化處理。

1 基于色度面投影的四元數(shù)色度距離

一個(gè)具有3通道的彩色像素p=[r,g,b]可以用一個(gè)純四元數(shù)表示為q=ri+gj+bk。在純四元數(shù)空間坐標(biāo)系里,3個(gè)相互垂直的軸代表了彩色像素的3個(gè)基本顏色,即紅色(R)、綠色(G)和藍(lán)色(B)。純四元數(shù)空間的主對(duì)角線定義為灰度線,因?yàn)檫@條直線上所有的點(diǎn)對(duì)應(yīng)的像素都是灰度像素。與此類似,本文定義從原點(diǎn)出發(fā)的位于純四元數(shù)密閉空間里的其他直線為色調(diào)線,因?yàn)樵谶@些直線上所有的點(diǎn)對(duì)應(yīng)的像素都是彩色像素,并且每一條射線都可以代表不一樣的顏色,比如3個(gè)基本的軸代表了3個(gè)基本的顏色。進(jìn)而,定義經(jīng)過原點(diǎn)并且與灰度線垂直的平面為色度面,因?yàn)樗猩染€在該平面的投影都不為零,而灰度線在該平面的投影為零。圖2為純四元數(shù)空間里灰度線、色度線和色度面的示意圖。

圖2 灰度線、色度線和色度面的示意圖

(1)

(2)

(3)

式(3)中的兩個(gè)常數(shù),用來對(duì)距離進(jìn)行歸一化,即保證色度距離和亮度距離的最大值為255。這樣色度距離和亮度距離都會(huì)在同一個(gè)量綱里,并且與單通道的灰度像素之間的距離具有同一個(gè)量綱。

2 色度對(duì)比度度量方法

本文對(duì)比度指的是不同像素之間的差異大小。對(duì)比度在很大程度上代表了圖像的紋理、細(xì)節(jié)和顏色特征。圖像對(duì)比度越大,說明圖像包含的紋理、細(xì)節(jié)和顏色特征越豐富。對(duì)于彩色圖像,對(duì)比度包含了色度對(duì)比度和亮度對(duì)比度。現(xiàn)有的對(duì)比度保持灰度化方法都能夠很好地保留圖像的亮度對(duì)比度,但是由于在計(jì)算彩色像素之間的差異時(shí)沒有充分考慮通道相關(guān)性的不足,往往灰度化后的結(jié)果的色度對(duì)比度沒有得到很好地保持。因此,本文利用提出的四元數(shù)色度距離,結(jié)合全局對(duì)比度和局部對(duì)比度融合的思想,提出色度對(duì)比度度量方法。

全局色度對(duì)比度的度量采用基于隨機(jī)差分的方法。即在全局范圍內(nèi)隨機(jī)尋找兩個(gè)彩色像素,并利用四元數(shù)色度距離計(jì)算公式計(jì)算像素之間的色度差異,然后利用此差異作為該像素對(duì)的對(duì)比度度量結(jié)果。使用O表示原彩色圖像像素點(diǎn)的集合,O′表示隨機(jī)打亂后的彩色像素的集合,P和P′分別表示O和O′中相同位置的像素。那么,基于隨機(jī)差分的全局色度對(duì)比度量的計(jì)算公式可以表示為

δg=ds(P,P′)

(4)

局部色度對(duì)比度的度量則通過融合水平方向像素間的對(duì)比度和垂直方向像素間的對(duì)比度來進(jìn)行度量。使用Lw表示水平間的局部色度對(duì)比度度量,Lh表示垂直間的局部色度對(duì)比度度量,則局部對(duì)比度度量的計(jì)算公式可以表示為

(5)

綜上所述,本文提出的四元數(shù)色度對(duì)比度度量公式可以表示為

δ(P,P′)=δg+δl

(6)

3 對(duì)比度保持灰度化方法

對(duì)比度保持灰度化方法能夠最大程度保留原彩色圖像的對(duì)比度,進(jìn)而最大程度保留原彩色圖像細(xì)節(jié)特征。本文利用所提出的四元數(shù)色度對(duì)比度度量方法對(duì)Lu等[4]提出的實(shí)時(shí)對(duì)比度保持灰度化方法進(jìn)行改進(jìn),提出基于四元數(shù)色度距離的對(duì)比度保持灰度化方法,具體的實(shí)現(xiàn)過程如下。

(1)構(gòu)造對(duì)比度保持的目標(biāo)函數(shù)

(7)

式中:I表示輸入的彩色圖像,(Ir,Ig,Ib)是彩色圖像對(duì)應(yīng)的3個(gè)通道的灰度值;x和y代表兩個(gè)像素對(duì)應(yīng)的位置;Ω代表指定的區(qū)域;Δgx,y表示按照色度對(duì)比度度量方法得到的對(duì)應(yīng)的灰度化后的兩個(gè)像素的全局對(duì)比度和局部對(duì)比度;δx,y代表兩個(gè)像素的色度對(duì)比度,用式(6)計(jì)算得到;σ是一個(gè)用來控制彩色圖像中色彩分布的一個(gè)給定常數(shù);αx,y是一個(gè)權(quán)重值,根據(jù)式(8)來確定

(8)

(2)用最近鄰插值的方法來將圖像縮小至64×64的大小后,按照給定的組合系數(shù)(wr,wg,wb),來對(duì)彩色圖像進(jìn)行灰度化。灰度化的過程可以表示為

g=wrIr+wgIg+wbIb

(9)

(3)選取最佳的組合系數(shù)來作為對(duì)彩色圖像進(jìn)行灰度化的組合系數(shù),最佳的組合系數(shù)是指使目標(biāo)函數(shù)取值最小的組合系數(shù),用公式表示為

minE(I), s.t.wr+wg+wb=1

(10)

4 實(shí)驗(yàn)與分析

為了證明本文算法QRtGray的可靠性,在Intel i7-8700 CPU@3.2 GHz,32 GB內(nèi)存,Window10系統(tǒng)的PC上利用MATLAB 2018a軟件進(jìn)行實(shí)驗(yàn),并與Lu等[4]的方法RtGray、Xiong等[20]的方法PrDecolor、Nafchi等[21]的方法CorrC2G、Liu等[22]的方法WpmDecolor和Chen等[23]的方法BtDecolor進(jìn)行比較。在實(shí)驗(yàn)中,按文獻(xiàn)[4]給定的參數(shù),將σ設(shè)置為0.05,將組合系數(shù)(wr,wg,wb)按0.1的步長(zhǎng)設(shè)置,即(0,0,0.1)→(0,0,0.2)→(0,0,0.3)。在進(jìn)行水平方向和垂直方向的差分時(shí),先將64×64的圖像用最近鄰插值的方法來將圖像縮小至32×32,然后再進(jìn)行局部對(duì)比度的計(jì)算。這個(gè)設(shè)置方法也與文獻(xiàn)[4]的設(shè)置方法一致,可以加快算法的運(yùn)行速度,同時(shí)保持高質(zhì)量的灰度化效果。

首先,本文選取2幅人工合成的大小為256×256的圖像進(jìn)行實(shí)驗(yàn)。圖3展示了本次實(shí)驗(yàn)所用的原彩色圖。圖4展示了上述6種方法得到的灰度圖。

圖3 人工合成圖像示意圖

圖4 人工合成圖像的灰度化結(jié)果

從結(jié)果可以看出本文所提出的方法得到的灰度化結(jié)果仍然可以很好地保持原彩色圖像的細(xì)節(jié)對(duì)比度和色彩對(duì)比度。對(duì)于第一幅圖,本文方法、CorrC2G方法、WpmDecolor方法以及BtDecolor方法能夠獲得較好的灰度化結(jié)果,即灰度化后的結(jié)果中能夠很好地看出數(shù)字2,這與彩色圖像中隱含的數(shù)字2是對(duì)應(yīng)的。通過視覺感知可以看出,本文提出的方法獲得的效果是最好的。PrDecolor和RtGray得到的結(jié)果只能勉強(qiáng)分辨出數(shù)字2。對(duì)于第二幅圖,本文方法和WpmDecolor方法以及PrDecolor方法能夠獲得較好的灰度化結(jié)果,即灰度圖片中花和草的對(duì)比更為清晰一些。表1給出了6種方法處理這兩幅圖片的時(shí)間。由于程序運(yùn)行時(shí)間可能會(huì)受到其他應(yīng)用程序的影響,因此為了更準(zhǔn)確計(jì)算程序運(yùn)行時(shí)間,取程序運(yùn)行10次后的最小時(shí)間作為程序運(yùn)行所需要的時(shí)間。從結(jié)果可以看出,本文方法具有很好的實(shí)時(shí)性。

表1 處理時(shí)間 s

為了進(jìn)一步驗(yàn)證本文方法的有效性,本文進(jìn)一步選取6幅不同尺寸的圖像來進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)所采用的圖片如圖5所示,其中圖5(a)、圖5(b)和圖5(c)的大小為512×512,圖5(d)的大小為512×597,圖5(e)的大小為512×341,圖5(f)的大小為512×320。

圖6展示了本文提出的方法與所對(duì)比方法對(duì)圖5所展示的彩色圖像進(jìn)行灰度化處理后的結(jié)果。從結(jié)果可以看出本文所提出的方法比其他方法在視覺上更好一點(diǎn)。對(duì)于圖5(a),本文方法很好地保持了天空中云朵的細(xì)節(jié)特征;對(duì)于圖5(b),本文方法很好地保持太陽周圍的對(duì)比度;對(duì)于圖5(c),本文方法很好地保持了青山的色彩對(duì)比度;對(duì)于圖5(d),本文方法很好地保持了花蕊和葉片的對(duì)比;對(duì)于圖5(e),本文方法很好地保持了天空云朵對(duì)比度以及車與電池的對(duì)比度;對(duì)于圖5(f),本文方法很好地保持了不同顏色花朵的對(duì)比度。

圖5 用于實(shí)驗(yàn)的不同尺寸圖像

相比來看,Lu等[4]的方法在處理圖5(a)時(shí),云朵邊緣特征不是很清晰;在處理圖5(b)時(shí),夕陽特征不是很清晰;在處理圖5(c)時(shí),灰度化后的結(jié)果偏黑,整體對(duì)比特征不明顯;在處理圖5(d)時(shí),雖然花瓣對(duì)比很明顯,但是相比于原彩色圖,花蕊與花瓣的對(duì)比差異沒有很好地體現(xiàn)出來;在處理圖5(e)時(shí),天空的特征沒有很好體現(xiàn)出來,并且沒有將車身與車上物體明顯區(qū)分開來,與原彩色圖像不一致;在處理圖5(f)時(shí),原彩色圖中黃色花朵與紅色花朵灰度化后的差異相對(duì)較小,而本文提出方法得到的差異則相對(duì)更加明顯,也更加符合原彩色圖像的視覺效果。本文提出的基于四元數(shù)色度距離的對(duì)比度保持灰度化方法是在Lu等[4]提出的實(shí)時(shí)對(duì)比度保持灰度化方法上改進(jìn)得到的。由于利用四元數(shù)將一個(gè)具有3個(gè)分量的彩色圖像作為一個(gè)整體來進(jìn)行表示和處理,因此不會(huì)破壞彩色像素3個(gè)通道之間的相關(guān)性,能夠更好地度量彩色圖像的對(duì)比度,從而灰度化后的結(jié)果能夠更好地保持原彩色圖像的對(duì)比度,進(jìn)而獲得更好的灰度結(jié)果。

為了從客觀上對(duì)本文方法的效果進(jìn)行驗(yàn)證,本文選取E-score指標(biāo)來對(duì)本文提出的方法和其它5個(gè)方法進(jìn)行比較。Lu等[24]驗(yàn)證了E-score指標(biāo)與人類的感知基本符合,可以用于灰度圖片質(zhì)量的評(píng)價(jià)。E-score是感知顏色對(duì)比度保持度(Color contrast preserving ratio,CCPR)和色彩內(nèi)容保真度(Color content fidelity ratio,CCFR)的調(diào)和平均數(shù)。CCPR度量指標(biāo)是基于一種顏色感知現(xiàn)象,即當(dāng)兩個(gè)顏色的歐式距離小于一個(gè)確定的值τ時(shí),人類視覺系統(tǒng)通?？床灰姴町?因此對(duì)比度保留法的任務(wù)只能維持人類可感知的顏色對(duì)比。CCFR具體計(jì)算公式可以參閱文獻(xiàn)[24]。表2～4給出了不同方法處理圖5所示的6幅圖像得到的灰度圖像在3種不同閾值(τ=5,8,10)情況下的E-score值,其中加粗字體表示E-score值優(yōu)于本文方法的結(jié)果。從表中可以看到,本文提出的方法在處理圖5(c)、5(e)和5(f)時(shí)獲得的結(jié)果優(yōu)于其他方法獲得的結(jié)果,在處理圖5(a)和5(b)時(shí),本文提出的方法獲得的結(jié)果優(yōu)于其他部分方法的結(jié)果。本文提出的方法在處理圖5(d)時(shí)僅僅優(yōu)于BtDecolor方法。這是由于該圖片整體顏色數(shù)量偏少,因此在全局對(duì)比度保持方面,本文方法獲得的灰度圖片的E-score值不如其他方法。但是從視覺效果可以看出,本文提出的方法很好地保持了花蕊和葉片的局部對(duì)比度。總的來說,本文提出的方法能夠獲得較好的灰度化結(jié)果。

表4 不同方法得到的E-score結(jié)果(τ=10)

5 結(jié)束語

彩色圖像灰度化技術(shù)是圖像預(yù)處理環(huán)節(jié)中重要的一部分。本文針對(duì)傳統(tǒng)的基于歐氏距離度量的對(duì)比度保持灰度化方法沒有充分考慮彩色圖像通道相關(guān)性的不足,提出基于四元數(shù)色度距離的對(duì)比度度量方法,并以此構(gòu)造對(duì)比度保持的灰度化模型。實(shí)驗(yàn)結(jié)果表明,本文提出的方法優(yōu)于對(duì)比的方法,能夠保留原始圖像的更多細(xì)節(jié)信息,具有一定的實(shí)用和參考價(jià)值。但是本文提出的方法仍然屬于全局映射的方法,沒有充分考慮圖像局部特征。下一步可以將局部對(duì)比度計(jì)算的思路與本文提出的方法相結(jié)合來解決這個(gè)問題。