陳廣秋, 王冰雪, 劉 美, 劉廣文

(長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院, 長(zhǎng)春 130022)

灰度圖像因具有能真正反映圖像特征、 信息量小、 系統(tǒng)處理效率高、 對(duì)傳輸帶寬及存儲(chǔ)空間要求較低等優(yōu)點(diǎn), 在模式識(shí)別預(yù)處理[1]、 醫(yī)療病理診斷[2]和攝影藝術(shù)等領(lǐng)域應(yīng)用廣泛. 彩色圖像灰度化是根據(jù)實(shí)際應(yīng)用場(chǎng)景利用某種最佳映射函數(shù), 將彩色圖像中的像素值最優(yōu)地映射到對(duì)應(yīng)的灰度級(jí)上, 實(shí)現(xiàn)三維圖像向二維圖像的轉(zhuǎn)換, 由于轉(zhuǎn)換過(guò)程會(huì)使像素的取值范圍減小, 因此不可避免地會(huì)丟失一些結(jié)構(gòu)信息[3]. 常用的灰度化方法是采用固定權(quán)重對(duì)RGB通道進(jìn)行加權(quán)求和, 如MATLAB軟件中的rgb2gray函數(shù)； 或直接利用某個(gè)色彩空間的亮度通道, 如HSI和CIELAB. 這些方法雖然簡(jiǎn)單易實(shí)現(xiàn), 但信息丟失也較嚴(yán)重.

目前彩色圖像灰度化算法主要包括全局映射法、 局部映射法及混和映射法. 全局映射法是利用同一個(gè)映射函數(shù)對(duì)彩色圖像中所有像素進(jìn)行灰度化映射, 以保持結(jié)構(gòu)信息的完整性, 得到的圖像更自然, 視覺(jué)效果更好, 所以應(yīng)用最廣泛. 這類算法主要包括基于優(yōu)化目標(biāo)能量函數(shù)和圖像信息線性投影兩種, 前者通過(guò)最小化目標(biāo)函數(shù)直接求解灰度圖像或映射函數(shù)參數(shù), 如Gooch等[4]利用灰度差與顏色差的最小二乘構(gòu)造目標(biāo)函數(shù), 采用共軛梯度算法求解以保持顏色對(duì)比度; Kim等[5]將顏色與灰度圖像之間的梯度差作為目標(biāo)函數(shù), 映射函數(shù)是一種非線性參數(shù)模型, 通過(guò)最小化目標(biāo)函數(shù)求解映射函數(shù)中的參數(shù); Zhou等[6]將灰度圖像與原圖像的顯著度構(gòu)造對(duì)比度模型作為目標(biāo)函數(shù), 采用線性組合RGB通道圖像作為映射函數(shù). 該類算法雖然能保留原圖像的對(duì)比度信息, 但由于需迭代優(yōu)化目標(biāo)函數(shù), 復(fù)雜度較高, 因此不利于實(shí)際應(yīng)用； 后者通過(guò)離散搜索的方式尋找最佳投影方向, 得到通道映射函數(shù)的權(quán)重, 如Chen等[7]為了獲得映射函數(shù)中的權(quán)重參數(shù)值, 通過(guò)優(yōu)化求解兩幅圖像特征值間的全局差分最小值; Liu等[8]將映射函數(shù)構(gòu)造成兩部分和的形式, 一部分采用MATLAB中的rgb2gray函數(shù), 另一部分通過(guò)求解目標(biāo)函數(shù)最小值獲得最佳投影方向, 得到權(quán)重; Nafchi等[9]在線性投影框架內(nèi)利用Pearson相關(guān)系數(shù)直接求取映射函數(shù)權(quán)重, 得到灰度圖像的輸出. 該類算法實(shí)現(xiàn)簡(jiǎn)單, 運(yùn)算速度較快, 但由于相關(guān)系數(shù)只能反映圖像間結(jié)構(gòu)的相似性, 對(duì)彩色圖像的亮度和對(duì)比度并不能最優(yōu)地映射到灰度圖像中, 因此輸出結(jié)果也并非最優(yōu)[10].

為了得到最優(yōu)的灰度圖像, 同時(shí)兼顧計(jì)算效率, 受文獻(xiàn)[9]啟發(fā), 本文提出一種基于結(jié)構(gòu)信息相似度的線性投影灰度化算法, 通過(guò)度量RGB通道圖像與對(duì)比圖在相關(guān)性、 亮度和對(duì)比度方面的相似程度, 直接估計(jì)全局線性權(quán)重參數(shù), 避免了通過(guò)復(fù)雜的優(yōu)化迭代或收斂搜索算法求取最佳投影方向過(guò)程, 能更好地保持全局結(jié)構(gòu)信息, 輸出圖像更自然, 更符合人的視覺(jué)感知.

1 算法基本原理

1.1 結(jié)構(gòu)信息相似度

圖像的結(jié)構(gòu)信息定義為表示場(chǎng)景中對(duì)象結(jié)構(gòu)的屬性, 包括亮度、 對(duì)比度和結(jié)構(gòu), 文獻(xiàn)[11]整合了上述3種屬性, 提出了采用結(jié)構(gòu)信息相似度(structural similarity, SSIM)客觀評(píng)價(jià)兩幅圖像間的相似程度. 設(shè)兩幅圖像分別為f,h, 則SSIM評(píng)價(jià)系統(tǒng)框圖如圖1所示.

圖1 結(jié)構(gòu)信息相似度評(píng)價(jià)系統(tǒng)框圖

亮度、 對(duì)比度和結(jié)構(gòu)比較函數(shù)分別定義為

其中：mf和mh為圖像f和h的均值, 表示圖像的整體亮度;sf和sh為圖像f和h的標(biāo)準(zhǔn)差, 表示圖像的整體對(duì)比度;sfh為圖像f和h的協(xié)方差, 表示兩幅圖像間的相關(guān)聯(lián)程度;E1,E2,E3是為了避免分母為零而引入的常數(shù). 均值、 標(biāo)準(zhǔn)差和協(xié)方差的計(jì)算公式分別為：

(4)

(5)

(6)

整合式(1)～(3), 圖像f和h的結(jié)構(gòu)信息相似度(SSIM)定義為

SS(f,h)=(b(f,h))p·(r(f,h))q·(c(f,h))g,

(7)

其中參數(shù)p,q,g為常數(shù), 用以控制各部分在SS(f,h)中的比例, 其值大于零, 在實(shí)際應(yīng)用中通常取p=q=g=1. 如果E3=E2/2, 則式(7)可表示為

(8)

其中: 第一項(xiàng)b(f,h)是度量圖像f與h間亮度接近程度的量, 取值范圍為[0,1], 只有當(dāng)mf=mh時(shí),b(f,h)=1； 第二項(xiàng)r(f,h)是度量圖像f與h間對(duì)比度相似程度的量, 取值范圍為[0,1], 只有當(dāng)sf=sh時(shí),r(x,y)=1； 第三項(xiàng)c(f,h)為相關(guān)系數(shù), 用以度量圖像f與h間的線性相關(guān)程度, 即結(jié)構(gòu)的相似度, 取值范圍為[-1,1], 只有當(dāng)hi=zfi+n時(shí),c(f,h)=1(i=1,2,…,K),z>0,n為常數(shù). 所以SS(f,h)的取值范圍為[-1,1].

1.2 線性投影灰度化算法

人類視覺(jué)感知系統(tǒng)對(duì)圖像的亮度和對(duì)比度較敏感, 彩色圖像灰度化的目的是將彩色圖像中亮度、 對(duì)比度和細(xì)節(jié)信息最大限度地轉(zhuǎn)移到灰度圖像中, 生成一幅自然灰度圖像, 以滿足人類的視覺(jué)感知. 本文提出的灰度化算法屬于全局映射法, 映射函數(shù)為

Q(x,y)=ωRVR(x,y)+ωGVG(x,y)+ωBVB(x,y),

(9)

其中：Q表示灰度圖像;ωX,VX(X∈{R,G,B})分別為RGB通道的權(quán)重和強(qiáng)度值. 因此, 上述彩色圖像灰度化問(wèn)題即轉(zhuǎn)化為求解映射函數(shù)中3個(gè)未知權(quán)重系數(shù)的問(wèn)題. 如果表征結(jié)構(gòu)信息的對(duì)比圖像已知, 則通道圖像與對(duì)比圖像的結(jié)構(gòu)信息越相似, 表明該通道圖像所對(duì)應(yīng)的權(quán)值越大. 基于此, 本文設(shè)計(jì)一種根據(jù)輸入圖像的RGB通道圖像與對(duì)比圖的結(jié)構(gòu)信息相似度直接求解全局線性權(quán)重參數(shù)ωX的算法, 求解過(guò)程中無(wú)需迭代優(yōu)化目標(biāo)能量函數(shù)或離散收斂搜索, 提高了求解權(quán)重參數(shù)的效率和全局最優(yōu)度, 保障了灰度化的效果. 算法實(shí)現(xiàn)步驟如下.

1) 對(duì)比圖的構(gòu)造. 對(duì)比圖是一幅特征參考圖像, 需要盡可能多地保持彩色圖像的對(duì)比度和亮度信息. 在RGB圖像中, 通道圖像的像素取值范圍為[0,255], 則RGB圖像的像素取值達(dá)到16 777 216種, 從而需要所構(gòu)造的對(duì)比圖應(yīng)有盡可能多的取值, 以保持圖像的亮度、 對(duì)比度和結(jié)構(gòu)細(xì)節(jié)信息, 所以利用圖像的均值和標(biāo)準(zhǔn)差構(gòu)造對(duì)比圖. 設(shè)m(x,y)和s(x,y)分別為輸入圖像V(x,y)的平均圖和標(biāo)準(zhǔn)偏差圖, 則

m(x,y)=[VR(x,y)+VG(x,y)+VB(x,y)]/3,

(10)

(11)

m(x,y)的灰度取值有766種,s(x,y)的灰度取值有16 365種, 即從彩色圖像到灰度圖像的轉(zhuǎn)換過(guò)程中會(huì)丟失大量的結(jié)構(gòu)信息(包括對(duì)比度和亮度). 為了減少信息損失, 將平均圖m(x,y)與標(biāo)準(zhǔn)偏差圖s(x,y)進(jìn)行“與”運(yùn)算, 構(gòu)造一個(gè)既包含亮度信息又包含對(duì)比度信息的對(duì)比圖T(x,y), 即

T(x,y)=m(x,y)×s(x,y).

(12)

對(duì)比圖T(x,y)的灰度取值超過(guò)200萬(wàn)種, 極大降低了轉(zhuǎn)換過(guò)程中信息的損失.T(x,y)的構(gòu)造過(guò)程如圖2所示. 由圖2可見(jiàn), 圖像T(x,y)能更好保留輸入圖像的對(duì)比度和亮度信息.

圖2 對(duì)比圖的構(gòu)造過(guò)程

2) 結(jié)構(gòu)信息相似度的計(jì)算. 利用式(8)分別計(jì)算RGB三通道圖像與對(duì)比圖T(x,y)之間的結(jié)構(gòu)相似度, 得到SSRT,SSGT,SSBT, 則

TSS={SSRQ,SSGQ,SSBQ}.

(13)

3) 通道全局權(quán)重的計(jì)算. 對(duì)比圖像中保持了原圖像的亮度和對(duì)比度信息, 所以彩色圖像各通道與對(duì)比圖的結(jié)構(gòu)信息相似度越高, 該通道圖像獲得的權(quán)重越高, 反之, 權(quán)重越小.

根據(jù)上述權(quán)重規(guī)則, 將通道圖像的SSIM模值映射到θX, SSIM值直接映射到ρX,X∈{R,G,B}, 計(jì)算公式如下：

(14)

(15)

ωX=|θX+min{θX,ρX}|,

(16)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 參數(shù)設(shè)定

2.2 不同灰度化算法的主觀評(píng)價(jià)分析

圖3 不同參數(shù)值的灰度化效果評(píng)價(jià)

(A) 原圖像; (B) Intensity算法; (C) Gooch算法; (D) Grundland算法;(E) Smith算法; (F) Seo算法; (G) Nafchi算法; (H) 本文算法.

由圖4可見(jiàn), 7種算法都能較好地保持原圖像的整體結(jié)構(gòu)特征, 但本文算法在對(duì)比度和結(jié)構(gòu)細(xì)節(jié)保持方面有一定優(yōu)勢(shì), 圖像更符合視覺(jué)觀察習(xí)慣. 第一幅圖像中Nafchi和Intensity算法并未體現(xiàn)3種辣椒的顏色差異,Gooch,Grundland和Seo算法結(jié)果出現(xiàn)一定程度的灰度失真, 本文算法能較好地保持對(duì)比度, 顏色差異體現(xiàn)較明顯； 第二幅圖像中Intensity,Gooch,Grundland和Nafchi算法都沒(méi)有很好地保持圖像中花和蝴蝶翅膀的對(duì)比度和細(xì)節(jié)信息； 第三幅和第四幅圖像中Intensity,Gooch,Grundland和Smith算法得到的灰度圖像丟失了較多的彩色圖像對(duì)比度信息,Seo算法雖然有所改善, 但仍能觀察到有信息丟失, 如在含有不同顏色段的第四幅圖像中, 左上角的淺綠色和灰色背景部分在灰度圖像中并沒(méi)有明顯的區(qū)分度,Nafchi和本文算法得到的灰度圖像均能較好地區(qū)分彩色圖像中各部分色彩和背景信息, 具有較好的對(duì)比度和視覺(jué)效果； 在含有數(shù)字“25”的第五幅圖像中,Smith算法得到的灰度圖像很難觀察出隱藏的數(shù)字,Nafchi和Gooch算法得到的結(jié)果中勉強(qiáng)能辨認(rèn)出數(shù)字“2”, 但對(duì)數(shù)字“5”幾乎無(wú)法辨別,Intensity和Seo算法得到的結(jié)果有所改善, 能觀察出部分?jǐn)?shù)字信息,Grundland和本文算法得到的結(jié)果中, 能清楚地觀察到所含有的數(shù)字, 很好地轉(zhuǎn)移了源圖像的亮度和對(duì)比度信息, 但本文算法的結(jié)果結(jié)構(gòu)信息更豐富； 第六幅及其局部放大圖中,Gooch,Grundland,Smith和Seo算法得到的灰度圖像中并未表現(xiàn)出局部區(qū)域所存在的色差, 出現(xiàn)較明顯的失真現(xiàn)象,Intensity算法得到的結(jié)果色彩與飽和度較差,Nafchi和本文算法得到的灰度圖能體現(xiàn)出局部區(qū)域的色差, 但在視覺(jué)感知方面, 本文算法略優(yōu)于Nafchi算法.

為了證明本文算法具有較好的魯棒性, 實(shí)驗(yàn)圖像集中另外10幅圖像的灰度化結(jié)果如圖5所示. 由圖4和圖5可見(jiàn), 本文算法在灰度化過(guò)程中不僅能較好地保持原圖像的整體結(jié)構(gòu)并體現(xiàn)色差的對(duì)比度, 且具有良好的整體視覺(jué)感知效果[19].

(A) 原圖像; (B) Intensity算法; (C) Gooch算法; (D) Grundland算法;(E) Smith算法; (F) Seo算法; (G) Nafchi算法; (H) 本文算法.

2.3 不同灰度化算法的客觀評(píng)價(jià)分析

當(dāng)灰度化圖像間差異較小時(shí), 視覺(jué)觀察很難給出準(zhǔn)確的主觀評(píng)價(jià), 需采用客觀評(píng)價(jià)方法對(duì)灰度化圖像進(jìn)行定量分析. 本文客觀評(píng)價(jià)方法采用顯著圖結(jié)構(gòu)信息相似度(saliencymapstructuralsimilarity,SM-SSIM)[20]、 顏色對(duì)比度保持率(CCPR)[14]、 顏色內(nèi)容保真率(CCFR)[14]和調(diào)和平均值(E-Score)[14]4個(gè)評(píng)價(jià)指標(biāo).SM-SSIM表征彩色圖像顯著圖和灰度圖像顯著圖的結(jié)構(gòu)信息相似程度, 其值越大越好；CCPR表征灰度圖像中對(duì)比度與輸入顏色的相似程度, 其值越大越好；CCFR表征灰度圖像中結(jié)構(gòu)內(nèi)容與輸入顏色的相似程度, 其值越大越好；E-Score是CCPR與CCFR的調(diào)和平均值, 其值越大越好. 表1列出了本文算法與其他6種對(duì)比算法對(duì)所選16幅測(cè)試圖像進(jìn)行灰度化結(jié)果客觀評(píng)價(jià)指標(biāo)的平均值, 其中CCPR,CCFR和E-Score是在閾值τ=15時(shí)所得平均值. 由表1可見(jiàn), 本文算法在各類客觀評(píng)價(jià)指標(biāo)中均最優(yōu), 與主觀評(píng)價(jià)結(jié)果一致, 說(shuō)明本文算法具有一定的優(yōu)越性和穩(wěn)定性, 能更有效地保持輸入彩色圖像在灰度化前后的整體結(jié)構(gòu)信息.

表1 不同灰度化算法實(shí)驗(yàn)的客觀評(píng)價(jià)結(jié)果

圖6為各灰度化算法的CCPR(A),CCFR(B)和E-Score(C)的平均值隨閾值τ的變化曲線. 由圖6可見(jiàn), 本文算法的CCPR,CCFR和E-Score值明顯優(yōu)于其他6種灰度化算法, 進(jìn)一步表明本文算法能有效地保持輸入彩色圖像的整體結(jié)構(gòu)信息.

圖6 各客觀評(píng)價(jià)指標(biāo)隨閾值τ的變化曲線

為了說(shuō)明本文算法在計(jì)算效率方面的優(yōu)勢(shì), 在相同的測(cè)試條件下, 對(duì)本文算法與其他6種對(duì)比算法對(duì)4幅不同尺寸的圖像進(jìn)行灰度化實(shí)驗(yàn), 各算法的運(yùn)行時(shí)間列于表2. 實(shí)驗(yàn)環(huán)境為Windows7操作系統(tǒng), CPU 2.4 GHz, 內(nèi)存6 GB, 仿真軟件MATLAB 2016b. 由表2可見(jiàn), 本文算法的計(jì)算效率低于權(quán)值固定的Intensity算法, 但優(yōu)于其他5種算法, 說(shuō)明本文提出的灰度化算法能較好地平衡灰度化效果和計(jì)算效率間的矛盾, 能得到與對(duì)比度感知一致的灰度圖像.

表2 不同灰度化算法的運(yùn)行時(shí)間(s)