齊 歡，焦淑紅，王 斌，劉 偉，申維和

(1.哈爾濱工程大學(xué) 信息與通信工程學(xué)院，黑龍江 哈爾濱150001;2.空間物理重點(diǎn)實(shí)驗(yàn)室，北京100076;3.北京宇航系統(tǒng)工程研究所，北京100076)

0 引 言

圖像傳感器是數(shù)字成像設(shè)備的核心器件，其性能的優(yōu)劣直接影響所獲取圖像的感官效果。其中，CMOS 傳感器具有設(shè)計(jì)簡(jiǎn)單、功耗低、速度快以及集成度高等優(yōu)點(diǎn)［1］，在數(shù)碼產(chǎn)品、醫(yī)療設(shè)備、航天航空等領(lǐng)域表現(xiàn)出巨大的優(yōu)勢(shì)和潛力。但CMOS 圖像傳感器的高集成度使得各元件相互干擾嚴(yán)重，大大影響圖像的質(zhì)量［2］。圖像質(zhì)量評(píng)價(jià)技術(shù)是圖像獲取、處理和存儲(chǔ)等領(lǐng)域的基礎(chǔ)，根據(jù)圖像的質(zhì)量調(diào)整參數(shù)可以改進(jìn)圖像算法和圖像系統(tǒng)的性能［3，4］。獲取高質(zhì)量的圖像是設(shè)計(jì)成像設(shè)備的目標(biāo)，通過(guò)比較相機(jī)獲取圖像的質(zhì)量可以有效評(píng)估成像設(shè)備中傳感器的性能，并為改善傳感器的設(shè)計(jì)提供合理的依據(jù)。

本文充分考慮人類(lèi)視覺(jué)系統(tǒng)的特性和CMOS 傳感器的工作原理，提出了一種基于CMOS 傳感器的圖像質(zhì)量評(píng)價(jià)算法。實(shí)驗(yàn)結(jié)果表明:該算法的評(píng)價(jià)結(jié)果與人眼感知保持較高的一致性，在CMOS 圖像傳感器的設(shè)計(jì)和性能評(píng)估等方面具有廣闊的應(yīng)用前景。

1 方向梯度直方圖

方向梯度直方圖(histograms of oriented gradients，HOG)［5］是一種圖像特征的局部描述子，由Dalal N 等人在2005 年的CVPR 會(huì)議上首次提出。最初的目標(biāo)是建立描述人體形狀的特征描述子并將其用于行人檢測(cè)。HOG 特征描述子的基本思想是圖像中目標(biāo)的外觀和形狀可以通過(guò)圖像局部梯度或邊緣方向刻畫(huà)，該特征描述子在行人檢測(cè)方面取得了很好的效果，并被廣泛應(yīng)用于目標(biāo)檢測(cè)與識(shí)別領(lǐng)域。

對(duì)于給定輸入圖像的HOG 描述子，首先對(duì)圖像進(jìn)行Gamma/色彩標(biāo)準(zhǔn)化以便消除光照和陰影等對(duì)圖像或視頻中行人檢測(cè)的影響。由于算法的后續(xù)步驟包含對(duì)比度的標(biāo)準(zhǔn)化，因此，Gamma/色彩標(biāo)準(zhǔn)化對(duì)檢測(cè)性能的改善效果并不明顯，在具體的實(shí)現(xiàn)中通常將這一步省略。其次，在每個(gè)彩色通道上計(jì)算圖像的梯度。HOG 描述子利用圖像的梯度和方向信息表達(dá)圖像中的重要目標(biāo)，梯度和梯度方向的計(jì)算是建立HOG 描述子最為關(guān)鍵的步驟。接著，將圖像劃分為若干個(gè)單元格，并以梯度大小為權(quán)值建立每個(gè)單元格內(nèi)像素的方向梯度直方圖。最后，將多個(gè)單元格合并成一個(gè)圖像塊，并在圖像塊上進(jìn)行對(duì)比度標(biāo)準(zhǔn)化操作。

2 圖像質(zhì)量的表示

2.1 圖像的亮度相似性

CMOS 圖像傳感器存在輸入上限閾值，當(dāng)輸入的光信號(hào)超過(guò)該閾值時(shí)，像素單元會(huì)由于飽和而發(fā)生溢出模糊［1］。此時(shí)，像素單元無(wú)法進(jìn)行光電轉(zhuǎn)換，圖像上會(huì)出現(xiàn)一片類(lèi)似于過(guò)曝光的區(qū)域，過(guò)高的亮度將直接影響圖像的感知質(zhì)量。因此，本文通過(guò)以下方式計(jì)算圖像在亮度上的變化［6］，用以判斷CMOS 傳感器是否出現(xiàn)溢出模糊

式中 Ix，Iy分別為原始圖像和干擾圖像的灰度值;l 為圖像灰度值的動(dòng)態(tài)范圍，對(duì)于8 bit 灰度圖像，l=255。

2.2 圖像結(jié)構(gòu)的規(guī)則度

結(jié)構(gòu)是圖像重點(diǎn)目標(biāo)的關(guān)鍵信息。HOG 描述子可以很好地描述目標(biāo)的外觀和輪廓即目標(biāo)結(jié)構(gòu)［5］。對(duì)于紋理豐富的區(qū)域(結(jié)構(gòu)不規(guī)則區(qū)域)，各像素的梯度方向不同，均勻地分布于方向梯度直方圖的各區(qū)間內(nèi);對(duì)于平坦區(qū)域(結(jié)構(gòu)規(guī)則區(qū)域)，各像素的梯度方向一致性較強(qiáng)，在方向梯度直方圖中的分布較為集中。因此，圖像局部區(qū)域的方向梯度直方圖可以體現(xiàn)圖像中不同結(jié)構(gòu)區(qū)域的特點(diǎn)。

干擾信號(hào)會(huì)改變圖像的結(jié)構(gòu)信息，進(jìn)而影響圖像結(jié)構(gòu)的規(guī)則度［7］。本文利用與圖像結(jié)構(gòu)密切相關(guān)的HOG 描述子提取圖像的結(jié)構(gòu)信息。為了體現(xiàn)圖像中每一細(xì)微之處的結(jié)構(gòu)情況，對(duì)原始HOG 算法做出一定的調(diào)整。首先，利用Prewitt 算子計(jì)算圖像每個(gè)像素的梯度大小和方向。然后，將0°～180°均勻劃分為3 個(gè)方向區(qū)間，即［0°，60°］，［61°，120°］，［121°，180°］。最后，以圖像中的每個(gè)像素為中心劃定3×3 的圖像區(qū)域，并針對(duì)每個(gè)區(qū)域，統(tǒng)計(jì)落入各方向區(qū)間內(nèi)像素的個(gè)數(shù)。同時(shí)，以每個(gè)像素梯度的大小作為權(quán)值，得到以該像素為中心的圖像區(qū)域的方向梯度直方圖，通過(guò)這種方式描述每個(gè)像素所處區(qū)域的圖像局部梯度方向分布情況。

隨機(jī)變量的不確定程度越大，其信息熵［4］越大。因此，本文利用方向梯度直方圖的熵來(lái)衡量局部圖像結(jié)構(gòu)的規(guī)則度。為了計(jì)算信息熵，首先利用每個(gè)像素所處局部區(qū)域的方向梯度直方圖，計(jì)算該區(qū)域內(nèi)像素落入各方向區(qū)間的概率。由于上述方式計(jì)算的方向梯度直方圖是以每個(gè)像素的梯度大小為權(quán)值的，因此，將直方圖中各區(qū)間的加權(quán)頻數(shù)與所有區(qū)間的加權(quán)頻數(shù)和的比值作為每個(gè)區(qū)間方向發(fā)生的概率。通過(guò)計(jì)算圖像中每個(gè)像素鄰域方向梯度直方圖的熵得到與原始圖像尺寸相等的熵圖［8］。圖1 給出了一幅自然圖像及其熵圖。從圖中可以看出，熵圖可以大致描繪出圖像中目標(biāo)的外觀。但值得注意的是，人眼感知平滑背景區(qū)域的熵值同樣較大。這是因?yàn)槿搜墼诟兄獔D像內(nèi)容變化時(shí)存在對(duì)比度閾值，只有當(dāng)圖像區(qū)域的對(duì)比度大于這一閾值時(shí)，人類(lèi)視覺(jué)系統(tǒng)才可以感知到圖像灰度值的變化，當(dāng)背景區(qū)域的梯度值小于對(duì)比度閾值時(shí)，人類(lèi)感知其為相對(duì)平滑的區(qū)域。由于上述計(jì)算熵值的方式僅與梯度方向有關(guān)，與梯度大小無(wú)直接聯(lián)系，而背景區(qū)域的梯度方向各異，因此，背景區(qū)域的熵值同樣較大。

圖1 自然圖像及其熵圖Fig 1 Natural image and its entropy map

將人眼無(wú)法感知梯度變化的區(qū)域視為完全平滑區(qū)域更能體現(xiàn)人類(lèi)視覺(jué)系統(tǒng)感知圖像變化的特點(diǎn)。因此，當(dāng)區(qū)域內(nèi)各像素梯度值小于等于閾值T 時(shí)，將該點(diǎn)的梯度方向改為0°，然后再計(jì)算直方圖的熵。根據(jù)經(jīng)驗(yàn)，T=5?？紤]人類(lèi)視覺(jué)系統(tǒng)對(duì)比度閾值現(xiàn)象的熵圖如圖2 所示。從圖中可以看出，圖像中平滑的區(qū)域具有較小的熵，而紋理豐富的區(qū)域具有較大的熵。調(diào)整后的熵圖更能體現(xiàn)圖像中人眼可感知目標(biāo)的結(jié)構(gòu)。

圖2 調(diào)整后的熵圖Fig 2 Modified entropy map

為了表達(dá)干擾圖像的梯度方向分布相對(duì)于原始圖像的變化情況，計(jì)算干擾圖像熵圖與原始圖像熵圖的相似度［9］

式中 Ex，Ey分別為原始圖像和干擾圖像梯度方向的熵圖;C 為避免分母為0 的常數(shù)，這里，C=0.001。

3 全參考圖像質(zhì)量評(píng)價(jià)算法

圖像質(zhì)量的變化既體現(xiàn)在圖像的結(jié)構(gòu)規(guī)則度上，也與圖像的亮度信息有關(guān)。將干擾圖像與原始圖像的結(jié)構(gòu)相似圖與亮度相似圖結(jié)合即可得到圖像質(zhì)量的相似程度

式中 a 為各部分影響圖像質(zhì)量變化的權(quán)重參數(shù)。由于圖像中目標(biāo)的結(jié)構(gòu)能夠體現(xiàn)圖像傳達(dá)的主要信息，因此，在算法實(shí)現(xiàn)中，a=0.8。

在計(jì)算熵圖時(shí)，雖然將人眼無(wú)法感知的梯度變化區(qū)域進(jìn)行了調(diào)整，但通過(guò)前面的分析可以看出，熵圖只與局部區(qū)域梯度方向分布的多樣性有關(guān)，與圖像中目標(biāo)的重要性不存在任何聯(lián)系。也就是說(shuō)，即使這一區(qū)域的梯度非常小(非目標(biāo)區(qū)域)，但只要該區(qū)域的梯度變化超過(guò)了人類(lèi)視覺(jué)系統(tǒng)可感知的閾值，熵圖中就可以體現(xiàn)出來(lái)，且梯度方向越豐富，熵值越大。為了能夠突出圖像中重點(diǎn)目標(biāo)對(duì)圖像質(zhì)量變化的影響，將原始圖像的局部方差［10］作為圖像各區(qū)域質(zhì)量變化的權(quán)值

式中 (M，N)為圖像的尺寸;(i，j)為空間位置索引;σ(i，j)為(i，j)處圖像像素的局部方差

式中 wk，l為二維對(duì)稱(chēng)高斯權(quán)重函數(shù)。由于在統(tǒng)計(jì)方向梯度直方圖時(shí)利用了每個(gè)像素的3×3 鄰域，因此，計(jì)算局部方差時(shí)仍選用3×3 窗口，即K=L=1。μ(i，j)為圖像的局部均值

為了使該算法得到的客觀分?jǐn)?shù)與主觀分?jǐn)?shù)之間有更好的線性關(guān)系，將質(zhì)量分?jǐn)?shù)變換到對(duì)數(shù)域

根據(jù)經(jīng)驗(yàn)，當(dāng)b ＜1 時(shí)，可以得到更好的質(zhì)量評(píng)價(jià)性能，在本文的實(shí)現(xiàn)中，b=0.5。

4 實(shí)驗(yàn)結(jié)果與分析

為了系統(tǒng)、全面地評(píng)定所提算法與人眼感知的一致性，本文利用LIVE 主觀評(píng)估數(shù)據(jù)庫(kù)［11］進(jìn)行客觀分?jǐn)?shù)與主觀分?jǐn)?shù)的相關(guān)性驗(yàn)證實(shí)驗(yàn)。LIVE 數(shù)據(jù)庫(kù)包含29 幅RGB 彩色自然原始圖像和五種類(lèi)型的干擾圖像，其中，白噪聲(white noise，WN)、高斯模糊(Gaussian blur，GB)和快衰落(fastfading，F(xiàn)F)三種類(lèi)型的干擾圖像各145 幅，JPEG2000(JP2K)干擾圖像169 幅，JPEG 干擾圖像175 幅。實(shí)驗(yàn)分別利用斯皮爾曼等級(jí)相關(guān)系數(shù)(Spearman rank－order correlation coefficient，SROCC)和皮爾遜線性相關(guān)系數(shù)(Pearson linear correlation coefficient，PLCC)衡量客觀分?jǐn)?shù)與主觀分?jǐn)?shù)之間的單調(diào)性和準(zhǔn)確性。

實(shí)驗(yàn)選取了五種通過(guò)計(jì)算干擾圖像與原始圖像相似度來(lái)評(píng) 價(jià) 圖 像 質(zhì) 量 的 客 觀 算 法:SSIM［9］，IWSSIM［12］，ESSIM［13］，GSIM［6］和GMSD［14］作為對(duì)比算法。SSIM 利用圖像間的結(jié)構(gòu)相似度評(píng)價(jià)圖像的質(zhì)量;IWSSIM 將干擾圖像和原始圖像各區(qū)域的互信息量作為SSIM 質(zhì)量圖合并的權(quán)值;ESSIM 將圖像邊緣強(qiáng)度的相似度作為干擾圖像質(zhì)量分?jǐn)?shù);GSIM 和GMSD 通過(guò)計(jì)算圖像間梯度的相似度評(píng)價(jià)圖像的質(zhì)量。表1、表2 分別列出了各算法的客觀分?jǐn)?shù)與主觀分?jǐn)?shù)之間的SROCC 和PLCC。

表1 客觀算法在LIVE 庫(kù)上的SROCCTab 1 SROCC of objective algorithms on LIVE database

表2 客觀算法在LIVE 庫(kù)上的PLCCTab 2 PLCC of objective algorithms on LIVE database

從實(shí)驗(yàn)結(jié)果可以看出:無(wú)論SROCC 還是PLCC，本文所提算法在大多數(shù)類(lèi)型干擾圖像上的實(shí)驗(yàn)結(jié)果均優(yōu)于其他幾種算法。特別是，在所有干擾圖像混合的情況下，所提算法具有最高的PLCC，就SROCC 而言，該算法也能與表現(xiàn)最好的算法相匹敵。因此，本文所提算法是一種與主觀評(píng)估接近的客觀算法，完全可以滿足實(shí)際應(yīng)用的需求，并且，該算法主要基于圖像結(jié)構(gòu)建立，適用于多種類(lèi)型圖像。

5 結(jié) 論

本文提出了一種基于CMOS 傳感器的圖像質(zhì)量評(píng)價(jià)算法。算法充分考慮了CMOS 傳感器的特點(diǎn)，并與人類(lèi)視覺(jué)系統(tǒng)的感知特性高度契合。仿真結(jié)果顯示:無(wú)論單一類(lèi)型干擾圖像還是混合類(lèi)型干擾圖像，本文算法的客觀分?jǐn)?shù)與主觀分?jǐn)?shù)的相關(guān)系數(shù)均達(dá)到0.95 以上，能夠?yàn)樵u(píng)估和提升CMOS 傳感器性能提供有效依據(jù)。

［1］ 鄒義平.CMOS 圖像傳感器的圖像降噪技術(shù)的研究［D］.北京:北京郵電大學(xué)，2009.

［2］ 徐 忠，劉洪英，余 巧，等.醫(yī)用內(nèi)窺鏡微型攝像模組設(shè)計(jì)［J］.傳感器與微系統(tǒng)，2014，33(10):91－103.

［3］ Demirtas A M，Reibman A R，Jafarkhani H.Full－reference quality estimation for images with different spatial resolutions［J］.IEEE Transactions on Image Processing，2014，23(5):2069－2080.

［4］ Min Z，Muramatsu C，Zhou X，et al.Blind image quality assessment using the joint statistics of generalized local binary pattern［J］.IEEE Signal Processing Letters，2015，22(2):207－210.

［5］ Dalal N，Triggs B.Histograms of oriented gradients for human detection［C］∥IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)，San Diego，CA，USA.2005:886－893.

［6］ Anmin L，Weisi L，Narwaria M.Image quality assessment based on gradient similarity［J］.IEEE Transactions on Image Processing，2012，21(4):1500－1512.

［7］ 吳金建.基于人類(lèi)視覺(jué)系統(tǒng)的圖像信息感知和圖像質(zhì)量評(píng)價(jià)［D］.西安:西安電子科技大學(xué)，2014.

［8］ 劉 倩.基于HOG 的熵流導(dǎo)航方法［D］.武漢:華中科技大學(xué)，2013.

［9］ Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:From error visibility to structural similarity［J］.IEEE Transactions on Image Processing，2004，13(4):600－612.

［10］Mittal A，Moorthy A K，Bovik A C.No－reference image quality assessment in the spatial domain［J］.IEEE Transactions on Image Processing，2012，21(12):4695－4708.

［11］Sheikh H R，Wang Z，Cormack L，et al.LIVE image quality assessment data－base release2［DB/OL］.［2009—12—14］.http:∥live.ece.utexas.edu/research/quality.

［12］Zhou W，Qiang L.Information content weighting for perceptual image quality assessment［J］.IEEE Transactions on Image Processing，2011，20(5):1185－1198.

［13］Zhang Xuande，F(xiàn)eng Xiangchu，Wang Weiwei，et al.Edge strength similarity for image quality assessment［J］.IEEE Signal Processing Letters，2013，20(4):319－322.

［14］Xue Wufeng，Zhang Lei，Mou Xuanqin，et al.Gradient magnitude similarity deviation:A highly efficient perceptual image quality index［J］.IEEE Transactions on Image Processing，2014，23(2):684－695.