劉弋名,王曉明,趙 昕

(華北光電技術(shù)研究所,北京 100015)

1 引 言

紅外圖像質(zhì)量評價研究具有重要意義與價值。首先,紅外圖像的質(zhì)量是對該成像系統(tǒng)性能進(jìn)行評估的重要指標(biāo)。其次,對不同算法處理過的紅外圖像進(jìn)行有效地評價是對不同算法性能進(jìn)行評估的先決條件。圖像質(zhì)量評價方法主要包括主觀評價和客觀評價兩種[1]。主觀評價方法最有效,但易受個人因素等影響,且無法應(yīng)用于實時系統(tǒng),因此實際應(yīng)用中還是應(yīng)用客觀方法?？陀^評價方法可分為全參考、半?yún)⒖己蜔o參考三種類型[2],文中重點(diǎn)介紹的為全參考類型。

最簡單的全參考評價方法主要有峰值信噪比(Peak Signal to Noise Ratio,PSNR)和均方誤差(Mean Square Error,MSE)等[3]。這兩種方法計算簡單且便于優(yōu)化,但僅是對像素點(diǎn)的誤差進(jìn)行的純數(shù)學(xué)統(tǒng)計,沒有考慮其相關(guān)性和人類視覺系統(tǒng)(Human VisualSystem,HVS)的感知特點(diǎn),很多情況下不夠符合人的主觀感受。在考慮了HVS的客觀圖像質(zhì)量評價研究的進(jìn)展上,Zhou Wang等人[2,4]提出了基于結(jié)構(gòu)相似度(Structural Similarity,SSIM)的圖像質(zhì)量評價方法。SSIM 可以在一定程度上符合人眼主觀感知,但仍有不足之處,主要原因是其前提假設(shè)圖像的每部分區(qū)域重要程度都相同,這與人的視覺興趣區(qū)域特性不一致[5],從這方面來說單純的SSIM結(jié)果并不能與主觀結(jié)果相一致。

針對以上所提方法的不足,本文在SSIM模型基礎(chǔ)上,將圖像梯度幅值應(yīng)用其中,又結(jié)合了人眼對比敏感度特性,提出一種基于CSF和梯度相似度的紅外圖像質(zhì)量評價方法。

2 基于CSF和梯度相似度的算法模型

2.1 結(jié)構(gòu)相似度模型

Zhou Wang[2,4]等人提出的結(jié)構(gòu)相似度(SSIM)圖像質(zhì)量評價方法是將圖像結(jié)構(gòu)和外界照明兩者信息獨(dú)立進(jìn)行檢測的。SSIM就是通過亮度、對比度以及圖像的結(jié)構(gòu)這三個相互獨(dú)立的通道對圖像質(zhì)量進(jìn)行表征的。具體模型如下:

SSIM(x,y)=[l(x,y)]α·[c(x,y)]β·[s(x,y)]γ

(1)

(2)

(3)

(4)

式中,x,y分別代表失真圖像和參考圖像；l(x,y),c(x,y),s(x,y)分別為圖像x,y的亮度、對比度和結(jié)構(gòu)信息,其中參數(shù)α,β,γ均為正數(shù),用以調(diào)節(jié)上述三者權(quán)重；C1,C2,C3為常數(shù),防止分母為0的情況出現(xiàn)；μx,μx分別為圖像x,y的均值,σx,σy分別為圖像x,y的標(biāo)準(zhǔn)差；σxy為圖像x,y的協(xié)方差[6]。SSIM的值越大,表明失真圖像和參考圖像差別越小,即失真圖像的質(zhì)量越高。

2.2 圖像梯度

圖像梯度反映了圖像亮度變化最顯著的部分,包含理解圖像場景至關(guān)重要的視覺信息,因此提取梯度幅值作為圖像特征進(jìn)行圖像質(zhì)量評價效果較好。Chen等人[7]提出的基于梯度的結(jié)構(gòu)相似度模型GSSIM,就是以SSIM方法為基礎(chǔ),計算過程中將用來計算對比度和結(jié)構(gòu)兩部分的原圖像用梯度圖像來代替,效果優(yōu)于SSIM。

求梯度幅值常見的掩模算子有Sobel算子、Prewitt 算子和Scharr算子。圖像的梯度幅值(Gradient Magnitude,GM)為:

(5)

其中,Gx,Gy分別為x方向和y方向的梯度圖像(幅值分量的圖像)。實驗發(fā)現(xiàn)Sobel算子的效果最好[8],因此本文采用Sobel算子提取圖像的梯度幅值。梯度相似度模型就是以SSIM方法為基礎(chǔ),計算過程中將用來計算對比度和結(jié)構(gòu)兩部分的原圖像用梯度圖像來代替。x′和y′為參考圖像和失真圖像的梯度圖像,則:

(6)

(7)

式中,cg(x,y)和sg(x,y)為梯度圖像的對比度和結(jié)構(gòu)信息。

2.3 人眼對比敏感度特性

對比敏感度函數(shù)(Contrast Sensitivity Function,CSF)[9]反映了人眼在頻域上的敏感度特性。Mannos和Sakrison等人根據(jù)大量的實驗建立的CSF的函數(shù)模型為:

A(f)=2.6(0.192+0.114f)exp[-(0.114f)1.1]

(8)

對于一個M×M的圖像,空間頻率計算如下[10]:

(9)

(10)

(11)

式中,空間頻率的單位為“周期/度”;fx,fy分別代表水平和垂直兩個方向上的周期頻率;I(i,j)代表該選定圖像塊的像素值。

人眼對于水平和豎直兩方向的刺激最敏感,對角方向的敏感性比較弱。因此本文采用水平和垂直方向上的對比敏感度特性,得到歸一化后的CSF特性曲線如圖1所示。

圖1 水平或垂直方向上歸一化的CSF特性曲線

2.4 本文評價模型

(1)把分圖像塊計算SSIM方法中的參考圖像和失真圖像對比度和結(jié)構(gòu)用其梯度圖像的兩者代替,得到基于梯度圖像的SSIM map,即GSSIM map。

(2)由對比敏感度特性計算每個GSSIM map的權(quán)值,并由下式對權(quán)值進(jìn)行歸一化處理:

(12)

其中,λ(i)為歸一化后的第i個圖像塊的權(quán)值;CSFi(f)為第i個圖像塊的對比敏感度特性值;N為圖像塊的總數(shù)。

(3)加權(quán)計算整幅圖的評價值。將N個圖像塊的GSIM值進(jìn)行加權(quán)求和,得到結(jié)合CSF和GSIM圖像質(zhì)量評價方法的計算表達(dá)式為:

(13)

3 實驗結(jié)果及分析

由于圖像無論經(jīng)過怎樣的處理、傳輸?shù)?最終都是要給人看的。由人眼直接觀察圖像來判定圖像的好壞即為圖像質(zhì)量的主觀評價。主觀評價是最為直接準(zhǔn)確的,比較不同客觀評價算法的性能也即比較其結(jié)果與主觀評價結(jié)果的符合程度。

簡要來說,主觀評價一般按照國際電信聯(lián)盟(ITU)提出的主觀評價標(biāo)準(zhǔn),給一組觀察者觀察原始圖像及失真圖像,并按照某種標(biāo)準(zhǔn)為失真圖像打分,表1即為一種常用標(biāo)準(zhǔn)。

表1 一種圖像質(zhì)量評價標(biāo)準(zhǔn)

按照上述標(biāo)準(zhǔn)按照滿分100分打分后,求取平均值即為平均主觀分?jǐn)?shù)(mean opinion scores,MOS),也可用主觀差異評分(difference mean opinion score,DMOS)法來表征圖像質(zhì)量,DMOS為MOS和滿分(100)的差值[6],取值范圍為[0,100],取值越小表明圖像質(zhì)量越好。

本實驗分為兩部分,第一部分采用美國TEXAS大學(xué)圖像與視頻工程實驗室(Lab of Image and Video Engineer,LIVE)所提供的圖像質(zhì)量評價數(shù)據(jù)庫進(jìn)行實驗。該數(shù)據(jù)庫為使用最為廣泛的圖像質(zhì)量評價數(shù)據(jù)庫之一,并且已經(jīng)給出專業(yè)人員的主觀評差異評分。一部分為紅外圖像實驗。由于沒有針對紅外圖像的質(zhì)量評價數(shù)據(jù)庫,因此需先建立紅外圖像庫,然后找一組(20人)具有紅外領(lǐng)域知識的觀察者嚴(yán)格按照表1評價標(biāo)準(zhǔn)對樣本圖像進(jìn)行主觀評價,給出失真圖像主觀評價值,并求取主觀差異值。樣本圖像在3.1節(jié)會詳細(xì)介紹。

為比較不同評價模型的性能,采用視頻質(zhì)量專家組(video Quality Experts Group,VGEQ)推薦的模型評估指標(biāo)[11]中的四個:Pearson線性相關(guān)系數(shù)(Pearson Correlation Coefficient,PCC),均方根誤差(Root Mean Square Error,RMSE),平均絕對誤差(Mean Absolute Error,MAE),Spearman等級相關(guān)系數(shù)(Rank Order Correlation Coefficient,ROCC)。其中,PCC和ROCC是客觀評價值回歸后的結(jié)果與DMOS值直接一致性的指標(biāo),值越大表明模型性能越好；MAE和RMSE是客觀評價值回歸后結(jié)果與DMOS值之間的距離,值越小表明模型性能越好[6]。

3.1 LIVE圖像數(shù)據(jù)庫實驗

LIVE圖像數(shù)據(jù)庫中包含29幅原始圖像及5種類型的失真圖像982幅。并給出了所有失真圖像的DMOS值。

首先用不同方法算出該圖像庫所有圖像的客觀評價值,然后與圖像庫提供的與之對應(yīng)的DMOS進(jìn)行非線性擬合,本文采用文獻(xiàn)[12]中所推薦的最常用的回歸函數(shù)作為擬合函數(shù):

(14)

最后使用上文中四個指標(biāo)來評估幾個不同算法的性能(與主觀評價符合程度)。實驗中用了兩個傳統(tǒng)評價方法PSNR和SSIM,基于梯度相似度的算法GSSIM以及本文提出的結(jié)合CSF和梯度結(jié)構(gòu)相似度VGSSIM共四個圖像質(zhì)量評價方法。圖2分別給出了上述四種算法的客觀值結(jié)果與主觀值的散點(diǎn)圖。表1給出了四種算法的評價指標(biāo)。

圖2 LIVE圖像庫實驗客觀評價值與主觀值散點(diǎn)圖

表2 4種算法性能對比

由圖2結(jié)合表2可知,PSNR和SSIM兩種傳統(tǒng)方法散點(diǎn)擬合曲線基本不滿足線性條件,且散點(diǎn)沿擬合曲線分布不均勻、不集中,表明這兩種傳統(tǒng)算法與人的主觀評價一致性較低。與兩種傳統(tǒng)模型相比,GSSIM和本文的提出的VGSSIM模型散點(diǎn)沿擬合曲線分布更均勻,聚合度更好,擬合曲線也更接近直線,表明這兩種方法明顯由于傳統(tǒng)的PSNR和SSIM兩種方法。

結(jié)合擬合曲線和表2性能指標(biāo)對比GSSIM和本文的VGSSIM模型,相對于本文所提的VGSSIM模型,GSSIM模型的MAE和RMSE的值略小,代表模型散點(diǎn)沿其擬合曲線的聚合度稍高。

但從擬合曲線來看,本文所提出的VGSSIM模型散點(diǎn)擬合曲線幾乎是一條直線,這點(diǎn)明顯優(yōu)于GSSIM模型。且從擬合曲線與DMOS軸的交點(diǎn)來看,VGSSIM模型計算出來的客觀值評價范圍與主觀評價值能更好地對應(yīng)起來。且結(jié)合表2的性能指標(biāo),PCC和SROCC是回歸后結(jié)果與DMOS值直接一致性指標(biāo),取值越大表示算法性能越好,VGSSIM模型的這兩個指標(biāo)也優(yōu)于GSSIM模型。而MAE和RMSE兩指標(biāo)僅是對模型散點(diǎn)沿擬合曲線的聚合程度的考量,其對性能評價的重要程度相對于擬合曲線是否接近線性及范圍是否能和主觀結(jié)果更一致以及PCC和SROCC四部分而言起到補(bǔ)充和參考的作用。因此,綜合幾種指標(biāo),本文所提算法性能要優(yōu)于GSSIM。

綜合分析可知,文中算法VGSSIM明顯優(yōu)于 PSNR和SSIM兩種傳統(tǒng)算法,并在一定程度上優(yōu)于GSSIM算法,更符合人的主觀感受。

3.2 紅外圖像評價實驗

紅外圖像實驗共使用10幅某型640×512元探測器熱像儀采集的包含不同場景信息的紅外圖像作為參考圖像,對每幅原始圖像(參考圖像)分別采用6種不同方法進(jìn)行不同程度降質(zhì)處理,分別為白噪聲污染,高斯噪聲污染,運(yùn)動模糊,加椒鹽噪聲,JPEG壓縮和JPEG2000壓縮,共得到240幅失真圖像。10幅原始圖像如圖3所示。

圖3 紅外圖像評價實驗參考圖像

其中一幅圖像及經(jīng)過降質(zhì)處理后的圖像如圖4所示。

圖4 紅外圖像評價實驗原始圖像及6種降質(zhì)圖像

對上述紅外圖像,首先嚴(yán)格按照主觀評價的標(biāo)準(zhǔn)對樣本圖像進(jìn)行主觀評價,建立圖像數(shù)據(jù)庫,給出失真圖像主觀評價值,計算出主觀差異值。然后用上述四種不同算法計算出客觀評價值,繪制出與主觀評價差異值的散點(diǎn)圖,同樣利用式(14)作為擬合函數(shù)進(jìn)行曲線擬合。最后采用上文所提MAE、RMSE、PCC、ROCC四個指標(biāo)來評價各算法的性能如表3所示。

圖5 紅外圖像試驗評價的模型散點(diǎn)圖

表3 紅外圖像實驗中4種算法性能對比

由圖5和表3可看出,對于4個模型,紅外圖像實驗與LIVE圖像庫實驗的結(jié)果基本一致,并且從性能評價指標(biāo)上看,本文提出的VGSSIM模型與傳統(tǒng)的PSNR和SSIM兩種模型相比優(yōu)勢更明顯,由于紅外圖像實驗主觀評價人數(shù)及實驗樣本遠(yuǎn)小于LIVE圖像數(shù)據(jù)庫,相比而言本實驗有一定的隨機(jī)性。后續(xù)還需繼續(xù)進(jìn)行大量的實驗進(jìn)行進(jìn)一步驗證本文算法的優(yōu)越性。

4 結(jié) 論

本文提出了一種將對比敏感度函數(shù)與梯度結(jié)構(gòu)相似度模型結(jié)合的圖像質(zhì)量評價方法。該方法以分塊SSIM方法為基礎(chǔ),計算過程中將用來計算對比度和結(jié)構(gòu)部分的原圖像用梯度圖像來代替,最后利用對比敏感度函數(shù)確定圖像塊的權(quán)值加權(quán)得到最終評價值。實驗結(jié)果表明,新模型的性能明顯優(yōu)于PSNR、SSIM兩個傳統(tǒng)模型,并且在一定程度上改善了GSSIM模型,能夠更好地與人的主觀感受相符合。對紅外圖像而言,實際的失真類型是多種多樣的,且可能沒有原始圖像做參考。研究適應(yīng)更多類型失真的半?yún)⒖蓟驘o參考紅外圖像質(zhì)量評價模型,會成為進(jìn)一步的研究方向。

參考文獻(xiàn):

[1] WANG Zhou,BOVIK A C.Modern image quality assessment [M].New York:Morgan and Claypool Publishing Company,2006:20-30.

[2] WANG Zhou,BOVIK A C,SHEIKH H R,et al. Image quality assessment:from error visibility to structural similarity [J]. IEEE Trans on Image Processing,2004,13(4):600-612.

[3] AVCIBAS I,SANBUR B,SAYOOD K.Statistical evaluation ofimage quality measures [J].Journal of Electronic Imaging,2002,11(2):206-213.

[4] WANG Zhou,BOVIK A C.A universal image quality index [J].IEEE Trans Signal Processing,2002,9(3):91-94.

[5] ZHU Hanjiang.Research and Implementation of the Image Quality Assessment Method[D].Xi′an:XiDian University,2014.(in Chinese)

朱晗江.圖像質(zhì)量評價方法的研究與實現(xiàn)[D].西安:西安電子科技大學(xué),2014.

[6] MA Xudong, YAN Li,CAO Wei,et al.A new image quality assessment model based on the gradient information[J]. Geomatics and Information Science of Wuhan University,2014,39(12):1412-1418.(in Chinese)

馬旭東,閆利,曹緯,等.一種新的利用梯度信息的圖像質(zhì)量評價[J].武漢大學(xué)學(xué)報:信息科學(xué)版,2014,39(12):1412-1418.

[7] CHEN Guanhao,YANG Chunling,XIE Shengli.Gradientbasedstructure similarity for image quality assessment[C]//Proc of International Conference on Image Processing,2006:2929-2932.

[8] XIE Lizhi, LI Yuhui,LI Bo.An Image quality assessment method based on visual features weighting[J].Computer Technology and Development,2016,26(8):177-181.(in Chinese)

謝立志,李玉惠,李勃.一種基于視覺特性加權(quán)的圖像質(zhì)量評價方法[J].計算機(jī)技術(shù)與發(fā)展,2016,26(8):177-181.

[9] YAO Juncai. Image quality assessment method based on contrast sensitivity characteristics of human vision system [J].Chinese Journal of liquid Crystals and Displays,2011,26(3):390-396.(in Chinese)

姚軍財.基于人眼對比度敏感視覺特性的圖像質(zhì)量評價方法[J].液晶與顯示,2011,26(3):390-396.

[10] HU Xuming, ZHANG Dengfu,NAN dong,et al. Method of image visual quality evaluation based on human visual characteristics[J]. Journal of Computer Applications,2012,32(7):1882-1884.(in Chinese)

胡許明,張登福,南棟,等.基于人眼視覺特性的圖像視覺質(zhì)量評價方法[J].計算機(jī)應(yīng)用,2012,32(7):1882-1884.

[11] Rohaly A M, Corriveau P J,Libert J M,et al.Video quality experts group:current results and future directions[C]. SPIE:Visual Communications and Image Processing,Perth,Australia,2000.

[12] Sheikh H R,Sabir M F,Bovik A C. A statistical evaluation of recent full reference image quality assessment algorithms[J]. Image Processing,IEEE Transactions on,2006,15(11):3440-3451.