楊　蕾， 牛林林， 宋曉煒， 劉清麗

(中原工學(xué)院, 鄭州 450007)

基于頻域的SSIM立體圖像評(píng)價(jià)方法

楊蕾， 牛林林， 宋曉煒， 劉清麗

(中原工學(xué)院, 鄭州 450007)

摘要：針對(duì)空域SSIM(Structural Similarity)在立體圖像評(píng)價(jià)中存在的人類視覺(jué)系統(tǒng)感知敏感性問(wèn)題，提出了基于頻域的SSIM立體圖像質(zhì)量評(píng)價(jià)算法。實(shí)驗(yàn)結(jié)果表明，相比其他圖像質(zhì)量評(píng)價(jià)方法，該算法更符合人類視覺(jué)系統(tǒng)的特性。

關(guān)鍵詞：圖像質(zhì)量評(píng)價(jià)； 立體圖像； 結(jié)構(gòu)相似度

平面圖像質(zhì)量評(píng)價(jià)有客觀評(píng)價(jià)方法與主觀評(píng)價(jià)方法兩種。主觀評(píng)價(jià)方法是最準(zhǔn)確的方法，但是存在著評(píng)價(jià)步驟復(fù)雜、實(shí)時(shí)性不好等問(wèn)題，不能在圖像處理系統(tǒng)中直接應(yīng)用。與主觀評(píng)價(jià)方法不同，客觀評(píng)價(jià)方法通過(guò)建立一定的數(shù)學(xué)模型，計(jì)算相應(yīng)的參數(shù)或量化指標(biāo)來(lái)判斷平面圖像的質(zhì)量。目前使用最多的二維圖像質(zhì)量客觀評(píng)價(jià)方法是均方誤差(MSE)和峰值信噪比(PSNR)兩種方法。這兩種方法雖然計(jì)算簡(jiǎn)單，但有時(shí)和人眼的視覺(jué)感知不一致，造成客觀評(píng)價(jià)結(jié)果不符合主觀評(píng)價(jià)。近年來(lái)出現(xiàn)了許多結(jié)合人類視覺(jué)系統(tǒng)的二維圖像評(píng)價(jià)模型。其中，HVS對(duì)于圖像的低頻分量敏感度比較高，對(duì)比敏感度函數(shù)(Contrast Sensitivity Function,CSF)可以用來(lái)模擬HVS的評(píng)價(jià)行為[1-6]。

與二維圖像不同，立體圖像是由左右兩個(gè)視點(diǎn)的圖像組成的。在對(duì)立體圖像質(zhì)量進(jìn)行客觀評(píng)價(jià)時(shí)，若使用MSE和PSNR方法不能進(jìn)行正確的評(píng)價(jià)。近些年，Wang Z等認(rèn)為：人眼可以高度自適應(yīng)地提取出圖像場(chǎng)景中的結(jié)構(gòu)信息，于是提出了基于結(jié)構(gòu)相似度(SSIM)的評(píng)價(jià)模型。他們的實(shí)驗(yàn)結(jié)果表明，這個(gè)方法的性能比PSNR好[7-8]。此后，其他學(xué)者提出了很多對(duì)SSIM的改進(jìn)算法，例如：基于梯度結(jié)構(gòu)和邊緣結(jié)構(gòu)的相似度[9]、基于頻域的結(jié)構(gòu)相似度[10-11]、多尺度的結(jié)構(gòu)相似度[12]及將SSIM和其他的圖像質(zhì)量評(píng)價(jià)方法加權(quán)結(jié)合[1]等。這些改進(jìn)方法在嚴(yán)重模糊圖像的評(píng)價(jià)中取得了比較好的結(jié)果[11]。

本文通過(guò)研究二維圖像評(píng)價(jià)中的SSIM方法，提出基于頻域的結(jié)構(gòu)相似度的立體圖像質(zhì)量評(píng)價(jià)方法。實(shí)驗(yàn)結(jié)果表明，頻域結(jié)構(gòu)相似度評(píng)價(jià)方法比PSNR方法更加符合人類的視覺(jué)特性。

1空域結(jié)構(gòu)相似度

空域結(jié)構(gòu)相似度算法用于比較原始圖像和失真圖像的亮度分量、結(jié)構(gòu)分量和對(duì)比度分量。

(1)

(2)

(3)

式中：x表示原始圖像塊；y表示和原始圖像相對(duì)應(yīng)的失真圖像塊；μx和μy是x與y之間的均值；σx、σy代表原始圖像塊和失真圖像塊的方差；σxy代表協(xié)方差；C1、C2和C3是為防止分母等于0而設(shè)置的常數(shù)[7,13]。

將原始圖像X和失真圖像Y進(jìn)行分塊處理，然后計(jì)算原始圖像和失真圖像相對(duì)應(yīng)分塊的SSIM(xi,yi)：

SSIM(xi,yi)=[l(xi,yi)]α·[c(xi,yi)]β·[s(xi,yi)]γ

(4)

其中，α>0、β>0和γ>0用于調(diào)整l(x,y)、c(x,y)和s(x,y)這3個(gè)成分的相對(duì)比重。

整幅圖像的平均結(jié)構(gòu)相似度(Mean Structural Similarity,MSSIM)是所有圖像塊SSIM的平均值：

(5)

式中,M表示分塊數(shù)值。

空域結(jié)構(gòu)相似度明確地反映了圖像亮度、對(duì)比度和結(jié)構(gòu)相似度的變化。因此，它對(duì)JPEG壓縮、濾波等失真問(wèn)題，可以很好地進(jìn)行評(píng)價(jià)。

2立體圖像質(zhì)量評(píng)價(jià)

2.1CSF頻率響應(yīng)

HVS的對(duì)比敏感度特性表明，圖像的失真是否可以被人察覺(jué)與它的空間頻率的幅度和方向是有關(guān)系的[14]。從公式(1)-(5)中可以看出，SSIM并沒(méi)涉及人眼失真的視覺(jué)可見(jiàn)性和空間頻率之間的關(guān)系。實(shí)驗(yàn)證明，CSF函數(shù)可以表示人眼感知對(duì)于空間頻率的變化[15]。

對(duì)比敏感度是指當(dāng)信號(hào)(圖像的某種失真)在人眼可以察覺(jué)的范圍內(nèi)時(shí)，這個(gè)信號(hào)的對(duì)比度的倒數(shù)[16]。信號(hào)的空間頻率和對(duì)比敏感度的關(guān)系可用CSF函數(shù)描述。CSF的空間頻率響應(yīng)為：

(6)

(7)

Sa(u,v)=S(ω)O(ω,θ)

(8)

2.2基于頻域的SSIM立體圖像評(píng)價(jià)方法

人眼對(duì)頻率的信息敏感程度是不相同的，對(duì)可以反映圖像邊緣輪廓的頻率分量的變化比較敏感。圖像的頻域信息能夠有效地反映出圖像的紋理特征，并可以通過(guò)人眼對(duì)不同頻率的敏感程度進(jìn)行不同處理。因此，本文以頻域信息作為圖像的主要結(jié)構(gòu)信息，提出基于頻域的結(jié)構(gòu)相似度的立體圖像質(zhì)量評(píng)價(jià)方法。

本文針對(duì)立體圖像的左右圖像分別進(jìn)行了質(zhì)量評(píng)價(jià)。其算法如圖1所示?？紤]到人眼對(duì)頻率的敏感性，采用經(jīng)離散余弦變換后的交流系數(shù)進(jìn)行結(jié)構(gòu)相似度計(jì)算。

圖1　圖像質(zhì)量評(píng)價(jià)框圖

將左右圖像進(jìn)行8×8分塊，得到圖像塊的頻域信息：

(9)

其中：0≤u≤7,0≤v≤7。

(10)

在式(9)中，f(x,y)為原始圖像塊，F(xiàn)(u,v)為變換后的頻域系數(shù)，圖像塊的大小為8×8。變換后直流系數(shù)FDC(Direct Coefficient,DC)和交流系數(shù)FAC(Alternating Coefficient,AC)為：

(11)

其中：0≤u≤7,0≤v≤7,u·v≠0

對(duì)交流系數(shù)進(jìn)行加權(quán)后可以得到圖像塊的頻域相似度函數(shù)：

(12)

其中，σFx和σFy分別為x和y的頻域加權(quán)標(biāo)準(zhǔn)差。

(13)

(14)

(15)

其中：μFx、μFy分別為x、y的頻域加權(quán)平均值；σFxy為x和y的頻域加權(quán)協(xié)方差；wu，v是對(duì)頻率FAC(u,v)的感知加權(quán)系數(shù)，是根據(jù)JPEG壓縮標(biāo)準(zhǔn)[17]中DCT系數(shù)的量化參數(shù)計(jì)算，并歸一化后得到的。

由此得到基于頻域的結(jié)構(gòu)相似度：

DCTFSSIM(xi,yi)=[l(xi,yi)]α·[c(xi,yi)]β·[sF(xi,yi)]γ

(16)

式中，α>0、β>0和γ>0是控制三部分權(quán)重的參數(shù)。為簡(jiǎn)化計(jì)算，令它們都等于1。對(duì)各圖像塊的DCTFSSIM求取平均值就可得到整幅圖像的頻域結(jié)構(gòu)相似度：

(17)

在計(jì)算頻域結(jié)構(gòu)相似度后，可利用HVS的對(duì)比敏感度性質(zhì)進(jìn)行CSF濾波處理。

3實(shí)驗(yàn)結(jié)果及分析

本文針對(duì)中值濾波、模糊失真、JPEG壓縮3種情況進(jìn)行了實(shí)驗(yàn)。圖2為實(shí)驗(yàn)室flea2拍攝的路口車輛圖片。將每種情況分為左右圖像，分別進(jìn)行MSSIM實(shí)驗(yàn)，經(jīng)空域、頻域和CSF濾波后，SSIM值越大表示圖像質(zhì)量越好。

圖2表示用于實(shí)驗(yàn)的左右視點(diǎn)的原始圖像，圖3-圖5是各種情況下的實(shí)驗(yàn)結(jié)果。由圖3可知，頻域得到SSIM的值好于空域得到的值，CSF濾波后的SSIM值好于濾波前。由圖4可知，以模糊次數(shù)為變量得到的左右圖像結(jié)果都有改善。由圖5可知，以JPEG壓縮率為變量，濾波后得到的SSIM值優(yōu)于空域和頻域的SSIM值。隨著壓縮率的增大，濾波后的SSIM值沒(méi)有大的變化。

(a)左圖像

(b)右圖像圖2　 原始的左右視點(diǎn)圖像

(a)左視點(diǎn)

(b)右視點(diǎn)圖3　中值濾波情況下左右視點(diǎn)的SSIM變化圖

(a)左視點(diǎn)

(b)右視點(diǎn)圖4　模糊失真情況下左右視點(diǎn)的SSIM變化圖

(a)左視點(diǎn)

(b)右視點(diǎn)圖5　JPEG壓縮情況下左右視點(diǎn)的SSIM變化圖

4結(jié)語(yǔ)

本文針對(duì)空域SSIM算法在立體圖像評(píng)價(jià)中的不足，選用了頻域和CSF濾波的方法。CSF濾波考慮了空間頻率的幅度和方向，更符合HVS系統(tǒng)的感知特性。同時(shí)，以人眼頻域信息作為結(jié)構(gòu)信息，可以較好地對(duì)分別經(jīng)過(guò)中值濾波、模糊和JPEG圖像壓縮的圖像質(zhì)量進(jìn)行評(píng)估。實(shí)驗(yàn)結(jié)果表明，頻域和CSF濾波算法優(yōu)于空域SSIM算法，能較好地評(píng)價(jià)立體圖像質(zhì)量。

參考文獻(xiàn):

[1]佟雨兵,張其善,祁云平.基于PSNR與SSIM聯(lián)合的圖像質(zhì)量評(píng)價(jià)模型[J].中國(guó)圖象圖形學(xué)報(bào),2006,11(12): 1758-1763.

[2]馬麗紅,龔紫平.頻率與方向敏感SSIM的圖像質(zhì)量評(píng)價(jià)方法[J].計(jì)算機(jī)工程, 2012, 38(5): 19-24.

[3]Bradley A P. A Wavelet Visible Difference Predictor[J]. IEEE Transactions on Image Processing, 1999, 8(1): 717-730.

[4]Sarnoff Corporation. JNDmetrix Technology[EB/OL].(2010-05-10)[2014-03-06].http://www.sarnoff.com.

[5]Lubin J. Method and Apparatus for Assessing the Visibility of Differences Between Two Image Sequences: USA Patent,5974159[P]. 1999.

[6]Watson A B, Solomon J A. A Model of Visual Contrast Gain Control and Pattern Masking[J]. Journal of the Optical Society of America, 1997, 14(9): 2378-2390.

[7]Wang Z, Bovik A C,Sheikh H R, et al. Image Quality Assessment: From Error Visibility to Structural Similarity[J].IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[8]Wang Z, Bovik A C, Simoncelli E P. Structural Approaches to Image Quality Assessment[M]. New York:Academic Press, 2005：961-974.

[9]Wang Z,Simoncelli E P,Bovik A C.Multi-scale Structural Similarity for Image Quality Assessement [C]//Proc. IEEE Asilomar Conference on Signals,Systems and Computers.Beijing, 2003: 1398-1402.

[10]楊春玲,陳冠豪,謝勝利.基于梯度信息的圖像質(zhì)量評(píng)判方法的研究[J].電子學(xué)報(bào)， 2007， 35(7)： 1313-1317.

[11]李航，路羊，崔慧娟，等.基于頻域的結(jié)構(gòu)相似度的圖像質(zhì)量評(píng)價(jià)方法[J].清華大學(xué)學(xué)報(bào)：自然科學(xué)版， 2009, 49(4)： 559-562.

[12]呂丹，畢篤彥.基于結(jié)構(gòu)相似的DCT域圖像質(zhì)量評(píng)價(jià)[J].吉林大學(xué)學(xué)報(bào):工學(xué)版, 2011, 41(6): 1771-1776.

[13]Daniel D L, Sebastian H S. Learning the Parts of Objects by Non-negative Matrix Factorization[J]. Nature, 1999, 401(6755): 788-791.

[14]Glenn W E. Digital Image Compression Based on Visual Perception[M]. USA: MIT Press, 1993：392-398.

[15]Zhou H, Chen M, Webster M F.Comparative Evaluation of Visualization and Experimental Results Using

Image Comparison Metrics[C]//Proceeding of the Conference on Visualization. USA:IEEE Computer Society, 2002: 315-322.

[16]王麗娜，郭遲，李鵬.信息隱藏技術(shù)實(shí)驗(yàn)教程[M].武漢：武漢大學(xué)出版社,2004：154-168.

[17]JPEG/ISO/ IEC JTC 1/SC2/ WG8/ISO CD10918, Digital Compression and Coding of Continuous Tone Still Images SIO/IEC/JTCI/SC2/WG10[S].1991.

(責(zé)任編輯：王長(zhǎng)通)

Frequency Domain Based SSIM Stereo Image Assessment Method

YANG Lei, NIU Lin-lin, SONG Xiao-wei, LIU Qing-li

(Zhongyuan University of Technology, Zhengzhou 450007, China)

Abstract:The spatial domain SSIM (structural similarity)in stereo image assessment has the problem of not considering the sensitivity of the human visual system. To solve this problem this paper presents an algorithm based on frequency domain SSIM for image quality assessment. The results from our experiments show that the proposed method is more consistent with the human visual system than other image quality assessment methods.

Key words:image quality assessment; stereo image; structural similarity

基金項(xiàng)目：國(guó)家自然基金數(shù)學(xué)天元青年項(xiàng)目(1132167);河南省高等學(xué)校重點(diǎn)科研項(xiàng)目(15A110045)

文章編號(hào)：1671-6906(2015)01-0044-04 1671-6906(2015)01-0009-04

作者簡(jiǎn)介：張瑞文(1963-)，男，河南寧陵人，教授，研究方向?yàn)榛瘜W(xué)纖維紡絲成型與改性。 程?hào)|旭(1980-)，男，河南孟州人，講師，碩士，研究方向?yàn)閳D像處理。

收稿日期：2013-12-25 2014-04-28

中圖分類號(hào)：TN911.73

文獻(xiàn)標(biāo)志碼：ADOI:10.3969/j.issn.1671-6906.2015.01.002