高 源

(合肥職業(yè)技術(shù)學(xué)院，安徽合肥 230000)

1 研究背景

圖像質(zhì)量評(píng)價(jià)是對(duì)圖像的視覺(jué)質(zhì)量進(jìn)行評(píng)估，目前在圖像傳輸、數(shù)字水印、圖像編解碼、視頻分析等領(lǐng)域有著廣泛的應(yīng)用。通過(guò)對(duì)已有的圖像質(zhì)量評(píng)價(jià)文獻(xiàn)進(jìn)行歸類，圖像質(zhì)量評(píng)價(jià)的方式主要涵蓋主觀評(píng)價(jià)和客觀評(píng)價(jià)。其中主觀評(píng)價(jià)一般是基于人們自身制定的評(píng)價(jià)規(guī)則和背景信息，對(duì)圖像質(zhì)量進(jìn)行評(píng)估或打分。一種較為常用的打分方式類似于學(xué)?？荚嚨目己艘?guī)則，主要包括優(yōu)秀、良好、中等、較差、很差等。這種方式簡(jiǎn)單，準(zhǔn)確性也較高，但是需要組織一定的人力來(lái)評(píng)價(jià)，成本比較高。因此，主觀評(píng)價(jià)方式難以推廣到自動(dòng)化要求高的實(shí)時(shí)圖像處理領(lǐng)域。

第二種評(píng)價(jià)方式是客觀圖像質(zhì)量評(píng)價(jià)，這種方法能夠自動(dòng)地對(duì)圖像進(jìn)行評(píng)測(cè)，但是需要構(gòu)建圖像的質(zhì)量失真模型，相比主觀評(píng)價(jià)方式可以減少人力成本，有望推廣到實(shí)時(shí)圖像處理領(lǐng)域。因此，客觀評(píng)價(jià)方法成為近十年來(lái)圖像質(zhì)量評(píng)價(jià)領(lǐng)域中的一個(gè)熱點(diǎn)問(wèn)題[1-3]。根據(jù)原始圖像在質(zhì)量評(píng)價(jià)中的引用情況，客觀評(píng)價(jià)方法包括全參考(Full Reference,FR)、部分參考(Reduced Reference,RR)以及無(wú)參考(No Reference, NR)三種類型。全參考需要全部原始圖像的參與，部分參考只需要圖像的部分信息，無(wú)參考是不需要原始圖像的參與。本文關(guān)注全參考圖像質(zhì)量評(píng)價(jià)研究，也就是需要原始圖像的參與。

一種經(jīng)典的客觀評(píng)價(jià)方法當(dāng)屬峰值信噪比PSNR(Peak signal-to-noise ratio)和均方誤差MSE(Mean Squared Error)。這兩種方法簡(jiǎn)單快速而高效，至今仍然用于各種圖像處理中。但是評(píng)價(jià)結(jié)果與人眼主觀評(píng)價(jià)的結(jié)果在很多情況下不一致，其準(zhǔn)確性較差，究其原因是這兩種方法沒(méi)有考慮到人類視覺(jué)系統(tǒng)的視覺(jué)感知特點(diǎn)。因此，結(jié)合人眼視覺(jué)感知特性，研究準(zhǔn)確、快速和高效的圖像質(zhì)量評(píng)價(jià)方法是一個(gè)具有挑戰(zhàn)性的課題。

基于視覺(jué)感知特性以及圖像的結(jié)構(gòu)信息，Zhou Wang等[4]提出了一種具有代表性結(jié)構(gòu)相似度方法(Structural Similarity，SSIM)，SSIM方法綜合運(yùn)用了圖像的均值、方差和協(xié)方差，建立相應(yīng)的結(jié)構(gòu)相似度評(píng)價(jià)模型。該方法簡(jiǎn)單高效，后續(xù)得到了廣泛的改進(jìn)和發(fā)展。Damon等[5]結(jié)合小波變換的多分辨分析特性，提出了一種基于小波視覺(jué)信噪比的圖像質(zhì)量評(píng)價(jià)方法，該方法的質(zhì)量評(píng)價(jià)效果優(yōu)于SSIM方法，但是計(jì)算復(fù)雜度高。Lin Zhang等[6]通過(guò)采用相位一致性來(lái)描述圖像的局部結(jié)構(gòu)特征，設(shè)計(jì)了一種基于特征相似性的圖像質(zhì)量評(píng)價(jià)方法(Feature Similarity，F(xiàn)SIM)，該方法對(duì)諸如加噪、模糊、壓縮等不同類型的圖像失真具有較好的評(píng)價(jià)效果。Zhou Wang等[7]以互信息理論為參考，提出了一種基于信息內(nèi)容的圖像質(zhì)量評(píng)價(jià)方法，取得了較好的評(píng)價(jià)效果。這些圖像質(zhì)量評(píng)價(jià)方法均在某種程度上利用了人類視覺(jué)系統(tǒng)的感知機(jī)理來(lái)建立圖像評(píng)價(jià)模型，取得了較好的質(zhì)量評(píng)價(jià)效果，但計(jì)算復(fù)雜度較高，計(jì)算效率低。出于計(jì)算復(fù)雜度優(yōu)化的考慮，研究人員基于當(dāng)前非常流行的深度學(xué)習(xí)技術(shù)，提出了相應(yīng)的圖像質(zhì)量評(píng)價(jià)方法[8-9]，取得了較好的質(zhì)量評(píng)價(jià)效果。

本文受文獻(xiàn)[6]和文獻(xiàn)[10]的啟發(fā)，考慮到圖像邊緣能夠反映圖像的顯著性變化情況，在綜合圖像的梯度結(jié)構(gòu)相似度和相位特征的基礎(chǔ)上，結(jié)合圖像的邊緣亮度相似性，提出了一種多特征相似度融合的圖像質(zhì)量評(píng)價(jià)方法。該方法考慮了圖像的梯度與圖像對(duì)比度變化之間的關(guān)系，以及圖像邊緣與顯著性變化之間的關(guān)系，并利用相位特征刻畫(huà)圖像的局部結(jié)構(gòu)特征，更好地表達(dá)了圖像的結(jié)構(gòu)特征，進(jìn)一步提高了圖像質(zhì)量的評(píng)價(jià)性能。

2 梯度結(jié)構(gòu)相似度和相位一致性特征

2.1 梯度結(jié)構(gòu)相似度

Anmin Liu等[10]通過(guò)圖像的梯度提出了一種基于梯度結(jié)構(gòu)相似度(Gradient Similarity Metric，GSM)的圖像質(zhì)量評(píng)價(jià)方法。他們指出梯度能夠捕獲圖像的對(duì)比度變化和結(jié)構(gòu)變化信息，并且能夠更好地與視覺(jué)掩碼特性相匹配，這些特點(diǎn)能更好地體現(xiàn)圖像的結(jié)構(gòu)特征信息。GSM的計(jì)算過(guò)程如下[10]：

首先，將兩幅圖像中相同位置的圖像塊x,y作為兩個(gè)輸入信號(hào)，分別計(jì)算兩個(gè)圖像塊的梯度值，其值為圖像塊的最大加權(quán)平均值。圖像塊的梯度值計(jì)算如下[10]：

(1)

(2)

其中，C1為常量，gx,gy分別表示圖像塊x,y的梯度，由式(1)計(jì)算?？紤]到可見(jiàn)性閾值(Visibility threshold)和圖像對(duì)比度的變化，圖像塊x與圖像塊y之間的梯度結(jié)構(gòu)相似度可進(jìn)一步表示為[10]：

(3)

000001383100000-1-3-8-3-100000(a)M1 0010008300130-3-100-3-8000-100(b)M2 0010000380-1-30310-8-30000-100(c)M3 010-10030-30080-80030-30010-10(d)M4

圖1四個(gè)方向的濾波器

2.2 相位一致性特征

(4)

其中，ε是一個(gè)小的常量，并大于0。

將對(duì)一維信號(hào)的相位一致性處理過(guò)程推廣到圖像上，一般來(lái)說(shuō)，可以采用高斯函數(shù)作為擴(kuò)展函數(shù)，這樣將可以較好地保留圖像的相位特征信息。圖像相位一致性的主要計(jì)算過(guò)程為[6]：首先，定義對(duì)數(shù)Gabor函數(shù)的傳輸函數(shù)：

(5)

(6)

3 基于多特征相似度的圖像質(zhì)量評(píng)價(jià)

對(duì)梯度相似性和相位一致性進(jìn)行分析，在掌握這兩個(gè)方面信息的基礎(chǔ)上，關(guān)注圖像的邊緣亮度相似度，設(shè)計(jì)一種融合多個(gè)特征相似度的圖像質(zhì)量評(píng)價(jià)方法。假設(shè)原始圖像和失真圖像分別為I1和I2，對(duì)原始圖像I1和失真圖像I2分別計(jì)算它們的梯度相似度值和相位一致性值，并設(shè)I1和I2的梯度結(jié)構(gòu)相似度值分別為GI1和GI2，兩幅圖像的相位一致性值分別記作PI1和PI2，兩幅圖像的邊緣特征值為EI1(x)和EI2(x)。聯(lián)合多個(gè)特征相似度的圖像質(zhì)量評(píng)價(jià)方法歸納如下：

3.1 基于梯度特征相似度的質(zhì)量評(píng)價(jià)函數(shù)

借鑒文獻(xiàn)[4]提出的結(jié)構(gòu)相似度設(shè)計(jì)思想，首先對(duì)兩幅圖像進(jìn)行分塊，求得兩幅圖像的局部結(jié)構(gòu)相似度。定義基于梯度結(jié)構(gòu)相似度的質(zhì)量評(píng)價(jià)函數(shù)為：

(7)

3.2 基于相位一致性特征的質(zhì)量評(píng)價(jià)函數(shù)

與基于梯度結(jié)構(gòu)相似度的質(zhì)量評(píng)價(jià)函數(shù)類似，先對(duì)兩幅圖像進(jìn)行分塊，然后計(jì)算兩幅圖像的局部結(jié)構(gòu)相似度。定義基于相位一致性特征的質(zhì)量評(píng)價(jià)函數(shù)為：

(8)

其中，T2是式(8)中的調(diào)節(jié)因子，并且大于0；PI1(x),PI2(x)分別是原始圖像I1和失真圖像I2的相位一致性值，其值根據(jù)式(6)進(jìn)行計(jì)算。

3.3 基于邊緣亮度相似度的質(zhì)量評(píng)價(jià)函數(shù)

原始圖像I1和失真圖像I2的邊緣相似度表示為：

(9)

其中，EI1(x),EI2(x)分別是原始圖像I1和失真圖像I2的邊緣特征值；C3是式(9)中的調(diào)節(jié)因子，并且大于0。邊緣特征值EI1(x),EI2(x)可通過(guò)計(jì)算圖像在圖1中四個(gè)方向上的最大邊緣值而獲得，其計(jì)算過(guò)程為：

(10)

(11)

3.4 整幅圖像質(zhì)量評(píng)價(jià)測(cè)度的計(jì)算

由于人眼視覺(jué)感知的特性，人眼受視覺(jué)神經(jīng)心理的影響，一般對(duì)圖像不同區(qū)域的感知存在較大差異。人眼對(duì)圖像平坦光滑的區(qū)域一般不太敏感，而對(duì)圖像的顯著性區(qū)域如邊緣、紋理等區(qū)域較為敏感，主要原因是這些區(qū)域攜帶了較為豐富的信息。Lin Zhang[6]基于相位信息提出了一種圖像質(zhì)量評(píng)價(jià)方法，分析出人眼對(duì)圖像的相位變化也比較敏感，指出相位一致性在某種程度上體現(xiàn)了圖像的局部結(jié)構(gòu)特征，圖像的相位一致性值越大，對(duì)人眼的視覺(jué)沖擊就越大。因此，本文借鑒文獻(xiàn)[6]的思想，設(shè)置一個(gè)基于相位一致性的視覺(jué)權(quán)值來(lái)平衡圖像的相位變化對(duì)人眼視覺(jué)感知的影響，視覺(jué)權(quán)值為ω(x)=max(PI1(x),PI2(x))。綜合式(7)(8)(9),定義兩幅圖像的局部相似度為：

QL(x)=[QG(x)]α·[QPC(x)]β·[QE(x)]γ.

(12)

其中，α,β,γ是調(diào)整梯度結(jié)構(gòu)相似度、相位一致性特征和邊緣亮度相似度的因子，不失一般性，設(shè)α=β=γ=1，則QL(x)=QG(x)·QPC(x)·QE(x)。

圖像的整體質(zhì)量評(píng)價(jià)值可表示為：

(13)

其中，Ω表示整幅圖像的空間區(qū)域。

4 實(shí)驗(yàn)結(jié)果與分析

采用TID2008圖像數(shù)據(jù)庫(kù)[11]來(lái)評(píng)價(jià)前文提出的圖像質(zhì)量評(píng)價(jià)方法。TID2008數(shù)據(jù)庫(kù)包括25幅參考圖像、1700幅不同類型不同程度的失真圖像，共有17種失真類型，包括加性高斯噪聲、JPEG壓縮、椒鹽噪聲、高斯模糊、JPEG2000壓縮、亮度改變等。失真圖像的主觀評(píng)價(jià)分?jǐn)?shù)通過(guò)觀察者的主觀評(píng)估，以差分平均主觀分的形式(Difference Mean Opinion Score，DMOS)給出，DMOS反映了失真圖像主觀質(zhì)量的好壞，其值越小，相應(yīng)的主觀評(píng)價(jià)質(zhì)量就越高。為了驗(yàn)證本文提出的方法性能，本節(jié)與最近的幾種圖像質(zhì)量評(píng)價(jià)方法進(jìn)行了性能比較，包括SSIM、FSIM和GSM方法。根據(jù)視頻質(zhì)量專家組VQEG(Video Quality Experts Group)提出的準(zhǔn)則[12]，一般來(lái)說(shuō)，圖像主觀評(píng)價(jià)的結(jié)果和客觀評(píng)價(jià)的結(jié)果滿足一種非線性關(guān)系，因此采用式(14)來(lái)表示這種非線性關(guān)系函數(shù)[6]：

(14)

其中，參數(shù)βi,i=1,2,3,4,5由非線性擬合獲取。

圖2給出了本文方法與其他五種評(píng)價(jià)方法在TID2008數(shù)據(jù)庫(kù)上的散點(diǎn)圖，橫坐標(biāo)表示圖像質(zhì)量客觀評(píng)價(jià)的值，縱坐標(biāo)表示主觀評(píng)價(jià)分?jǐn)?shù)DMOS。每個(gè)點(diǎn)表示TID2008數(shù)據(jù)庫(kù)中一個(gè)失真圖像的主觀評(píng)分與客觀評(píng)價(jià)的對(duì)應(yīng)關(guān)系，中間的一條曲線表示對(duì)所有數(shù)據(jù)點(diǎn)的對(duì)數(shù)擬合曲線。一般而言，散點(diǎn)圖的密集程度體現(xiàn)了圖像主觀評(píng)價(jià)與客觀評(píng)價(jià)之間的相關(guān)程度?？梢钥闯觯琒SIM方法在全部失真范圍內(nèi)的數(shù)據(jù)點(diǎn)比較分散，這說(shuō)明基于SSIM的方法主客觀相關(guān)性不大；當(dāng)圖像失真嚴(yán)重時(shí)，從圖2(a)中可看出相應(yīng)的客觀評(píng)分過(guò)于分散。FSIM對(duì)應(yīng)的散點(diǎn)圖密集程度均較好，但隨著圖像失真程度的增強(qiáng)，主觀評(píng)價(jià)與客觀評(píng)價(jià)之間的相關(guān)性將減弱。GSM方法利用了圖像的梯度相似性，具有較好的質(zhì)量評(píng)價(jià)效果。本文方法與主觀評(píng)價(jià)具有較強(qiáng)的相關(guān)性，性能優(yōu)于SSIM方法和FSIM方法，與GSM方法相當(dāng)。

圖2 圖像質(zhì)量評(píng)價(jià)方法的散點(diǎn)圖比較

為了進(jìn)一步地評(píng)價(jià)圖像質(zhì)量評(píng)價(jià)方法的性能，采用4個(gè)指標(biāo)來(lái)評(píng)價(jià)。分別為Pearson線性相關(guān)系數(shù)(PLCC，Pearson Linear Correlation Coefficient)、均方根誤差(RMSE，Root Mean Square Error)、Spearman秩相關(guān)系數(shù)(SROCC，Spearman rank-order correlation coeffcient)以及離出率(OR，Outlier Ratio)。PLCC用來(lái)評(píng)價(jià)精確程度，其值越大，質(zhì)量評(píng)價(jià)的精確性就越好。RMSE評(píng)價(jià)誤差程度，誤差越小，性能越好。SROCC評(píng)價(jià)主客觀一致性，值越大，性能越好；OR表示預(yù)測(cè)誤差超過(guò)閾值的點(diǎn)個(gè)數(shù)與所有數(shù)據(jù)點(diǎn)個(gè)數(shù)的比例，OR越小表明相應(yīng)的評(píng)價(jià)方法性能越好。

表1給出了本文方法對(duì)TID2008數(shù)據(jù)庫(kù)中4種不同失真類型的評(píng)價(jià)性能比較，分別是JPEG壓縮、JPEG2000壓縮、加性高斯噪聲、高斯模糊以及椒鹽噪聲形成的失真圖像。從表1可以看出，本文方法具有較好的評(píng)價(jià)性能。表2列出了幾種圖像質(zhì)量評(píng)價(jià)方法在TID2008圖像數(shù)據(jù)庫(kù)中性能指標(biāo)的比較，這些指標(biāo)為多次計(jì)算的平均值，本文為20次。本文方法的4項(xiàng)指標(biāo)總體優(yōu)于SSIM[4]和FSIM[6]方法，與GSM方法[10]的圖像質(zhì)量評(píng)價(jià)性能相當(dāng)。

表1 本文方法對(duì)不同失真類型的評(píng)價(jià)結(jié)果

表2 幾種圖像質(zhì)量評(píng)價(jià)方法的性能比較

綜合以上分析，本文綜合考慮了圖像自身的梯度特征、相位一致性以及邊緣亮度相似性特征，提升了圖像質(zhì)量評(píng)價(jià)的效果，結(jié)果表明聯(lián)合多個(gè)特征相似度的圖像質(zhì)量評(píng)價(jià)方法具有明確的物理意義，也更加符合人眼視覺(jué)感知機(jī)理對(duì)圖像質(zhì)量的心理感知特點(diǎn)。

5 結(jié)論

結(jié)構(gòu)相似度方法一經(jīng)提出，便得到廣泛的研究和發(fā)展，該方法基于人類視覺(jué)系統(tǒng)的感知原理，充分利用了圖像的均值、方差和協(xié)方差等屬性，建立了一種圖像質(zhì)量評(píng)價(jià)模型，取得了較好的評(píng)價(jià)效果。但是，結(jié)構(gòu)相似度方法忽略了圖像的相位一致性，使得主觀評(píng)價(jià)與客觀評(píng)價(jià)的結(jié)果難以滿足人眼的視覺(jué)感知需求。針對(duì)這一問(wèn)題，受文獻(xiàn)[6]和文獻(xiàn)[10]的啟發(fā)，但又不同于文獻(xiàn)[6]中對(duì)梯度特征的處理方式，本文基于一種新的梯度算子計(jì)算了圖像的梯度結(jié)構(gòu)相似度，并結(jié)合相位一致性和邊緣亮度相似性，設(shè)計(jì)出結(jié)合多個(gè)特征相似度的圖像質(zhì)量評(píng)價(jià)方法。最后以TID2008圖像數(shù)據(jù)庫(kù)為測(cè)試對(duì)象，實(shí)驗(yàn)結(jié)果表明，本文方法具有較好的圖像質(zhì)量評(píng)價(jià)性能。

[參考文獻(xiàn)]

[1]Dohyoung Lee,Konstantinos N.Plataniotis.Toward a No-Reference image quality assessment using statistics of perceptual color descriptors[J].IEEE Transactions on Image Processing,2016(8):3875-3889.

[2]Hanli Wang,Jie Fu,Weisi Lin,et al.Image quality assessment based on local linear information and distortion-specific compensation[J].IEEE Transactions on Image Processing,2017(2):915-926.

[3]D Kundu,D Ghadiyaram,A Bovik, et al.No-reference quality assessment of Tone-Mapped HDR pictures[J].IEEE Transactions on Image Processing,2017(6):2957-2971.

[4]Zhou Wang,A Bovik,H Sheikh.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing,2004(4):600-612.

[5]Damon M,Chandler,Sheila S.A wavelet-based visual signal-to-noise ratio for natural images[J].IEEE Transactions on Image Processing,2007(9):2284-2298.

[6]Lin Zhang,Lei Zhang,Xuanqin Mou,et al.FSIM:a feature similarity index for image quality assessment[J].IEEE Transactions on Image Prcocessing,2011(8):2378-2386.

[7]Zhou Wang,Qiang Li.Information content weighting for perceptual image quality assessment[J].IEEE Transactions on Image Processing,2011(5):1185-1198.

[8]P Ye,J Kumar,L Kang,et al.Unsupervised feature learning framework for no-reference image quality assessment[C]. in Proc.IEEE Conf.Comput.Vis.Pattern Recognition(CVPR),2012:1098-1105.

[9]Weilong Hou,Xinbo Gao,Dacheng Tao,et al.Image quality assessment via deep learning[J].IEEE Transactions on Neural Networks and Learning Systems,2015(6):1275-1286.

[10]Anmin Liu,Weisi Lin,Manish Narwaria.Image quality assessment based on gradient similarity[J].IEEE Transactions on Image Processing,2012(4):1500-1512.

[11]Ponomarenko N，Carli M，Lukin V，et al.Color image database for evaluation of image quality metrics[C]. Proceedings of International Workshop on Multimedia Signal Processing,Australia,2008:403-408.

[12]VQEG.Final report from the video quality experts groupon the validation of objective models of video quality assessment[EB/OL].(2011-04-24)[2017-01-02].http://www.its.bldrdoc.gov/vqeg/projects/frtv phaseII/,April 24, 2011.