王 爍，余 偉，田傳耕

(1.徐州工程學(xué)院 信電工程學(xué)院,徐州 221018；2. 成都理工大學(xué)工程技術(shù)學(xué)院,成都 614000)

0 引 言

超分辨率圖像重構(gòu)技術(shù)[1-6]是在不改變已有成像系統(tǒng)物理分辨率的條件下，利用計算機(jī)將一幅低分辨圖像或圖像序列恢復(fù)出高分辨率圖像的一種圖像處理技術(shù)。目前，圖像超分辨重構(gòu)已經(jīng)在計算機(jī)視覺和遙感技術(shù)等眾多領(lǐng)域取得成功。在過去十年間，大量的圖像超分辨重構(gòu)算法被提出[7-9]。然而，至今沒有一種重構(gòu)算法能高效地重構(gòu)出所有視覺內(nèi)容的高清圖像。隨著大量圖像超分辨重構(gòu)算法被提出，如何有效地評價超分辨重構(gòu)圖像的質(zhì)量已經(jīng)成為一個亟待解決的問題。

客觀圖像質(zhì)量評價方法[10-12]可根據(jù)參考信息的可用性分為全參考、半?yún)⒖己蜔o參考3類。全參考方法是利用原始圖像全部信息，通過計算原始圖像與失真圖像之間的感知誤差，并對這些誤差進(jìn)行加權(quán)得到失真圖像的質(zhì)量分?jǐn)?shù)。比較經(jīng)典的全參考方法有特征相似度 (feature similarity, FSIM)[13]，梯度幅值相似性偏差(gradient magnitude similarity deviation, GMSD)[14]，結(jié)構(gòu)相似性 (structural similarity, SSIM)[15]，多尺度結(jié)構(gòu)相似性 (multi-scale version of SSIM, MS-SSIM)[16]，峰值信噪比(peak signal to noise ratio, PSNR)，基于塊的對比度質(zhì)量指標(biāo) (patch-based contrast quality index, PCQI)[17]等。半?yún)⒖挤椒ㄅc全參考類似，只是在比較相似度部分需要借助從參考圖像中提取的部分信息[18]。無參考方法則僅利用待評價信號本身的信息，基于自然場景統(tǒng)計 (natural scene statistic, NSS)或特征學(xué)習(xí) (feature learning, FL)的方法來計算質(zhì)量分?jǐn)?shù)。如文獻(xiàn)[19]提出的基于空間域自然場景統(tǒng)計的無參考(blind/referenceless image spatial quality evaluator, BRISQUE)算法，文獻(xiàn)[20]提出了一種使用自然場景對數(shù)導(dǎo)數(shù)統(tǒng)計的無參考質(zhì)量評價 (derivative statistics-based quality evaluator, DESIQUE)算法，文獻(xiàn)[21]提出的基于多變量高斯模型的非監(jiān)督無參考質(zhì)量評價 (natural image quality evaluator, NIQE)算法，文獻(xiàn)[22]提出的基于自由能熵的無參考質(zhì)量評價 (no-reference free energy-based robust metric, NFERM)算法。近些年，通用型無參考圖像質(zhì)量評價逐漸成為研究熱點(diǎn)，并且取得了一定的發(fā)展。

早期，研究者們采用傳統(tǒng)的PSNR和SSIM[15]方法預(yù)測超分辨重構(gòu)圖像的質(zhì)量。這些方法需要無失真的高清圖像作為參考，在真實(shí)超分辨重構(gòu)場景下，無失真的高清圖像通常不存在[23]。而無參考質(zhì)量評價方法雖然在評價常見失真類型上取得成功，但它們并不能有效地評價超分辨重構(gòu)圖像的質(zhì)量。因?yàn)樽匀粓D像常見失真主要表現(xiàn)于紋理結(jié)構(gòu)失真、邊緣模糊等，而超分辨率重構(gòu)圖像的失真還表現(xiàn)于細(xì)節(jié)信息的丟失[1]。因此設(shè)計針對超分辨重構(gòu)圖像的無參考質(zhì)量評價算法是有必要的。

目前，針對超分辨重構(gòu)圖像質(zhì)量評價的研究十分有限。文獻(xiàn)[24]進(jìn)行了一個超分辨重構(gòu)圖像的主觀實(shí)驗(yàn)，并測試了幾種客觀評價方法的性能，其效果并不理想。文獻(xiàn)[25]提出了一種基于自然場景統(tǒng)計的超分辨重構(gòu)圖像質(zhì)量無參考評價方法。該方法提取空間域和頻域中的二維統(tǒng)計特征來計算高分辨率圖像的質(zhì)量分?jǐn)?shù)。但是，在他們的工作中只分析了8幅圖像和4種超分辨率重構(gòu)算法，實(shí)驗(yàn)數(shù)據(jù)量不足[26]。文獻(xiàn)[27]提出了一種半?yún)⒖嫉某直嬷貥?gòu)圖像質(zhì)量評價方法。該方法通過對比高分辨率圖像和低分辨率圖像之間圖像塊的像素對應(yīng)關(guān)系來預(yù)測二者的感知相似性，從而估計高分辨率圖像的整體質(zhì)量。該方法采用馬爾科夫隨機(jī)場來建立低分辨率圖像和高分辨率圖像之間的像素對應(yīng)關(guān)系，從而解決了參考圖像和失真圖像尺寸不一致的問題。該方法在一個專門針對超分辨率重構(gòu)圖像而建立的數(shù)據(jù)庫上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)數(shù)據(jù)量得到保證。但因?yàn)樾枰獏⒖夹畔ⅲ栽摲椒ㄔ趯?shí)際情況中可能并不適用。文獻(xiàn)[26]構(gòu)建了一個大尺度超分辨重構(gòu)圖像數(shù)據(jù)庫。隨后，作者提出了一種基于機(jī)器學(xué)習(xí)的無參考超分辨重構(gòu)圖像質(zhì)量評價方法。該方法的優(yōu)點(diǎn)在于使用來自空間域和頻域的3組判別性低級特征來描述超分辨率重構(gòu)圖像，其次兩階段回歸模型對于處理主觀實(shí)驗(yàn)的感知分?jǐn)?shù)中的異常值是比較魯棒的；缺點(diǎn)是對于具有高頻信息的圖像該方法的預(yù)測效果并不理想[26]。上述方法在評價超分辨率重構(gòu)圖像上取得了一定的成功，但他們主要是基于圖像的1階導(dǎo)數(shù)表示來提取特征，幾乎沒有考慮圖像的多階信息。

本文提出了一種基于圖像多階結(jié)構(gòu)的超分辨率重構(gòu)圖像質(zhì)量無參考評價方法。首先利用圖像的多階導(dǎo)數(shù)信息表示超分辨率圖像的主要結(jié)構(gòu)和細(xì)微紋理，主要結(jié)構(gòu)包括圖像的梯度和邊緣，細(xì)微紋理表示圖像的紋理信息和局部結(jié)構(gòu)。圖像的1階導(dǎo)數(shù)可以檢測圖像的邊緣和梯度，從而提取圖像的主要結(jié)構(gòu)和高頻信息；圖像的高階導(dǎo)數(shù)可以檢測圖像中的團(tuán)塊以及紋理結(jié)構(gòu)，從而提取圖像的紋理信息和局部細(xì)節(jié)信息。其次利用局部二值模式 (local binary pattern, LBP) 提取圖像的多階結(jié)構(gòu)特征。LBP是描述圖像局部紋理特征的算子，具有旋轉(zhuǎn)不變性和灰度不變性等顯著優(yōu)點(diǎn)，能夠從圖像多階導(dǎo)數(shù)信息中提取對圖像質(zhì)量更為敏感的特征。因?yàn)闄C(jī)器學(xué)習(xí)是處理非線性擬合和回歸問題的一個有效方法；所以，將獲得的所有特征和圖像的平均意見分?jǐn)?shù) (mean opinion score, MOS)一起輸入到隨機(jī)森林模型中，進(jìn)行回歸訓(xùn)練得到圖像質(zhì)量預(yù)測模型。最后利用訓(xùn)練好的模型預(yù)測待測圖像的質(zhì)量。

該方法的創(chuàng)新點(diǎn)在于利用圖像導(dǎo)數(shù)成功檢測超分辨率重構(gòu)圖像的高頻信息；同時采用圖像的高階導(dǎo)數(shù)檢測圖像塊丟失的局部細(xì)節(jié)信息(詳情見1.1節(jié))。實(shí)驗(yàn)結(jié)果表明，本文提出的算法優(yōu)于現(xiàn)有的無參考評價方法，與主觀評價結(jié)果保持高度一致性。

1 基于結(jié)構(gòu)的超分辨率重構(gòu)圖像質(zhì)量評價模型

結(jié)構(gòu)信息對圖像質(zhì)量評價非常重要，人類視覺系統(tǒng) (human visual system, HVS) 在感知視覺場景時對結(jié)構(gòu)十分敏感[15]。圖像結(jié)構(gòu)可以分為主要結(jié)構(gòu)和細(xì)微紋理[28]。主要結(jié)構(gòu)包括圖像高頻部分，比如邊緣；細(xì)微紋理表示圖像的具體細(xì)節(jié)和視覺內(nèi)容。超分辨率重構(gòu)圖像包括了這兩部分的失真?；诖?，本文提取圖像的結(jié)構(gòu)信息來構(gòu)建質(zhì)量評價模型。圖1給出了本文方法的框架圖，可以分為模型訓(xùn)練和分?jǐn)?shù)預(yù)測2部分。在模型訓(xùn)練部分，首先提取圖像的多階梯度信息，其次使用LBP統(tǒng)計提取有效特征，最后結(jié)合MOS值使用隨機(jī)森林進(jìn)行模型訓(xùn)練得到質(zhì)量預(yù)測模型。分?jǐn)?shù)預(yù)測部分直接使用得到的預(yù)測模型對失真圖像進(jìn)行質(zhì)量預(yù)測。

1.1 多階導(dǎo)數(shù)信息

圖像的多階導(dǎo)數(shù)可以表示圖像的不同結(jié)構(gòu)[29]。其中，第1階導(dǎo)數(shù)表示圖像的主要結(jié)構(gòu)，比如圖像梯度和邊緣變化明顯的地方；圖像的高階(2階，3階等)導(dǎo)數(shù)可以抓取到圖像的結(jié)構(gòu)細(xì)節(jié)，突出圖像的紋理和細(xì)節(jié)信息丟失。因此，本文利用圖像的多階導(dǎo)數(shù)表征圖像的結(jié)構(gòu)。給定一幅圖像I(x,y)，它的1階導(dǎo)數(shù)信息定義為[25]

(1)

(2)

(3)

進(jìn)一步，圖像的第n階導(dǎo)數(shù)信息計算為

(4)

(5)

(6)

圖1 本文方法的框架圖Fig.1 Flow chart of this paper

1.2 局部二值模式

局部二值模式被廣泛應(yīng)用于圖像的紋理分析和圖像質(zhì)量評價，是一種很好的結(jié)構(gòu)和紋理分析技術(shù)手段[30-32]。本文采用旋轉(zhuǎn)不變的統(tǒng)一局部二值模式在圖像多階導(dǎo)數(shù)信息基礎(chǔ)上抓取圖像的結(jié)構(gòu)特征。傳統(tǒng)的局部二值模式計算中心像素點(diǎn)Pc與周圍像素點(diǎn)Pi的大小關(guān)系，并采用科學(xué)的計算方法計算中心像素的模式[33]得

(7)

(8)

(7)式中：P是周圍像素的數(shù)量；R是周圍像素的半徑。旋轉(zhuǎn)不變的統(tǒng)一局部二值模式具有更好的提取結(jié)構(gòu)信息的能力。其定義為[31]

(9)

(9)式中：上標(biāo)riu2表示不變的統(tǒng)一模式；當(dāng)u值小于2，u的統(tǒng)一計算方式為

u(LBPP,R)=‖s(PP-1-Pc)-s(P0-Pc)‖+

(10)

這樣，經(jīng)過局部二值模式計算，圖像的每個像素就歸為一種模式(一共有P+2種模式)。最后，統(tǒng)計每種模式出現(xiàn)的頻率，得到P+2個概率作為圖像的質(zhì)量特征，用以表示圖像的結(jié)構(gòu)信息。

本文計算1～3階導(dǎo)數(shù)信息，R取值為1，P取值為8。最終，一幅圖像提取30個質(zhì)量特征。

圖2 圖像的多階導(dǎo)數(shù)信息Fig.2 Image sample and its derivative magnitude maps of different orders

1.3 模型訓(xùn)練和質(zhì)量預(yù)測

提取上述特征后，本文使用隨機(jī)森林回歸方法訓(xùn)練質(zhì)量預(yù)測模型。假設(shè)xi和yi分別是第i個圖像的特征向量和MOS值，利用隨機(jī)森林對所有的訓(xùn)練數(shù)據(jù)進(jìn)行回歸分析。隨機(jī)森林的主要目的是尋找圖像特征之間的方程f(xi)，使得f(xi)與MOS值之間的最大差值小于一個特定的極小值，從而訓(xùn)練出質(zhì)量預(yù)測模型。隨后，利用訓(xùn)練好的質(zhì)量預(yù)測模型預(yù)測失真圖像得到質(zhì)量分?jǐn)?shù)。假設(shè)失真圖像的特征向量為xi，則f(xi)即為待測圖像的質(zhì)量分?jǐn)?shù)。

2 實(shí)驗(yàn)結(jié)果和分析

2.1 實(shí)驗(yàn)設(shè)置

本文中，利用迄今為止最大的超分辨率重構(gòu)圖像數(shù)據(jù)庫(SR reconstructed image database, SRID)[27]來測試提出方法的性能。SRID數(shù)據(jù)庫包含1 620幅超分辨率重構(gòu)圖像。首先，對30幅原始圖像進(jìn)行6種不同的下采樣和模糊組合處理，得到180幅低分辨率圖像。隨后，利用9種圖像超分辨率重構(gòu)算法對這180幅低分辨率圖像進(jìn)行重構(gòu)，得到1 620幅超分辨率重構(gòu)圖像。最后，采用多刺激方法對所有圖像進(jìn)行主觀測試，進(jìn)而得到每幅圖像的MOS值。

本文采用4類常用的性能指標(biāo)來評價所提方法的性能：斯皮爾曼相關(guān)系數(shù)(spearman’s rank ordered correlation coefficient，SRCC)，肯德爾等級相關(guān)系數(shù)(kendall rank order correlation coefficient，KRCC)，皮爾森線性相關(guān)系數(shù)(pearson linear correlation coefficient，PLCC)和均方根誤差(root mean squared error, RMSE)。SRCC和KRCC衡量方法預(yù)測的單調(diào)性；PLCC和RMSE描述算法評價值與MOS值之間的相關(guān)性，即衡量方法預(yù)測的準(zhǔn)確性。PLCC，SRCC，KRCC越大，RMSE越小表示算法性能越好。為了計算出上述性能指標(biāo)，單調(diào)邏輯擬合函數(shù)被用來實(shí)現(xiàn)主觀分?jǐn)?shù)和客觀分?jǐn)?shù)之間的映射為

(11)

(11)式中：y代表MOS值；f(y)代表擬合后的分?jǐn)?shù)；ai{i=1,2,3,4,5}是擬合回歸參數(shù)。

1)皮爾森線性相關(guān)系數(shù)

(12)

2)斯皮爾曼相關(guān)系數(shù)

(13)

(13)式中：rsi和rxi分別表示si和xi在各自數(shù)據(jù)序列中的排序位置。

3)肯德爾等級相關(guān)系數(shù)

(14)

(14)式中：Nc表示數(shù)據(jù)序列中序號對一致的個數(shù)；Nd則是序號對不一致的個數(shù)。

4)均方根誤差

(15)

(15)式中：si是MOS值；fi是非線性擬合后的客觀分?jǐn)?shù)值的均值。

2.2 性能比較

本節(jié)將本文所提算法與基于離散小波變換域的通用無參考質(zhì)量評價算法(blind image quality index, BIQI)[33]、基于失真識別的圖像真實(shí)性和完整性評估(distortion identification-based image verity and integrity evaluation, DIIVINE)[34],BRISQUE[19]、基于離散余弦變換的算法(blind image integrity notator using DCT statistic, BLIINDS-II)[35]，NIQE[21]，DESIQUE[20]， NFERM[22]7種主流通用無參考評價方法；FISBLIM(five-step blind metric)[36]，SISBLIM(six-step blind metric)[37]，GWH-GLBP(gradient-weight histogram of local binary pattern calculated on the gradient map)[30]3種主流多失真無參考評價方法和1個超分辨率重構(gòu)評價方法(high-order local pattern descriptor, HOLPD[29])進(jìn)行比較。所有代碼均是從對比文獻(xiàn)作者主頁下載，并使用默認(rèn)參數(shù)。由于本文方法和對比的方法皆是基于訓(xùn)練的，所以本文將圖像庫分作2部分，一部分(80%的圖像)作為訓(xùn)練集，另一部分(20%的圖像)作為測試集，2部分沒有交集。為保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，重復(fù)試驗(yàn)1 000次，取結(jié)果中值作為方法最終的性能。表1給出了實(shí)驗(yàn)結(jié)果，數(shù)據(jù)被加下劃線的表示性能最好的方法。表1中“G” 表示通用無參考評價方法；“M”表示多失真無參考評價方法；“SR”表示超分辨率重構(gòu)評價方法。

表1 本文方法和對比的方法在SRID數(shù)據(jù)庫中的性能

從表1可以看出：①本文所提方法性能最優(yōu)，優(yōu)于所有通用無參考評價方法、多失真無參考評價方法和超分辨率重構(gòu)評價方法；②通用無參考評價方法只能取得一般的性能表現(xiàn)；③多失真無參考評價方法性能與通用方法相似；④HOLPD的性能排第2，低于本文所提方法。綜上，無論是預(yù)測準(zhǔn)確性還是預(yù)測單調(diào)性，本文方法都優(yōu)于其他方法。該結(jié)果證明了本文所提方法的優(yōu)越性。

2.3 高階導(dǎo)數(shù)對性能的影響

本文提出的方法分3步提取了感知質(zhì)量特征，分別在1階、2階和3階導(dǎo)數(shù)信息上運(yùn)用LBP提取特征。本文1.1節(jié)從理論方面介紹了采用多階導(dǎo)數(shù)的合理性。在本節(jié)中將進(jìn)行實(shí)驗(yàn)定量分析本文方法每個步驟的實(shí)驗(yàn)結(jié)果。為驗(yàn)證高階導(dǎo)數(shù)信息對提升本文算法性能的有效性，分別使用從1階圖像導(dǎo)數(shù)信息中提取的質(zhì)量感知特征和從1階、2階導(dǎo)數(shù)信息中提取的特征進(jìn)行模型訓(xùn)練和質(zhì)量預(yù)測，再對比考慮3階導(dǎo)數(shù)信息即本文方法以及4階導(dǎo)數(shù)信息的實(shí)驗(yàn)結(jié)果，如表2。

從表2的比較結(jié)果可以看出，多階導(dǎo)數(shù)信息可以獲取更多有效的質(zhì)量感知特征，顯著地提升算法的性能。這表明通過高階導(dǎo)數(shù)信息提取圖像的紋理、細(xì)節(jié)信息的設(shè)想是有效且合理的。同時對比3階和4階信息的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，超過3階的導(dǎo)數(shù)信息不再有效。這也證明本文方法提取到3階導(dǎo)數(shù)信息的合理性。

表2 多階導(dǎo)數(shù)信息對算法性能的影響

2.4 訓(xùn)練集大小對性能的影響

對于基于訓(xùn)練的方法來說，訓(xùn)練樣本量對實(shí)驗(yàn)結(jié)果起著很大的作用。為此，本節(jié)討論訓(xùn)練量對性能的影響。具體地，調(diào)整訓(xùn)練測試比例，分別對70%訓(xùn)練-30%測試，60%訓(xùn)練-40%測試，50%訓(xùn)練-50%測試，40%訓(xùn)練-60%測試和30%訓(xùn)練-70%測試5種比例進(jìn)行實(shí)驗(yàn)。表3給出了實(shí)驗(yàn)結(jié)果。

表3 本文所提方法在不同比例的訓(xùn)練-測試過程中的性能

從表3可以看出，隨著訓(xùn)練量的減少，本文所提算法的性能有所下降。但是整體性能依然很好，當(dāng)訓(xùn)練數(shù)據(jù)量只有30%時，其SRCC值達(dá)到了0.868，仍然好過大多數(shù)現(xiàn)有的圖像質(zhì)量評價方法。該結(jié)果表明，本文方法不依賴訓(xùn)練數(shù)據(jù)量，有利于解決現(xiàn)實(shí)應(yīng)用中小樣本問題。

2.5 質(zhì)量預(yù)測實(shí)例

為了直觀地理解本文所提方法對超分辨率重構(gòu)圖像的預(yù)測效果，本節(jié)給出了一組預(yù)測實(shí)例。圖3顯示了4幅不同失真程度的超分辨率圖像，它們的MOS值逐漸降低。此處利用本文所提方法和上述幾種對比方法分別預(yù)測這4張圖像的質(zhì)量，預(yù)測結(jié)果見表4。

從表4可以看出，本文提出的方法能準(zhǔn)確預(yù)測圖3中圖像的質(zhì)量，所預(yù)測的質(zhì)量分?jǐn)?shù)具有和MOS值一致的單調(diào)性，其他方法都不能準(zhǔn)確預(yù)測出圖3中圖像的質(zhì)量。該結(jié)果進(jìn)一步表明本文所提方法的有效性和實(shí)用性。

圖3 超分辨率重構(gòu)圖像實(shí)例Fig.3 Example of super-resolution reconstructed image

表4 本文方法和對比方法的質(zhì)量預(yù)測結(jié)果

2.6 算法時間復(fù)雜度比較

為了評估算法的時間復(fù)雜性，我們在SRID數(shù)據(jù)庫中隨機(jī)挑選100張尺寸為320×480的圖片；分別用本文算法和11種比較算法預(yù)測這100張圖片的質(zhì)量，記錄每種算法的運(yùn)行總時間；最后計算平均時間作為預(yù)測每張圖片所需的時間。所有實(shí)驗(yàn)在相同的實(shí)驗(yàn)環(huán)境(電腦配備i5的CPU，主頻為3.3 GHz，12 GB運(yùn)行內(nèi)存，64位Windows7系統(tǒng)，Matlab2015a)下進(jìn)行。實(shí)驗(yàn)結(jié)果如表5。

表5 本文方法和對比方法的時間復(fù)雜度比較

由表5，本文所提出方法預(yù)測一張圖片所消耗的時間較為合理，雖然BRISQUE，NIQE，DESIQUE，GWH-GLBP算法的運(yùn)行時間都比本文方法略低，但他們的預(yù)測性能卻遠(yuǎn)遠(yuǎn)低于本文算法。所以結(jié)合預(yù)測性能和時間復(fù)雜度兩方面考慮，本文提出的算法是最理想的。

3 結(jié) 論

本文針對超分辨率重構(gòu)圖像的失真特性，提出了一種基于圖像結(jié)構(gòu)信息的超分辨率重構(gòu)圖像無參考質(zhì)量評價方法。該方法利用圖像的多階導(dǎo)數(shù)信息表征圖像的結(jié)構(gòu)，進(jìn)而在空間域提取相關(guān)結(jié)構(gòu)特征。最后，利用隨機(jī)森林訓(xùn)練質(zhì)量預(yù)測模型來預(yù)測待測圖像的質(zhì)量。通過廣泛的實(shí)驗(yàn)表明，本文提出的超分辨率重構(gòu)圖像質(zhì)量評價方法優(yōu)于現(xiàn)有的通用無參考評價方法，多失真無參考評價方法和超分辨率重構(gòu)評價方法。