韓 瑜,曹 寅,蔡云澤,許曉鳴

(1.江蘇自動化研究所,江蘇 連云港 222006;2.上海交通大學(xué),上海 200030)

1 圖像質(zhì)量評估研究的初步介紹

圖像質(zhì)量的評估問題,是關(guān)乎圖像信息系統(tǒng)的可靠性問題,是圖像自動化系統(tǒng)性能的重要指標(biāo)。且圖像質(zhì)量的評估研究影響著圖像工程的各個(gè)方面,如圖像恢復(fù),圖像分割,計(jì)算機(jī)視覺[1-2]等。對圖像質(zhì)量評估的研究有助于提高整個(gè)圖像工程技術(shù)和信息系統(tǒng)的自動化水平[2]。

最好的圖像質(zhì)量評估方法無疑是對圖像進(jìn)行人工主觀評估。人的主觀感覺能夠準(zhǔn)確地反映圖像中人感興趣的區(qū)域,即便在缺乏可靠信息模型,其它方法不能很好地應(yīng)用的情況下,主觀評估依然能夠適用,這是人工主觀評估方法的最大優(yōu)勢。需要注意的是,人工主觀評估在實(shí)施過程中需要考慮如室內(nèi)光照、顯示器刷新率、圖像輪換次序等一系列環(huán)境因素,關(guān)于人工主觀評估方法的具體實(shí)施細(xì)則在國際上已經(jīng)達(dá)成了共識,成為了國際電信聯(lián)盟(ITU)的標(biāo)準(zhǔn)之一[3-5]。很明顯,主觀評估方法具有很多缺陷:其實(shí)施需要大量的時(shí)間來訓(xùn)練質(zhì)量評估人員,還要保證工作人員評估圖像時(shí)的外界環(huán)境(室內(nèi)光源,觀察時(shí)間,圖像顯示手段等)的一致性。最主要的是,這種方法不能滿足現(xiàn)代工業(yè)自動化的要求。

隨著自動化技術(shù)的發(fā)展,不依靠人為因素的客觀評估方式,即圖像質(zhì)量評估算法/函數(shù)(Image Quality Assessment,IQA,或者 Image Quality Metric,IQM),逐漸體現(xiàn)出其優(yōu)越性。所謂圖像質(zhì)量評估算法是視評估算法為一個(gè)函數(shù),其輸入為被測圖像,輸出為圖像質(zhì)量的評估值。圖像質(zhì)量評估算法出現(xiàn)的目的就是減少圖像質(zhì)量評價(jià)過程中人工的干預(yù),將圖像質(zhì)量評估問題轉(zhuǎn)化為一個(gè)特殊的函數(shù)確定問題。

圖像質(zhì)量評估算法概念一經(jīng)提出就受到廣大圖像研究工作者的重視,經(jīng)過多年的研究,出現(xiàn)了大量的圖像質(zhì)量評估函數(shù)。傳統(tǒng)的圖像質(zhì)量評估論著[2]認(rèn)為,圖像質(zhì)量主要受制于圖像中的加性噪聲,這是一種以反映信號的精確性為理念的準(zhǔn)則。為了檢測影響圖像中的噪聲成份,經(jīng)典的圖像質(zhì)量評估算法往往設(shè)計(jì)成能夠檢測噪聲特性的函數(shù),比如具有代表性的均方根誤差(Root Mean Square Error,RMSE)[2]、信噪比(Signal Noise Ratio, SNR)[6]、峰值信噪比(Peak Signal Noise Ratio, PSNR)[6]等。這樣的質(zhì)量評估方法雖然簡單且意義明確,但在長時(shí)間的工程實(shí)踐中,研究人員發(fā)現(xiàn),這種信號的準(zhǔn)確性準(zhǔn)則并不能夠準(zhǔn)確地描述圖像的質(zhì)量。

如圖1中,b和c都是由a產(chǎn)生的模糊圖像,如果采用傳統(tǒng)的均方根誤差(RMSE)作為質(zhì)量標(biāo)準(zhǔn),可以計(jì)算得出圖像b和c與a的均方根誤差都在13.5左右(圖像灰度0～255)。但從人的視覺感觀角度上,圖像c的質(zhì)量明顯高于b,在圖像c中,人物的五官能夠比較清晰地顯示,而圖像 b中,人物的五官已經(jīng)十分模糊了。圖1的例子可以很明顯的表現(xiàn)出傳統(tǒng)的信號準(zhǔn)確性準(zhǔn)則在圖像質(zhì)量評估中所存在的問題。關(guān)于這種信號精確性準(zhǔn)則的其它缺陷,文獻(xiàn)[7-8]有詳盡的論述,這里不再敘述。

圖1 具有相同均方根誤差(RMSE)的同一景物模糊圖像

隨著研究的不斷深入,研究人員對圖像質(zhì)量評估算法在一定程度上達(dá)成了統(tǒng)一的認(rèn)識。世界各國的研究人員普遍承認(rèn),在對原始參考信息的獲取和利用角度上,可以將客觀的圖像質(zhì)量評估方法分為全信息評估(Full Reference),盲信息評估(No Reference),部分信息評估(Reduced Reference)三種方式[9-10]。

● 全信息評估是指參考圖像完全清楚時(shí)候,即參考目標(biāo)信息完全清楚的情況下,對被測圖像進(jìn)行評估方式。

● 盲信息評估是指在沒有可以參考圖像信息的時(shí)候,對被測圖像進(jìn)行評估的方式。

● 部分信息評估是指參考圖像只有部分信息(如邊緣信息或者某些統(tǒng)計(jì)量)知道的時(shí)候,對被測圖像進(jìn)行評估的方式。

在本文中,我們主要對全信息圖像質(zhì)量評估的研究情況進(jìn)行論述。

全信息評估是最早產(chǎn)生的圖像質(zhì)量評估方法,由于參考圖像的介入,全信息評估方式能夠較好反映被測圖像與源圖像之間的偏差,因此對于全信息圖像質(zhì)量評估的研究一直受到圖像應(yīng)用界的廣泛關(guān)注。在實(shí)際工程中,全信息圖像質(zhì)量評估函數(shù)可以用在如圖2的圖像處理系統(tǒng)當(dāng)中。如對于通信中常見的圖像壓縮編碼系統(tǒng),保證較大的壓縮率和較好的壓縮效果一直是一個(gè)工程悖論,而全信息圖像質(zhì)量評估結(jié)果可以指導(dǎo)壓縮率的調(diào)整[11-13],以確保最優(yōu)的壓縮策略;同樣,對于圖像恢復(fù)/重構(gòu)系統(tǒng),全信息圖像質(zhì)量評估結(jié)果可在圖像恢復(fù)、濾波方法中作為恢復(fù)/重構(gòu)算法參數(shù)調(diào)整的信息反饋[14-16],來使系統(tǒng)獲得質(zhì)量較好的輸出圖像。

圖2 全信息圖像質(zhì)量評估函數(shù)在圖像處理系統(tǒng)中的應(yīng)用

2 圖像質(zhì)量評估的發(fā)展歷程

對于圖像質(zhì)量函數(shù)評估的研究自20世紀(jì)60年代就已經(jīng)開始,至今已有近50年的歷程?？v觀這50年的發(fā)展?fàn)顩r,圖像質(zhì)量評估研究大致經(jīng)歷了四個(gè)發(fā)展階段。

1)20世紀(jì)60年代末至80年代初

這是圖像質(zhì)量評估產(chǎn)生的最初時(shí)期,這一時(shí)期的圖像質(zhì)量評估方法主要是采用將圖像作為二維信號,從傳統(tǒng)的信號準(zhǔn)確性上對圖像質(zhì)量進(jìn)行定義和研究。很多經(jīng)典的一維信號準(zhǔn)確性判定方法都被直接移植到圖像質(zhì)量評估中,如均方根誤差(Root Mean Square Error, RMSE)、信噪比(Signal Noise Ratio,SNR)、峰值信噪比(Peak Signal Noise Ratio,PSNR)[2,6,11]等。這些方法結(jié)構(gòu)簡單,理論意義明確,但是缺點(diǎn)也很突出:如前文所述,由于圖像的質(zhì)量是和人主觀感受相關(guān)的,這種簡單的準(zhǔn)確性準(zhǔn)則在實(shí)際中并不能很好地表達(dá)出其質(zhì)量的優(yōu)劣。

雖然信號準(zhǔn)確性準(zhǔn)則并不完美,但在很長的一段時(shí)間里(直至現(xiàn)在)研究人員仍然將其作為一個(gè)圖像質(zhì)量的主要參考標(biāo)準(zhǔn)。

2)20世紀(jì)80年代中后至90年代初

隨著圖像處理技術(shù)的深入研究和圖像系統(tǒng)的廣泛應(yīng)用,一些研究人員逐漸認(rèn)識到傳統(tǒng)的信號精確度準(zhǔn)則不能反映出圖像質(zhì)量狀況。因此,引入新的模型、方法、以及當(dāng)時(shí)最先進(jìn)的圖像處理手段來構(gòu)造出圖像質(zhì)量評估函數(shù)成為了研究的主流趨勢,具有代表性的如差熵函數(shù)[17-18],邊緣統(tǒng)計(jì)函數(shù)[19-20],色覺差異性[21],主觀視覺系統(tǒng)評估方法[22]。綜合當(dāng)時(shí)的情形,可以認(rèn)為是多種不同的圖像質(zhì)量模型共存,多種不同類型的評估函數(shù)不斷出現(xiàn),即“百家爭鳴”的狀況。但實(shí)際上,隱藏在這種“百家爭鳴”狀況的背后是眾多研究人員對于圖像質(zhì)量優(yōu)劣這一概念的模糊和混淆。

因此這一時(shí)期的圖像質(zhì)量評估方法在一定程度上都有著“通病”——結(jié)構(gòu)復(fù)雜而準(zhǔn)確性并沒有明顯提升,對于工程應(yīng)用并無太大益處。

3)20世紀(jì)90年代中后期

隨著研究的不斷深入,將人的主觀視覺響應(yīng)作為圖像質(zhì)量評估的最終標(biāo)準(zhǔn)得到了越來越多的研究人員的響應(yīng)。在 Nill[22]的視覺模型工作基礎(chǔ)上,Daly[23]對于經(jīng)驗(yàn)的主觀視覺的對比度函數(shù)重新進(jìn)行建模,并將建模結(jié)果用于圖像質(zhì)量預(yù)測上。Lubin[24-25]在吸收和利用 Daly成果的基礎(chǔ)上提出了誤差顯現(xiàn)(Just Notice Different,JND)模型,并在此模型的基礎(chǔ)上構(gòu)造了JND評估方法。Daly和Lubin的工作是對圖像評估的主觀視覺系統(tǒng)評估方法(Human Vision System,HVS)的新發(fā)展,并且在實(shí)踐中得到了較好地驗(yàn)證。而隨著Daly和Lubin工作的巨大成功,越來越多的研究人員對將主觀視覺響應(yīng)作為圖像質(zhì)量的最終評價(jià)標(biāo)準(zhǔn)達(dá)成了共識。

同時(shí),由于20世紀(jì)90年代以前出現(xiàn)了大量的圖像質(zhì)量評估函數(shù),研究人員意識到僅僅通過簡單的實(shí)驗(yàn)和個(gè)人的判斷對圖像質(zhì)量評估函數(shù)進(jìn)行定性比較是不嚴(yán)謹(jǐn)?shù)?需要對這些圖像質(zhì)量評估函數(shù)進(jìn)行統(tǒng)一客觀的測評和比較來判斷其優(yōu)劣。1997年,來自多個(gè)國家的圖像研究人員組成了圖像質(zhì)量專家工作組(Video Quality Expert Group, VQEG)[26-27],為圖像質(zhì)量評估函數(shù)的測評研究提供了系統(tǒng)支持。他們總結(jié)了從1970年到1995年出現(xiàn)的不同的圖像質(zhì)量評估函數(shù),在他們的主觀數(shù)據(jù)庫上對其做出了系統(tǒng)地比較。有趣的是,根據(jù) VQEG的結(jié)果,當(dāng)時(shí)很多所謂先進(jìn)的圖像質(zhì)量評估方法在統(tǒng)計(jì)角度上并沒有和PSNR存在明顯差異。雖然VQEG的工作并沒有直接研究出最優(yōu)秀的圖像質(zhì)量評估方法,但是他們的工作第一次系統(tǒng)地給出了圖像質(zhì)量函數(shù)間進(jìn)行客觀比較方法,并且明確了比較方法的四個(gè)要素:具有主觀評估結(jié)果的圖像數(shù)據(jù)庫、客觀評估函數(shù)計(jì)算值、主觀圖像質(zhì)量的客觀預(yù)測方法、客觀預(yù)測的準(zhǔn)確性性能指標(biāo)。VQEG的工作對圖像質(zhì)量評估的研究產(chǎn)生了巨大的影響,受到了廣泛地承認(rèn),可以認(rèn)為后續(xù)的圖像質(zhì)量評估工作大都是在VQEG的測評標(biāo)準(zhǔn)指導(dǎo)下進(jìn)行的,因此 VQEG的工作可以認(rèn)為是圖像質(zhì)量評估研究中的里程碑。

4)2000年至今

由于VQEG的卓越工作,進(jìn)入2000年以后,圖像質(zhì)量評估研究進(jìn)入到了較快發(fā)展階段,其中以美國Texas大學(xué)的Bovik研究工作組的工作尤為出色。他們針對 VQEG圖像數(shù)據(jù)庫數(shù)據(jù)量少,模糊種類單一的缺點(diǎn),構(gòu)建了 Laboratory for Image & Video Engineering (LIVE)圖像評估數(shù)據(jù)庫[28]。在LIVE數(shù)據(jù)庫中,他們?nèi)坎捎貌噬珗D像作為評估對象,并引入了 JPEG2000圖像,離焦圖像等五種圖像失真類型。可以認(rèn)為LIVE數(shù)據(jù)庫是在VQEG之后第一個(gè)專業(yè)用于圖像質(zhì)量評估的數(shù)據(jù)庫。同時(shí),他們從信息需求的角度,第一次系統(tǒng)地將圖像質(zhì)量評估函數(shù)分為:全信息評估(Full Reference),盲信息評估(No Reference),部分信息評估(Reduced Reference)三種方式。并構(gòu)造了全局質(zhì)量指標(biāo)(Universal Image Quality Index, UQI)[29],結(jié)構(gòu)相似度指標(biāo)(Structural Similarity Image Metric, SSIM)[9,30],信息逼真度(Information Fidelity Criterion, IFC)[31]和視覺信息逼真度(Visual Information Fidelity, VIF)[32]等一系列全信息圖像質(zhì)量評估方法,并在LIVE數(shù)據(jù)庫上進(jìn)行性能測定及比較。根據(jù)他們的結(jié)果[33],這些方法在LIVE數(shù)據(jù)庫上都有較好的性能,其中全信息方法以VIF最為優(yōu)異,成為了Bovik工作組最具有代表性的工作。

除了Bovik工作組之外,美國Oklahoma大學(xué)的Damon M.Chandler研究組對圖像質(zhì)量評估也有較多的貢獻(xiàn)。他們在精心研究視覺響應(yīng)的基礎(chǔ)上提出了視覺信噪比(Visual Signal Noise Rate, VSNR)[34]方法,并對經(jīng)典的主觀視覺響應(yīng)做出了一定修正。為了適應(yīng)實(shí)際中人眼對不同質(zhì)量圖像的響應(yīng),他們采用雙重策略的方法構(gòu)造出了優(yōu)勢策略融合(Most Apparent Distortion, MAD)[35]評估方法。同時(shí),在數(shù)據(jù)庫構(gòu)建上,他們通過采用不同的參考圖像,并加入對比度和有色噪聲的評估實(shí)驗(yàn)環(huán)節(jié),構(gòu)造出了Categorical Subjective Image Quality(CSIQ)圖像評估數(shù)據(jù)庫[36]。根據(jù)他們的研究結(jié)果,由于加入了更多主觀試驗(yàn)的類型,CSIQ數(shù)據(jù)庫比 LIVE數(shù)據(jù)庫更能反映出評估函數(shù)的優(yōu)劣。更為難能可貴的是,相對于VIF只能在LIVE數(shù)據(jù)庫上具有較好的性能,他們構(gòu)造的優(yōu)勢策略融合方法在CSIQ和LIVE數(shù)據(jù)庫上均有較好的性能。

相比美國的多個(gè)研究組并存的局面,歐洲的研究更多的是以合作的形式出現(xiàn)。他們認(rèn)為制約圖像質(zhì)量評估發(fā)展的一個(gè)主要原因是主觀評估結(jié)果圖像數(shù)據(jù)庫的匱乏,這種匱乏具體體現(xiàn)在數(shù)據(jù)庫的源圖像的數(shù)量上和模糊圖像的多樣性上。2008年,經(jīng)過來自芬蘭、烏克蘭、意大利的研究人員的共同努力,發(fā)布了Tampere Image Database2008(TID 2008)[37]圖像評估數(shù)據(jù)庫。應(yīng)該說TID2008是現(xiàn)今已經(jīng)發(fā)布的具有最多樣本的圖像質(zhì)量評估數(shù)據(jù)庫,其中不但囊括了LIVE和CSIQ的失真圖像類型,還加入了其他新引起關(guān)注的失真類型。整個(gè)TID2008數(shù)據(jù)庫包含了1700張模糊圖像,比LIVE和CSIQ的總和還多。除了圖像數(shù)據(jù)庫的工作,他們還提出了視覺峰值信噪比(PSNR-HVS)[38]方法。該方法是基于主觀感官相應(yīng)和峰值信噪比方法,方法雖然簡單,但是在 TID2008數(shù)據(jù)庫上顯示出了優(yōu)異的性能。

除了以上這些專業(yè)的圖像質(zhì)量評估研究組的工作外,還有一些以實(shí)際問題或者特殊領(lǐng)域?yàn)楸尘暗难芯抗ぷ?。如日本的Sazzad[39-41]針對JPEG編碼圖像的質(zhì)量評估工作,英國 Eskicioglu[42-43]針對 JPEG編碼圖像的質(zhì)量評估工作等。

國內(nèi)對于圖像質(zhì)量評估研究工作主要集中在一些高校內(nèi),比較有代表性的如上海交通大學(xué)的工作[44],西安電子科技大學(xué)的工作[45-46],國防科技大學(xué)的工作[47],寧波大學(xué)的工作[48]等。盡管國內(nèi)的研究工作起步較晚,但在整體性能上并不輸于國外的前沿工作,僅僅是在某些基礎(chǔ)圖像理論上與國外先進(jìn)工作還存在一定的差距。

整體上來看,2000年以后的圖像質(zhì)量評估方法都是在VQEG的工作結(jié)果基礎(chǔ)上對圖像質(zhì)量評估算法進(jìn)行合理測評和比較。因此,2000年以后出現(xiàn)的圖像質(zhì)量評估算法都具有比較可靠的性能。

3 圖像質(zhì)量模型與圖像質(zhì)量評估函數(shù)構(gòu)造方法

為了更準(zhǔn)確地反映出圖像的質(zhì)量,首先需要對圖像質(zhì)量進(jìn)行理論上建模。通過引入圖像質(zhì)量的理論模型,可以極大地減少圖像質(zhì)量評估對人工因素的需求。而現(xiàn)代圖像模型是依據(jù)現(xiàn)代數(shù)字圖像可以用矩陣(或者張量)表示的方法,通過將圖像考慮成一個(gè)二維或者多維矩陣,來進(jìn)行圖像處理。因此,全信息圖像質(zhì)量模型也可以認(rèn)為是構(gòu)建在參考圖像矩陣和被測圖像矩陣基礎(chǔ)上的模型。

在實(shí)際研究中,科研人員往往借鑒三個(gè)學(xué)科的研究成果對圖像質(zhì)量進(jìn)行建模:物理光學(xué)、圖像處理、視覺心理學(xué),如圖3。而現(xiàn)有較為精確的圖像質(zhì)量評估函數(shù)往往也是構(gòu)建在這三個(gè)學(xué)科研究基礎(chǔ)之上的。傳統(tǒng)的圖像研究更注重于從前兩個(gè)領(lǐng)域入手(物理光學(xué)和圖像處理),而對于視覺心理學(xué)這一領(lǐng)域,鮮有提及。直到20世紀(jì)90年代中后期,研究人員提出將主觀視覺響應(yīng)作為圖像質(zhì)量的最終評價(jià)標(biāo)準(zhǔn)之后,對于視覺心理學(xué)的研究及應(yīng)用才受到廣泛地重視?？v觀整個(gè)圖像質(zhì)量評估的研究歷史,其中幾個(gè)比較重大的推進(jìn)往往都是基于視覺心理學(xué)的研究結(jié)果。

針對已有的全信息圖像質(zhì)量評估函數(shù),我們認(rèn)為其圖像質(zhì)量模型大致可以分為三類:1)空間距離模型;2)統(tǒng)計(jì)模型;3)視覺理論模型。在這些模型基礎(chǔ)上,研究員人員通過對模型作用的空間范圍的變化(整體—局部,單一標(biāo)準(zhǔn)—多尺度)構(gòu)造出了不同的圖像質(zhì)量評估函數(shù)。

圖3 圖像質(zhì)量評估可以借鑒的學(xué)科領(lǐng)域

3.1 空間距離模型

空間距離模型是最早的圖像質(zhì)量評估函數(shù)設(shè)計(jì)模型[11]。這種模型認(rèn)為圖像的質(zhì)量是與參考圖像和被測圖像之間的直接差異相關(guān)的。這類模型以參考圖像和被測圖像間的對應(yīng)像素為基礎(chǔ),通過各種空間變換或者區(qū)域選擇,反映出被測圖像和參考圖像間的差距。

經(jīng)典的基于空間距離模型的評估方法有均方根誤差(RMSE),信噪比方法(SNR)和峰值信噪比方法(PSNR)。這些方法都是建立在全局范圍內(nèi)(整個(gè)圖像)的對應(yīng)像素差異(直接求差值)基礎(chǔ)上的。如果將方法的作用范圍限定到圖像的一個(gè)個(gè)局部區(qū)域,并用其它的距離模型替代直接求差的方法,也可以得到用于圖像質(zhì)量評估的函數(shù),如近幾年提出的奇異值圖譜法(SVDGM[42])、LU因子結(jié)構(gòu)法(LUFM[49])、四元素奇異值圖譜法(QSVDGM[48]),其計(jì)算過程就是在局部空間范圍內(nèi),通過對圖像局部矩陣的奇異值、LU因子、四元素距離的計(jì)算比較來得到圖像質(zhì)量。

3.2 統(tǒng)計(jì)模型

統(tǒng)計(jì)方法著重于全局,對信號的描述反映出信號的整體特征,因此應(yīng)用統(tǒng)計(jì)模型構(gòu)造新的圖像質(zhì)量評估函數(shù)受到了很大關(guān)注。常用的作為模型的特征量有均值(Mean)、相關(guān)系數(shù)(Correlation Coefficients)、標(biāo)準(zhǔn)差(Standard Deviation)、熵(Entropy)、斜度(Skewness)和峭度(Kurtosis)等。

經(jīng)典的統(tǒng)計(jì)模型評估函數(shù)是直接將統(tǒng)計(jì)特征量作為圖像質(zhì)量的標(biāo)準(zhǔn),如差熵函數(shù)評估方法(Difference Entropy)和相似度評價(jià)函數(shù)(Correlation Function)[6],都是用一個(gè)或者幾個(gè)統(tǒng)計(jì)特征量進(jìn)行簡單地組合而得到。而近年來,隨著對圖像質(zhì)量的深入理解,對于統(tǒng)計(jì)模型的使用更加注重了時(shí)空特性,比如:結(jié)構(gòu)相似指標(biāo)度量(SSIM[9,30]),小波統(tǒng)計(jì)質(zhì)量度量(DWTS[43]),幾何失真統(tǒng)計(jì)度量(GDDM[47])。其中SSIM是建立在空間局部領(lǐng)域內(nèi)的相似度的統(tǒng)計(jì)方法,DWTS是建立在多尺度(小波)范圍內(nèi)的標(biāo)準(zhǔn)差統(tǒng)計(jì)方法,而GDDM則注重對區(qū)域內(nèi)的幾何信息進(jìn)行統(tǒng)計(jì)。

3.3 視覺信息模型

由于圖像質(zhì)量評估的目的是反映人的主觀感官,而單純的理論模型是很難反映出圖像中人的主觀興趣的,因而很自然想到利用視覺理論對圖像質(zhì)量進(jìn)行建模,進(jìn)而進(jìn)行圖像質(zhì)量評價(jià)。對于視覺理論的研究是交叉于生理學(xué)和心理學(xué)之間的,其重大的結(jié)果有很多,比較有代表性的有視神經(jīng)對彩色圖像的信息分離作用,視神經(jīng)頻段的響應(yīng)性,視神經(jīng)響應(yīng)的方向性等。而在實(shí)際中,研究人員也發(fā)現(xiàn)有效地利用圖像的視覺先驗(yàn)信息來構(gòu)建圖像質(zhì)量評價(jià)函數(shù)的確能夠較為準(zhǔn)確地反映出圖像的主觀質(zhì)量。實(shí)際中的視覺先驗(yàn)信息一般分為兩類:一種根據(jù)圖像內(nèi)容相關(guān),即來自圖像本身,如輪廓(邊緣)、顏色等;另一種與圖像內(nèi)容無關(guān),來自生理學(xué)和心理學(xué)的統(tǒng)計(jì)研究,如人的主觀興趣區(qū)頻率、視皮層的紋理響應(yīng)等。

構(gòu)建基于視覺理論的圖像質(zhì)量評價(jià)函數(shù)的原理框架如圖4所示。

圖4 基于視覺信息的評價(jià)方法

基于視覺模型的圖像質(zhì)量評估方法,首先得到視覺信息(一種或者幾種),然后再結(jié)合具體的理論形成圖像質(zhì)量評估函數(shù)。由于采用的視覺信息的機(jī)理各不相同,因此難于對質(zhì)量評估函數(shù)具體形式做出統(tǒng)一的分類和比較。這里我們在視覺信息種類的基礎(chǔ)上對圖像質(zhì)量模型進(jìn)行說明。

3.3.1 色彩信息模型

在色彩研究中,顏色信息模型是指為了正確地再現(xiàn)顏色而構(gòu)造的色彩差異性模型,其相關(guān)資料可以查閱[50]。其基本理念是根據(jù)人眼的特性,將普通的RGB圖像映射到顏色空間中。如通過比較顏色空間中參考圖像和被測圖像的差異性,得到基于顏色信息的圖像質(zhì)量評估函數(shù)。因此,這里的顏色模型,是通過RGB圖像到顏色空間的轉(zhuǎn)換函數(shù)來實(shí)現(xiàn)的。常用的顏色空間有1976 CIE L*u*v* 、1976 CIE L*a*b*[21]、S-CIELAB[51]、CIECAM02[52]等。應(yīng)用色彩信息的圖像質(zhì)量評估函數(shù)構(gòu)造思想簡單,對某些失真具有比較好的效果,近幾年代表性的工作如文獻(xiàn)[53-54]。

3.3.2 邊緣模型

對于人的視覺來說,圖像中物體的邊緣輪廓信息起著重要的作用。即便是在機(jī)器視覺系統(tǒng)中,圖像中的邊緣信息也是反映圖像內(nèi)容的重要手段。因此應(yīng)用邊緣信息構(gòu)建的圖像質(zhì)量的評估函數(shù)能夠有效地反映出圖像的視覺質(zhì)量。通常邊緣信息是通過Sobel,Prewitt[19],Canny[55-56]等邊緣檢測方法對圖像進(jìn)行作用而得到。應(yīng)用邊緣輪廓信息的圖像質(zhì)量評估函數(shù)構(gòu)造思想簡單,效果較好,代表性的如文獻(xiàn)[19-20]。

3.3.3 視覺興趣區(qū)模型

視覺興趣區(qū)模型是來自心理學(xué)統(tǒng)計(jì)實(shí)驗(yàn)的結(jié)果。實(shí)驗(yàn)表明,人對圖像的視覺興趣集中在某一頻率區(qū)范圍內(nèi),因此有了構(gòu)造視覺興趣區(qū)濾波器來得到圖像的視覺響應(yīng)這一方法。通過對視覺響應(yīng)的圖像進(jìn)行比較,可以得到基于視覺興趣區(qū)的圖像評估函數(shù)。通常的視覺興趣區(qū)濾波器有 Mannos-Sakrison濾波器[57],Daly濾波器[23],Ahumada濾波器[58], Gabor濾波器[59,60]等。圖5為Mannos-Sakrison濾波器頻域圖。

圖5 Mannos-Sakrison濾波器頻域圖示

基于視覺興趣區(qū)模型的圖像質(zhì)量評估函數(shù)從理論上是能夠更接近主觀判別標(biāo)準(zhǔn),代表性的工作有文獻(xiàn)[23-25]。由于經(jīng)典的視覺興趣區(qū)模型是在一個(gè)統(tǒng)計(jì)層次上的工作,在實(shí)際研究中發(fā)現(xiàn)這種視覺興趣區(qū)評估方法會因理論存在的條件差異而導(dǎo)致結(jié)果并不十分準(zhǔn)確。因此近年來,對于主觀視覺模型評估方法的研究更多地建立在應(yīng)用局部處理和多尺度的概念細(xì)化主觀模型上。這一類比較有代表性的評估方法有VSNR[34],MAD[35],MGA[45-46]。

3.3.4 自然圖像統(tǒng)計(jì)模型

除了經(jīng)典的特征量的統(tǒng)計(jì)模型外,還有一類統(tǒng)計(jì)模型是依據(jù)自然圖像統(tǒng)計(jì)學(xué)而建立。自然圖像統(tǒng)計(jì)學(xué)是上世紀(jì)90年代中后期產(chǎn)生的,它因自然圖像的一些特征量值(空間鄰域差,頻域系數(shù),小波系數(shù))滿足類似冪律(Power-Law)分布而產(chǎn)生,它通過采用對稱指數(shù)分布,多高斯聯(lián)合分布,冪律分布,Gama分布等一系列概率分布[61,62]對這些量值進(jìn)行建模,來預(yù)測圖像的整體信息。圖像質(zhì)量評估函數(shù)首先對參考圖像和被測圖像的圖像特征統(tǒng)計(jì)量進(jìn)行計(jì)算,然后對于這些統(tǒng)計(jì)量進(jìn)行了基于多尺度或者局部信息的綜合及統(tǒng)計(jì)分析,而得到圖像質(zhì)量的評估值。代表性的基于自然圖像統(tǒng)計(jì)學(xué)圖像質(zhì)量評估函數(shù)如IFC[31],VIF[32]。

4 圖像質(zhì)量評估函數(shù)的性能測定及比較方案

如前所述,客觀圖像質(zhì)量評估函數(shù)的研究經(jīng)歷了一個(gè)由不定性能到確定性能分析研究的歷程。在這一歷程中,客觀圖像質(zhì)量評估函數(shù)的性能檢測及指標(biāo)的確定起了舉足輕重的作用?？陀^圖像質(zhì)量評估函數(shù)的性能檢測方案的確定讓傳統(tǒng)研究中遺留下來的一系列問題有了清楚地判斷和解釋。在客觀圖像質(zhì)量評估函數(shù)的性能檢測方案的確定中,VQEG起了開創(chuàng)性和決定性的作用。他們以圖像的客觀判斷須和人的主觀感受一致這一理念為核心,充分考慮到不同客觀圖像質(zhì)量評估函數(shù)在計(jì)算過程中存在的尺度性差異和圖像本身存在的個(gè)體性差異,提出以預(yù)測統(tǒng)計(jì)量為基準(zhǔn)來反映圖像的質(zhì)量,其檢驗(yàn)流程思路如圖6所示。

根據(jù)圖6,對于圖像質(zhì)量評估函數(shù)的性能比較:首先,在給定的含有圖像主觀評估結(jié)果的圖像數(shù)據(jù)庫中(以下簡稱為圖像質(zhì)量評估數(shù)據(jù)庫),計(jì)算出客觀評估函數(shù)的評估值,然后建立運(yùn)用客觀評估結(jié)果預(yù)測主觀評估結(jié)果的預(yù)測模型,最后通過預(yù)測值和真實(shí)值間的一系列統(tǒng)計(jì)性能指標(biāo)來反映客觀評估結(jié)果的主觀預(yù)測能力。基于此,對于圖像質(zhì)量評估函數(shù)的性能測試需要四方面工作:圖像的主觀評估結(jié)果,圖像的客觀評估結(jié)果,主觀評估結(jié)果與客觀評估結(jié)果間的聯(lián)系預(yù)測,計(jì)算標(biāo)志客觀圖像質(zhì)量評估函數(shù)的性能指標(biāo)。

圖6 VQEG的圖像質(zhì)量評估流程

4.1 主觀評估結(jié)果

通常主觀評估結(jié)果以圖像質(zhì)量評估數(shù)據(jù)庫的形式出現(xiàn)。由于圖像質(zhì)量評估的準(zhǔn)確性建立在大量數(shù)據(jù)之上,而要得到能夠反映圖像質(zhì)量的主觀評估結(jié)果需要大量的人力、物力及時(shí)間,因此國際上僅有少數(shù)研究組織構(gòu)建了圖像評估數(shù)據(jù)庫。經(jīng)典的VQEG的工作主要針對JPEG編碼圖像,因此VQEG的圖像數(shù)據(jù)庫在很大程度上有一定的局限性。2000年以后,為了滿足檢驗(yàn)不同的圖像質(zhì)量評估效果的需要,國際上多個(gè)研究組織又分別構(gòu)造了LIVE[28],CSIQ[36],TID2008[37],IVC[63]等圖像數(shù)據(jù)庫。這些數(shù)據(jù)庫都提供了參考圖像和由參考圖像生成的失真圖像,以及失真圖像的主觀質(zhì)量評估值(數(shù)據(jù)庫在構(gòu)建過程中都采用基于主觀評估方法[3-4]得到主觀質(zhì)量評估值)。

4.2 客觀評估結(jié)果

通過對數(shù)據(jù)庫中提供的參考圖像和失真圖像的計(jì)算可以得到每種圖像質(zhì)量評估函數(shù)的評估結(jié)果。

4.3 主客觀聯(lián)系預(yù)測

由于客觀評估函數(shù)產(chǎn)生的值和主觀評估值往往不在一個(gè)尺度上,而且不同數(shù)據(jù)庫中的主觀評估尺度也是不同的,為了保證性能測定和比較的客觀性,在進(jìn)行計(jì)算之前,需要通過一個(gè)特殊的模型函數(shù)將其尺度調(diào)整一致,這種尺度調(diào)整就是通過主客觀聯(lián)系預(yù)測而實(shí)現(xiàn)的。由于要考慮客觀預(yù)測的準(zhǔn)確性、單調(diào)性和一致性,因此普遍采用單調(diào)非線性映射函數(shù)的方式來作為主客觀評估間的聯(lián)系函數(shù)。需要注意的一點(diǎn)是,預(yù)測的一致性體現(xiàn)在非線性映射函數(shù)的單調(diào)性上(至少在數(shù)據(jù)區(qū)內(nèi)保證單調(diào)性)。VQEG推薦的預(yù)測方式是修正的邏輯回歸方式,即在邏輯回歸上加上線性修正項(xiàng),如方程(1),根據(jù)需要也可以加上高階修正項(xiàng)。

式(1)中,x為函數(shù)評估值,α1,α2,…,α5為方程參數(shù),參數(shù)可以通過某些優(yōu)化方法而確定。當(dāng)然VQEG也推薦采用高階多項(xiàng)式作為預(yù)測函數(shù),但是需要保證預(yù)測函數(shù)在數(shù)據(jù)區(qū)間內(nèi)的單調(diào)性。

4.4 客觀圖像質(zhì)量評估函數(shù)的性能指標(biāo)

在圖像質(zhì)量評估函數(shù)的研究中,反映評估函數(shù)優(yōu)劣的標(biāo)準(zhǔn)往往起了指導(dǎo)性作用。根據(jù)VQEG的思想[27],圖像質(zhì)量評估函數(shù)的預(yù)測效率應(yīng)該從預(yù)測的準(zhǔn)確性、單調(diào)性和一致性來考慮;而Bovik[33]認(rèn)為誤差性也是一個(gè)重要的客觀標(biāo)準(zhǔn),Damon[35]則把主客觀預(yù)測模型的無偏性也作為一個(gè)重要指標(biāo)來考慮。這里我們對五類性能指標(biāo)逐一進(jìn)行介紹。

1)準(zhǔn)確性比較

預(yù)測的準(zhǔn)確性的比較指標(biāo)在VQEG文獻(xiàn)[27]中有詳細(xì)地描述,VQEG普遍采用相關(guān)系數(shù)(Correlation Coefficient, CC)法進(jìn)行質(zhì)量評估函數(shù)的準(zhǔn)確性評估,公式如式(2)。

而上式中,Xsub(i)和Ypre(i)分別代表主觀的評估值和客觀評估的預(yù)測值,M代表總共的評估圖像數(shù),wi代表權(quán)系數(shù)。相關(guān)系數(shù)CC值越大,表示預(yù)測的準(zhǔn)確性越高,相關(guān)系數(shù)值介于0,1之間。

應(yīng)該說,相關(guān)系數(shù)指標(biāo)是一類比較客觀的指標(biāo)。它反映了主客觀評估值之間的相對關(guān)系,相關(guān)系數(shù)并不隨主客觀評估尺度(scale)的改變而變化。因此即使在不同的數(shù)據(jù)尺度下,相關(guān)系數(shù)仍然能夠反映評估函數(shù)的性能。

2)誤差性比較

Bovik在文獻(xiàn)[33]討論了VQEG提出的各種比較方法的不足,提出采用預(yù)測后與主觀評估的根均方誤差法和絕對平均誤差法可以作為誤差性評估指標(biāo)。

均方根誤差法(Root Mean Square Error,RMSE)的公式如式(3):

平均絕對誤差法(Mean Absolute Error,MAE)的公式如式(4):

均方根誤差和平均絕對誤差值越小表示預(yù)測的結(jié)果越高。但需要注意的是,不管是均方根誤差法還是平均絕對誤差法,都受制于主客觀評估尺度。不同尺度下的均方根誤差法和平均絕對誤差法,沒有任何比較的意義。

3)單調(diào)性比較

對于單調(diào)性的評估一般采用對于主觀的評估值和客觀評估的預(yù)測值進(jìn)行斯皮爾曼等級相關(guān)系數(shù)比較(Spearman Rank Order Correlation Coefficient,SROCC),有關(guān)斯皮爾曼等級相關(guān)系數(shù)的內(nèi)容請參看文獻(xiàn)[64]。斯皮爾曼等級相關(guān)系數(shù)越大代表預(yù)測的單調(diào)性越好。同樣斯皮爾曼等級相關(guān)系數(shù)不受主客觀評估尺度的影響。

4)一致性比較

通常,對于一致性的比較一般采用計(jì)算預(yù)測錯誤率的方法。

預(yù)測的錯誤率(Outlier Ratio,OR)定義如式(5)。

其中Xsub(i)和Ypre(i)分別代表主觀的評估值和客觀評估的預(yù)測值,M代表總共的評估圖像數(shù),σX代表主觀感官值的方差。Totoal_Number(p)反應(yīng)滿足關(guān)系式p的樣本的總個(gè)數(shù)。預(yù)測的錯誤率越小越好。預(yù)測的錯誤率不受主客觀評估尺度的影響。

5)預(yù)測模型無偏性

由于在計(jì)算指標(biāo)前應(yīng)用了主客觀預(yù)測的方法,因此預(yù)則模型的準(zhǔn)確度也會對性能指標(biāo)的計(jì)算有所影響。無偏性是指假設(shè)預(yù)測模型是準(zhǔn)確的,那么預(yù)測結(jié)果的殘差應(yīng)該滿足正態(tài)分布。Damon提出通過Jarque-Bera檢驗(yàn)來反映出模型無偏性［35］,有關(guān)Jarque-Bera檢驗(yàn)的內(nèi)容請參看文獻(xiàn)[65]。Jarque-Bera檢驗(yàn)值越小,模型無偏性越好。Jarque-Bera檢驗(yàn)不受主客觀評估尺度的影響。但需要說明的是,預(yù)測模型的無偏性與其它四個(gè)指標(biāo)的相關(guān)性不大,往往在模型結(jié)果十分不精確的時(shí)候,其誤差分布也是正態(tài)的,而此時(shí)Jarque-Bera檢驗(yàn)值也會很小。因此預(yù)測模型的無偏性僅在其他指標(biāo)表現(xiàn)比較優(yōu)越的時(shí)候才有一定的比較意義。

除了以上五類指標(biāo)以外,對于圖像質(zhì)量評估函數(shù)的性能還可以從預(yù)測散度圖和主客觀預(yù)測圖上進(jìn)行直觀的反映,如圖7所示。

預(yù)測散度圖,如圖7(a),其中每個(gè)點(diǎn)代表一幅圖像,其縱橫坐標(biāo)均為圖像質(zhì)量評估的主觀值,其縱坐標(biāo)為真實(shí)主觀評估值,橫坐標(biāo)為質(zhì)量評估函數(shù)預(yù)測后的評估值。理論上總是希望真實(shí)主值和客觀預(yù)測的主觀值越接近越好,即預(yù)測結(jié)果盡可能地分布在函數(shù)y=x周圍。因此預(yù)測散度圖中的點(diǎn)分布越接近y=x這條直線說明圖像質(zhì)量評估函數(shù)的性能越好。

主客觀預(yù)測圖,如圖7(b),其中每個(gè)點(diǎn)代表一幅圖像,其縱橫坐標(biāo)單位不同,其中縱坐標(biāo)為主觀評估值,橫坐標(biāo)為原始評估函數(shù)值,理論上要求圖像中點(diǎn)的分布能夠單調(diào)地服從某個(gè)函數(shù)(紅色曲線),這個(gè)函數(shù)即為預(yù)測模型。因此在主客觀預(yù)測圖中點(diǎn)的分布越接近模型曲線說明圖像質(zhì)量評估函數(shù)的性能越好。

圖7 預(yù)測散度圖(a)和主客觀預(yù)測圖(b)

需要注意的是,根據(jù)VQEG的設(shè)計(jì),圖像質(zhì)量評估函數(shù)的性能測定方案不僅適用于全信息圖像質(zhì)量評估函數(shù),對于盲信息和部分信息質(zhì)量評估函數(shù)性能測定同樣是有效的。在標(biāo)準(zhǔn)化的性能測試工作基礎(chǔ)上,上海交通大學(xué)研究人員提供了一個(gè)統(tǒng)一的圖像質(zhì)量評估函數(shù)性能測試平臺[66],供研究使用。平臺能夠兼容多種圖像質(zhì)量評估數(shù)據(jù)庫并能計(jì)算上文所述的各種性能指標(biāo),在一定程度上緩解了研究人員在圖像質(zhì)量評估函數(shù)性能測定工作上的強(qiáng)度。

5 結(jié)束語

本文綜述了全信息圖像質(zhì)量評估方法的發(fā)展歷史,總結(jié)了國內(nèi)外出現(xiàn)的各種不同的圖像質(zhì)量評估方法,并對這些圖像質(zhì)量評估方法進(jìn)行了客觀的分類和分析。同時(shí)本文對圖像質(zhì)量評估函數(shù)的性能評價(jià)標(biāo)準(zhǔn)進(jìn)行了詳盡地介紹。盡管今天的全信息圖像質(zhì)量評估方法在一定程度上已經(jīng)取得了較好的結(jié)果,但是應(yīng)該意識到,對于全信息圖像質(zhì)量評估的研究還需要繼續(xù)深入。根據(jù)前文的論述,作者認(rèn)為對于未來的圖像質(zhì)量評估方法的發(fā)展,整體上應(yīng)該從以下4個(gè)方向上進(jìn)行。

1)提高圖像質(zhì)量評估函數(shù)的泛化性

所謂圖像質(zhì)量評估函數(shù)的泛化性是指圖像質(zhì)量評估函數(shù)的性能與試驗(yàn)樣本量之間的關(guān)系,當(dāng)評估函數(shù)的性能與試驗(yàn)樣本量之間沒有明顯相關(guān)性時(shí),可以認(rèn)為其泛化性好。而實(shí)際中經(jīng)常出現(xiàn)的情況是,某個(gè)圖像質(zhì)量評估函數(shù)在小樣本的試驗(yàn)環(huán)境下有較高的性能,而當(dāng)樣本量提高后,評估函數(shù)性能急劇下降。例如:根據(jù)文獻(xiàn)[33]的比較結(jié)果,最優(yōu)秀的評估函數(shù)VIF的相關(guān)系數(shù)約為0.95,距離其最優(yōu)的相關(guān)系數(shù)1還差0.05。這么小的誤差似乎預(yù)示著全信息圖像質(zhì)量評估方法已經(jīng)十分接近了最優(yōu)的效果。而根據(jù)文獻(xiàn)[67],對于一個(gè)具有較大容量,較多失真類型的圖像庫的測試,VIF在其中只有0.75的相關(guān)度,而PSNR僅有0.53的相關(guān)度。這樣大的差距主要產(chǎn)生在試驗(yàn)樣本量和類型上,文獻(xiàn)[33]的實(shí)驗(yàn)樣本為799張圖像5種失真類型,而文獻(xiàn)[67]的實(shí)驗(yàn)樣本為1700張圖像17種失真類型。從這個(gè)角度上,提高圖像質(zhì)量評估函數(shù)的泛化性能還有很長的路要走。

2)視覺信息模型引進(jìn)及研究

從整個(gè)圖像處理的發(fā)展來看,自20世紀(jì)90年代中后期始,圖像的視覺信息模型研究受到極大地關(guān)注,研究成果不斷在國際頂級期刊上出現(xiàn)。而我國的視覺信息模型研究則略晚,主要始于在近十年內(nèi)。而對于圖像質(zhì)量評估研究來說,基于視覺模型的圖像評估函數(shù)的性能還遠(yuǎn)沒有達(dá)到其理論上應(yīng)該具有的精度。其原因無非是視覺模型在運(yùn)用時(shí)的過度簡化和條件差異,但從長遠(yuǎn)的發(fā)展來看,基于視覺模型的圖像評估函數(shù)仍然是未來國際研究的主要趨勢。這一點(diǎn)可以從近三年來,國際上各個(gè)研究小組的工作方向和結(jié)果上得到印證,如Bovik工作組正在進(jìn)行基于獨(dú)立成份分析的圖像統(tǒng)計(jì)模型研究[68],Damon研究小組完成的log-Gabor濾波器的視覺質(zhì)量建模[35],Egiazarian研究小組已完成的將HVS模型引入PSNR的研究[38]。如何合理地研究和引進(jìn)供圖像質(zhì)量評估函數(shù)使用的視覺信息模型將會是未來的研究熱點(diǎn)。

3)構(gòu)造具有一定移植性的圖像質(zhì)量評估函數(shù)

圖像質(zhì)量評估的最終目的是要達(dá)到?jīng)]有參考圖像而能夠準(zhǔn)確評估出圖像質(zhì)量的能力,即盲信息的圖像質(zhì)量評估。在盲信息的評估研究中,出現(xiàn)了Wang將SSIM[69],Sheikh 將VIF[70]進(jìn)行修改而滿足盲信息的圖像評估的要求,構(gòu)建盲信息的圖像評估方法。應(yīng)該說這種對全信息圖像質(zhì)量評估方法修改而產(chǎn)生盲信息圖像質(zhì)量評估方法具有較為清晰的理論意義和實(shí)用價(jià)值,將是未來圖像質(zhì)量評估方法的一個(gè)主要方向。畢竟它在一定程度上減少了盲信息圖像質(zhì)量評估方法中評價(jià)機(jī)理的研究。在滿足準(zhǔn)確性的要求下,構(gòu)造的全信息圖像質(zhì)量評估方法能夠容易地改造成盲信息圖像質(zhì)量評估方法,也將成為未來圖像質(zhì)量評估方法的主要關(guān)注目標(biāo)之一。

4)創(chuàng)建具有較多樣本的圖像質(zhì)量評估數(shù)據(jù)庫

再好的圖像質(zhì)量評估方法也需要有圖像質(zhì)量評估數(shù)據(jù)庫來反映和體現(xiàn)。好的圖像質(zhì)量評估數(shù)據(jù)庫能夠區(qū)分出各種圖像質(zhì)量評估函數(shù)的優(yōu)缺點(diǎn),因此對于圖像質(zhì)量評估數(shù)據(jù)庫的研究也是非常重要的。未來的圖像質(zhì)量評估數(shù)據(jù)庫構(gòu)建應(yīng)該考慮到樣本數(shù)量、景物類型、圖像失真類型三種因素,在整體上確?？陀^地反映被測評估函數(shù)的性能。

[1]Kenneth R. Castleman. Digital Image Processing[M].New Jersey:Prentice Hall,1995.

[2]Rafael C. Gonzalez, Richard E. Woods. Digital Image Processing[M]. New Jersey:Prentice Hall, 2002.

[3]Rec. ITU-T P.910 Subjective Video Quality Methods for Multimedia Application[R]. ITU-T Recommendation, 1996.

[4]Rec. ITU-R BT.500-7.Methodology for the Subjective Assessment of the Quality of Television Pictures[R].ITU-R Recommendation, 1974-1997.

[5]Methodology for subjective assessment of the quality of television pictures[R]. Recommendation ITU-R BT.500-10, 2000.

[6]Ismail Avc?bas, Bulent Sankur, Khalid Sayood.Statistical evaluation of image quality measures[J].Journal of Electronic Imaging, 2002, 11(2):206-223.

[7]Wang, Zhou, Bovik, Alan C, Lu, Ligang. Why is image quality assessment so difficult? [C]. IEEE International Conference on Acoustics, Speech and Signal Proceedings. New York:IEEE Press, 2002:3313- 3316.

[8]Zhou Wang; Bovik, A.C.. Mean squared error:Love it or leave it? A new look at Signal Fidelity Measures[J].Signal Processing Magazine, 2009, 26(1):98-117.

[9]Zhou Wang et al. Image Quality Assessment:From Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4):600-612.

[10]VQEG. Final Report From the Video Quality Experts Group on the Validation of Objective Models of Video Quality Assessment, Phase II August 2003 [R/OL].http://www.vqeg.org.

[11]A. M. Eskicioglu, P. S. Fisher, A survey of quality measures for gray scale image compression[C]. Proc.of Space and Earth Science Data Compression Workshop. Snowbird:NASA Conference Publication,1993:49-61.

[12]Sumohana S. Channappayya, Alan Conrad Bovik,Robert W. Heath[J]. Rate Bounds on SSIM Index of Quantized Images. IEEE Transactions on Image Processing, 2008, 17(9):1624-1639.

[13]Dale L.Wilson, Adrian J.Baddeley, Robyn A.Owenes.A new metric for grey-scale image comparison[J].International Journal of Computer Vision, 1997, 24(1):5-17.

[14]Van den Branden Lambrecht, C.J. A working spatiotemporal model of the human visual system for image restoration and quality assessment applications[C].IEEE International Conference on Acoustics, Speech,and Signal Processing. New York:IEEE Press,1996:2291-2294.

[15]Sumohana S.Channappayya, AlanC.Bovik, Robert,W.HeathJr. Perceptual soft thresholding using the structural similarity index[C]. IEEE International Conference on Image Processing. New York:IEEE Press, 2008:569-572.

[16]Sumohana S. Channappayya, Alan C. Bovik,Constantine Caramanis, Robert W. Heath Jr..Ssim-optimal linear image restoration[C].International Conference on Acoustics, Speech, and Signal Processing. New York:IEEE Press, 2008:765-768.

[17]K. Popat, R. Picard. Cluster based probability model and its application to image and texture processing[J].IEEE Trans. Image Process., 1997, 6(2):268-284.

[18]T. M. Cover, J. A. Thomas. Elements of Information Theory[M]. New York:Wiley, 1991.

[19]W. K. Pratt, Digital Image Processing[M]. New York:Wiley, 1978.

[20]D. Carevic, T. Caelli. Region based coding of color images using KLT[J]. Graph. Models Image Process,1997, 59(1):27-38.

[21]International Commission of Illumination(CIE).Recommendations on uniform color spaces, color difference equations, psychometric color terms.Publication CIE 15 ～E-1.3.1!, Supp. 2, Bureau Central de la CIE, Vienna ～1971.

[22]N. B. Nill. A visual model weighted cosine transform for image compression and quality assessment[J].IEEE Trans. Commun., 1985, 33(6):551-557.

[23]S. Daly. The visible difference predictor:an algorithm for the assessment of image fidelity[C]. Digital Images and Human Vision. Cambridge:MIT Press, 1993:179-206.

[24]J.Lubin. The use of psychophysical data and models in the analysis of display system performance[C]. Digital Images and Human Vision. Cambridge:MIT Press,1993:163-178.

[25]J.Lubin. A visual discrimination mode for image system design and evaluation[C]. Visual Models for Target Detection and Recognition. Singapore:World Scientific, 1995:207-220.

[26]P.Corriveau and A.Webster. Final report from the VQEG on the validation of objective models of video quality assessment[R/OL]. http://www.its.bldrdoc.gov/vqeg/.

[27]A. M. Rohaly et al. Video Quality Experts Group:Current results and future directions[C]. Visual Communications and Image Processing. Proc. SPIE 4067, 2000:742-753.

[28]H. R. Sheikh, Z. Wang, L.Cormack, A. C. Bovik. Live Image Quality Assessment Database Release 2.[CP/OL].http://live.ece.utexas.edu/research/quality.

[29]Z.Wang, A.Bovik. A universal image quality index[J]IEEE Signal Proces. Lett., 2002, 9(3):81-84.

[30]Z. Wang, E. P. Simoncelli, A. C. Bovik. Multi-scale structural similarity for image quality assessment[C].Asilomar Conf. Signals, Systems, and Computers.New York:IEEE Press, 2003:1398-1402.

[31]H.R.Sheikh, A.C.Bovik, G.de Veciana. An information fidelity criterion for image quality assessment using natural scene statistics[J]. IEEE Transactions on Image Processing, 2005, 14(12):2117-2128.

[32]H.R.Sheikh and A.C.Bovik. Image information and visual quality[J]. IEEE Transactions on Image Processing, 2006, 15(2):430-444.

[33]H.R Sheikh, Muhammad Farooq, A.C. Bovik. A statistical evaluation of recent full reference image quality assessment algorithms[J]. IEEE Transations.Image Processing, 2006, 15(11):3441-3452.

[34]D.M.Chandler, S.S.Hemai. VSNR:A wavelet-based visual signal-to-noise ratio for natural images[J]. IEEE Transactions. Image Processing, 2007, 16(9):2284-2298.

[35]Eric C. Larson, Damon M. Chandler, Most Apparent Distortion:A Dual Strategy for Full-Reference Image Quality Assessment[C]. Proc. of SPIE-IS&T Electronic Imaging. SPIE, 2009.

[36]Image Coding and Analysis Lab. Categorical Subjective Image Quality database[CP/OL]. http://vision. okstate. edu/ csiq/.

[37]N. Ponomarenko, M. Carli, V. Lukin, K. Egiazarian, J.Astola, F. Battisti. Color Image Database for Evaluation of Image Quality Metrics[C]. Proceedings of International Workshop on Multimedia Signal Processing. New York:IEEE Press, 2008:403-408.

[38]Egiazarian K., Astola J., Ponomarenko N., Lukin V,Battisti F., Carli M. New full-reference quality metrics based on HVS[C]. CD-ROM Proceedings of the Second Int. Workshop on Video Proc. and Quality.Metrics, 2006:4.

[39]Tourancheau, S, Autrusseau, F, Sazzad, Z.M.P, Horita,Y. Impact of subjective dataset on the performance of image quality metrics[J]. IEEE International Conference on Image Processing. New York:IEEE Press,2008:365-368.

[40]Y.Horita,Y.Kawayoke, Z.M.Parvez,.Sazzad. Image quality evaluation database[CP/OL]. ftp://guest@mict.eng.utoyama.ac.

[41]Z.M. Parvez Sazzad, Yuukou Horita. Local region-based image quality assessment independent of JPEG and JPEG2000 coded color images[J]. Journal of Electronic Imaging,2008, 17(03).

[42]A. Shnayderman, A. Gusev, and A. M. Eskicioglu. An SVD-based grayscale image quality measure for local and global assessment[J]. IEEE Transsctions on.Image Processing, 2006, 15(2):422-429

[43]Devon Gayle, Hazem Mahlab, Yuksel Ucar, Ahmet M.Eskicioglu[C]. A full-reference color image quality measure in the DWT domain. Proc. of EUSIPCO2005.

[44]韓瑜, 圖像質(zhì)量評估及其在圖像信息融合中的應(yīng)用,博士學(xué)位論文,上海交通大學(xué),2011,16-35.

[45]Xinbo Gao, WenLua, XuelongLib, DachengTao.Wavelet-based contourlet in quality evaluation of digital images[J]. Neurocomputing, 2008, 72(3):378-385

[46]Xinbo Gao, Wen Lu, Dacheng Tao and Xuelong Li.Image Quality Assessment Based on Multiscale Geometric Analysis[J]. IEEE Transactions On Image Processing, 2009, 18(7):1409-1423.

[47]G. Cheng, L. Cheng. Geometric directional distortion for full reference image quality assessment[J].Electronics Letters, 2009, 45(25):1305-1307.

[48]Fuqiang Zhang, Junli Li, Gang Chen, Jiaju Man.Assessment of Color Video Quality Based on Quaternion Singular Value Decomposition[C]. Sixth International Conference on Fuzzy Systems and Knowledge Discovery. New York, IEEE Press, 2009:7-10.

[49]Ho-Sung Han, Dong-O Kim, Student Member,Rae-Hong Park. Structural Information-Based Image Quality Assessment Using LU Factorization[J]. IEEE Transactions on Consumer Electronics, 2009, 55(1):165-171.

[50]M. D. Fairchild. Color Appearance Models[M]. New York:Addison-Wesley, 1998:43-89.

[51]X Zhang, BA Wandell. A Spatial Extension of CIELAB for Digital Color Image Reproduction[J].Journal of the Society for Information Display, 1997,5(1):61-63.

[52]N. Moroney, M. D. Fairchild, R. W. G. Hunt, C. J. Li,M. R. Luo, and T. Newman. The CIECAM02 color appearance model[C]. IS&T/SID 10th Color Imag.Conf. 2002:23-27.

[53]Mark D. Fairchild, Garrett M. Johnson, iCAM framework for image appearance, differences, and quality[J]. Journal of Electronic Imaging, 2004, 13(1):126-138.

[54]S.Ouni, M.Chambah, M.Herbin, E.Zagrouba. SCID:Full Reference Spatial Color Image Quality Metric[C].Proc. of SPIE-IS&T Electronic Imaging. SPIE, 2009.

[55]Lim, Jae S.. Two-Dimensional Signal and Image Processing[M]. Englewood Cliffs:Prentice Hall,1990:478-488.

[56]Canny, John. A Computational Approach to Edge Detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986, 8(6):679-698.

[57]J. L. Mannos and D. J. Sakrison. The effects of a visual fidelity criterion on the encoding of images[J]. IEEE Transactions on Information Theory, 1974, 10(5):525-536.

[58]A. Ahumanda. Simplified vision models for image quality assessment[J]. SID International Symposium Digest of Technical Papers, 1996, 27:397-400.

[59]A. B. Watson. The cortex transform:Rapid computation of simulated neural images[J]. Comput.Vis, Graph., Image Process., 1987, 39:311-327.

[60]F. A. A. Kingdom, A. Hayes, and D. J. Field.Sensitivity to contrast histogram differences in synthetic wavelet-textures[J]. Vis. Res.,1995, 41:585-598.

[61]A.Srivastava, A.B.Lee, E. P.Simoncelli, S.C.Zhu. On advances in statistical modeling of natural images[J]. J.Math. Imag. Vis., 2003, 18:17-33.

[62]E. P. Simoncelli, B. A. Olshausen. Natural image statistics and neural representation[J]. Annu. Rev.Neurosci., 2001, 24:1193-121.

[63]Patrick Le Callet, Florent Autrusseau. Subjective quality assessment IRCCyN/IVC database[CP/OL].http://www.irccyn.ec-nantes.fr/ivcdb/

[64]G.W. Corder, D.I. Foreman. Nonparametric Statistics for Non-Statisticians:A Step-by-Step Approach[M].Hoboken:Wiley, 2009.

[65]Judge, G. G., R. C. Hill, W. E. Griffiths, H. Lutkepohl,and T.-C. Lee. Introduction to the Theory and Practice of Econometrics, Wiley, 1988.

[66]Yu Han, Yunze Cai, Yin Cao, Xiaoming Xu,Monotonic Regression:A New Way For Correlating Subjective And Objective Ratings In Image Quality Research, IEEE Transactions on Image Processing,2012,21(4):2309-2313.

[67]N. Ponomarenko, F. Battisti, K. Egiazarian, J. Astola, V.Lukin. Metrics performance comparison for color image database[C]. Fourth international workshop on video processing and quality metrics for consumer electronics. Scottsdale, 2009:14-16.

[68]Raghu G. Raj, Alan C. Bovik. MICA:A Multilinear ICA Decomposition for Natural Scene Modeling[J].IEEE Transactions On Image Processing, 2008, 17(3):259-271.

[69]Z. Wang, H.R.Sheikh, A.C.Bovik. No-reference perceptual quality assessment of JPEG compressed images[C]. Proceedings of the ICIP’02. New York,2002:477-480.

[70]H. R. Sheikh, A. C. Bovik, L. Cormack. No-reference quality assessment using natural scene statistics:JPEG2000[J]. IEEE Transactions On Image Processing, 2005, 14(11):1918-1927.