朱文斌 陳強 楊曦晨
摘 要:圖像質(zhì)量評價是近幾年圖像處理領(lǐng)域比較熱門的研究課題。目前,許多學(xué)者已經(jīng)提出了各種各樣的無參考質(zhì)量評價方法。對無參考方法進行綜述,詳細介紹BIQI,BLIINDS?Ⅱ,BRISQUE,DESIQUE,DIIVINE,NIQE,SSEQ等無參考質(zhì)量評價方法,并在LIVE和TID2008數(shù)據(jù)庫上進行實驗分析,最后根據(jù)分析的結(jié)果探討圖像質(zhì)量評價的發(fā)展方向。
關(guān)鍵詞: 圖像質(zhì)量評價; 無參考; 自然場景統(tǒng)計特征; 變換域
中圖分類號: TN911.73?34; TP391 文獻標(biāo)識碼: A 文章編號: 1004?373X(2015)18?0081?08
Abstract: Image quality assessment is a hot research topic in the field of image processing in recent years. Many scholars have proposed a variety of non?reference image quality evaluation methods. Some non?reference image quality assessment algorithms are summarized in this paper, such as BIQI, BLIINDS?II, BRISQUE, DESIQUE, DIIVINE, NIQE and SSEQ. They were tested and analyzed on LIVE and TID2008 database. The development direction for image quality assessment is discussed in this paper according to the analysis results.
Keywords: image quality assessment; no?reference; natural scene statistic; transform domain
0 引 言
數(shù)字圖像在獲取、存儲、傳輸、顯示的過程中,都有可能會引入失真,導(dǎo)致圖像質(zhì)量的下降。失真圖像丟失了一些重要信息,可能導(dǎo)致滿足不了應(yīng)用與系統(tǒng)要求[1]。特別是隨著互聯(lián)網(wǎng)的快速發(fā)展,在網(wǎng)絡(luò)中傳輸?shù)膱D像因帶寬、時效等限制條件,圖像經(jīng)常會受到壓縮比例較大的壓縮而造成嚴(yán)重的失真。因此,如何準(zhǔn)確地衡量圖像質(zhì)量的好壞,成為了計算機視覺以及圖像處理領(lǐng)域熱門且具有挑戰(zhàn)性的問題。
按照是否需要人的參與,圖像質(zhì)量評價方法可以分為兩類:主觀圖像質(zhì)量評價和客觀圖像質(zhì)量評價[2]。主觀圖像質(zhì)量評價由人眼視覺效果對圖像進行評價;與此對應(yīng),客觀圖像質(zhì)量評價算法則基于特定算法由計算設(shè)備對圖像進行自動評價。主觀質(zhì)量評價一般由大量的觀察者對圖像打分,且易受評價環(huán)境、評價參與者知識水平以及評價人員情緒的影響。主觀評價結(jié)果隨機性較強,很難在實時圖像系統(tǒng)中應(yīng)用[3]?;谥饔^質(zhì)量評價的局限性,客觀質(zhì)量評價算法被廣泛研究??陀^質(zhì)量評價方法不需要人工參與,因此能被用到各種圖像處理算法的性能評價和實時圖像系統(tǒng)中。研究高效、優(yōu)秀的圖像質(zhì)量評價算法,具有很高的現(xiàn)實意義。
根據(jù)能夠得到的參考圖像(原始圖像)信息的多少,客觀的圖像質(zhì)量評價方法分為全參考質(zhì)量評價方法、半?yún)⒖假|(zhì)量評價方法和無參考質(zhì)量評價方法[4]。全參考質(zhì)量評價方法,指的是能獲得參考圖像所有信息的評價方法。通過計算待評價的圖像與原始圖像之間的差異性,對圖像進行評價。全參考方法目前已經(jīng)比較成熟可靠,半?yún)⒖荚u價方法能獲得原始圖像的部分信息,無參考評價方法,則無法獲得參考圖像的任何信息。本文主要討論無參考評價方法。
1 相關(guān)模型介紹
1.1 圖像對比度歸一化[5]
1.2 對稱廣義高斯模型和均值非零的非對稱廣義高斯分布模型
自然圖像統(tǒng)計特征直方圖滿足高斯分布,因此高斯模型可以被用來模型化實驗數(shù)據(jù)。高斯模型分為均值為零的對稱廣義高斯模型(Generalized Gaussian Distribution,GGD)和均值非零的非對稱廣義高斯分布模型(Asymmetric Generalized Gaussian Distribution,AGGD)。
如圖2所示,圖1(b)的MSCN的統(tǒng)計直方圖滿足高斯分布,其可以用GGD模型進行模擬。
GGD模型如式(5)所示,σ2是分布的方差,α控制著分布的形狀,例如當(dāng)α=2時,此分布是高斯分布,α=1時此分布是拉普拉斯分布。GGD(α,σ2)參數(shù)對可以使用文獻[6]中的瞬間匹配方法快速計算得到。
2 方法介紹
2.1 NIQE [7]
2.1.1 特征介紹
假設(shè)某一幅輸入圖像I(M×N)。該方法首先對圖像進行去均值與標(biāo)準(zhǔn)化,得到圖像的MSCN即[I]。研究發(fā)現(xiàn),質(zhì)量較好的自然圖像的統(tǒng)計特征滿足高斯模型,然而失真會破壞這種模型,因而這種變化的程度會體現(xiàn)在人的感知上。如圖3所示,5種失真圖像的統(tǒng)計直方圖都與參考圖像有著較大的差異。
NIQE方法采用96×96,塊間無重合的方式對[I]進行分塊。由于人眼對于對比度比較大的圖像區(qū)域更加的敏感,因此對前述得到的這些圖像塊進行篩選。計算每個塊的局部對比度均值[σ(b)=(i,j)∈patchbσ(i,j)],篩選出[σ(b)>T][T=p·max(σ(i,j)), i∈[1,M];j∈[1,N];p=0.75]的圖像塊進行特征提取。對上述步驟篩選得到的圖像塊,使用對稱廣義高斯模型(GGD,式(5)進行建模,得到基于空域點的特征GGD(α,β)。同時分別從橫向、縱向、主對角線、副對角線4個方向?qū)ο噜徬袼厥褂梅菍ΨQ廣義高斯分布模型進行(AGGD,式(8)進行建模,分別得到特征AGGD(γ,βl,βr,η),共得到16個參數(shù)。上述步驟一共得到18個特征。對同一個圖像使用最近鄰算法進行下采樣,用同樣的方法得到18個參數(shù),一幅圖像共得到36個特征。
2.1.2 模型訓(xùn)練與評價圖像
本方法對訓(xùn)練集中的原始高質(zhì)量自然圖像進行特征提取,獲得一個N×36的特征矩陣。對這個矩陣求均值得到一個1×36行向量ν1以及求協(xié)方差得到協(xié)方差矩陣[Σ1]。作為模型用于評價圖像質(zhì)量。對于待評價的圖像,同樣進行上述特征提取的所有步驟(除了沒有塊篩選步驟),得到一個行向量ν2以及協(xié)方差矩陣[Σ2]。
通過計算理想模型與失真圖像參數(shù)之間的差異,如式(11),得到最終的質(zhì)量評價分?jǐn)?shù):
[Index=ν1-ν2TΣ1+Σ22-1ν1-ν2] (11)
式中ν1,ν2和[Σ1],[Σ2]分別為理想模型和實際圖像的均值向量與協(xié)方差矩陣。
2.2 BRISQUE[8]
2.2.1 特征介紹
此方法類似于前述的NIQE方法,但是沒有分塊步驟。對于訓(xùn)練圖像I,首先計算其MSCN得到[I],然后對[I]進行空域廣義高斯模型GGD建模得到參數(shù)[GGDα,σ2]。接著再在橫向、縱向、主對角線、副對角線4個方向上使用非對稱廣義高斯分布模型AGGD進行建模,分別得到[AGGDγ,σ2l,σ2r,η],共得到16個特征。然后使用最近鄰算法進行下采樣,在另一個尺度上對提取特征,最終訓(xùn)練圖像獲得36的特征。
2.2.2 模型訓(xùn)練與分值計算
將圖像數(shù)據(jù)集分成訓(xùn)練集和測試集,將訓(xùn)練集的圖像利用上述的方法進行特征提取,得到特征向量。利用Libsvm對訓(xùn)練集中圖像的特征向量及其對應(yīng)MOS值進行支持向量回歸學(xué)習(xí)[3,9],得到圖像評價模型。對于某一個測試圖像,按照前述方法提取出特征向量,再使用得到的圖像質(zhì)量評價模型,回歸計算得到最終的分?jǐn)?shù)Index。
2.3 DESIQUE[9]
2.3.1 特征介紹
本方法分別基于頻域與空域進行特征提?。?/p>
基于空域的特征提取:首先計算圖像的MSCN,得到[I]。然后對其進行廣義高斯模型GGD擬合,得到特征參數(shù)GGD(α,σ2)。然后對[I]進行對數(shù)化得到[J(i,j)]如式(12)所示:
[J(i,j)=lnI(i,j)+K, K=0.1] (12)
分別在0°,45°,90°,135°以及主對角線減副對角線5個方向上對[J(i,j)]進行GGD擬合,分別得到GGD(α, σ2),共獲得10個特征參數(shù)。
基于頻域的特征提?。涸陬l域,首先對圖像在2個方向(水平和垂直)方向上進行了log?Gabor變換,得到2個log?Gabor子帶[g(i,j)]。然后對這2個子帶分別進行對數(shù)化得到[J(i,j)],如式(13)所示:
[J(i,j)=lngi,j+K, K=0.1] (13)
其中[gi,j]代表的是模。最后對2個子帶[J(i,j),]分別在0°,45°,90°,135°以及主對角線減副對角線5個方向上對[J(i,j)]進行GGD擬合,分別得到GGD(α,σ2),共獲得20個參數(shù)(2個參數(shù)×5個方向×2個子帶)。
最后對圖像使用最近鄰算法進行下采樣,提取出20個特征參數(shù),DESIQUE方法一共得到60個特征參數(shù)。
2.3.2 模型訓(xùn)練與分值計算
DESIQUE 將圖像數(shù)據(jù)庫分為訓(xùn)練集和測試集2部分。方法首先對圖像進行特征提取,得到訓(xùn)練圖像特征集。模型訓(xùn)練分2步進行,分別為不針對特定失真類型的訓(xùn)練和針對特定失真類型的訓(xùn)練。第1步是將所有訓(xùn)練圖的特征及其對應(yīng)的DMOS利用SVM進行分類訓(xùn)練,得到Model?Svm。假設(shè)圖像數(shù)據(jù)庫有N種失真類型,第2步是針對特定的失真,將圖像根據(jù)其真實的失真類型分類,每一類失真類型的圖像分別與其對應(yīng)DMOS分別使用SVR進行回歸,得到此失真類型的回歸模型Model?n,其中n取1~N。
對測試圖像分別進行頻域與空域的特征提取。其評價由下步驟獲得:首先,假設(shè)不知道測試圖像的失真類型,然后使用SVM基于model?svm對圖像進行分類,計算其屬于各種失真類型的概率,記為向量P(p1,p2,…,pN)。再分別假設(shè)其屬于某個特定失真類型,基于Model?n,利用SVR模型,分別計算其分?jǐn)?shù),組成分?jǐn)?shù)向量S(s1,s2,…,sN)。最后,計算待評價圖像的質(zhì)量分?jǐn)?shù)為Index,如式(14)所示:
[Index=P?S=i=1Npi×si] (14)
2.4 BIQI[10]
2.4.1 特征介紹
首先使用Daubechieds [97]小波基對圖像進行3個尺度,3個方向的變換,得到9個子帶。NSS研究表明,經(jīng)過這種變換后,每個子帶的系數(shù)呈現(xiàn)出拉普拉斯分布,并可以使用廣義高斯分布GGD模型進行參數(shù)化。它有3個參數(shù),分別是均值μ、形狀參數(shù)α、方差σ2,因為小波變換后的系數(shù)均值為0,所以每個子帶可以得到特征參數(shù)α,σ2。因此一幅圖像一共可以得到18個特征(3尺度×3方向×2參數(shù))。
2.4.2 模型訓(xùn)練與分值計算
本方法使用了和DESIQUE相同的2步驟模型訓(xùn)練與計算分?jǐn)?shù)方法得到測試圖像的分值Index。
2.5 DIIVINE[11]
2.5.1 特征介紹
本方法使用可轉(zhuǎn)向金字塔小波分解對圖像在2個尺度6個方向上進行分解,得到12個分解結(jié)果子帶,記為[Sθa], 其中a代表尺度,可取1和2,θ代表方向,可以取[0o,30o,60o,90o,120o,150o]。然后對每一個子帶進行正常化,得到[dθa]。此方法利用[dθa]一共提取88個圖像特征用于質(zhì)量評價。
(1) 對每一個[dθa],使用廣義高斯分布模型GGD對其進行模擬,因為金字塔小波變換后的系數(shù)均值為0,因此每個子頻帶可以獲得參數(shù)GGD(σ2,γ),12個子頻帶共獲得24個參數(shù),組成f1~f24。
(2) 圖像天然是多尺度的。不同尺度,同一個方向的子頻帶間存在著某種關(guān)系。不同尺度,同一個方向的子頻帶的系數(shù),被結(jié)合到一起,同樣進行廣義高斯分布模型GGD擬合,6個方向共得到12參數(shù)。因為σ2不會給分析增加比f1~f12多的任何信息,因此6個方向只留下γ作為特征,得到f25~f30,而后最終將所有的子頻帶系數(shù)結(jié)合到一起,進行GGD擬合得到最后的一個γ, 即f31。
(3) 實驗證明,圖像的高通響應(yīng)和帶通響應(yīng)之間有著一定的統(tǒng)計學(xué)關(guān)系,而圖像的失真會破壞這種關(guān)系。因此每一個子頻帶可以計算得到如此一個系數(shù)ρ,[ρ=2σxy+C2σ2x+σ2y+C2]。對于每個子頻帶,使用15×15的高斯濾波器對其高通響應(yīng)和帶通響應(yīng)進行濾波,[σ2x],[σ2y],[σxy]分別是高通響應(yīng)局部方差、帶通響應(yīng)局部方差和兩者之間的互協(xié)方差。每個子帶的所有局部ρ的均值就是這個子帶的特征,因此一共得到12個特征,即f32~f43。
(4) 自然圖像有著一種相關(guān)結(jié)構(gòu),隨著距離函數(shù)的變化而緩慢變化。將尺度為1的各子帶中某個點以及和它距離在一定范圍內(nèi)的點,計算聯(lián)合分布,可以得到一個三項式。這個三項式的3個系數(shù)以及參數(shù)間的錯誤值,多項式的真實值構(gòu)成了一個子頻帶的參數(shù),因此一共可以獲得30個參數(shù),即f44~f73。
(5) 計算同尺度,不同方向間的子頻帶之間的關(guān)系,得到[C56]=15個特征,即f74~f88。
2.5.2 模型訓(xùn)練與分值計算
本方法使用了和DESIQUE、BIQI相同的兩步驟模型訓(xùn)練與計算分?jǐn)?shù)方法得到測試圖像的分值Index。
2.6 SSEQ[12]
SSEQ方法利用了圖像塊間的統(tǒng)計學(xué)規(guī)律,通過計算圖像塊的信息熵,獲得圖像中的結(jié)構(gòu)以及圖像中像素點相互關(guān)系的大小。在進行大量統(tǒng)計與訓(xùn)練的情況下,對測試圖像進行質(zhì)量預(yù)測。
2.6.1 特征介紹
SSEQ在3個尺度上一共要提取12個特征。對于輸入圖像,首先對圖像進行分塊,計算每一塊的區(qū)域的局部熵,獲得所有局部熵值的平均數(shù),作為特征1;然后對這些局部熵值排序,求出其偏度,作為特征2;再對同樣分塊的圖像,計算每個局部塊的局部譜域熵,獲得所有局部譜域熵的平均數(shù),作為特征3;然后對這些局部譜域熵排序,求出其偏度,作為特征4。使用最近鄰算法對圖像進行2次下采樣,分別計算得到類似的4個特征,一共獲得12個圖像的特征。
2.6.2 模型訓(xùn)練與圖像質(zhì)量分計算
SSEQ使用了和DESIQUE,BIQI,DIVINE相同的方法得到測試圖像的分值Index。
2.7 BLIINDS?Ⅱ[13]
2.7.1 特征介紹
本方法一共提取4個特征用于計算質(zhì)量分?jǐn)?shù)。
(1) 對圖像進行大小為5×5,塊間重合為2的分塊,對每一個圖像塊進行DCT變換得到相應(yīng)的DCT系數(shù)。
(2) 對DCT系數(shù)進行GGD擬合,獲得每個圖像塊的形狀參數(shù)γ,取其中最低的10%γ值的均值作為第1個特征,所有γ的均值作為第2個特征;提出了一個新的參數(shù)ζ,其計算式為:
[ζ=σXμX=Γ1γΓ3λΓ22γ-1] (15)
其中X為每一個DCT塊的系數(shù),σ|X|和μ|X|分別是該塊的方差和均值,Γ(·)是前述的伽馬函數(shù)。對每一個圖像塊,計算其對應(yīng)的ζ,取其中最低的10%ζ值的均值作為第3個特征,所有ζ的均值作為第4個特征。
(3) 將每個圖像塊的中的DCT系數(shù)按照徑向空間頻率分成低、中、高3個部分,對3個部分的值分別求解方差,得到[σ2n],設(shè)[En=σ2n],低、中、高頻率分別代表1,2,3。設(shè)[Rn=En-1n-1j (4) 按照和徑向空間頻率變化垂直的方向,將每一個圖像塊獲得的DCT系數(shù)分為3個部分,分別計算3個部分的ζ,全部圖像塊的所有ζ的最低的10%的均值作為第7個特征,所有ζ的均值作為第8個特征。 2.7.2 模型訓(xùn)練與圖像質(zhì)量分計算 使用簡單的概率模型,設(shè)X為特征向量,計算X與DMOS的概率分布,由于[P(X,DMOS)=P(DMOS|X)P(X)],計算獲得的[P(DMOSX)]即為質(zhì)量分?jǐn)?shù)。使用數(shù)據(jù)集的80%進行訓(xùn)練,20%的數(shù)據(jù)進行測試。 3 實驗結(jié)果與分析 3.1 實驗數(shù)據(jù)庫 本文在LIVE和TID 2008兩個數(shù)據(jù)庫上對BIQI[10],NIQE[7],BLIINDS?Ⅱ[13],BRISQUE[8],DESIQUE[9],DIIVINE[11],SSEQ[12]7種方法進行測試。 LIVE數(shù)據(jù)庫[14]包含29張參考圖像以及對應(yīng)的5種失真類型的共779張失真圖像。5種失真類型分別為JPEG2000壓縮失真、JPEG壓縮失真、白噪聲(White_Noise,WN)、高斯模糊(Gaussian_Blur,GBLUR)、快衰弱失真(Fast Fading,F(xiàn)F)。LIVE提供了圖像主觀評價分值MOS。MOS值取值范圍為[0,100]。一般實驗采用100減去MOS值計算得到的DMOS進行算法測試。 TID 2008數(shù)據(jù)庫[15]包含了25張參考圖像以及17種失真類型的1 700張失真圖像。其中,每一張參考圖像對應(yīng)68張失真圖像,17種失真,每一種失真有4個失真級別。 TID2008和LIVE數(shù)據(jù)庫都擁有JPEG2000壓縮失真、JPEG壓縮失真、白噪聲和高斯模糊4種失真類型的失真圖像,LIVE獨有快衰弱失真。因此,為了方便與LIVE數(shù)據(jù)庫進行對比,本文只針對2個數(shù)據(jù)庫共同擁有的失真類型進行實驗分析。
3.2 評價標(biāo)準(zhǔn)
本文使用斯皮爾曼等級次序相關(guān)系數(shù)(SPROCC)和皮爾遜線性相關(guān)系數(shù)(LCC)來對評價算法評價結(jié)果與數(shù)據(jù)庫中主觀分值的一致性進行衡量。主觀評分與客觀評分線性相關(guān)度越好,算法的表現(xiàn)越好。
3.3 實驗結(jié)果
本文主要在LIVE數(shù)據(jù)庫上進行模型訓(xùn)練,并使用訓(xùn)練得到的模型分別在LIVE數(shù)據(jù)庫和TID數(shù)據(jù)庫上進行對比實驗。本文中介紹的方法都需要訓(xùn)練得到回歸模型,為了算法間的平等比較,將LIVE數(shù)據(jù)庫隨機劃分為80%的訓(xùn)練子集與20%的測試子集,2個集合沒有任何的重合。該過程被重復(fù)了1 000次,以確保沒有因為訓(xùn)練的空域內(nèi)容導(dǎo)致的偏差。
表1~表4分別表示上述7種無參考方法在LIVE數(shù)據(jù)庫測試集和TID2008數(shù)據(jù)庫上的運行結(jié)果。
3.3.1 算法表現(xiàn)比較
從結(jié)果可以看出,幾種無參考評價方法雖然表現(xiàn)了較好的整體效果。但是對于不同的失真類型,評價結(jié)果存在較大差異。這主要與算法提取的特征有關(guān)。某些特征也許和某一個失真類型關(guān)系較大,而與另一個失真類型關(guān)系較小。
從表1~表4可以看出,對于各失真類型,DESIQUE方法都表現(xiàn)的較好,其在空域和頻域分別進行了多方向多尺度的特征提取,對各種失真具有較大的敏感性。對于JP2k,JPEG失真,BLIINDS?Ⅱ,DESIQUE,SSEQ表現(xiàn)較好。BLIINDS?Ⅱ提取的特征較多的關(guān)注了參數(shù)模型的形狀參數(shù)γ,而壓縮導(dǎo)致的塊效應(yīng)會顯著影響這個參數(shù)。壓縮也導(dǎo)致了塊內(nèi)熵值顯著變化,使得SSEQ方法表現(xiàn)優(yōu)秀。對于WN失真,BRISQUE,DESIQUE及BIQI表現(xiàn)較好。對于GBLUR失真,SSEQ與DESIQUE方法表現(xiàn)較為出色。高斯模糊對圖像熵的變化影響較大,使得以熵作為特征的SSEQ方法表現(xiàn)出色。
3.3.2 數(shù)據(jù)庫依賴性
從表1~表4中可以看出,上述各方法采用LIVE數(shù)據(jù)集訓(xùn)練得到的模型,在TID2008數(shù)據(jù)庫上的表現(xiàn)較差。例如BIQI方法在LIVE數(shù)據(jù)庫中平均LCC為0.867 3,而使用LIVE訓(xùn)練的模型在TID2008數(shù)據(jù)庫上測試,LCC只有0.781 9。
從上述表中可以看出,DESIQUE,SSEQ,BLIIND?Ⅱ,NIQE具有較小的數(shù)據(jù)庫依賴性,其在TID2008數(shù)據(jù)庫中的LCC與SPROCC仍能保持在0.8以上,符合預(yù)期。而BIQI、BRISQUE與DIIVINE具有較大的數(shù)據(jù)庫依賴性,其在TID2008數(shù)據(jù)庫中的LCC與SPROCC出現(xiàn)了小于0.8的情況。
圖4是7種方法在LIVE數(shù)據(jù)庫以及TID2008數(shù)據(jù)庫上的散點圖。圖中可以看出,BRISQUE,DESIQUE,SSEQ的結(jié)果與DMOS有著較好的線性關(guān)系,且具有較低離群度。而BIQI,DIIVINE,NIQE與BLIINDS?Ⅱ的點離散度很大,說明算法結(jié)果與DMOS的關(guān)系不密切。
3.3.3 算法效率對比分析
本文對7種無參考方法分別在不同尺寸的圖像上進行了實驗,進行算法效率的比較。實驗使用了4張尺寸分別為256×256,512×512,1 024×1 024,1 600×1 600的圖像。7種算法分別在這4張圖像上進行100次實驗,運行的平均時間如表5所示。本文實驗使用PentiumE2140@1.60 GHz,Windows 7 Pro 64?bit,3 GB內(nèi)存的計算機,運行軟件為Matlab 2013a。
從表5中可以看出,上述7種無參考質(zhì)量評價方法中,DESIQUE,BRISQUE,NIQE方法因為僅僅在空域和頻域上進行直觀的特征提取,沒有太多的中間計算環(huán)節(jié),因此具有較高的效率。BIQI與SSEQ方法效率雖然略低于前述3個方法,但仍然在一個數(shù)量級。而BLIINDS?Ⅱ和DIIVINE因為在頻域上進行大量的特征提取以及進行許多中間參數(shù)計算,導(dǎo)致效率極低。特別地,BLIINDS?Ⅱ方法消耗時間甚至達到了前述5種方法的100倍以上。
圖5表示了各種方法的運行效率隨著圖像尺寸的變化而變化的情況。其中,以各方法在256×256情況下運行的時間為單位1。從表中可以看出BIQI方法的運行效率受圖像尺寸的影響是最小的,運行時間增長不明顯。而另外6種方法運行效率受圖像尺寸的影響明顯。結(jié)合表5和圖5可以看出,雖然在256×256的尺寸下,NIQE方法的運行效率最高,但是隨著圖像尺寸的增大,BRISQUE,BIQI表現(xiàn)出了更高的效率。因此,在圖像尺寸較小的情況下,BIQI,BRISQUE,DESIQUE,NIQE,SSEQ的表現(xiàn)都讓人滿意,而在圖像尺寸很大的情況下,BRISQUE,BIQI方法有著明顯的效率優(yōu)勢。
4 結(jié) 語
本文對無參考圖像質(zhì)量評價方法進行綜述,對BIQI,NIQE,BLIINDS?Ⅱ,BRISQUE,DESIQUE,DIIVINE,SSEQ等無參考質(zhì)量評價方法進行了詳細的描述,并在LIVE和TID 2008數(shù)據(jù)庫上對其進行了測試,對各種方法進行詳細分析以及比較,討論了各方法的優(yōu)缺點。
今后圖像質(zhì)量評價的發(fā)展有以下幾個方面亟待解決:
(1) 目前優(yōu)秀的無參考的質(zhì)量評價方法很多都是基于自然圖像統(tǒng)計NSS模型的,其中的關(guān)鍵是相關(guān)參數(shù)的廣義高斯模型擬合,未來可以提出新的擬合模型,使得其更加符合統(tǒng)計數(shù)據(jù)的分布,以達到提升現(xiàn)有的算法性能的目標(biāo)。
(2) 建立完善的HVS模型:使用HVS模型分析視覺輸入的原理在圖像質(zhì)量評價中已經(jīng)起到了舉足輕重的地位。然而,目前關(guān)于HVS的理解以及采用的計算模型還處于非常低級的階段。絕大多數(shù)現(xiàn)有的基于生物學(xué)的初級視覺皮層(Primary Visual Cortex,V1)的模型并不是很完善。未來應(yīng)該在這方面進行努力,改進基于V1的模型,研究人眼的物理特性和心理特性之間的關(guān)系并運用到了實際應(yīng)用中去。
(3) 研究對復(fù)合型的圖像失真的評價方法。圖像質(zhì)量評價中一個很大的挑戰(zhàn)在于圖像失真往往是復(fù)合型的,同時其失真程度也是不可控的。盡管許多的算法已經(jīng)被用來評價單種失真類型的圖像,能夠評價混合失真類型的算法顯然更加實用。一個IQA不僅要考慮這些失真混合產(chǎn)生的聯(lián)合作用,同時還要考慮這些失真互相之間的影響。在圖像處理過程中會產(chǎn)生各種各樣的圖像失真,理想的IQA算法應(yīng)該完全能夠處理這些失真。同時,現(xiàn)在IQA面臨的一個新問題是如何調(diào)整現(xiàn)有的模型來處理超閾值失真。
(4) 當(dāng)評價一個圖像質(zhì)量時,根據(jù)失真的多少以及其是否影響了圖像對象的顯著外觀,HVS使用的可視化策略會有所不一樣。許多研究表面HVS是一個高度自適應(yīng)的系統(tǒng)。其能夠基于失真與圖像之間的相互作用等因素做出適當(dāng)?shù)恼{(diào)整。因此,研究圖像與失真之間的關(guān)系,設(shè)計自適應(yīng)視覺策略進行質(zhì)量評價是一個很有研究意義的方面。
(5) 目前絕大多數(shù)IQA算法都無法處理幾何失真,例如平移、縮放、旋轉(zhuǎn)、剪切等。這些失真,假如不是很強烈,一般對圖像的視覺質(zhì)量影響很小。然而,即使是輕微的幾何變化,會產(chǎn)生大規(guī)模的像素強度逐點變化,因而大多數(shù)的現(xiàn)有IQA算法對這種輕微幾何失真的圖像的質(zhì)量評價要比圖像的實際質(zhì)量低很多。由于IQA已經(jīng)被用到了越來越多的領(lǐng)域,對幾何失真的處理顯然變得越來越重要。
(6) 其實最具挑戰(zhàn)性的是算法的運行效率。隨著IQA從研究領(lǐng)域到實際應(yīng)用領(lǐng)域進步,計算速度、內(nèi)存占用等有關(guān)效率方面的因素成為評價一個算法優(yōu)劣的重要標(biāo)準(zhǔn)之一。有些圖像質(zhì)量評價算法還會被應(yīng)用于處理視頻幀或者一些實時系統(tǒng)上,因此效率非常重要。
圖像質(zhì)量評價是圖像處理領(lǐng)域的一個重要的研究方向,隨著評價方法的逐漸成熟,圖像質(zhì)量評價方法的研究將會有廣泛的應(yīng)用前景,其會對圖像和視頻處理產(chǎn)生深遠的積極影響。本文對目前已提出的無參考圖像質(zhì)量評價方法進行了綜述,并對圖像質(zhì)量評價的未來發(fā)展及挑戰(zhàn)進行了總結(jié)。對圖像質(zhì)量評價方法的深刻理解對于研究圖像處理、模式識別等有著重要的意義。
參考文獻
[1] 梁狄林.無參考圖像質(zhì)量評價算法研究[D].無錫:江南大學(xué), 2013.
[2] 褚江,陳強,楊曦晨.全參考圖像質(zhì)量評價綜述[J].計算機應(yīng)用研究,2014,31(1):13?22.
[3] SHEIKH H R, SABIR M F, BOVIK A C. A statistical evaluation of recent full reference image quality assessment algorithms [J]. IEEE Transactions on Image Processing, 2006, 15(11): 3440?3451.
[4] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity [J]. IEEE Transactions on Image Processing, 2004, 13(4): 600?612.
[5] RUDERMAN D L. The statistics of natural images [J]. Network Computation in Neural Systems, 1994, 5(4): 517?548.
[6] CHEN M J, BOVIK A C. No?reference image blur assessment using multiscale gradient [J]. Eurasip Journal on Image & Video Processing, 2011, (1): 1?11.
[7] MITTAL A, SOUNDARARAJAN R, BOVIK A C. Making a “Completely blind” image quality analyzer [J]. IEEE Signal Processing Letters, 2013, 20(3): 209?212.
[8] MITTAL A, MOORTHY A K, BOVIK A C. No?reference image quality assessment in the spatial domain [J]. IEEE Transactions on Image Processing, 2012, 21(12): 4695?4708.
[9] ZHANG Y, CHANDLER D M. An algorithm for no?reference image quality assessment based on log?derivative statistics of natural scenes [C]// Proceedings of 2013 SPIE of Image Quality and System Performance X. San Francisco, USA: SPIE Proceedings, 2013: 266?271.
[10] MOORTHY A K, BOVIK A C. A two?step framework for constructing blind image quality indices [J]. IEEE Signal Processing Letters, 2010, 17(5): 513?516.
[11] SHEN J, LI Q, ERLEBACHER G. Hybrid no?reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images [J]. IEEE Transactions on Image Processing, 2011, 20(8): 2089?2098.
[12] LIU L, LIU B, HUANG H, et al. No?reference image quality assessment based on spatial and spectral entropies [J]. Signal Processing: Image Communication, 2014, 29(8): 856?863.
[13] SAAD M A, BOVIK A C, CHARRIER C. Blind image quality assessment: A natural scene statistics approach in the DCT domain [J]. IEEE Transactions on Image Processing, 2012, 21(8): 3339?3352.
[14] SHEIKH H R, WANG Z, CORMACK L, et al. LIVE image quality assessment database release 2 [C]// Proceedings of the 18th European Signal Processing Conference. Aalborg, Denmark: [s.n.], 2010: 66?69.
[15] PONOMARENKO N, LUKIN V, ZELENSKY A, et al. TID2008?a database for evaluation of full?reference visual quality assessment metrics [J]. Advances of Modern Radioelectronics, 2009, 10(4): 30?45.