侯春萍 李浩 岳廣輝

摘? ?要：人類視覺系統(tǒng)首先粗略地感知全局區(qū)域，然后精細(xì)地感知局部區(qū)域的圖像質(zhì)量.針對(duì)色調(diào)映射圖像的質(zhì)量評(píng)價(jià)問題，考慮人眼視覺機(jī)制的特性，提出一種融合局部和全局特征的無參考圖像質(zhì)量評(píng)價(jià)算法.首先從全局特征出發(fā)，考慮了顏色矩、全局熵和欠曝光/過曝光條件下的明暗分布特性，得到相應(yīng)的全局特征;然后結(jié)合局部對(duì)比度、局部熵和分塊小波能量，得到相應(yīng)的局部特征;最后，融合全局特征和局部特征，使用支持向量回歸進(jìn)行特征訓(xùn)練，建立圖像特征空間與感觀質(zhì)量分?jǐn)?shù)的關(guān)系，得到圖像質(zhì)量評(píng)價(jià)模型.在公開的ESPL-LIVE HDR數(shù)據(jù)庫上驗(yàn)證，實(shí)驗(yàn)結(jié)果表明，提出的方法與主觀評(píng)分有較高的一致性，并且性能優(yōu)于目前較優(yōu)秀的無參考圖像質(zhì)量評(píng)價(jià)算法.

關(guān)鍵詞：圖像質(zhì)量評(píng)價(jià);人類視覺系統(tǒng);色調(diào)映射;無參考

中圖分類號(hào)：TP391? ? 文獻(xiàn)標(biāo)志碼：A

Quality Assessment of Tone-mapped Images

Using Local and Global Features

HOU Chunping，LI Hao，YUE Guanghui？覮

（School of Electrical and Information Engineering，Tianjin University，Tianjin? 300072，China）

Abstract：Human Visual System（HVS） first roughly perceives global areas，then centers on the detailed local areas for the perception of image quality. In this paper，a novel blind Image Quality Assessment（IQA） algorithm was proposed for tone-mapped images by combining local and global features. First，the global features were extracted based on color moments，global entropy and bright/dark pixels' distribution under overexposure/underexposure conditions. Then，local contrast，local entropy and wavelet energy based on blocks were utilized to extract local features. Finally，global features were combined with local features to constitute a final feature vector. And all these feature vectors mentioned above were trained using Support Vector Regression（SVR） to generate a model，which bridges the feature space with quality space. Extensive experiments on a public ESPL-LIVE HDR database have demonstrated that the proposed method has a high consistency with subjective evaluation and outperforms state-of-the-art no-reference IQA metrics.

Key words：Image Quality Assessment（IQA）;Human Visual System（HVS）;tone mapping;No-reference（NR）

圖像質(zhì)量評(píng)價(jià)是圖像處理領(lǐng)域的研究熱點(diǎn)[1]，可以用于監(jiān)控圖像質(zhì)量、評(píng)估圖像處理算法以及優(yōu)化圖像傳輸系統(tǒng)[2]. 近年來，圖像質(zhì)量評(píng)價(jià)發(fā)展迅速，國內(nèi)外學(xué)者提出了眾多性能優(yōu)異的評(píng)價(jià)算法[3-6]，現(xiàn)有的圖像評(píng)價(jià)算法主要分為全參考、半?yún)⒖己蜔o參考質(zhì)量評(píng)價(jià)算法.全參考和半?yún)⒖荚u(píng)價(jià)算法依賴于參考圖像的信息，具有有限的應(yīng)用場景，而無參考質(zhì)量評(píng)價(jià)算法僅需要失真圖像便可完成圖像的質(zhì)量評(píng)估工作，具備更寬泛的應(yīng)用范圍.開發(fā)有效的無參考圖像質(zhì)量評(píng)價(jià)算法已逐漸成為目前研究的重點(diǎn).無參考算法主要分為具體失真[6，7-11]和通用失真[4，12-15]類型的算法，這些算法主要針對(duì)常見的失真類型（如模糊、壓縮、噪聲等）. 而色調(diào)映射圖像主要包含異常曝光、顏色失真.因此，開發(fā)適用于色調(diào)映射的圖像質(zhì)量評(píng)價(jià)算法越來越引起研究者的注意.色調(diào)映射是通過色調(diào)映射算子將高動(dòng)態(tài)范圍（HDR，High Dynamic Range）的圖像轉(zhuǎn)化為低動(dòng)態(tài)范圍（LDR，Low Dynamic Range）圖像以適應(yīng)顯示設(shè)備的技術(shù)[16]，在這個(gè)轉(zhuǎn)化中不可避免會(huì)造成圖像質(zhì)量降低，因此評(píng)價(jià)色調(diào)映射圖像的質(zhì)量具有重要意義. Gu[17]等認(rèn)為高質(zhì)量色調(diào)映射圖像包含更多細(xì)節(jié)，通過亮化或暗化原始色調(diào)映射圖像的亮度，提取了9個(gè)全局熵特征，應(yīng)用支持向量機(jī)來建立特征與感觀分?jǐn)?shù)之間的關(guān)系.Yue[18]等通過局部二值模式和灰度共生矩陣提取色調(diào)映射圖像的局部紋理和結(jié)構(gòu)特征，通過支持向量回歸將特征向量映射為質(zhì)量分?jǐn)?shù). Jiang[19]等定義了色調(diào)映射圖像的最亮區(qū)和最暗區(qū)，并結(jié)合自然圖像統(tǒng)計(jì)特征和顏色信息進(jìn)行特征提取，最后使用隨機(jī)森林回歸得到圖像的質(zhì)量分?jǐn)?shù). Jiang[20]等考慮了視覺信息、局部結(jié)構(gòu)和自然性，即通過局部稀疏表示和全局統(tǒng)計(jì)分析提取特征，最后用極限學(xué)習(xí)機(jī)實(shí)現(xiàn)從特征空間到質(zhì)量分?jǐn)?shù)的映射. 綜上所述，色調(diào)映射圖像質(zhì)量評(píng)價(jià)仍處于逐步發(fā)展完善的階段. 然而，現(xiàn)有算法仍舊存在兩方面的不足：一方面算法性能仍然存在很大的提升空間，另一方面很少結(jié)合全局特征和局部特征進(jìn)行分析，Jiang[20]等雖然綜合了全局和局部特征，但是沒有充分考慮色調(diào)映射圖像自身的特性，比如在欠曝光/過曝光條件下的明暗分布特性.因此，提出一種結(jié)合局部和全局特征并且符合色調(diào)映射圖像自身特性的質(zhì)量評(píng)價(jià)方案尤為必要.

針對(duì)色調(diào)映射圖像質(zhì)量評(píng)價(jià)問題，本文提出了一種局部和全局特征融合的無參考圖像質(zhì)量評(píng)價(jià)方法.本方法不需要參考圖像信息，在公開數(shù)據(jù)集上性能優(yōu)于現(xiàn)有的無參考評(píng)價(jià)算法.

1? ?無參考圖像質(zhì)量評(píng)價(jià)算法

本文提出的無參考色調(diào)映射圖像質(zhì)量評(píng)價(jià)算法主要分為三個(gè)步驟：

1）全局和局部特征提取;

2）模型建立;

3）質(zhì)量預(yù)測(cè).

算法流程如圖1所示.

選取ESPL-LIVE HDR數(shù)據(jù)庫作為數(shù)據(jù)集，將圖片分為訓(xùn)練集和測(cè)試集.首先在訓(xùn)練集上進(jìn)行特征提取，將提取的特征和訓(xùn)練集上的主觀質(zhì)量分?jǐn)?shù)（Mean Opinion Value，MOS）通過機(jī)器學(xué)習(xí)方法進(jìn)行訓(xùn)練，得到一個(gè)質(zhì)量評(píng)價(jià)模型;然后在劃分的測(cè)試集上同樣進(jìn)行特征提取，并將其輸入訓(xùn)練好的模型中進(jìn)行預(yù)測(cè)，即可得到相應(yīng)的質(zhì)量分?jǐn)?shù).

其中，算法的核心是特征提取，本文從色調(diào)映射圖像的失真特點(diǎn)出發(fā)，考慮了顏色、明暗分布和信息量等特征，結(jié)合人眼觀察物體從全局到局部的特性，分別提取圖像局部特征、全局特征，用于評(píng)估圖像質(zhì)量.

2? ?特征提取

視覺生理學(xué)研究[21]表明，人眼視覺系統(tǒng)（Human Visual System，HVS）在觀察物體時(shí)，首先從整體感知圖像的亮度、顏色等全局信息，繼而深入局部區(qū)域觀察圖片的細(xì)節(jié)信息.由于此特性反映了人眼的普遍規(guī)律，因此廣泛運(yùn)用于質(zhì)量評(píng)價(jià)過程并且取得了較好的效果[7，8，20，22]. 本文模擬HVS的機(jī)理，從全局和局部兩個(gè)層次提取圖片特征.

色調(diào)映射算子在將HDR圖像轉(zhuǎn)化為LDR圖像過程中，不可避免地會(huì)造成顏色、亮度和信息量等信息的丟失. 圖2是從ESPL-LIVE HDR數(shù)據(jù)庫中選取的三張具有代表性的色調(diào)映射圖片.三張圖片的MOS值都比較小，分別為16.94，18.31，31.94. 其中，MOS值越小，表明人眼主觀判斷該圖像的質(zhì)量越差.

通過對(duì)這三幅圖片觀察，讀者能夠發(fā)現(xiàn)圖2（a）和（b）分別處于一種類欠曝光和過曝光的狀態(tài)，圖像的細(xì)節(jié)丟失嚴(yán)重;圖片（c）盡管保留了基本圖像內(nèi)容，然而呈現(xiàn)一種顏色失調(diào)的外觀.這三幅圖像反映了由色調(diào)映射算子處理后生成圖像的基本失真特性.

針對(duì)上述色調(diào)映射圖像的特性，本算法首先提取全局特征，采用顏色矩來表征顏色特征，定義欠曝光/過曝光的明暗分布來表征非正常的曝光，并用全局熵來量化色調(diào)映射圖像的信息.然后，進(jìn)行局部特征的分析，定義局部對(duì)比度來度量人眼對(duì)色調(diào)映射圖像的感觀變化，計(jì)算基于塊的局部熵來反映圖像的細(xì)節(jié)信息，并結(jié)合分塊小波能量來表示圖像的輪廓和細(xì)節(jié)信息.最后，融合全局特征和局部特征，得到最終的特征向量，以反映色調(diào)映射圖像整體和細(xì)節(jié)的特性.

2.1? ?全局特征分析

2.1.1? ?顏色矩

考慮到色調(diào)映射算子非線性映射易造成色彩信息丟失的特點(diǎn)，本文首先提取圖像的顏色信息用于質(zhì)量評(píng)價(jià).顏色矩是一種有效的顏色量化手段，本文采用Stricker和Orengo[23]提出的顏色矩來表示圖像的顏色特征.具體而言，在RGB顏色空間，首先分解得到每個(gè)顏色通道，然后在每個(gè)顏色通道分別計(jì)算一階矩均值、二階矩標(biāo)準(zhǔn)差、三階矩偏度，計(jì)算公式如下：

式中：pij 表示第i個(gè)顏色通道的第j個(gè)像素;N表示顏色通道內(nèi)總像素?cái)?shù)，式（1）（2）（3）分別用于求均值、標(biāo)準(zhǔn)差和偏度. 通過對(duì)三個(gè)顏色通道處理，總計(jì)得到9個(gè)顏色特征，記作f1.

2.1.2? ?明暗分布

從圖2（a）和（b）可以看出，色調(diào)映射圖像的一些區(qū)域呈現(xiàn)全黑或發(fā)白的現(xiàn)象，類似于圖像欠曝光或者過曝光，大面積的全黑或者發(fā)白意味著大多數(shù)像素比較集中分布于低像素值或者高像素值區(qū)域，這是因?yàn)镠DR圖像在通過色調(diào)映射算子轉(zhuǎn)化為LDR圖像時(shí)，圖像動(dòng)態(tài)范圍減少造成亮度分布不均勻，從而引起質(zhì)量退化[24]. 圖3（a）是圖2（a）欠曝光圖像的亮度分布，像素?cái)?shù)大多集中在像素值較小的區(qū)域，使得整張圖片的亮度分布失衡，表現(xiàn)為大部分暗區(qū).相反，圖3（b）是圖2（b）過曝光圖像的亮度分布，像素?cái)?shù)多集中分布于像素值較大的區(qū)域，整張圖片呈現(xiàn)大面積亮區(qū).

針對(duì)色調(diào)映射圖像這一特征，本文根據(jù)經(jīng)驗(yàn)將像素范圍[0 255]分為適度曝光和非正常曝光區(qū)域，非正常曝光又可細(xì)分為過曝光和欠曝光.三個(gè)區(qū)域的分割簡單遵從平均分布規(guī)律，欠曝光對(duì)應(yīng)暗區(qū)，過曝光對(duì)應(yīng)亮區(qū)，分別定義如下：

1）暗區(qū)：像素值分布于[0 85]的圖像區(qū)域;

2）適度曝光區(qū)：像素值分布于[86 169]的圖像

區(qū)域;

3）亮區(qū)：像素值分布于[170 255]的圖像區(qū)域.

定義亮區(qū)（暗區(qū)）像素?cái)?shù)占總像素?cái)?shù)的比例為亮區(qū)比（暗區(qū)比）用于反應(yīng)圖像亮（暗）程度，分別記作 Ω和？椎. 計(jì)算公式如下：

在灰度圖上分別計(jì)算Ω和？椎，將得到的明暗分布特征記作f2.

2.1.3? ?全局熵

如圖3所示，色調(diào)映射圖像由于非正常曝光，像素值會(huì)趨近暗區(qū)或者亮區(qū)，而暗區(qū)和亮區(qū)之間的區(qū)域則分布較少，使得物體辨識(shí)度降低，因此圖像的細(xì)節(jié)丟失嚴(yán)重.信息熵反映信號(hào)的復(fù)雜程度，本文采用信息熵來量化色調(diào)映射圖像的信息量：

式中：H（D）表示全局熵;Pl（D）表示第l個(gè)灰度級(jí)上的概率密度，對(duì)8-bits圖而言，l的最大值為255.為方便讀者，將全局熵特征記作f3.

綜上所述，記全局特征為fG，則fG = [f1，f2，f3].

2.2? ?局部特征分析

經(jīng)過全局特征分析，圖像整體反映失真的特征向量通過fG表示. 進(jìn)一步進(jìn)行局部特征分析，從圖像細(xì)節(jié)中提取質(zhì)量敏感的特征.

2.2.1? ?局部對(duì)比度

色調(diào)映射圖像由于動(dòng)態(tài)范圍減少，在顏色或者亮度上呈現(xiàn)明顯的差異.對(duì)比度反映了圖像顏色或者亮度在視覺感知中的差異，本文采用對(duì)比度來量化人眼對(duì)色調(diào)映射圖像的感觀變化.不同圖像區(qū)域有不同的對(duì)比度，定義基于塊的局部對(duì)比度如下：

式中：設(shè)置塊尺寸為16像素×16像素;P，Q分別為圖像分割后縱向塊數(shù)和橫向塊數(shù);Imax，B和Imin，B分別表示圖像塊中最大像素值和最小像素值;設(shè)置C1 =C2 = 1.

在R、G、B三個(gè)顏色通道內(nèi)分別計(jì)算LC的值，得到3維局部對(duì)比度特征，記為f4.

2.2.2? ?局部熵

全局熵在一定程度上量化了色調(diào)映射圖像的信息，但是不能反映圖像中的細(xì)節(jié).因此，提出基于塊的局部熵，分塊方法與局部對(duì)比度相同，分割后一個(gè)大小為M×N的圖像塊中每個(gè)灰度值的概率為ρij：

式中：f（i，j）表示圖像 （i，j）處的灰度，將概率ρij 代入公式（6）即可得到一個(gè)圖像塊的局部熵HL. 對(duì)一張圖所有塊的HL計(jì)算平均值和標(biāo)準(zhǔn)差，得到局部熵特征，記作f5.

2.2.3? ?分塊小波能量

色調(diào)映射圖像的明暗分布和色彩失真會(huì)使得圖像輪廓和細(xì)節(jié)信息發(fā)生變化.如圖2（a）（b）所示，類似欠曝光和過曝光的條件下，圖像的整體輪廓難以分辨，圖2（c）的顏色失真則使得圖像的局部細(xì)節(jié)發(fā)生改變.小波變換是一種時(shí)頻分析方法，廣泛應(yīng)用于圖像處理領(lǐng)域[25-26]，相比于傅里葉變換，小波可以進(jìn)行時(shí)頻域分析、多分辨率分析，可以從信號(hào)中提取有效信息.通過小波變換可以將圖像分解為低頻和高頻成分，其中，低頻成分包含了圖像的主要信息，而高頻成分反映了圖像的細(xì)節(jié)信息，可以在不同的頻帶上計(jì)算小波能量[27]從而表示圖像輪廓和細(xì)節(jié)信息的改變. 圖4表示二維離散小波變換（單層分解）的例子，（a）表示原始圖像，（b）表示分解圖像.

對(duì)比圖4（a）（b）可以發(fā)現(xiàn)，（b）圖的左上角是小波分解的低頻區(qū)域，因而保留了（a）圖的主要輪廓信息，而（b）的其他位置則是小波分解的高頻區(qū)域，從圖中可以看出一些邊緣點(diǎn)、線等圖像細(xì)節(jié). 由于色調(diào)映射圖像的明暗分布和顏色失調(diào)會(huì)使得圖像的輪廓和細(xì)節(jié)發(fā)生變化，因此可以通過小波變換提取圖像的低頻信息以表征輪廓，提取圖像的高頻信息以反映細(xì)節(jié). 具體的二維離散小波變換見框圖5.

圖5表示二維離散小波變換. A0代表輸入的色調(diào)映射圖像，對(duì)應(yīng)圖4（a）. A1，H1，V1和D1分別表示A0的近似分解系數(shù)、水平分解系數(shù)、垂直分解系數(shù)以及對(duì)角分解系數(shù)，對(duì)應(yīng)圖4（b）的左上、右上、左下和右下4個(gè)位置. LF、HF分別表示低通濾波器和高通濾波器.

具體地，A0經(jīng)過行低通濾波和列低通濾波處理得到近似分解系數(shù)A1，A1很大程度上保留了原始圖像的低頻信息.如圖4（b）左上角所示，能夠清晰看出圖像的輪廓.而H1，V1，D1這三個(gè)方向上的分解系數(shù)，在一定程度上包含了圖像的高頻分量.如圖4（b）右上、左下和右下所示，能夠看出圖像的一些細(xì)節(jié)信息.因此，A1，H1，V1和D1包含了圖像的低頻和高頻成分，能夠反映色調(diào)映射圖像的輪廓和細(xì)節(jié)信息.

為了進(jìn)一步表示圖像的局部信息，在DWT域?qū)D像分成大小為M*N塊，用C統(tǒng)一表示近似、水平、垂直和對(duì)角方向上的小波分解系數(shù)，計(jì)算圖像塊的分解系數(shù)，并在系數(shù)上進(jìn)行能量運(yùn)算.

小波能量可以表示為：

式中：E為一個(gè)圖像塊的小波能量，包含了近似、水平、垂直和對(duì)角方向的能量，對(duì)一張圖所有圖像塊的小波能量取均值和標(biāo)準(zhǔn)差，記該特征為f6.

綜上所述，將局部特征表示為fL，則fL = [ f4，f5，f6]. 經(jīng)過全局特征和局部特征提取，記總的特征向量為f，則f = [fL，fG].

3? ?模型建立和質(zhì)量預(yù)測(cè)

獲取多維圖像特征后，如何利用這些特征得到圖像的質(zhì)量是無參考圖像質(zhì)量評(píng)價(jià)算法下一步的任務(wù).現(xiàn)階段，機(jī)器學(xué)習(xí)技術(shù)被眾多學(xué)者所采納，其中較為廣泛應(yīng)用的是SVR[4，18]. 為保證與對(duì)比算法的公平性，本文亦采用SVR進(jìn)行評(píng)價(jià)模型的建立和質(zhì)量分?jǐn)?shù)的預(yù)測(cè).具體而言，首先利用SVR對(duì)高維的訓(xùn)練集特征f進(jìn)行訓(xùn)練，從而得到一個(gè)質(zhì)量評(píng)價(jià)模型.標(biāo)準(zhǔn)形式的SVR算法可以表示如下[28]：

式中：υ和 ■是松弛變量;b為偏置;xi是第i張圖像的25維特征向量;yi是與之相關(guān)的主觀質(zhì)量分?jǐn)?shù);z是訓(xùn)練集樣本數(shù). ？準(zhǔn)（xi）T？準(zhǔn)（xi）表示核函數(shù).為方便讀者觀察，本文進(jìn)一步給出25維特征及描述，見表1.

結(jié)合圖1和表1，本文提取了25維訓(xùn)練集特征，并將相應(yīng)的MOS值一起通過SVR訓(xùn)練，得到一個(gè)評(píng)價(jià)模型.給定一張測(cè)試集圖片，將提取的測(cè)試集特征向量送入模型，即可預(yù)測(cè)其質(zhì)量分?jǐn)?shù).

4? ?實(shí)驗(yàn)結(jié)果和分析

4.1? ?數(shù)據(jù)庫描述

本文選取ESPL-LIVE HDR Database[29]作為數(shù)據(jù)集來驗(yàn)證提出算法的有效性.ESPL-LIVE HDR Database是目前國際上公開的最大的色調(diào)映射圖像數(shù)據(jù)集，因此可以作為檢驗(yàn)色調(diào)映射無參考圖像質(zhì)量評(píng)價(jià)算法的理想數(shù)據(jù)集.該數(shù)據(jù)庫是由德克薩斯大學(xué)奧斯汀分校的圖像視頻工程實(shí)驗(yàn)室建立的，總計(jì)1 811張LDR圖像，處理的方法主要包括色調(diào)映射算子，多曝光融合算法以及軟件后期處理. 每張圖片的MOS值是通過5 000多名被試在眾包平臺(tái)打分得到的.數(shù)據(jù)庫不僅提供了每張圖片的MOS值，還提供了相關(guān)的標(biāo)準(zhǔn)差分?jǐn)?shù).值得注意的是，ESPL-LIVE HDR數(shù)據(jù)庫沒有公開HDR圖像，因此，將本文算法與一些無參考的評(píng)價(jià)算法比較，并不涉及全參考方法.

4.2? ?性能評(píng)估準(zhǔn)則

為了客觀檢驗(yàn)圖像質(zhì)量評(píng)價(jià)算法的性能，采用視頻質(zhì)量專家組建議的四種性能評(píng)估準(zhǔn)則，分別是皮爾森線性相關(guān)系數(shù)（Pearson Linear Correlation Coefficient，PLCC）、斯皮爾曼秩相關(guān)系數(shù)（Spearman Rank-order Correlation Coefficient，SRCC）、肯德爾秩相關(guān)系數(shù)（Kendall′s Rank Correlation Coefficient，KRCC）和均方根誤差（Root Mean-Squared Error，RMSE）.

PLCC反映了預(yù)測(cè)的精度，可以通過下式計(jì)算：

式中：si，pi分別表示第i張圖片的主觀分?jǐn)?shù)和預(yù)測(cè)分?jǐn)?shù)在主觀分?jǐn)?shù)序列和預(yù)測(cè)分?jǐn)?shù)序列中的排序位置.

KRCC同樣用于衡量預(yù)測(cè)的單調(diào)性，可表示為：

式中：Nc和Nd分別代表數(shù)據(jù)庫中一致對(duì)和非一致對(duì)的數(shù)量.

RMSE反映了預(yù)測(cè)的一致性，通過下式計(jì)算：

為了減少預(yù)測(cè)分?jǐn)?shù)非線性的影響，在計(jì)算PLCC和RMSE之前使用一個(gè)五參數(shù)邏輯回歸

函數(shù)：

（15）

式中：q是原始IQA評(píng)估指標(biāo)的值;Qp是回歸后得到的質(zhì)量分?jǐn)?shù);β1，β2，β3，β4，β5是該邏輯回歸函數(shù)的參數(shù).

4.3? ?實(shí)驗(yàn)細(xì)節(jié)

在正式實(shí)驗(yàn)開始之前，需要對(duì)本算法的參數(shù)設(shè)置以及實(shí)驗(yàn)設(shè)置進(jìn)行說明.

1）局部特征提取中塊尺寸選取

特征提取是算法的核心步驟，好的特征能夠在很大程度上反映圖像的屬性，局部特征計(jì)算時(shí)涉及到塊尺寸選取，體現(xiàn)在局部對(duì)比度、局部熵和分塊小波能量的提取過程中. 本文通過實(shí)驗(yàn)討論，設(shè)置塊分割尺寸為16像素×16像素（詳細(xì)討論見4.4）.

2）訓(xùn)練集/測(cè)試集劃分

基于學(xué)習(xí)的方法中，測(cè)試集和數(shù)據(jù)集的比例直接影響最終的實(shí)驗(yàn)結(jié)果. 為保證比較的公平性，本文遵循前人工作，將整個(gè)數(shù)據(jù)庫80%圖片作為訓(xùn)練集，剩余20%作為測(cè)試集.

4.4? ?性能比較

為了驗(yàn)證算法的性能，將提出的算法與目前性能優(yōu)異的無參考質(zhì)量評(píng)價(jià)算法進(jìn)行比較，這些算法可以分為兩類：一是針對(duì)自然圖像質(zhì)量評(píng)價(jià)的算法，例如BRISQUE[4]，ILNIQE[12]，SSEQ[13]，NFERM[14]，NRSL[15]，NIQE[30]和BSD[31];二是針對(duì)色調(diào)映射圖像的評(píng)價(jià)算法，包括Yue′s method[18]，BLIQUE-TMI[20]和BTMQI[32]. 為了與提出的算法公平對(duì)比，上述算法中基于學(xué)習(xí)的算法均將數(shù)據(jù)庫劃分為80%訓(xùn)練集和20%測(cè)試集.為避免實(shí)驗(yàn)結(jié)果的隨機(jī)性、增強(qiáng)結(jié)果的可信度，將訓(xùn)練集、測(cè)試集隨機(jī)劃分1 000次，并將

1 000次測(cè)試結(jié)果的中值作為本文最終的實(shí)驗(yàn)結(jié)果.不同IQA算法性能比較如表2所示.粗體表示每種評(píng)價(jià)準(zhǔn)則下性能最優(yōu)的算法.由于BLIQUE-TMI沒有公布源碼，因此用“—”表示表2中缺失的值.

從表2可以得出以下結(jié)論：

1）本文提出的算法性能勝過各種無參考圖像質(zhì)量評(píng)價(jià)算法，其預(yù)測(cè)分?jǐn)?shù)與人眼的主觀評(píng)估有較高的一致性，具有較高的精確度和單調(diào)性;

2）BTMQI，Yue′s method，BLIQUE-TMI以及本文提出的算法普遍優(yōu)于其他自然圖像的評(píng)價(jià)算法性能.究其原因，NIQE、ILNIQE等算法采用自然圖像特征，適用于分析常見的失真類型，比如高斯白噪聲、模糊失真和壓縮失真等，這些失真與色調(diào)映射圖像自身的特性有很大不同，因此性能并不好.而BTMQI、Yue's method和BLIQUE-TMI則是考慮了色調(diào)映射圖像在結(jié)構(gòu)、紋理和色彩等方面的信息，更符合色調(diào)映射圖像自身的特性，因而性能較之自然圖像評(píng)價(jià)算法有很大提升;

3）本文提出的算法性能優(yōu)于BTMQI、Yue′s method和BLIQUE-TMI這些同樣針對(duì)色調(diào)映射的IQA算法. 究其原因，提出的算法結(jié)合了圖像的全局特征和局部特征，并且考慮了色調(diào)映射圖像非正常曝光條件下明暗分布的差異.正如圖1（a）（b）所示的欠曝光和過曝光圖像，色調(diào)映射算子將16比特或者32比特的HDR圖像轉(zhuǎn)化為適合在設(shè)備上顯示的8比特LDR圖像，這一過程會(huì)造成信息損失，其中一個(gè)突出的表現(xiàn)就是圖像明暗分布不均勻，嚴(yán)重影響了圖像質(zhì)量.因此，提出的算法不僅符合人眼感知圖像的過程，而且進(jìn)一步分析了色調(diào)映射圖像的特性，從而在性能上優(yōu)于其他算法.

基于訓(xùn)練的算法在很大程度上會(huì)依賴訓(xùn)練集的大小，本文進(jìn)一步討論不同訓(xùn)練集大小對(duì)提出算法性能的影響. 具體而言，訓(xùn)練集劃分從20%開始，每次10%的比例增加直到80%，相應(yīng)測(cè)試集比例互補(bǔ)的減少，迭代1 000次，取相應(yīng)評(píng)估準(zhǔn)則的中值.結(jié)果如表3所示.

從表3可以看出，隨著訓(xùn)練圖片數(shù)據(jù)量的增加，相應(yīng)的算法性能評(píng)估指標(biāo)都有所提升（RMSE減小），與現(xiàn)有的基于學(xué)習(xí)的無參考評(píng)價(jià)算法[18，20]結(jié)論一致.結(jié)合表2和表3發(fā)現(xiàn)，即使只采用了20%的比例作訓(xùn)練集，性能依舊領(lǐng)先其他采用80%比例作訓(xùn)練集的自然圖像評(píng)價(jià)算法.

塊尺寸的大小決定了局部信息的多少，在局部特征提取過程中，局部對(duì)比度、局部熵和分塊小波能量都與塊尺寸的選取有關(guān).本文設(shè)置塊尺寸為8像素*8像素，16像素*16像素，32像素*32像素以及64像素*64像素，以分析塊尺寸對(duì)算法性能的影響.訓(xùn)練集占數(shù)據(jù)集的80%，改變塊尺寸，并迭代1000次，對(duì)PLCC，SRCC，KRCC以及RMSE的結(jié)果取中值. 實(shí)驗(yàn)結(jié)果如圖6所示.

從圖6可以看出，不同塊尺寸對(duì)四個(gè)評(píng)價(jià)準(zhǔn)則的影響并不大，但是塊尺寸為16像素*16像素的效果略好于其它塊尺寸.因此，本文在局部特征提取階段設(shè)置塊尺寸為16像素*16像素.

5? ?結(jié)? ?論

考慮人眼視覺特性，針對(duì)色調(diào)映射圖像，提出了一種結(jié)合全局和局部特征的無參考圖像質(zhì)量評(píng)價(jià)算法.全局特征方面，考慮了顏色矩、明暗分布和信息熵，從圖像整體提取特征;局部特征方面，考慮了局部對(duì)比度、局部熵和分塊小波能量，從圖像區(qū)域細(xì)節(jié)入手提取特征.利用SVR將融合了全局和局部特征的向量映射到質(zhì)量分?jǐn)?shù)上.相比于前人研究，更多結(jié)合了局部和全局特征分析色調(diào)映射圖像的特性，提取的特征對(duì)質(zhì)量感知有很強(qiáng)的敏感性.實(shí)驗(yàn)結(jié)果表明，提出的算法性能優(yōu)于目前優(yōu)秀的無參考自然圖像評(píng)價(jià)算法和無參考色調(diào)映射圖像評(píng)價(jià)算法，與人眼的主觀感知有著很高的一致性，可以應(yīng)用于監(jiān)控圖像質(zhì)量等領(lǐng)域.未來的研究中，重點(diǎn)在于色調(diào)映射視頻的質(zhì)量研究，使得算法能夠評(píng)估視頻質(zhì)量從而優(yōu)化視頻傳輸系統(tǒng).同時(shí)，對(duì)于明暗分布特征，本文采用簡單的動(dòng)態(tài)范圍分割以評(píng)估圖像質(zhì)量，初步驗(yàn)證了該想法的有效性.今后會(huì)嘗試建立極端曝光情形下的圖像數(shù)據(jù)庫，根據(jù)圖像區(qū)域分割和曝光特點(diǎn)以期進(jìn)一步提高算法性能.

參考文獻(xiàn)

[1]? ? 侯春萍，劉月，岳廣輝，等. 沃爾什哈達(dá)瑪變換域的無參考圖像質(zhì)量評(píng)價(jià)[J]. 湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，44（8）：137—144.

HOU C P，LIU Y，YUE G H，et al. No-reference image quality assessment on Walsh Hadamard transform domain[J]. Journal of Hunan University （Natural Sciences），2017，44（8）：137—144. （In Chinese）

[2]? ? YUE G，HOU C，ZHOU T. Blind quality assessment of tone-mapped images considering colorfulness，naturalness，and structure [J]. IEEE Transactions on Industrial Electronics，2019，66（5）：3784—3793.

[3]? ? WANG Z，BOVIK A C，SHEIKH H R，et al. Image quality assessment：from error visibility to structural similarity [J]. IEEE Transactions on Image Processing，2004，13（4）：600—612.

[4]? ? MITTAL A，MOORTHY A K，BOVIK A C. No-reference image quality assessment in the spatial domain [J]. IEEE Transactions on Image Processing，2012，21（12）：4695—4708.

[5]? ? YUE G，HOU C，GU K，et al. Analysis of structural characteristics for quality assessment of multiply distorted images[J]. IEEE Transactions on Multimedia， 2018， DOI： 10. 1109/TMM. 2018. 2807589.

[6]? ? YUE G，HOU C，GU K，et al.? No reference image blurriness assessment with local binary patterns [J]. Journal of Visual Communication and Image Representation，2017，49：382—391.

[7]? ? YUE G，HOU C，ZHOU T. Effective and efficient blind quality evaluator for contrast distorted images [J]. IEEE Transactions on Instrumentation and Measurement，2018，DOI：10.1109/TIM.2018. 2868555.

[8]? ? LU Q，ZHOU W，LI H. A no-reference image sharpness metric based on structural information using sparse representation [J]. Information Sciences，2016，369：334—346.

[9]? ? LI L，WU D，WU J，et al. Image sharpness assessment by sparse representation [J]. IEEE Transactions on Multimedia，2016，18（6）：1085—1097.

[10]? LI L，XIA W，LIN W，et al. No-reference and robust image sharpness evaluation based on multiscale spatial and spectral features[J]. IEEE Transactions on Multimedia，2017，19（5）：1030—1040.

[11]? LI L，ZHOU Y，LIN W，et al. No-reference quality assessment of deblocked images [J]. Neurocomputing，2016，177（C）：572—584.

[12]? ZHANG L，ZHANG L，BOVIK A C. A feature-enriched completely blind image quality evaluator [J]. IEEE Transactions on Image Processing，2015，24（8）：2579—2591.

[13]? LIU L，LIU B，HUANG H，et al. No-reference image quality assessment based on spatial and spectral entropies[J]. Signal Processing Image Communication，2014，29（8）：856—863.

[14]? GU K，ZHAI G，YANG X，et al. Using free energy principle for blind image quality assessment[J]. IEEE Transactions on Multimedia，2014，17（1）：50—63.

[15]? LI Q，LIN W，XU J，et al. Blind image quality assessment using statistical structural and luminance features [J]. IEEE Transactions on Multimedia，2016，18（12）：2457—2469.

[16]? REINHARD E，WARD G，PATTANAIK S，et al. High dynamic range imaging：acquisition，display，and image-based lighting [M]. USA：Princeton University Press，2005.

[17]? GU K，ZHAI G，LIU M，et al. Details preservation inspired blind quality metric of tone mapping methods[C]// IEEE International Symposium on Circuits and Systems. IEEE，2014：518—521.

[18]? YUE G，HOU C，GU K，et al. Biologically inspired blind quality assessment of tone-mapped images [J]. IEEE Transactions on Industrial Electronics，2018，65（3）：2525—2536.

[19]? JIANG G，SONG H，YU M，et al. Blind tone-mapped image quality assessment based on brightest/darkest regions，naturalness and aesthetics [J]. IEEE Access，2018，6：2231—2240.

[20]? JIANG Q，SHAO F，LIN W，et al. BLIQUE-TMI：Blind quality evaluator for tone-mapped images based on local and global Feature Analyses [J]. IEEE Transactions on Circuits & Systems for Video Technology，2017，29（2）：323—335.

[21]? GRAHAM N V S. Visual pattern analyzers [M]. New York：Oxford University Press，1989.

[22]? BAE S H，KIM M. A novel image quality assessment with globally and locally consilient visual quality perception[J]. IEEE Transactions on Image Processing，2016，25（5）：2392—2406.

[23]? STRICKER A S M A，ORENGO M. Similarity of color images[J]. Proc Spie Storage & Retrieval for Image & Video Databases，1995，2420：381—392.

[24]? WANG Y F，HUANG Q，HU J. Image enhancement based on adaptive demarcation between underexposure and overexposure[C]//2017 International Conference on Progress in Informatics and Computing （PIC）. Nanjing，2017：196—199.

[25]? 李樹濤，孫鳳梅. 基于Curvelet和小波變換的紋理圖像識(shí)別[J]. 湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2008，35（4）：51—54.

LI S T，SUN F M. Texture recognition based on Curvelet and wavelet transformation [J]. Journal of Hunan University （Natural Sciences），2008，35（4）：51—54. （In Chinese）

[26]? 周四望，劉龍康. 基于小波變換的圖像零樹壓縮感知方法[J]. 湖南大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，44（2）：129—136.

ZHOU S W，LIU L K. Image zerotree compressed sensing based on wavelet transform[J]. Journal of Hunan University （Natural Sciences），2017，44（2）：129—136. （In Chinese）

[27]? WU X Q，WANG K Q，ZHANG D. Wavelet energy feature extraction and matching for palmprint recognition [J].Journal of Computer Science and Technology，2005，20（3）：411—418.

[28]? SCHOLKOPF B，SMOLA A J. Learning with kernels：Support vector machines，regularization，optimization，and beyond [M]. London：MIT Press，2001.

[29]? KUNDU D，GHADIYARAM D，BOVIK A C，et al. Large-scale crowd sourced study for tone-mapped HDR pictures [J]. IEEE Transactions on Image Processing，2017，26（10）：4725—4740.

[30]? MITTAL A，SOUNDARARAJAN R，BOVIK A C. Making a “completely blind” image quality analyzer [J]. IEEE Signal Processing Letters，2013，20（3）：209—212.

[31]? LI Q，LIN W，F(xiàn)ANG Y. BSD：Blind image quality assessment based on structural degradation[J]. Neurocomputing，2017，236：93—103.

[32]? GU K，WANG S，ZHAI G，et al. Blind quality assessment of tone-mapped images via analysis of information，naturalness，and structure [J]. IEEE Transactions on Multimedia，2016，18（3）：432—443.