孫 夏，石志儒

（1.中國科學院上海微系統(tǒng)與信息技術研究所上海 200050；2.上?？萍即髮W 信息科學與技術學院，上海201210；3.中國科學院大學 北京 100049）

視覺顯著性預測綜述

孫 夏1，2，3，石志儒2

（1.中國科學院上海微系統(tǒng)與信息技術研究所上海 200050；2.上海科技大學 信息科學與技術學院，上海201210；3.中國科學院大學 北京 100049）

本文針對視覺顯著性預測這一熱點問題，通過介紹和對比了基于認知型、基于圖論模型、基于頻譜模型、和基于模式識別模型等視覺顯著性預測算法的優(yōu)缺點，得出基于模式識別模型在現(xiàn)有數(shù)據(jù)庫效果最好的結論。同時，本文探究了已有的數(shù)據(jù)庫特色以及適用范圍。除此之外，本文分析了Auc、NSS和EMD等性能評估方法對于評估各種視覺顯著性預測算法性能的優(yōu)勢和劣勢。文章最后針對已有視覺顯著性預測方法和數(shù)據(jù)庫的問題，對現(xiàn)有的視覺顯著性預測方面的研究做了總結和展望。

視覺顯著性；顯著性預測；認知模型；模式分類

在過去的十幾年，基于視覺顯著性的研究日益增多，因為其廣泛的應用性。人類在觀測事物時會迅速捕捉與背景和周圍不同的顯著性區(qū)域，以此實現(xiàn)在短時間內(nèi)最大化所獲取的信息。因此，在計算機視覺領域，對視覺顯著性的研究有著重大意義。視覺顯著性可以用于圖像分割，圖像質(zhì)量評估，圖像匹配，圖像恢復，圖像渲染，圖像和視頻壓縮，圖像縮略圖，圖像重定向，視頻摘要，視頻壓縮，場景分類，物體檢測，物體識別，視覺跟蹤，興趣點檢測，自動圖像拼貼，人臉分割和跟蹤等。在機器人領域，視覺顯著性可以用于機器人定位，機器人導航等。

1 視覺顯著性預測

鑒于許多研究者經(jīng)常混淆視覺顯著性預測與顯著性物體檢測這兩個概念，本文將簡單地闡述視覺顯著性預測與顯著性物體檢測的異同。視覺顯著性預測即預測人類的視覺凝視點和眼動；顯著性物體檢測是基于視覺顯著性在圖像大小調(diào)整上的應用而得來的概念。二者主要有二方面的不同。

1）兩者的標準集的定義不同。視覺顯著性預測只需預測出人類在3～5秒的凝視中所關注的點；顯著性物體檢測的目標是檢測出最顯著的物體。其中顯著性物體作為一個整體被檢測出來，需要精確到像素級別；理論上，在顯著性預測模型上成功的方法在顯著性物體檢測的標準中會失敗。

2）兩者的評估標準不同。視覺顯著性預測的評估方法需要評估顯著性圖的相似程度，而顯著性物體檢測方法需要基于顯著性物體區(qū)域中每個像素點的命中率來計算準確率和回召率。

圖1 視覺顯著性預測與顯著性物體檢測

2 常用的視覺顯著性預測方法

2.1 認知模型

幾乎所有的顯著性模型都直接或間接地受認知模型啟發(fā)而來。認知模型的一大特點是與心理學和神經(jīng)學有著十分緊密的關聯(lián)。從心理學特征出發(fā)，Itti的基本模型使用了三個特征通道，顏色，屬性，方向。模型通過對這三個特征圖加權形成最終的顯著性圖。這一模型是后來需要衍生模型的基礎。同時，也成為了許多基準在比較過程中使用的比較對象。一個輸入圖像被下采樣為高斯金字塔，每個金字塔層次σ被分解為通道紅色R，綠色G，藍色B，黃色Y，屬性I，和方向O。對于不同的通道，基于中心計算并歸一化其特征圖。在每個通道，相加特征圖并歸一化，

2.2 信息論模型

信息論模型的本質(zhì)是最大化來自所處視覺環(huán)境的信息。其中最有影響力的模型是AIM模型。首先，計算每個點的特征pi；接下來，計算特征的分布，平均值μ，方差Σ。然后，通過計算特征向量T間的馬氏距離Δ來計算顯著性，其中 Δ2=（T-μ）′Σ-1（T-μ）。Seo和Milanfar提出SDSR方法。首先，每個像素的局部結構可以由局部描述矩陣 （局部回歸核）來計算。接下來，通過矩陣的余弦相似度來計算與相鄰像素的相似度。對于每一個像素，最終的顯著圖代表著特征矩陣Fi與身邊特征矩陣Fj的統(tǒng)計似然

其中ρ（Fi，F(xiàn)j）代表著矩陣間的余弦相似度，σ是局部權重參數(shù)。局部特征矩陣的列代表著局部旋轉(zhuǎn)內(nèi)核為：

其中l(wèi)=1，…，P，P是本地窗口中所含像素的個數(shù)。h是全局平滑函數(shù)。Cl是由圍繞當?shù)胤治龃翱诘目臻g梯度向量計算而來的協(xié)方差矩陣。

2.3 圖論模型

4) 4臺推進器變壓器，容量為5 300 kVA/2 650 kVA/2 650 kVA,電壓變比11 kV/0.71 kV/0.71 kV。

一個圖模型是一個基于圖的概率框架，這個圖是基于隨機變量間的條件獨立結構。基于圖論的顯著性模型把眼動數(shù)據(jù)看成時間序列。因為有隱藏變量在影響眼動的順序，因此方法如隱馬爾科夫模型（HMM），動態(tài)貝葉斯網(wǎng)絡（DBN），條件隨機場被囊括在內(nèi)。Salah提出一種基于圖論的顯著性模型并將其應用到手寫數(shù)字化以及人臉識別。Harel提出基于圖論的方法 （GBVS）。他們在多個空間尺度提取特征。接下來，建立一個基于各個特征圖的全連接的圖。兩個節(jié)點間的權重與兩個節(jié)點的特征相似度和空間距離成正比。特征圖中位置（i，j）和位置（p，q）的不相似度表示為

其中M（i，j），M（p，q）為對應點的特征值。那么點（i，j）到點（p，q）的值，也就是權重為與他們的不相似度和距離成正比

最終的結果圖為經(jīng)過權重歸一化和平衡的馬爾科夫鏈。在平衡過程中，與鄰接頂點的相似度非常低的店被賦予大的顯著數(shù)值。圖論可以幫助研究者為顯著性模型構建更復雜的顯著性機制。然而，圖論模型的缺點是模型的復雜度太高。

2.4 頻域模型

除了使用空域信息處理圖像外，利用頻域信息處理圖像往往可以得到更好的效果?；谙嗨菩匀哂嘣恚琀ou提出了頻譜殘差的顯著性預測模型。他在文章中指出，頻譜上的統(tǒng)計奇異點對圖像中的異常區(qū)域有關聯(lián)，而圖像中的異常區(qū)域恰為圖像的顯著性區(qū)域。給定一個輸入圖像I（x），振幅A（f）=R（F（I（x））），以及相位P（f）=ψ（F（I（x））），同時可以計算出對數(shù)普L（f）=log（A（f））。已知對數(shù)普，可以計算頻譜殘差R（f）=L（f）-hn（f）*L（f）。然后通過逆傅里葉變換可以在頻域重建顯著圖。最后，用高斯濾波器g（x）來使顯著圖呈現(xiàn)更好的視覺效果

其中F和F-1代表傅里葉變換和逆傅里葉變換。

頻譜分析易于理解，計算高效而且效果顯著，但是關于頻域領域的相關解釋還未明朗。

2.5 模式分類模型

機器學習方法也同樣被應用于視覺顯著性預測領域。一般的模型需要選擇特征，再評估權重，整合等3個步驟。因為常常會加入人臉，文字等高層視覺信息，這些方法也不是純粹的自底向上方法。Kienzle提出一種基于學習的非參數(shù)的自底向上方法。該模型通過訓練一個支持向量街（SVM）[17-18]來決定顯著性。他們還在視頻上學習了一組空域濾波器來尋找顯著性區(qū)域。這種方法的優(yōu)勢是不需要事先定義哪些特征對顯著性有影響，哪些特征對顯著性的影響大。當然，這種方法的結果也更傾向于在圖像中心。Judd，與Kienzle相似，訓練了一個基于低層視覺，中層視覺，高層視覺特征的線性支持向量機 （SVM）。他們的方法在1 003張圖片上測試效果顯著。隨著眼動數(shù)據(jù)庫的增多，以及眼動儀的普及，模式分類模型越來越受歡迎。在現(xiàn)有的數(shù)據(jù)庫評估中，排名最高的模型大多都是基于模式分類的模型。然而，這種模型是完全依賴于大量數(shù)據(jù)以及數(shù)據(jù)內(nèi)容的。這樣的一個弊端是使得顯著性模型的評估，計算速度。同時，容易造成研究者疏于研究視覺顯著性模型的內(nèi)部機理。

3 視覺顯著性數(shù)據(jù)庫

為評估視覺顯著性模型的效果，相關研究者提供了豐富的數(shù)據(jù)庫。早期的數(shù)據(jù)庫情景單一，背景和前景顏色對比強烈。近年，一些數(shù)據(jù)庫包含了復雜的背景和多個顯著物體。表一介紹了近些年的用于視覺顯著性預測的圖像數(shù)據(jù)庫，其中包括數(shù)據(jù)庫年份，圖像分辨率，圖像數(shù)量，觀測者數(shù)量，觀測時長等重要信息。每個數(shù)據(jù)庫都有它的優(yōu)點和局限性。評估一個視覺顯著性預測模型的最好方法是在不同的數(shù)據(jù)庫上同時評估。Salicon[3]是迄今為止規(guī)模最大的眼動數(shù)據(jù)集，目前公開的圖像超過10 000張。與傳統(tǒng)的使用眼動儀來收集標注集的方法不同，該數(shù)據(jù)庫使用了一種鼠標點擊的方法來收集標準集。數(shù)據(jù)庫中圖像來源于內(nèi)容復雜的MSCOCO。這為今后基于機器學習的顯著性預測方法提供了大規(guī)?？捎柧殧?shù)據(jù)。

4 性能評估

4.1 Area Under ROC

在這些評估方法中，AUC是使用最廣泛的評估標準。在AUC的計算過程中，預測的顯著性圖用作分類器來區(qū)分正確的樣本（人眼所關注的區(qū)域）和錯誤的樣本。通過改變顯著性圖的分類閾值，可以得到以真正類（true positive rate）和假負率（false negative rate）為橫縱軸的受試者工作特征曲線（簡稱ROC曲線）。Auc既是ROC曲線與橫縱坐標所圍成圖形的面積。其中Auc數(shù)值為0代表沒有命中率為0，即顯著圖預測完全錯誤；Auc數(shù)值為1代表命中率為百分之百。然而，由于ROC特性的局限，只要命中率高，ROC曲線與橫豎坐標軸所圍成圖形的面積就會很高，盡管錯誤率也會提升。由此可見，ROC分析方法不足以描述預測的顯著圖與實際的凝視圖至今的差異。在預測的顯著圖中，一個被錯誤預測的位置，在離真實顯著性區(qū)域很近和很遠這兩種情況下應該是有區(qū)分的。為此，我們引入了EMD和相似度，相關性評估方法來彌補AUC方法的不足。

4.2 Similarity Score

相似度用于描述兩種分布的相似程度。在每種分布分別被歸一化后，相似度即為兩種分布所有位置最小值之和。數(shù)學上，顯著圖P和顯著圖Q的相似度S為：

兩個完全相同的分布的相似度為數(shù)值 1。兩個完全不同沒有任何重疊的分布相似度為數(shù)值 0。

4.3 Linear Correlation Coefficent

線性相關性（Linear Correlation Coeffcent，簡稱CC）用于描述預測的顯著圖和基準顯著圖直接的線性相關性。對于兩個顯著圖，將其轉(zhuǎn)換為向量P和Q，那么

CC數(shù)值越接近1或者-1，說明預測的算法越好。CC數(shù)值為0說明兩幅顯著圖完全不相關。

4.4 Earth Mover's Distance

地球移動距離 EMD（Earth Mover’s Distance（EMD））是在某一區(qū)域兩個概率分布距離的度量。不正式地說，如果兩個分布被看作在區(qū)域上兩種不同方式堆積一定數(shù)量的山堆，那么EMD就是把一堆變成另一堆所需要移動單位小塊最小的距離之和。更正式地從數(shù)學角度可以描述為：

其中每個fi，j代表從第i個區(qū)域到第j個區(qū)域需要移動的數(shù)量。di，j是第i區(qū)域第j區(qū)域之間的地球距離。EMD數(shù)值越大，說明兩個分布越不相同。相反地，兩個完全相同的分布EMD數(shù)值為0。

4.5 Normalized Scanpath Saliency

標準化掃描路徑顯著性 （Normalized Scanpath Saliency，簡稱NSS）由預測模型中人眼凝視點位置對應的顯著性平均值來定義。首先，模型中點（xh，yh）被歸一化為均值為0，方差為1，繼而可以求得

NSS小于等于0代表顯著性模型不比隨機點模型效果好。

4.6 String Editing Distance

字符串編輯距離（String Editing Distance）常用于比較預測的顯著性模型的興趣區(qū)域 （Region of interest，檢測ROI）和人眼的興趣區(qū)域的相似度。首先將興趣區(qū)域安裝顯著性數(shù)值或者人眼掃描的空間路徑排序。字符串編輯距離Ss是由刪除，插入，替換三種操作的最少次數(shù)來定義，其中每刪除字符，插入字符或者替換字符則記錄為一次操作。最終，兩個字符串的最短編輯距離為

以上方法各自有它們的優(yōu)缺點，一個準確的顯著圖應有一個高的AUC數(shù)值，一個高的相似度，和一個低的EMD數(shù)值，一個高的NSS，一個高的字符串編輯距離。

5 研究趨勢

目前，隨著針對顯著性算法的不斷探索，大規(guī)模顯著性數(shù)據(jù)庫的增多，計算機器性能的提升，視覺顯著性預測模型已經(jīng)在現(xiàn)有的數(shù)據(jù)庫上達到不錯的效果。然而，數(shù)據(jù)庫本身的局限性和偏差，使得顯著性預測模型所受的調(diào)整降低，基于復雜情景的顯著性預測結果仍與標準集有一定差距。一方面，創(chuàng)建一個情景更加復雜，多顯著性物體，顏色更加相似，基于語義的顯著性圖像數(shù)據(jù)庫將極大地促進視覺顯著性預測的發(fā)展；另一方面，針對具體情景的研究將更具有實際意義，比如，公共交通中的顯著性預測，平面廣告設計中的顯著性預測，超市物品擺放的顯著性預測等。

6 結 論

目前，關于視覺顯著性的研究日益增多因為其廣泛的應用前景。因此，鑒于目前學術界對視覺顯著性預測綜述性質(zhì)的文章很少，本文對現(xiàn)有的顯著性預測算法做了一個總結和概述，同時展望了該領域未來的研究趨勢。本文的目的是方便研究者對顯著性預測有一個總體的認識和把握，因為篇幅有限，算法的具體實施可以參考文中對應的參考文獻，希望對大家在相關領域的科研有所幫助或啟示。

[1]Borji A，Itti L.CAT2000:A large scale fixation dataset for boosting saliency research[C]//.CVPR 2015 workshop on “Future of Datasets”,2015. arXiv.

[2]Bylinskii Z，Isola P，Bainbridge C，et al.Intrinsic andextrinsic effects on imageme morability[J]. Vision research，2015，116:165-178.

[3]Jiang M，Huang S，Duan J，et al.SALICON: Saliency in Context[C]//The IEEE Conference on Computer Vision and Pattern Recognition(CVPR). 2015:1072-1080.

[4]Jiang M，Xu J，Zhao Q.Saliency in crowd[C].In Computer Vision-ECCV2014，Springer，2014：17-32.

[5]Shen C，Zhao Q.Webpage saliency[C].In Computer Vision-ECCV 2014，Springer，2014：33-46.

[6]Koehler K，Guo F，Zhang S，et al.What do saliency modelspredict [J].Journal of vision，2014，14（3）:14-14.

[7]Li Y，Hou X，Koch C，et al.The secrets of salient objectsegmentation[J].In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2014：280-287.

[8]Xu J，Jiang M，Wang S，et al.Predicting humangaze beyond pixels[J].Journal of vision，2014，14（1）:28-28.

[9]Ma K T，Sim T，Kankanhalli M.VIP:A unifying framework for compu-tational eye-gaze research[J]. In Human Behavior Understanding，Springer，2013：209-222.

[10]Li J，Levine M D，An X，et al.Visual saliency based on scale-space analysis in the frequency domain.Pattern Analysis and Machine Intelligence[J].IEEETransactionson,2013，35（4）:996-1010.

[11]Kootstra G，de Boer B，Schomaker L R.Predicting eye fixations oncomplex visual stimuli using local symmetry[J].Cognitive computation，2011，3（1）: 223-240.

[12]Chikkerur S，Serre T，Tan C，et al.What and where:A Bayesianinference theory of attention[J]. Vision research，2010，50（22）:2233-2247.

[13]Ramanathan S，Katti H，Sebe N，et al.An eye fixation database for saliency detection inimages[J]. Computer Vision-ECCV2010，2010：30-43.

[14]Judd T，Ehinger K，Durand F，et al.Learning to predict where humans look[J].Proceedings，2009，30（2）:2106-2113.

[15]Borji A，Sihite D N，Itti L.What stands out in a scene A study of humanexplicit saliency judgment [J].Vision research，2013，91:62-77.

[16]Van D L I,Rajashekar U,Bovik A C,et al. DOVES:a database of visual eye movements.[J]. Spatial Vision，2009，22（2）:77-161.

[17]鄔連東.基于SVM的生產(chǎn)性服務業(yè)與城鄉(xiāng)發(fā)展一體化耦合評價[J].西安工程大學學報，2016（6）：841-847.

[18]危傲.基于SVM算法的分類器設計[J].電子科技，2015（4）：23-26.

Light field compression based on HEVC encoding and decoding

SUN Xia1，2，3，SHI Zhi-ru2
（1.Shanghai Institute of Microsystem and Information Technology，Chinese Academy of Sciences，Shanghai 200050，China；2.School of Information Science and Technology，ShanghaiTech University，Shanghai 201210，China；3.University of Chinese Academy of Sciences，Beijing 100049，China）

Based on the core problem of visualsaliency prediction，this paper firstly analyzed the imagefeature，then introduced and compared the advantages and disadvantages of the existing prediction methods，such asthese methods based on the graph model，cognitivemodel，patternclassification model and etcanddrewtheconclusionthatthepatternclassificationmethodsworkthebestamong existing dataset.Also，this paper summarized existing dataset，dataset characteristic and usable range for fixation prediction. Meanwhile，this paper used Auc，NSS and EMD performance evaluation methods to assess the performance of various visual fixation prediction algorithms.Finallythis papermade the summary and outlook on future work of visual saliency predictionespecially on existing methods and dataset.

visual saliency；saliency prediction；cognitive model；pattern classification model

TN919.81

A

1674-6236（2017）09-0189-05

2016-04-07稿件編號：201604067

孫 夏（1991—），女，遼寧錦州人，碩士研究生。研究方向：計算機視覺。