王靜，張羽婷，張云，韓彥嶺，洪中華，楊樹瑚

1.上海海洋大學(xué)信息學(xué)院，上海201306；2.農(nóng)業(yè)農(nóng)村部漁業(yè)信息重點實驗室，上海201306；3.中國移動通信集團上海有限公司，上海200082

前言

在視網(wǎng)膜致盲疾病中，常見的原發(fā)性老年黃斑變性與視網(wǎng)膜色素變性尚無有效的手術(shù)或藥物治療手段。通過視網(wǎng)膜假體這類植入式電子設(shè)備代替視網(wǎng)膜中的受損部位，以實現(xiàn)視覺功能的修復(fù)，成為目前原發(fā)性老年黃斑變性及視網(wǎng)膜色素變性病患復(fù)明的可行方法［1］。目前，其典型產(chǎn)品第二視覺公司的Argus@II視網(wǎng)膜假體已經(jīng)被美國食品藥品監(jiān)督管理局和歐洲藥品管理局批準(zhǔn)應(yīng)用于臨床，超過276個植入案例［2］。視網(wǎng)膜假體是由外置的微型攝像頭作為圖像采集模塊采集外界圖像信息，通過圖像信息處理模塊把圖像轉(zhuǎn)換為對應(yīng)的電刺激模式，通過無線傳輸傳遞給體內(nèi)的微電流刺激器，再由微電流刺激器將多路電脈沖加載到微電極陣列，對視覺神經(jīng)系統(tǒng)進行電刺激，在視覺中樞產(chǎn)生光幻視，從而實現(xiàn)視覺功能修復(fù)［3］。然而,受到目前存在的各種技術(shù)局限可植入電極數(shù)目的限制，以及電極陣列植入位置和復(fù)雜的刺激誘發(fā)條件的影響，在現(xiàn)階段及較長的一段時期，視網(wǎng)膜假體所提供的視覺感受具有非常低的分辨率、有限的視野范圍、較大的光幻視點間距、較小的可表達亮度動態(tài)范圍、顏色信息無規(guī)則誘發(fā)及深度信息缺乏等特點，是一種由離散光幻視點構(gòu)成的低分辨率的視覺感受。從而在低分辨率視覺感受的人工視覺情況條件下，面向植入者的日常視覺任務(wù)需求，通過一定的圖像處理策略，提取并優(yōu)化突出最為顯著的場景信息，優(yōu)化呈現(xiàn)光幻視陣列所表達的信息，已經(jīng)成為視網(wǎng)膜視覺假體研究中的一個重要方面。

Wang等［4］在2016年針對人工視覺仿真提出一種基于顯著性計算模型的物體提取與增強算法，仿真評估實驗結(jié)果表明該算法可以有效將場景圖像中的顯著物體分割出來。針對圖像信息的實時采集和優(yōu)化問題，2017年Li等［5］提出基于Lab空間圖像特征的全局顯著度檢測算法，并在此基礎(chǔ)上結(jié)合圖像邊緣信息優(yōu)化表達人工視覺，開展的眼手協(xié)調(diào)仿真實驗評估了該模型的有效性。Guo等［6］在2018年提出一種應(yīng)用于視覺假體優(yōu)化視覺信息呈現(xiàn)的算法，開展了物體識別仿真實驗，通過被試識別物體的準(zhǔn)確率評估該算法的可行性。針對人工視覺信息處理，目前研究基于一定顯著性檢測算法提出了相應(yīng)的人工視覺優(yōu)化表達算法，在提取和增強效果方面具有一定的可行性?？紤]到人眼的視覺生理特性，人的每一只眼睛含有對亮度敏感的視桿細胞1.2億個，含有對色彩敏感的視錐細胞500至700萬個，視桿細胞的數(shù)量遠大于視錐細胞，因此眼睛對亮度的敏感程度要大于對色彩的敏感程度［7］。基于此，本文在上述研究解決思路的基礎(chǔ)上，引入圖像的全局亮度對比度特征，并結(jié)合其他顏色空間下的亮度差異特征，提出基于全局亮度差異的顯著性檢測優(yōu)化處理算法。同時，算法考慮了在目標(biāo)識別中視覺注意力的仿生學(xué)特性，進一步提高圖像中顯著物體的檢測效果。

1 方法

本策略選擇RGB、YUV和HIS這3種典型的顏色空間，分別對圖像進行處理。在顏色空間變換之后，本策略對原始彩色圖像進行灰度化處理，利用原始LC算法生成3幅顯著圖。在均衡化之后，提出一種自適應(yīng)增強策略，稱為“視覺注意力仿真處理”，以進一步突出顯著圖，即顯著圖YUV、顯著圖HSI和顯著圖Gray。在不同權(quán)重下，對它們進行疊加，得到最終的顯著圖。最后進行低像素化處理，并且仿真低分辨率的視覺感受。圖1為本策略的示意圖。

圖1 基于原始LC的圖像處理策略示意圖Fig.1 Schematic diagram of image processing strategy based on original luminance contrast

1.1 顏色空間變換

YUV顏色空間用亮度（Y）和色度（U,V）來表示顏色信息，在YUV空間中顏色的傳遞可以避免迭代的顏色空間變換。

HSI模型是美國色彩學(xué)家孟塞爾Munsell于1915年提出的，以色調(diào)（H）、飽和度（S）和亮度（I）3種基本特征量來感知顏色，由這3種成分組成的理想模型是一個類似紡錘的顏色體［8］。HSI顏色空間符合人類的視覺系統(tǒng)特征。

1.2 計算圖像的顯著度

根據(jù)圖像的亮度特征，每個像素的顯著性值是其和圖像中其他像素的歐式距離的總和［9］，生成顯著圖S'，公式如下：

其中，Ii為像素i的灰度值，Ii∈[0,255]。Gray、YUV和HSI顏色空間對應(yīng)的顯著圖分別為SGray、SYUV和SHSI。

1.3 視覺注意力仿真處理

基于某一種顏色空間變換下的均衡圖（圖1），本研究提出視覺注意力仿真處理，自適應(yīng)提取最顯著區(qū)域。圖2為視覺注意力仿真處理的步驟圖。首先，計算均衡圖得到圖像的重心點。然后，采用顯著點檢測和區(qū)域擴張的方法，得到最顯著區(qū)域。基于最顯著區(qū)域，我們可以得到一個自適應(yīng)約束加權(quán)項。最后，約束加權(quán)項對均衡圖進行加權(quán)處理，得到某一種顏色變換下的顯著圖。

圖2 視覺注意力仿真處理的步驟圖（以HSI顏色空間為例）Fig.2 Procedure of visual attention simulation processing(take HSI color space for example)

生物視覺感知系統(tǒng)中，同心圓感受野又稱中心-周邊感受野［10］。在二維空間中，高斯濾波器生成的曲面的等高線是從中心開始呈正態(tài)分布的同心圓。而本研究采用了同心圓，刺激源在中心DOG中的窄高斯來模擬人類的視覺感受野特性，其二維高斯函數(shù)可以表示為：

其中，A為常數(shù)，值為255；（cx,cy）為高斯核的中心；w×h分別對應(yīng)圖像分辨率的長和寬；σ是正態(tài)分布的標(biāo)準(zhǔn)偏差，決定高斯函數(shù)的高度；公式中的σ、cx、cy是決定高斯函數(shù)的重要參數(shù)。

采用圖像的重心作為高斯核的中心，而σ值使用自適應(yīng)算法。首先通過滑動窗口獲得圖像中的局部最大值點，即顯著點；隨后，以局部最大值點為區(qū)域擴張的種子點，區(qū)域擴張［8］的算法如下：

步驟一：邊i的外擴可能值為：

其中，i為區(qū)域的邊，i∈{1,2,3,4}；li為邊i的長度；為邊內(nèi)si與邊外的能量值。

步驟二：如果EP(i)＞Th，邊i往外擴張一個像素，Th為擴張的停止條件。

步驟三：重復(fù)步驟一和步驟二，直到不滿足擴張條件為止。

顯著點擴張得到的區(qū)域，重疊率高的則為顯著區(qū)域。最后，σ取值如下：

其中，mean函數(shù)求取數(shù)組{d1,d2,d3,d4}的均值；di為顯著區(qū)域邊i與圖像邊i的距離。

1.4 顯著圖的生成

顯著圖的公式如下：

其中，W為權(quán)值0.5；SGray為灰度變換后生成的顯著圖；SYUV為YUV顏色空間變換后生成的顯著圖；SHSI為HSI顏色空間變換后生成的顯著圖；GYUV和GHSI分別為SYUV和SHSI對應(yīng)的高斯圖。

1.5 人工視覺仿真

由于微電極陣列的數(shù)目有限，視網(wǎng)膜假體所提供的視覺感受是一種由離散光幻視點構(gòu)成的低分辨率的視覺感受。在本研究中，采用局部平均法，首先將顯著圖分為24×24塊，隨后計算每塊中所有像素點的平均灰度值，最后將該灰度值作為光幻視點固定在光幻視陣列中的相應(yīng)位置。一個光幻視點的公式［11］如式（6）所示：

其中，在一個n×n塊中，x和y為偏離光幻視中心坐標(biāo)的大??；σ為塊的標(biāo)準(zhǔn)差，兩個光幻視點之間的間距為了滿足人類的視覺光敏度，σ需要滿足公式3σ=n/2。在人工視覺仿真方面，將我們提出的策略與原始LC和DP處理后的圖像進行對比。

2 結(jié)果

本研究提出的算法基于C++語言，在Visual Studio 2015環(huán)境下實現(xiàn)。測試算法使用配置了Window 7 OS個人計算機（Inter(R)Core(TM)i5-6500 CPU@3.2 GHz,16.0 GB RAM,Lenovo,China）。算法效度評測使用MATLAB語言編程。選取 MSRA-10K［12］和 ECSSD-1K［13］兩個公開基準(zhǔn)庫來驗證我們提出的顯著性檢測策略。這兩個數(shù)據(jù)庫被廣泛用于評測基于顯著性檢測的圖像處理策略，其中顯著區(qū)域在二值圖像中被標(biāo)記的圖稱為標(biāo)注圖（Ground Truth,GT）。

選擇原始的LC算法與我們的算法相比，對兩個公開基準(zhǔn)庫中的圖像進行測試。從圖3可以看出，本文策略得到的顯著圖更接近GT，并且顯著區(qū)域也更加精確和顯著。

圖3 顯著圖對比Fig.3 Saliency map comparison

為了定量驗證本研究提出的策略，選擇PR［14］、F-measure［15］和ROC［16］作為評測指標(biāo)。PR曲線中準(zhǔn)確率是檢測得到的區(qū)域占整張顯著圖的比例，召回率是檢測得到的區(qū)域占標(biāo)注圖的比例。F-measure采用非負權(quán)重β，對準(zhǔn)確率和召回率進行加權(quán)，調(diào)和平均值，從而完善對精確度的衡量。除了PR、F-measure，我們還使用ROC評測指標(biāo)進一步評測我們的改進算法。

MSRA-10K和ECSSD-1K數(shù)據(jù)庫集的測試結(jié)果如圖4所示。圖左列為各算法的PR曲線，從圖中可以看出我們提出的策略優(yōu)于原始的LC算法。圖中間列MSRA-10K得到的F-measure結(jié)果顯示我們的策略在閾值為64以上時比LC算法更高更平。從圖ECSSD-1K可以看出，我們的結(jié)果整體比LC算法高。圖右側(cè)為ROC曲線，我們的策略遠遠好于LC算法。評價結(jié)果表明，我們的策略在兩個基準(zhǔn)數(shù)據(jù)庫上有較好的性能，表明我們的策略對自然場景有較好的顯著性檢測。

為了進一步對比我們提出的策略與原始LC以及不需要任何圖像處理的情況，本研究通過低像素化處理仿真視網(wǎng)膜假體植入后的視覺感受。根據(jù)流行病學(xué)數(shù)據(jù)，本研究選用盲人日常生活中熟悉的70個物體的數(shù)據(jù)集來測試算法。結(jié)果如圖5所示。DP不能從圖像中提取顯著物體，也不能對圖像進行增強?；诨叶茸儞Q的原始LC能夠提取出顯著物體，但由于顯著性的動態(tài)增強范圍較低，提高效果不明顯。然而，我們的策略可以更精確地獲得突出的對象，使前景更加明顯。

圖4 性能對比圖Fig.4 Performance comparison

3 結(jié)果分析

基于全局亮度對比計算，選取LC算法作為基準(zhǔn)，并對其進行優(yōu)化。原始的LC算法可以實現(xiàn)更快的處理，并且可以獲得比其他最新的顯著檢測算法更好的顯著性檢測結(jié)果。基于這些原因，我們提出一種基于LC的顯著性檢測優(yōu)化策略。

本研究選擇兩個公共基準(zhǔn)數(shù)據(jù)庫（MSRA10K和ECSSD1K）來比較所提出的策略與原始LC的效果。MSRA10K和ECSSD1K圖像數(shù)據(jù)集均具有較大的顯著物體，并且靠近圖像中心，由于ECSSD1K包含較多高復(fù)雜度的圖像［17］。因此，ECSSD1K數(shù)據(jù)集的整體處理效果略低于MSRA10K，如圖4所示。

在原始LC的基礎(chǔ)上，除了RGB顏色空間下的強度對比外，本研究還采用YUV和HSI顏色空間變換下的亮度對比。在不同的顏色空間表示的彩色圖像也具有不同的特點，顏色空間的選擇是否合適對彩色圖像的處理效果具有重要的影響。YUV可以避免顏色空間的迭代變換，可以實現(xiàn)數(shù)和指數(shù)計算的實時處理，并且YUV顏色空間視覺上是連續(xù)的。HSI在處理彩色圖像時，可僅對I分量進行處理，結(jié)果不改變原圖像中的彩色種類；同時，HSI模型可以反映人感知顏色的基本屬性，但H分量在不同區(qū)域的計算也會導(dǎo)致人類對顏色信息視覺上的不連續(xù)性。因而通過YUV和HSI兩種顏色空間轉(zhuǎn)換的結(jié)合，在符合人眼對顏色的感知和實時處理的同時，彌補HSI顏色空間的不連續(xù)性。

策略中提出視覺注意力仿真處理，可以自適應(yīng)增強前景和過濾其他信息，主要包括區(qū)域擴張和DOG處理。原始的LC基于矩形區(qū)域進行擴張，得到顯著區(qū)域。然而，當(dāng)矩形選擇顯著區(qū)域時，往往會丟失一些前景信息。根據(jù)生物視覺感知特性，本研究通過區(qū)域擴張得到的矩形區(qū)域得到高斯差分的內(nèi)徑對圖像進行自適應(yīng)濾波，進一步增強前景和濾波背景。DOG數(shù)學(xué)模型來源于視網(wǎng)膜的A神經(jīng)節(jié)細胞和大細胞層LGN神經(jīng)元的感受野研究［18-19］，在視覺注意力的領(lǐng)域廣泛應(yīng)用于圖像識別［20-21］。實驗結(jié)果表明，這些處理不僅濾除了前景增強引起的背景噪聲，而且與原始LC相比彌補了前景信息的缺失，實現(xiàn)背景抑制的同時更好地提取前景。因此，作為一種仿生注意力模型，DOG被作為獲得顯著區(qū)域的中間步驟。

圖5 仿真結(jié)果圖Fig.5 Simulation results

4 結(jié)論

由于電極數(shù)量有限，視網(wǎng)膜假體只能提供低分辨率的視覺感受，這就需要圖像處理策略來優(yōu)化視覺信息，幫助植入者在電極數(shù)量有限的情況下完成日常生活中的目標(biāo)識別和導(dǎo)航等任務(wù)。為了優(yōu)化視覺信息，提出一種基于LC的圖像顯著性計算策略，將圖像顏色空間轉(zhuǎn)換與仿生注意機制DOG相結(jié)合。通過一些評測指標(biāo)，結(jié)果表明我們的策略優(yōu)于原始的LC。同時，基于盲人經(jīng)常使用的物體的流行病學(xué)數(shù)據(jù)，研究表明該策略可以優(yōu)化人工假體中顯著物體信息的視覺表達。