董道廣，芮國勝，田文飚，康健，劉歌

（海軍航空大學(xué)信號與信息處理山東省重點實驗室，山東 煙臺 264001）

1 引言

字典學(xué)習(xí)是圖像和通信信號處理方面的重要內(nèi)容，是進行信號和圖像數(shù)據(jù)分類[1]、壓縮[2-6]、去噪[7-11]、修復(fù)[7,9-10,12-13]乃至超分辨[14]的有力工具，隨著我國太空戰(zhàn)略的深入推進，字典學(xué)習(xí)在海洋信息感知領(lǐng)域，尤其在衛(wèi)星圖像遙感、衛(wèi)星氣象遙感、衛(wèi)星軍事偵察等方面的應(yīng)用價值愈發(fā)凸顯。近年來，非參數(shù)貝葉斯方法在字典學(xué)習(xí)中的應(yīng)用引起人們的關(guān)注，相對于以最優(yōu)方向法（MOD, method of optimal directions）和K奇異值分解算法（K-SVD，K-singular value decomposition）為代表的傳統(tǒng)綜合字典學(xué)習(xí)算法體現(xiàn)出了顯著的優(yōu)越性。該優(yōu)越性體現(xiàn)在三方面：1）學(xué)習(xí)過程中能夠自動推斷出字典原子數(shù)目、信號稀疏度和正則化參數(shù)值，從而無需對這些參數(shù)的取值進行預(yù)設(shè)，避免了因預(yù)設(shè)不當(dāng)而造成的人為影響；2）有嚴(yán)格的理論證明其算法的收斂性和解的最優(yōu)性，而K-SVD和MOD尚缺乏理論證明的支撐；3）其自身基于概率圖模型進行建模，結(jié)構(gòu)清晰且具有開放性，適于引入各種正則化概率先驗約束。

Zhou等[11]將非參數(shù)貝葉斯用于圖像去噪和壓縮重構(gòu)，提出了 beta過程因子分析（BPFA, beta process factor analysis）算法，是貝葉斯因子分析方法在字典學(xué)習(xí)領(lǐng)域的一次成功嘗試，取得了較好的應(yīng)用效果，但該算法沒有考慮到圖像的全局結(jié)構(gòu)相似性和變異性，在字典結(jié)構(gòu)特性方面仍有較大提升空間。后期圍繞提升非參數(shù)貝葉斯字典學(xué)習(xí)的結(jié)構(gòu)特性，又陸續(xù)出現(xiàn)了狄氏過程-beta過程因子分析（DP-BPFA，Dirichlet process-beta process factor analysis）[7]和相依分層 beta過程（dHBP，dependent hierarchical beta process）[9-10]等算法，這些算法將空間相關(guān)性引入了非參數(shù)貝葉斯建模，使圖像在字典學(xué)習(xí)下的稀疏表示能夠體現(xiàn)出一定的鄰近空間相似性，顯著提升了字典在去噪、修復(fù)、壓縮感知等方面的應(yīng)用性能，但復(fù)雜度頗高，運行時間較長。Sunil[15-16]及 Li[17-18]等認(rèn)識到結(jié)構(gòu)相似性和變異性對信號/圖像稀疏表示的重要影響，基于狄氏過程的聚類特性，提出了適于多來源數(shù)據(jù)條件下的多字典學(xué)習(xí)算法，較好地解決了圖像稀疏表示對結(jié)構(gòu)相似性的利用問題。但數(shù)據(jù)聚類的先驗建模用到了stick-breaking模型，因其非共軛的數(shù)學(xué)形式，造成了后驗推斷上的非解析性。其次，多字典學(xué)習(xí)適于數(shù)據(jù)來源非單一的情形，對于單一來源數(shù)據(jù)內(nèi)部結(jié)構(gòu)的聚類效應(yīng)，其適用性仍值得進一步研究。在傳統(tǒng)的結(jié)構(gòu)字典下，圖像的稀疏表示具有塊結(jié)構(gòu)性，這利于提高字典對信號結(jié)構(gòu)特征的表達(dá)能力，且相似圖像塊稀疏表示的支撐集通常也相似，利于進行多觀測向量模型下的聯(lián)合稀疏重構(gòu)，進而利于降低觀測數(shù)目并提高重構(gòu)性能。這為非參數(shù)貝葉斯字典學(xué)習(xí)提供了重要的啟發(fā)，即將字典學(xué)習(xí)建立在圖像塊相似性聚類的基礎(chǔ)上，并進一步將塊結(jié)構(gòu)特性引入稀疏表示作為字典學(xué)習(xí)的正則化約束條件。而非參數(shù)貝葉斯字典學(xué)習(xí)則因其對圖像本身結(jié)構(gòu)的自適應(yīng)性，繼續(xù)保持其相對于傳統(tǒng)結(jié)構(gòu)字典的優(yōu)勢。

本文在上述問題和解決思路的啟發(fā)下，提出了一種基于結(jié)構(gòu)相似性的非參數(shù)貝葉斯圖像字典學(xué)習(xí)算法，其主要創(chuàng)新有三方面：1）以圖像塊的相似性為測度，通過K-均值分類算法對圖像塊進行聚類處理，將前述各非參數(shù)貝葉斯字典學(xué)習(xí)算法的空域結(jié)構(gòu)特征從局部擴展到全局，使所有具備相似結(jié)構(gòu)的圖像塊共同參與本聚類圖像塊的稀疏表示；2） 鑒于傳統(tǒng)結(jié)構(gòu)字典下多個相似信號聯(lián)合稀疏重構(gòu)時一般假設(shè)支撐集相同的局限性，為使相似圖像塊的稀疏表示適應(yīng)支撐集平滑變化的實際情況，令同一聚類內(nèi)部的各圖像塊對字典原子的使用僅服從概率意義上的相同，使得學(xué)習(xí)所獲得的字典利于進行多信號的聯(lián)合稀疏重構(gòu)；3）將傳統(tǒng)結(jié)構(gòu)字典下信號稀疏表示普遍存在的塊結(jié)構(gòu)效應(yīng)作為正則化約束條件引入非參數(shù)貝葉斯字典學(xué)習(xí)框架，以提升字典對圖像結(jié)構(gòu)的表達(dá)能力。

2 貝葉斯建模

2.1 基于全局結(jié)構(gòu)相似性的圖像預(yù)處理

圖像內(nèi)部存在大量的相似冗余成分，其在傳統(tǒng)結(jié)構(gòu)字典下的稀疏表示也具有相似性，突出體現(xiàn)為支撐集的相似性。將全局相似性測度引入字典學(xué)習(xí)框架有利于提升字典對圖像結(jié)構(gòu)特征的表達(dá)能力。本文采取K-均值聚類方法進行圖像塊聚類。K-均值聚類是一種簡單而又行之有效的無監(jiān)督聚類方法，在數(shù)據(jù)未分類亦無標(biāo)簽的條件下，依預(yù)設(shè)的聚類數(shù)目隨機選擇相應(yīng)的聚類中心，通過計算各圖像塊到各聚類中心的相似性測度，決定圖像塊的聚類歸屬，隨后將各聚類內(nèi)部全部圖像塊的均值作為新的聚類中心，再次計算各圖像塊到各聚類中心的相似性測度，進行新一輪的聚類。迭代執(zhí)行上述過程，直至各聚類中心相對前次迭代的聚類中心無明顯偏移或達(dá)到預(yù)定迭代數(shù)目上限時，方結(jié)束迭代并輸出最終聚類結(jié)果。其中最為關(guān)鍵的2個問題分別是聚類數(shù)目的確定和相似度測度的選擇。聚類數(shù)目過多會造成聚類頑健性下降，出現(xiàn)聚類碎片效應(yīng)，對字典學(xué)習(xí)造成不利的人為影響；但也不宜過少，因為過少會無法準(zhǔn)確體現(xiàn)自然圖像中豐富的結(jié)構(gòu)信息。本文以圖像塊灰度值的歐式范數(shù)作為相似性測度，并根據(jù)聚類分割中常用的貝葉斯信息準(zhǔn)則（BIC，Bayesian information criterion）確定聚類數(shù)目。

2.2 非參數(shù)貝葉斯字典學(xué)習(xí)建模

設(shè)從圖像中采集了N個P×P灰度塊，對其分別做列向量堆棧處理，記作其中M=P×P，i= 1,2,… ,N。此時經(jīng)過前述聚類操作，此時的數(shù)據(jù)集是帶有聚類標(biāo)簽的，這將為后續(xù)的字典學(xué)習(xí)提供重要的結(jié)構(gòu)參考。待學(xué)習(xí)的字典記作，由K個與xi同維數(shù)的原子構(gòu)成。雖然不需要預(yù)置字典原子規(guī)模是非參數(shù)貝葉斯的一大優(yōu)勢，但這與K值的選擇并不矛盾，因為非參數(shù)貝葉斯字典學(xué)習(xí)的核心思想是貝葉斯稀疏因子分析，稀疏先驗可以確保信號表示的稀疏性，在K值足夠大的條件下，仍會存在相當(dāng)數(shù)量的原子不參與對信號的表示，很容易確定實際的原子規(guī)模。本文算法的核心即基于聚類處理后的數(shù)據(jù)集和下述非參數(shù)貝葉斯模型估計獲得字典D。數(shù)據(jù)觀測模型為

其中，i表示當(dāng)前圖像塊在采集到的全部圖像塊中的位序；是稀疏表示的權(quán)重分量，反映各原子參與表示信號的程度；是稀疏表示的模式分量，反映各原子有無參與對信號的表示；符號⊙是Hadamard乘積，即逐元素對應(yīng)乘積而不改變向量維數(shù)；iε是均值為0的高斯白噪聲，其中0α是觀測噪聲精度，服從Gamma超先驗分布，如式（3）所示。

該分布與高斯分布共軛，a和b分別表示形狀參數(shù)和尺度參數(shù)，為保證噪聲幅值的稀疏性，一般取

式（1）中，當(dāng)zi的某個元素zik= 0時，sik便不再起作用，因為原子dk并不參與對xi的表示。權(quán)重向量si服從如式（4）所示的多元高斯先驗分布。

其中

出于防止過擬合的考慮，令權(quán)重向量的全部元素使用相同的逆方差γ。類似地，Gamma分布的參數(shù)一般取

與基于BPFA的算法相比，本文所提算法將前述聚類過程獲得的全局相似性結(jié)構(gòu)特征引入到稀疏模式向量zi的先驗分布中，如式（6）和式（7）所示。

其中，πjk是聚類j中原子dk參與表示數(shù)據(jù)的概率，J是聚類數(shù)目。

假設(shè)同一聚類內(nèi)部的數(shù)據(jù)對字典原子的使用概率是相同的，允許這些數(shù)據(jù)不必共用同一支撐集，而是僅在概率意義上具備支撐集的同一性，從而適應(yīng)了自然信號在空域和時域上普遍存在的支撐集緩變特性。需要指出的是，假設(shè)當(dāng)前數(shù)據(jù)所屬聚類標(biāo)簽為j，該聚類內(nèi)全部數(shù)據(jù)索引的集合記作則超參數(shù)

e?和的取值決定于該聚類中全部數(shù)據(jù)稀疏模式向量相應(yīng)元素的毗鄰元素取值。引入符號該符號代表花括號內(nèi)集合的元素總數(shù)；代表集合的元素總數(shù)，并分別定義變量1Δ、2Δ和3Δ，如式（8）～式（9）所示和的取值規(guī)則如式（11）所示。

式（8）～式（11）的核心即將馬爾可夫隨機場的思想引入字典學(xué)習(xí)框架中。當(dāng)鄰域稀疏模式均為1時，取值為1的概率更大，令有利于生成數(shù)值較大的πjk，從而傾向于使zik以較大概率取值為1；當(dāng)鄰域稀疏模式均為0時，zik取值為0的概率更大，令有利于生成數(shù)值較小的πjk，從而傾向于使zik以較大概率取值為0；當(dāng)鄰域稀疏模式為1和0共存時，zik具備取值的不確定性，此時令可以保證z取值概率的均衡性。

ik

然而，有別于各數(shù)據(jù)向量具有不同原子使用概率的情形，也有別于所有數(shù)據(jù)向量共用同一原子使用概率的情形，全局結(jié)構(gòu)相似性聚類后的數(shù)據(jù)在同一聚類內(nèi)共用相同的原子使用概率，這是對zik取值的折中處理，也是結(jié)構(gòu)聚類思想的本質(zhì)要求，為此，需統(tǒng)計聚類內(nèi)部各數(shù)據(jù)向量的鄰域稀疏模式，以數(shù)量最多的鄰域稀疏模式?jīng)Q定的取值，如式（11）所示。字典原子服從如式（12）所示的高斯先驗分布。

基于上述理論，建立貝葉斯建模的概率圖模型，如圖1所示。

圖1 貝葉斯建模的圖模型

3 貝葉斯推斷

3.1 原子dk的Gibbs采樣

結(jié)合式（1）觀測數(shù)據(jù)模型和式（12）原子先驗分布，可得的dk滿條件分布，如式（13）所示。

其中

3.2 權(quán)重si的Gibbs采樣

結(jié)合式（1）觀測數(shù)據(jù)模型和式（4）權(quán)重先驗分布，可得的sik的滿條件分布，如式（18）所示。

整理可得

3.3 稀疏模式zi的Gibbs采樣

結(jié)合式（1）觀測數(shù)據(jù)模型與式（6）稀疏模式先驗分布，可得zik的滿條件后驗分布，如式（22）所示。

整理可得zik的滿條件分布為Bernoulli分布，即

3.4 原子使用概率π的Gibbs采樣

結(jié)合式（6）和式（7），可得πjk的滿條件分布，如式（27）所示。

3.5 超參數(shù)0α和γ的Gibbs采樣

結(jié)合式（1）和式（3），可得超參數(shù)0α的滿條件分布，如式（31）所示。

整理可得

結(jié)合式（4）和式（5），可得超參數(shù)γ的滿條件分布，如式（35）所示。

整理可得

根據(jù)式（32）～式（34）可對超參數(shù)0α進行Gibbs采樣，根據(jù)式（36）～式（38）即可實現(xiàn)對超參數(shù)γ的 Gibbs采樣。

迭代執(zhí)行本節(jié)的Gibbs采樣流程，直至達(dá)到預(yù)定數(shù)目的迭代上限，即結(jié)束迭代并輸出各隱變量和模型參數(shù)的當(dāng)前采樣值作為推斷結(jié)果，完成字典學(xué)習(xí)，本文與傳統(tǒng)BPFA保持一致，將迭代次數(shù)上限設(shè)置為 150，為免混淆，本文算法稱為結(jié)構(gòu)相似性beta過程因子分析（SSIM-BPFA，structure similarity-beta process factor analysis）算法，具體流程見算法1。

算法1SSIM-BPFA字典學(xué)習(xí)算法

輸入圖像塊數(shù)據(jù)集

初始化超參數(shù)當(dāng)圖像大小超過300×300時令字典原子規(guī)模K=512，否則令K=256。

步驟1利用K-均值算法結(jié)合傳統(tǒng)的BIC準(zhǔn)則對進行聚類預(yù)處理，確定聚類數(shù)目J，并獲得每個數(shù)據(jù)點的聚類標(biāo)簽j，j=1,…,J。

步驟2根據(jù)式（1）～式（12）進行貝葉斯概率建模，建立隱變量和模型參數(shù)集

步驟3設(shè)置迭代總數(shù)為150，為當(dāng)前迭代索引賦值t=1。

步驟4按照式（15）～式（17）對字典原子進行Gibbs采樣。

步驟5按照式（19）～式（21）對權(quán)重進行Gibbs采樣。

步驟6按照式（23）～式（26）對稀疏模式進行Gibbs采樣。

步驟7按照式（28）～式（30），并參考式（8）～式（11）對原子使用概率進行Gibbs采樣。

步驟8 分別按照式（32）～式（34）和式（36）～式（38）對超參數(shù)0α和γ進行后驗Gibbs采樣。

步驟9 若t=150，則將Θ內(nèi)各元素的當(dāng)前采樣值作為估計值；若t≠150，則令t=t+1，并返回步驟4執(zhí)行迭代。

輸出當(dāng)前估計的字典，權(quán)重和稀疏模式

4 算法分析與數(shù)值實驗

本文圍繞圖像去噪和壓縮感知這 2個方面的性能對所提的 SSIM-BPFA算法的有效性展開評估，以圖像處理領(lǐng)域中的Barbara、Lena、Boath、House和Peppers圖像的灰度值作為實驗對象，使用Matlab編程進行數(shù)值實驗。

4.1 去噪實驗及性能評估

以分辨率512像素×512像素的圖像Barbara為例，采用滑窗分塊方式將其分割為255 025個具有重疊的8像素×8像素分辨率的圖像塊，并對全部圖像塊的灰度值進行列堆棧處理，構(gòu)成算法執(zhí)行所使用的數(shù)據(jù)集。按照SSIM-BPFA算法的流程進行字典學(xué)習(xí)，并將初始字典原子數(shù)目設(shè)置為512 個，訓(xùn)練所得字典如圖2所示。

圖2 SSIM-BPFA算法訓(xùn)練所得圖像字典

設(shè)噪聲標(biāo)準(zhǔn)差σ=25，采用SSIM-BPFA算法對Barbara進行去噪處理，結(jié)果如圖3所示?？梢娤啾扔趫D 3（b）所示的含噪圖像，圖 3（c）所示的去噪圖像的峰值信噪比（SNR，signal noise ratio）顯著提高，圖像視覺效果也得到了明顯的改善，而且運行時間較BPFA算法并未有明顯的增加。

圖3 SSIM-BPFA算法去噪實驗結(jié)果

為進一步驗證 SSIM-BPFA算法的性能，除Barbara外又增加了Lena、Boat、House、Peppers等作為實驗圖像，并引入MOD、K-SVD、傳統(tǒng)的離散余弦傅里葉變換（DCT，discrete cosine transformation）等傳統(tǒng)的字典學(xué)習(xí)算法與本文的SSIM-BPFA算法進行比較。實驗過程中，分別采用噪聲的標(biāo)準(zhǔn)差為5、10、15和25這4種參數(shù)進行實驗。實驗結(jié)果顯示，噪聲標(biāo)準(zhǔn)差等于5、10、15時7種算法的去噪結(jié)果與表1相似，只是在噪聲標(biāo)準(zhǔn)差較大時對比更為顯著。因此，本文以為例，對比了SSIM-BPFA和其他6種算法對實驗圖像去噪處理后的峰值信噪比結(jié)果，如表1所示，表中的實驗結(jié)果是進行50次實驗后，實驗結(jié)果的平均值。

由表1可知，SSIM-BPFA的去噪峰值信噪比明顯高于其他 6種算法，其中 BPFA、DP-BPFA和dHBP這3種算法的去噪性能相近，這與Zhou的研究結(jié)論是一致的[7]。

4.2 壓縮感知實驗及性能評估

利用前述去噪過程中7種不同算法分別學(xué)習(xí)獲得的字典，結(jié)合相應(yīng)的壓縮感知算法，對經(jīng)觀測矩陣降維投影后的圖像數(shù)據(jù)進行重構(gòu)。Zhou[7]的研究已經(jīng)證實了BPFA算法相對其他字典學(xué)習(xí)算法在壓縮感知應(yīng)用中的優(yōu)勢，所以限于篇幅，本節(jié)實驗著重對SSIM-BPFA算法所得字典與BPFA、DP-BPFA和dHBP這3種算法所得字典進行壓縮感知性能對比。為便于比較分析，仍以Barbara作為實驗對象，出于克服塊結(jié)構(gòu)效應(yīng)的重構(gòu)需求，實驗數(shù)據(jù)的生成方式仍采用4.1節(jié)的滑窗法。由于前述字典學(xué)習(xí)過程中，圖像塊在字典表示下的稀疏度普遍不超過4，故出于提高重構(gòu)成功概率的目的，本節(jié)實驗選擇的投影觀測矩陣行數(shù)以8為下限，設(shè)置了行數(shù)分別為8、10、12、14、16、18等共6種觀測數(shù)目作為實驗條件，所用投影觀測矩陣的元素獨立同分布地采樣自標(biāo)準(zhǔn)正態(tài)分布。

表1 不同字典學(xué)習(xí)算法的圖像去噪峰值信噪比

圖4所示即觀測數(shù)目為8時，壓縮感知經(jīng)典的正交匹配追蹤（OMP，orthogonal matching pursuit）算法分別在 SSIM-BPFA算法、BPFA算法、DP-BPFA算法和dHBP算法所得字典下對Barbara的重構(gòu)結(jié)果及相應(yīng)的峰值信噪比。由圖可見，圖4（d）在視覺效果和峰值信噪比方面均顯著優(yōu)于圖 4（a）～圖4（c）。在Lena等其他4幅實驗圖像的壓縮感知實驗中，SSIM-BPFA算法所得字典也體現(xiàn)出了同樣的優(yōu)越性。

圖4 Barbara重構(gòu)結(jié)果及峰值信噪比

為了進一步驗證不同投影觀測數(shù)目條件下SSIM-BPFA所得字典的壓縮感知性能，圖5給出了觀測數(shù)目分別為8、10、12、14、16、18等共6種條件下，在SSIM-BPFA算法、dHBP算法、DP-BPFA算法、BPFA算法和OMP算法所得字典表示下分別通過OMP算法對Barbara的重構(gòu)相對誤差，數(shù)據(jù)為50次實驗結(jié)果的平均值。

從圖5可以看出，隨著觀測數(shù)目的增加，不同算法字典下的重構(gòu)相對誤差均呈下降趨勢，但總體重構(gòu)相對誤差由低到高分別是 SSIM-BPFA算法、dHBP算法、DP-BPFA算法、BPFA算法和MOD算法所得字典，其中，前四種算法重構(gòu)相對誤差均顯著低于 MOD算法字典的重構(gòu)相對誤差，且SSIM-BPFA字典的重構(gòu)相對誤差顯著低于其他字典的重構(gòu)相對誤差，這從另一個側(cè)面表明SSIM-BPFA算法學(xué)習(xí)所得字典在壓縮感知中的應(yīng)用性能優(yōu)于其他幾種算法所得字典。其原因在于SSIM-BPFA算法基于全局結(jié)構(gòu)相似性對圖像進行了聚類處理，并引入了稀疏表示的塊結(jié)構(gòu)特性，使得字典對圖像結(jié)構(gòu)特征的表示性能得以改善，圖像表示的稀疏度更小，從而提高了低觀測數(shù)目條件下的重構(gòu)成功率。盡管Gibbs采樣推斷方法的理論收斂性不易證明，但關(guān)于該推斷方法收斂效果的可靠性和有效性均已在前人研究成果[9-12]中得到了實驗驗證。

5 結(jié)束語

本文提出一種基于結(jié)構(gòu)相似性的非參數(shù)貝葉斯字典學(xué)習(xí)算法，將馬爾可夫隨機場思想引入到圖像稀疏表示的塊結(jié)構(gòu)建模中，使字典具備了傳統(tǒng)結(jié)構(gòu)字典稀疏表示的塊結(jié)構(gòu)特性。實驗表明，該算法所得字典的去噪性能和壓縮感知性能優(yōu)于BPFA算法、DP-BPFA算法和dHBP算法這3種非參數(shù)貝葉斯算法字典。本文以后將在兩方面進行下一步研究：1）Gibbs采樣推斷計算量相對較大，這是BPFA算法同樣面臨的問題，且采樣推斷收斂性能的可靠性和有效性不易于理論證明，后續(xù)將研究效率更高的推斷算法，并著重加強理論證明；2）圖像結(jié)構(gòu)相似性聚類過程采用K-means算法執(zhí)行，雖簡單易行復(fù)雜度低，但需要進行聚類數(shù)目的驗證性優(yōu)化，限制了算法的自適應(yīng)性和頑健性，后續(xù)應(yīng)著重提升無監(jiān)督聚類的自適應(yīng)性，以期在可觀的復(fù)雜度之外，進一步改善字典的應(yīng)用性能。