張墨華，彭建華

1.國家數(shù)字交換系統(tǒng)工程技術(shù)研究中心，鄭州 450000

2.河南財(cái)經(jīng)政法大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，鄭州 450000

1 引言

信號處理領(lǐng)域的多種方法[1-7]應(yīng)用到各種圖像復(fù)原任務(wù)中，退化圖像Y（以向量化形式）可以建模為：

其中，Y是觀測退化圖像；X是潛在的真實(shí)圖像；H是退化算子；V是加性噪聲。不同的退化矩陣H對應(yīng)著不同的逆問題，例如填充、去模糊或是超分辨等。例如，用于圖像超分辨[8-9]，H是下采樣矩陣；用于圖像去模糊[10]，H是模糊矩陣；用于圖像去噪時(shí)[11]，H是單位矩陣等。噪聲項(xiàng)V可能是恒定方差的經(jīng)典加性高斯噪聲或是與信號相關(guān)噪聲的更復(fù)雜的模型[12]。圖像復(fù)原問題任務(wù)就是從觀測圖像Y來估計(jì)原始清晰圖像X。

由于這類逆問題固有的不適定性[13]，通常復(fù)原問題在變分或是貝葉斯求解時(shí)會在圖像上施加某種先驗(yàn)，例如總變分（total variation，TV）[14]、小波分解[15]、圖像塊的稀疏性[16]等各種流行的圖像模型。Buades等人提出圖像自相似性先驗(yàn)的方法[17]，開啟了基于塊的圖像復(fù)原技術(shù)的新時(shí)代。通過在貝葉斯框架中引入塊先驗(yàn)?zāi)Ｐ?，有些方法致力于去噪問題[18-20]，有些提出通用框架來求解各種逆問題[21-22]，包括去噪、填充、去模糊及放大。

在貝葉斯框架下有兩個(gè)值得注意的方法：一個(gè)是Yu等人提出的基于塊的貝葉斯方法[22]，即分段線性估計(jì)（piecewise linear estimators，PLE）方法；另一個(gè)是Lebrun等人提出的非局部貝葉斯（non-local Bayesian，NLB）算法[23]。PLE是在式（1）下解決圖像逆問題的一般框架，而NLB是一種去噪方法（H是單位陣）。這兩種方法都是利用從圖像塊學(xué)習(xí)的高斯塊先驗(yàn)通過迭代求解。PLE是通過高斯混合模型（Gaussian mixture model，GMM）來進(jìn)行建模，它采用相對較少的分量數(shù)目（在實(shí)驗(yàn)中用的是19），其參數(shù)通過圖像塊進(jìn)行學(xué)習(xí)得到。作者在實(shí)驗(yàn)中采用圖像子區(qū)域（大小為128×128）的方法，可以把PLE看成是半局部的方法。而NLB方法中每個(gè)塊與一個(gè)高斯模型相關(guān)，其參數(shù)是通過其局部近鄰（搜索窗口）中選擇的相似塊計(jì)算得到[23-24]。Zoran和Weiss提出的塊對數(shù)似然期望（expected patch log likelihood，EPLL）算法[21]采用了類似的方法，但其不是從圖像塊中迭代地更新高斯混合模型，而是利用大量的分量數(shù)目，從大型圖像數(shù)據(jù)庫中學(xué)習(xí)得到。Wang和Morel在文獻(xiàn)[25]中指出，在去噪問題上，具有較少的分量的方法，性能要高于擁有較多固定分量數(shù)量的方法。

上述的這些復(fù)原方法都是基于高斯塊先驗(yàn)的貝葉斯框架。相比于有限數(shù)量的高斯混合模型方法[21-22]，依賴局部先驗(yàn)的方法已經(jīng)被證明對于圖像去噪任務(wù)更為準(zhǔn)確[23，25]。特別是，由于局部模型估計(jì)的原因，非局部貝葉斯方法要比分段線性估計(jì)方法在處理圖像去噪問題上更為優(yōu)秀。另一方面，分段線性估計(jì)方法在其他應(yīng)用場景，如圖像填充、去模糊及圖像放大等應(yīng)用中，取得了優(yōu)秀的結(jié)果。

因此，本文聚焦于如何將局部塊模型應(yīng)用到更為通用的逆問題求解，而不僅僅是去噪問題。但是這一應(yīng)用的主要難點(diǎn)在于模型的估計(jì)問題，特別是當(dāng)退化圖像中有較高比例缺失像素情況下，估計(jì)問題是嚴(yán)重不適定問題。

本文提出根據(jù)高斯先驗(yàn)來建模圖像塊，其參數(shù)（均值μ和協(xié)方差矩陣Σ）從局部相似塊中進(jìn)行估計(jì)。為了處理這一問題，利用分層貝葉斯模型[26]，將模型參數(shù)的先驗(yàn)知識（先驗(yàn)參數(shù)的概率分布）考慮進(jìn)來。貝葉斯統(tǒng)計(jì)中，μ和Σ稱為超參數(shù)，超參數(shù)的先驗(yàn)稱之為超先驗(yàn)。這種模型應(yīng)用于圖像復(fù)原領(lǐng)域，最早由Molina[27]提出，近年來應(yīng)用到圖像分割和去卷積[28]及超聲圖像的復(fù)原[29]中。將分層貝葉斯方法應(yīng)用于局部高斯混合模型的基于塊的圖像復(fù)原建模中，通過超先驗(yàn)來減少由于退化圖像中塊信息丟失而帶來的算法不穩(wěn)定性?；贚2范數(shù)在局部窗口中完成相似塊的聚類，利用累加平方圖及快速傅里葉變換的數(shù)值優(yōu)化方法，加快相似性度量的計(jì)算時(shí)間。在從塊到圖像的聚合過程中，采用基于馬式距離的高斯分布相似度的聚合權(quán)重，結(jié)合圖像上的空間域高斯相似度，從而更好地?cái)M合自然圖像的統(tǒng)計(jì)特性。

本文的主要貢獻(xiàn)有以下兩點(diǎn)：第一，提出將分層貝葉斯模型引入到圖像塊的高斯局部先驗(yàn)建模中并用于求解圖像復(fù)原問題，使得對于缺失像素的逆問題求解更加穩(wěn)定；第二，利用基于馬式距離的高斯分布相似度的聚合權(quán)重方法，將局部高斯模型擴(kuò)展到高斯混合模型框架下。

2 全局高斯混合模型

PLE和EPLL這類方法屬于全局高斯混合模型[21-22]，它們只是在初始化和計(jì)算聚類權(quán)重上有細(xì)微差別。通常這類方法假定圖像中每個(gè)塊（n維）獨(dú)立來自于M個(gè)有限多元高斯分布{N(μm,Σm)}1＜m＜M中的一個(gè)，該分布的均值為μm，方差為Σm。每個(gè)塊xi都是從這些有限數(shù)量的高斯中的某一個(gè)獨(dú)立地生成，其概率為：

為了最大化所有塊的概率分布，需要得到整個(gè)圖像的有限高斯分布，這可以通過在初始化高斯分布之后，迭代地進(jìn)行下述步驟得到：

（1）根據(jù)估計(jì)的(μm,Σm)1＜m＜M，由式（2）度量相似性，將塊進(jìn)行聚類。產(chǎn)生每個(gè)塊的高斯概率是由{N(μm,Σm)}1＜m＜M確定，這引入了一個(gè)基于模型的框架，將恢復(fù)的塊xi分配給M個(gè)估計(jì)高斯分布中之一。

（2）更新{N(μm,Σm)}1＜m＜M。每個(gè)均值向量和協(xié)方差矩陣的估計(jì)值，是基于聚類塊進(jìn)行更新的。這些估計(jì)可以通過每個(gè)聚類中的樣本均值和樣本協(xié)方差得到。

（3）每個(gè)塊的恢復(fù)基于其所屬高斯分布，利用維納濾波而得到。

PLE和EPLL這種全局高斯混合模型方法將多個(gè)塊從圖像的不同部分分配到一個(gè)聚類。這種全局聚類限制了利用圖像中鄰近塊的相干性。一些成功的圖像去噪算法，例如依賴于平均像素的非局部均值[3，16]，通過設(shè)置與像素或塊之間的幾何距離成反比的平均權(quán)重來考慮鄰近塊的相干性。BM3D（blockmatching and 3D filtering）[2]、NCSR（nonlocally centralized sparse representation）[30]、FNCSR（fast nonlocally centralized sparse representation）[4]等算法也是采用約束在一個(gè)有限大小的窗口中分組相似的塊，協(xié)同進(jìn)行去噪。文獻(xiàn)[31]指出，相比于全局窗口大小，小窗口中的塊更可能從高斯分布導(dǎo)出，意味著更易遵循高斯分布。

3 分層貝葉斯的局部高斯混合模型

為了對圖像應(yīng)用空間約束并利用鄰域塊的相干性，假設(shè)鄰域中的相似塊可以從具有特定均值和協(xié)方差的單個(gè)多變量高斯概率分布導(dǎo)出，讓每個(gè)塊與一個(gè)高斯模型相關(guān)，其參數(shù)是通過其局部近鄰（搜索窗口）中選擇的相似塊計(jì)算得到。非局部貝葉斯算法就是采用這一思路，應(yīng)用于圖像去噪問題[23]。本文關(guān)注于將局部塊模型如何應(yīng)用到更為通用的逆問題求解，而不僅僅是去噪問題。這一應(yīng)用的主要難點(diǎn)在于模型的估計(jì)問題，特別是當(dāng)退化圖像中有較高比例缺失像素情況下，估計(jì)問題是嚴(yán)重不適定問題[32]。

為此本文提出分層貝葉斯的局部高斯混合模型（hierarchical Bayesian local Gaussian mixture model，HBLGMM），圖1給出所提出模型的總體思路。

Fig.1 Hierarchical Bayesian local Gaussian mixture model圖1 分層貝葉斯的局部高斯混合模型

如圖1所示，在局部窗口中利用L2范數(shù)計(jì)算相似塊，來充分利用鄰域塊的相干性，這里假定局部相似圖像塊滿足均值μ和協(xié)方差矩陣Σ的高斯先驗(yàn)分布。對均值和協(xié)方差參數(shù)引入貝葉斯超先驗(yàn)（hyper prior），對圖像塊均值μ和協(xié)方差Σ引入Norm-Wishart先驗(yàn)（參數(shù)為μ0和Σ0），利用聯(lián)合最大后驗(yàn)估計(jì)公式用來估計(jì)圖像塊和參數(shù)采用交替最小化更新的方式，使高斯統(tǒng)計(jì)的局部估計(jì)更加穩(wěn)定；在從塊到圖像的聚合過程，對于重疊區(qū)域利用塊對于不同局部高斯分布的相似度，計(jì)算基于馬式距離（Mahalanobis distance）的高斯權(quán)值，從而從局部高斯分布擴(kuò)展到高斯混合模型。這樣可以利用局部模型估計(jì)的準(zhǔn)確性來處理通用的復(fù)原問題，特別是處理丟失像素值（填充問題）。

3.1 塊退化模型

觀測圖像Y分解為I個(gè)相互重疊的塊{yi}i=1,2,…,I，塊大小為。每個(gè)塊yi∈Rn×1可以看作是隨機(jī)變量Yi的實(shí)現(xiàn)，Yi可以表示為：

其中，Hi∈Rn×n是退化算子；Xi∈Rn×1是需要估計(jì)的原始塊；Vi∈Rn×1是加性噪聲項(xiàng)，通常以高斯分布進(jìn)行建模。在給定Xi情況下Yi的條件分布為：

假定在每個(gè)塊的高斯先驗(yàn)?zāi)Ｐ蜑閜(Xi|μ,Σ)～N(μ,Σ)，其中均值μ和協(xié)方差矩陣Σ是未知的。為了簡化計(jì)算，利用精度矩陣Λ=Σ-1來表示。本文假定(μ,Λ)服從Normal-Wishart先驗(yàn)。Normal-Wishart先驗(yàn)是未知均值和協(xié)方差矩陣的多元高斯分布的共軛先驗(yàn)。(μ,Λ)的分布為：

其中，參數(shù)包括μ0和Σ0，尺度參數(shù)λ＞0和自由度ν＞n-1。

假定已經(jīng)有觀測相似塊{Yi}i=1,2,…,M，要恢復(fù)的復(fù)原塊為{Xi}i=1,2,…,M。假定未知{Xi}是獨(dú)立的且服從相同的高斯模型，計(jì)算聯(lián)合最大后驗(yàn)：

式（6）乘積第一項(xiàng)為式（4）的噪聲模型，第二項(xiàng)是圖像塊集合{Xi}上的高斯先驗(yàn)，第三項(xiàng)為式（5）的超先驗(yàn)。其中第一項(xiàng)在p({Yi}|{Xi},μ,Λ)上忽略了μ和Λ依賴，這是因?yàn)檫@些參數(shù)都是由{Xi}確定的。

3.2 優(yōu)化過程

函數(shù)f是分別在變量({Xi},μ)和Λ上的雙凸函數(shù)。對于給定的超參數(shù)μ0和Σ0，可以采用交替凸最小化機(jī)制來最小化該函數(shù)。即在每輪迭代中，首先固定Λ，相對于({Xi},μ)求最小化，然后進(jìn)行交替，固定({Xi},μ)，相對于Λ求最小化。

通過f對每個(gè)變量求微分，可以得到最優(yōu)化方程。假定Λ是固定值并且協(xié)方差不依賴于{Xi}。函數(shù)上是凸的，并且可以得到最小值：

假定變量({Xi},μ)是固定的。函數(shù)Λ?f({Xi},μ,Λ)在上是凸的，并且可以得到最小值：

從式（8）可以看出μ的MAP估計(jì)量是兩項(xiàng)值的加權(quán)平均：先驗(yàn)μ0和利用從相似恢復(fù)塊得到的均值估計(jì)量。參數(shù)γ控制著對于先驗(yàn)μ0的置信度。類似地，Λ的MAP估計(jì)量也是由三項(xiàng)構(gòu)成：先驗(yàn)Σ0和μ的協(xié)方差，以及來自塊Xi所估計(jì)的協(xié)方差矩陣。

根據(jù)上述分析，可以得到f的交替最小化過程，如算法1所示。

算法1f交替最小化

算法1中，迭代次數(shù)設(shè)置為Iters1。當(dāng)l→∞時(shí)，函數(shù)在每個(gè)步驟中會逐漸減少，函數(shù)f的連續(xù)性意味著該序列下端有界，因此會收斂。函數(shù)的收斂性意味著序列是有界的。由此可知，它具有至少一個(gè)累積點(diǎn)Λ*)，并且存在嚴(yán)格增加的整數(shù)序列(lk)，使得收斂到。因此通過交替最小化方案生成的序列至少有一個(gè)聚點(diǎn)。實(shí)驗(yàn)中也發(fā)現(xiàn)算法經(jīng)過幾輪迭代后就會收斂。

3.3 相似塊搜索

在當(dāng)前樣例塊的搜索窗口中找到與樣例塊L2范數(shù)距離小于指定閾值的相似塊。閾值的計(jì)算是通過容忍參數(shù)?乘以最鄰近距離來確定。在所有實(shí)驗(yàn)中，搜索窗口設(shè)計(jì)為32×32（塊大小設(shè)置為8×8），?設(shè)置為1.5。在前一輪迭代的結(jié)果圖像上進(jìn)行相似塊的比較，塊間相似度的計(jì)算是基于圖像塊的L2范數(shù)進(jìn)行的。

受文獻(xiàn)[33-34]啟發(fā)，采用數(shù)值優(yōu)化方法來加速歐式距離的計(jì)算。令R是塊抽取算子，R(p)∈Rn表示以圖像中以像素p=(p1,p2)為中心抽取的塊。當(dāng)且僅當(dāng)位移t=(i,j)在半徑為a（塊的半徑）的圓范圍內(nèi)（記作），則像素(p1+i,p2+j)在塊R(p)中。給定兩個(gè)塊，其L2范數(shù)距離為：

式（12）的最后一項(xiàng)可以看作是兩個(gè)塊的卷積。因此可以借助快速傅里葉變換在頻域進(jìn)行乘法操作來計(jì)算。利用上述算法，對一幅圖像每個(gè)像素只需要處理一次。通過SSI，可以以常量時(shí)間得到圖像任意矩陣中每個(gè)像素的平方累加和。

3.4 塊聚合過程

把估計(jì)塊放回其原始位置可以重建整個(gè)圖像。為了改善恢復(fù)性能，如BM3D這類算法對重疊的評估塊利用加權(quán)平均的方法來重構(gòu)恢復(fù)圖像[2]。本文采用高斯核的方法，這種方法已經(jīng)在雙邊濾波和非局部均值[4]等方法中應(yīng)用來獲取平均權(quán)重，這些權(quán)重的非歸一化形式用來表示塊p與q的相似度，可以表示為：

其中，ξ用于設(shè)定可能權(quán)值合適的尺度，d是度量塊p和塊q的距離。在非局部均值方法中，權(quán)值基于中心像素為p和q的塊距離來計(jì)算。歸一化通過除以像素的權(quán)值之和實(shí)現(xiàn)。受高斯核用于平均權(quán)值的啟發(fā)，本文提出基于式（14）中的高斯核的塊的聚合權(quán)重，其中d采用馬式距離度量，該距離已被用于基于GMM的聚類方法，作為測量聚類的高斯分布相似性的標(biāo)準(zhǔn)。因此第r個(gè)高斯分布導(dǎo)出的塊的權(quán)重由式（14）計(jì)算得到。

這些權(quán)重分配給整個(gè)塊而不是中心像素。與其他基于高斯核的方法（如非局部均值法）相比，本文方法權(quán)重是基于塊與模型的相似度來測量的，而不是塊與塊相似度。通過使用馬氏距離，與估計(jì)高斯分布越相似的塊就有更高的權(quán)值。

雖然使用L2范數(shù)距離的相似性度量，聚類的方法似乎沒有使得聚類塊與高斯分布較高概率擬合，但是通過使用基于與高斯分布相似度的聚合權(quán)重，可以得到圖像上的空間域高斯相似度。因此，隨著迭代的進(jìn)行，具有更高相似性的高斯分布的塊通過L2范數(shù)聚類分組在一起，這表明使用這種權(quán)重進(jìn)行平均的重要性。

3.5 初始化

由于通過迭代過程解決非凸問題，因此良好的初始化是至關(guān)重要的。本文利用Yu等人提出的方法[22]，該方法是通過從不同方向邊緣的合成圖像以及DCT基來表示各向同性的模式，學(xué)習(xí)K個(gè)分量的GMM協(xié)方差矩陣（PLE中設(shè)置為19），從而完成PLE算法的初始化過程。文獻(xiàn)[22]中指出在字典學(xué)習(xí)中，最突出的原子代表局部邊緣，這些邊緣可用于表示和恢復(fù)輪廓，因此這種初始化有助于恢復(fù)受損的塊。PLE算法第一輪的輸出即是初始的理想圖像Co。

3.6 圖像復(fù)原算法

分層貝葉斯的局部高斯混合模型完整圖像復(fù)原算法見算法2，迭代次數(shù)設(shè)置為Iters2。算法需要兩個(gè)階段：通過算法1最小化f；估計(jì)超參數(shù)μ0和Σ0。為了估計(jì)這些參數(shù)，需要依賴于第一階段估計(jì)所有塊的聚合計(jì)算得到的圖像。

算法2HBLGMM圖像復(fù)原算法

3.7 計(jì)算復(fù)雜度

算法的計(jì)算復(fù)雜度主要集中于算法1中計(jì)算(Xl,μl)的步驟，矩陣的逆運(yùn)算利用了Cholesky分解，這樣總的時(shí)間復(fù)雜度為。其中NSP是相似塊的數(shù)目，n是塊中像素?cái)?shù)目，NP是要恢復(fù)的塊的總數(shù)目。算法可以對圖像進(jìn)行子區(qū)域劃分，利用多核架構(gòu)采用并行方式進(jìn)行并行計(jì)算來加速。

4 實(shí)驗(yàn)及分析

本章給出圖像去噪和圖像填充兩個(gè)圖像復(fù)原問題求解結(jié)果。通過與一些優(yōu)秀的方法進(jìn)行對比進(jìn)而驗(yàn)證本文提出的模型。在填充問題上考慮兩種情況的插值：一種是隨機(jī)觀測的像素；一種是放大問題（可以看成是均勻觀測像素的插值問題）。對比方法的代碼來自作者公開代碼。本文實(shí)驗(yàn)用圖一部分來自經(jīng)典的合成圖像，如Lena、Barbara等，另一部分選取BSDS數(shù)據(jù)集中的測試圖像[35]。部分實(shí)驗(yàn)用圖如圖2所示，第一行為經(jīng)典合成圖像，第二行為BSDS圖像。

采用峰值信噪比（peak signal to noise ratio，PSNR）作為算法的客觀度量，PSNR定義為：

其中，x是原始的退化圖像；是估計(jì)圖像；m是圖像的像素?cái)?shù)目。估計(jì)圖像的質(zhì)量越高，會有更高的PSNR值。通過每個(gè)實(shí)驗(yàn)的10次實(shí)驗(yàn)平均值得到最終PSNR值。

4.1 參數(shù)選擇

算法涉及的主要參數(shù)包括計(jì)算μ和Σ需要設(shè)置Norm-Wishart分布的4個(gè)參數(shù)γ、ν、先驗(yàn)均值μ0和先驗(yàn)協(xié)方差Σ0以及計(jì)算高斯權(quán)重的參數(shù)ξ。

4.1.1 γ 和ν 的確定

Fig.2 Part of evaluation image圖2 部分實(shí)驗(yàn)用圖

從式（7）可見，均值μ的計(jì)算涉及到相似塊的均值估計(jì)和先驗(yàn)均值μ0。參數(shù)γ關(guān)聯(lián)于先驗(yàn)μ0的置信度，因此它的值可以在先驗(yàn)準(zhǔn)確性的置信和相似塊提供的信息間進(jìn)行折衷。隨著相似塊數(shù)目NSP的增多和塊中已知像素?cái)?shù)NKP的增加，相似塊提供的信息會得到改善。因此，γ值的計(jì)算如下：

其中，TH是閾值。對于ν可以采用類似的做法：

式（16）加上n是因?yàn)镹ormal-Wishart先驗(yàn)所要求的ν＞n-1。

通過實(shí)驗(yàn)證明上述簡單的規(guī)則是一種有效的方法。上述方法主要針對填充問題，但是在推廣到更普通的其他應(yīng)用中，需要進(jìn)一步研究。

4.1.2 μ0 和Σ0 的確定

μ0和Σ0可以通過經(jīng)典的最大似然估計(jì)的方法從Co的相似塊集合中進(jìn)行計(jì)算：

4.1.3 ξ 的設(shè)置

為了獲得良好的復(fù)原性能，對式（14）中的ξ進(jìn)行小幅的調(diào)整是必要的。例如在去噪實(shí)驗(yàn)中，針對不同的噪聲級別設(shè)置不同的ξ值：在σ≤40時(shí)，ξ=0.015；在σ＞40時(shí)，ξ=0.01在填充實(shí)驗(yàn)中，設(shè)置ξ=0.01。通過ξ的小幅調(diào)整，PSNR值取得一定的提升。

4.2 圖像去噪

在實(shí)驗(yàn)中，原始圖像利用標(biāo)準(zhǔn)差分別為30、40、50、60、70的加性高斯噪聲進(jìn)行污染，在去噪實(shí)驗(yàn)中，由于沒有未知像素要插值，因此H為單位陣。在表1中，本文方法（標(biāo)記為HBLGMM）與BM3D[2]、LSSC（learned simultaneous sparse coding）[16]、NLB[23]、EPLL[21]等優(yōu)秀的去噪算法進(jìn)行了對比。表中數(shù)值為每個(gè)噪聲標(biāo)準(zhǔn)差下所有測試圖像的平均PSNR值（單位：dB），最好的結(jié)果用加粗字體表示。

在所有噪聲級別下，本文方法比沒有應(yīng)用局部約束的全局GMM的方法（EPLL），以及基于GMM的方法（NLB），從平均來看都要優(yōu)秀。與其他全局GMM方法類似，組中所有觀測塊減掉就是每個(gè)聚類的均值向量，完成MAP的估計(jì)之后再加上，這樣做的主要目的是加速算法的執(zhí)行。之前基于GMM的方法如PLE、EPLL用于圖像去噪的性能總體低于基于稀疏的方法。本文方法的去噪結(jié)果從平均結(jié)果來看，在噪聲標(biāo)準(zhǔn)差于30～60范圍比基于稀疏的方法效果更好。LSSC方法在高噪聲下PSNR占優(yōu)，與其內(nèi)部字典訓(xùn)練的優(yōu)勢有關(guān)，但值得一提的是LSSC方法的在線字典訓(xùn)練時(shí)間過長，實(shí)際可用性較差。對比的示例圖像如圖3所示，對Barbara圖加入標(biāo)準(zhǔn)差為30的噪聲，圖中第一行為本文方法與其他優(yōu)秀方法去噪結(jié)果對比，第二行為還原圖像與原始圖像的差值圖，第三行為局部區(qū)域的放大圖對比。從放大區(qū)域清楚可見，本文方法在褲子紋理的還原上更加自然。

Table 1 Comparison of denoising results表1 去噪結(jié)果對比

圖4為高噪聲下BSDS集合中測試圖像去噪結(jié)果對比（噪聲標(biāo)準(zhǔn)差為70）。從對比圖中可見，BM3D和NLB方法在這一數(shù)據(jù)集中圖像觀感相對較差，人臉還原不夠自然；BM3D方法在帽子區(qū)域有較多波紋，EPLL方法則也在帽子區(qū)域不夠平滑，LSSC盡管PSNR值更優(yōu)，但人物臉部、背景及帽子區(qū)域有大量的偽像，整體觀感較低，而本文方法無論在PSNR還是視覺觀感上都較為理想。

4.3 圖像填充

圖像填充實(shí)驗(yàn)中設(shè)計(jì)兩種應(yīng)用場景：一種是隨機(jī)遮蔽算子（用于隨機(jī)填充）；一種是均勻網(wǎng)格下的下采樣遮蔽算子（用于圖像放大）。

在隨機(jī)填充實(shí)驗(yàn)中，設(shè)置20%、30%、40%、50%、60%、70%、80%等像素缺失率的隨機(jī)遮蔽算子應(yīng)用于原始圖像中。所提出方法的填充性能與MCA（morphological component analysis）[36]、FOE（field of exports）[37]、KR（kernel regression）[38]、BP（beta process）[39]、PLE[22]等方法進(jìn)行了對比，所有方法圖像塊的大小均使用的是8×8的大小。用于計(jì)算累積權(quán)重的式（14）中參數(shù)ξ設(shè)置為0.01。

Fig.3 Comparison of visual quality of denoising results(σ=30)圖3 去噪視覺質(zhì)量對比(σ=30)

Fig.4 Comparison of visual quality of denoising results(σ=70)圖4 去噪視覺質(zhì)量對比(σ=70)

表2給出本文方法與其他的圖像填充方法對比的結(jié)果，表中數(shù)值為不同數(shù)據(jù)丟失率下所有測試圖像的平均PSNR值。從表2可見，本文方法在所有的丟失率下比對比方法都要優(yōu)秀。

圖5給出局部Barbara圖像在隨機(jī)丟失80%像素情況下還原對比示例，重點(diǎn)是比較圖像的平滑和紋理區(qū)域的填充結(jié)果。從圖可見，本文方法比其他方法無論在紋理還是平滑區(qū)域，效果更為理想。

圖像填充的一種特殊情況是圖像分辨率放大問題，可以看成是均勻采樣圖像的插值問題。然而，圖像放大問題要比隨機(jī)觀測像素的填充更具有挑戰(zhàn)性。因?yàn)檫@種規(guī)則的采樣，目前提出的很多算法未能很好地復(fù)原圖像中潛在紋理。如文獻(xiàn)[40]中所討論的，隨機(jī)采樣要比均勻采樣可以得到更好的結(jié)果。本文算法對于由均勻采樣帶來的復(fù)原錯(cuò)誤更為魯棒。

Table 2 Comparison of random inpainting results表2 隨機(jī)填充結(jié)果對比

Fig.5 Comparison of visual quality of random inpainting(data lost ratio=80%)圖5 80%丟失率下隨機(jī)填充視覺質(zhì)量對比

實(shí)驗(yàn)中對真實(shí)的高分辨圖像（high resolution，HR）采用2倍的下采樣得到低分辨圖像（low resolution，LR），對LR上采樣后，再施加均勻采樣遮罩（uniform sample masking），得到退化后的圖像用于圖像填充復(fù)原，本文方法與EPLL[21]、Patch Nonlocal[40]、NEDI（new edge-directed interpolation）[41]、NARM（nonlocal autoregressive modeling）[42]、Bicubic等方法進(jìn)行了對比。

圖6給出對比結(jié)果，從圖可見本文方法比其他方法具有更為清晰的重建結(jié)果，能夠較好地找到真實(shí)的紋理。

4.4 分析

在利用高斯混合模型先驗(yàn)建模下，無法使用一組固定的聚類來準(zhǔn)確表示圖像中很少出現(xiàn)的塊，例如邊緣或紋理。像PLE這樣的方法實(shí)際上是半局部的（128×128區(qū)域），并不能解決這個(gè)問題。EPLL則是通過從200萬個(gè)自然圖像塊中學(xué)習(xí)得到200個(gè)分量的高斯混合模型[21]，這要比PLE方法有更多的混合分量。如文獻(xiàn)[25]所指出的，EPLL的策略在去噪任務(wù)中要比PLE方法更加低效。在所有上面的實(shí)驗(yàn)中，無論在去噪上，還是在填充和放大問題上HBLGMM都要比EPLL和PLE方法更為優(yōu)秀。從視覺質(zhì)量來看，圖像的細(xì)節(jié)得到了較好的重建，圖像更加清晰。本文方法從局部窗口中的相似塊執(zhí)行估計(jì)，通過考慮局部鄰域來強(qiáng)化自相似性的假設(shè)，這種策略對于模型進(jìn)行鄰域限制，因此使得估計(jì)更加穩(wěn)健。塊的相似性是通過高斯分布的相似性進(jìn)行度量的，聚合權(quán)重考慮了圖像塊與所估計(jì)高斯分布的相似性，結(jié)合圖像空間域的相似性，從而會將更為相似的高斯塊通過L2范數(shù)度量聚類匯集到一起。受益于聚類中對于每個(gè)塊使用不同的權(quán)重，這在改善圖像復(fù)原質(zhì)量上扮演重要的角色。

Fig.6 Comparison of image zooming result圖6 圖像放大結(jié)果對比圖

5 結(jié)束語

本文提出將分層貝葉斯模型引入到圖像塊的高斯局部先驗(yàn)建模中并用于求解圖像復(fù)原問題，使得對于缺失像素的逆問題求解更加穩(wěn)定，并從局部窗口中進(jìn)行相似塊估計(jì)，利用基于馬式距離的高斯分布相似度的聚合權(quán)重方法，將局部高斯模型擴(kuò)展到高斯混合模型框架。利用上述方法，圖像復(fù)原問題可以在統(tǒng)一的框架中進(jìn)行，將提出的模型應(yīng)用于圖像去噪、圖像填充等問題中，取得了良好的效果。對于圖像塊嘗試使用其他的多元分布，比如多元拉普拉斯，以及采用不同的幾何距離度量方法將是未來研究的課題。