吳文強，唐松澤

(南京森林警察學(xué)院刑事科學(xué)技術(shù)學(xué)院，南京 210023）

在公安工作中，犯罪嫌疑人的高分辨率（high resolution, HR）面部圖像是非常重要的線索。然而現(xiàn)實中，相機或傳感器捕捉到的一般均是低分辨率（low resolution, LR）圖像，這其中主要受到包括相機模糊、物體與成像系統(tǒng)的距離、噪聲等各種因素的影響，因此，研究從觀察獲取到的低分辨率圖像中恢復(fù)出其對應(yīng)的高分辨率圖像具有重要意義[1-4]。圍繞它，學(xué)者們提出了一系列的算法模型，大致可以分為兩大類：1）基于全局圖像的人臉超分辨率方法；2）基于局部圖像塊的人臉超分辨率方法。

為了實現(xiàn)全局圖像的人臉超分辨率，幾種典型的特征提取方法被用于抽取圖像的相關(guān)特征，如主成分分析（principal component analysis, PCA）[5]、局部保持投影（loality preserving projection, LPP）[6]和典型相關(guān)分析（canonical correlation analysis, CCA）[7]。Wang等[8]通過PCA將輸入的低分辨率圖像分解為一組低分辨率樣本人臉圖像和一組系數(shù)的線性組合，再根據(jù)得到的系數(shù)由相應(yīng)的高分辨率樣本人臉圖像生成高分辨率人臉。Chakrabarti等[9]在高維圖像空間中，利用核PCA（Kernel PCA）模型對人臉圖像進行處理。與保持線性全局結(jié)構(gòu)的PCA相比，LPP可以揭示非線性特征，Zhang等[10]在LPP子空間中自適應(yīng)地選取樣本，有效地恢復(fù)了LR人臉圖像中丟失的高頻成分。Huang等[7]利用典型相關(guān)分析建立了相干空間中低分辨率圖像和高分辨率圖像之間的非線性映射模型。該方法先將人臉圖像轉(zhuǎn)換為一維向量空間，這破壞了圖像的拓撲結(jié)構(gòu)。因此，An[11]將CCA的思想進一步擴展到二維空間，提升了算法的性能。這些全局方法雖然取得了很好的效果，但圖像中的細節(jié)（如邊緣或紋理信息）無法得到保留。

圖像塊是將整幅人臉圖像按重疊像素分割得到的。Chang等[12]首次基于局部線性嵌入（locally linear embedding, LLE）[13]的思想建立了鄰域嵌入（neighbor embedding, NE）的超分辨模型，該模型假設(shè)低分辨率圖像塊流形與高分辨率圖像塊流形具有相同的拓撲結(jié)構(gòu)。人臉作為一種高度結(jié)構(gòu)化的圖像，其圖像塊位置信息是形成高分辨率圖像的重要先驗。Ma等[14]提出了一種利用人臉圖像塊位置先驗信息估計最優(yōu)權(quán)值的最小二乘表示（least square regression，LSR）方法。在該模型中，根據(jù)低分辨率樣本臉圖像塊的位置，計算出每一測試低分辨率圖像塊的最優(yōu)重建權(quán)重。

其中xt是從輸入的LR人臉圖像中提取的圖像塊。X=[x1,x2,…,xN]表示訓(xùn)練集中位于同一位置的所有圖像塊集合。xt是訓(xùn)練集X和重建權(quán)重c=[c1,c2,…,cN]T的線性組合。一般情況下，通過最小化重構(gòu)殘差可以得到最優(yōu)的權(quán)重。但當測試塊的維數(shù)小于訓(xùn)練樣本的大小時，LSR方法常常生成非唯一的權(quán)重。因此，需要額外的正則化項來約束不適定問題的求解[15-20]。基于以上分析，重建權(quán)重的稀疏性作為正則化項提升了超分辨率的性能[16-17]。與稀疏性相比，局部性先驗在揭示非線性流形的幾何結(jié)構(gòu)方面也很重要，Jiang等[19]將局部約束先驗引入人臉超分辨率中并取得了很好的效果。為了同時實現(xiàn)局部性和稀疏性約束，文獻[20]提出了Tikhonov正則化鄰域表示方法（Tikhonov regularization neighbor embedding,TRNR）。上述方法在無噪聲或含加性高斯白噪聲（additive white Gaussian noise, AWGN）條件下對于LR人臉圖像可以明顯提升其分辨率。由于實際成像環(huán)境復(fù)雜，脈沖噪聲也是常見的圖像退化類型[21-26]。魯棒局部約束雙層表示（robust face hallucination via locality-constrained bi-layer representation, RLcBR）模型被用于超分辨率被脈沖噪聲破壞的人臉圖像[25]。最近，為了解決混合噪聲（加性高斯白噪聲和脈沖噪聲），一種基于誤差收縮最近鄰表示（error shrunk nearest neighbors representation, ESNNR）的人臉超分辨率方法被提出來[26]，該方法基于局部信息先驗的閾值法識別LR人臉圖像中的高動態(tài)內(nèi)容，再抑制識別出的高動態(tài)內(nèi)容，實現(xiàn)重建誤差最小化。多特征分層學(xué)習(xí)模型（multiple feature learning with hierarchical structure, MLHS）[27]充分利用了人臉圖像信息的多層次特點，采用層次結(jié)構(gòu)來更好地維護HR和LR圖像空間之間的流形一致性假設(shè)。Nagar等[28]提出了基于殘差學(xué)習(xí)的誤差抑制最近鄰表示方法（residual learning-based error suppressed nearest neighbor representation, RLENR），該方法首先利用面向PCA的匹配面抑制LR人臉圖像中的脈沖噪聲，然后通過引入殘差學(xué)習(xí)來更新LR訓(xùn)練集，使高斯噪聲的影響最小化，最后，利用更新后的LR訓(xùn)練集生成輸入的LR人臉細節(jié)。

目前的研究方法均有一個前提，即不同類型噪聲下的重建殘差（xt-Xc）是基于L2-范數(shù)建模的。然而，如圖1所示，在混合噪聲情況下，重建殘差的分布通常偏離正態(tài)分布（尤其在尾部）。為了解決上述問題，本文引入加權(quán)矩陣來自適應(yīng)縮小重建殘差以符合高斯分布。此外，本文還引入了表示重建權(quán)重的稀疏先驗項，最終將加權(quán)的L2-范數(shù)與L1-范數(shù)統(tǒng)一到一個變分框架中。本文的主要創(chuàng)新之處如下：

1）不同于之前研究對所有像素用不變的方式處理，本算法利用加權(quán)矩陣自適應(yīng)地調(diào)整每個像素的重建殘差以抑制混合噪聲的影響，獲得最優(yōu)的重構(gòu)權(quán)重來合成高分辨率的人臉圖像。

2）為了提高模型解的穩(wěn)定性，將權(quán)重系數(shù)的稀疏先驗引入模型中。這使得本算法能夠在系數(shù)的表示空間中維持其拓撲結(jié)構(gòu)的一致性。

3）與傳統(tǒng)方法先去噪聲再超分辨率不同，本算法通過一個統(tǒng)一的變分框架，同時實現(xiàn)混合噪聲去除和對輸入的LR人臉圖像實現(xiàn)分辨率提升。

1 方法

1.1 符號表示

在訓(xùn)練集中，有N對的高-低分辨率的人臉圖像，記為高分辨率人臉圖像樣本集，為對應(yīng)的低分辨率人臉圖像樣本集。每幅高-低分辨率的人臉圖像被劃分為M=AB個重疊的圖像塊，并分別表示為：

輸入的低分辨率測試人臉圖像也用同樣的劃分方式表示為：

估計出相應(yīng)的高分辨率圖像塊：

最后，根據(jù)yt(i,y)的位置(i,y)，將所有的高分辨率圖像塊進行整合得到高分辨率人臉像到為了方便起見，在接下來的表述中省略(i,y)。混合噪聲中脈沖噪聲（椒鹽噪聲）密度為“ζ”，加性高斯白噪聲的標準差為“σ”。

1.2 模型設(shè)計

如前所述，之前的研究工作是基于一個共同的假設(shè)：不同類型噪聲下的重建殘差（xt-Xc）可以用L2范數(shù)建模。基于L2范數(shù)的數(shù)據(jù)保真項設(shè)計，使得模型可以有閉合解。然而實際的視頻監(jiān)控系統(tǒng)，觀測到的人臉圖像往往會受到混合噪聲（如高斯噪聲和脈沖噪聲的混合,如圖1a所示）的影響，重建殘差的分布一般與高斯分布不同，如圖1b所示。因此，用簡單的L2范數(shù)來刻畫數(shù)據(jù)擬合殘差并不是最優(yōu)的。為此，可以在重建殘差中引入一個加權(quán)矩陣，為每個殘差分配合適的權(quán)重，自適應(yīng)地衡量每個像素的損失程度，如圖1d所示。

根據(jù)以上分析，設(shè)計一個新的加權(quán)數(shù)據(jù)保真項，從而建立一個混合噪聲下的人臉超分辨率新模型。

其中W是對角線權(quán)重矩陣，對角線元素Wii=wi。R(c)表示正則化項，參數(shù)λ平衡數(shù)據(jù)保真度項和正則化項。

由于訓(xùn)練集X的固定性，可以在最大后驗概率（maximum a posteriori, MAP）框架下計算表示系數(shù)

似然項的特征P(xt|c)服從高斯分布。因此有

式中rj是xt-Xc的標準差。

對于權(quán)重向量c，其概率分布p(c)用Lp范數(shù)刻畫

式中 ||·||Lp是Lp范數(shù)。由公式(3)~(5)推導(dǎo)出

加權(quán)重建殘差是在圖像塊空間中數(shù)據(jù)保真，在重建權(quán)重系數(shù)的表示空間需要揭示其分布的特征。

1.3 模型求解

首先將對角矩陣D初始化為單位矩陣，然后在第k+1次迭代中，D中的每個元素更新為

如此循環(huán)更新D和c，直到得到最佳的c。提出的人臉超分辨率過程見補充材料算法S1。

2 實驗結(jié)果與分析

2.1 人臉庫介紹

所有的模擬實驗均在FEI人臉庫[30]上進行。該數(shù)據(jù)庫有200個人的400張面部圖像，所有的圖像都被對齊并被裁剪成30×25個像素作為高分辨率訓(xùn)練圖像。在生成LR人臉訓(xùn)練圖像時，對相應(yīng)的高分辨率訓(xùn)練圖像進行平滑處理，并按4倍進行下采樣，然后加入不同級別的混合噪聲。在模擬實驗中，隨機抽取180個人共360幅圖像進行訓(xùn)練，其余樣本進行測試。

2.2 參數(shù)分析

將研究正則化參數(shù)λ、圖像塊大小與重疊像素個數(shù)、迭代次數(shù)對算法的影響。

2.2.1 不同λ下的結(jié)果

從公式（8）可知λ用于平衡稀疏約束和加權(quán)重建殘差以取得最優(yōu)性能。

圖2根據(jù)不同的λ值繪制了不同噪聲水平下的平均峰值信噪比（peak signal-to-noise ratio,PSNR）和結(jié)構(gòu)相似性指數(shù)度量（structural similarity index measure, SSIM）的變化曲線。隨著λ的增大（0<λ<210），該方法的客觀評價指標PSNR和SSIM將增大。這說明稀疏約束在面片表示中起著積極的作用。但λ的值不能設(shè)置得太高（λ>210）。當λ在210左右時，提出的算法可以獲得穩(wěn)定和最佳的性能。因此，在接下來的實驗中設(shè)置λ=210。

2.2.2 不同圖像塊大小與重疊像素個數(shù)下的結(jié)果

在基于圖像塊的人臉超分辨率方法中，圖像塊大小和重疊像素對最終的結(jié)果起著重要的作用。圖3顯示了在FEI數(shù)據(jù)庫中，不同圖像塊大小和重疊像素的量化性能（PSNR和SSIM）。通過對比分析，可以得出以下結(jié)論：

1）圖像塊的大小影響最終的合成性能。選擇合適大小的圖像塊可以很好地保留面部結(jié)構(gòu)信息和細節(jié)。

2）在圖像塊大小固定的情況下，隨著重疊像素的增加，超分辨率的性能也會提高。然而，重疊像素的增加也需要更多的計算時間。最后，折衷考慮性能與計算時間，圖像塊大小設(shè)置為20、重疊像素為12。

2.2.3 不同迭代次數(shù)的結(jié)果

為了測試迭代次數(shù)對超分辨率結(jié)果的影響，繪制了不同迭代次數(shù)下PSNR和SSIM平均值變化曲線，如圖4所示。結(jié)果表明，隨著迭代次數(shù)的增加，提出的算法具有較好的一致性和穩(wěn)定性，即在大多數(shù)情況下，經(jīng)過5次迭代，算法可以快速收斂到滿意的結(jié)果，這也意味著提出的算法在現(xiàn)實中可以推廣應(yīng)用。

2.3 混合噪聲下算法魯棒性測試

為了測試提出的人臉超分辨率算法的魯棒性、優(yōu)越性，對輸入的LR人臉圖像加入不同水平的混合噪聲， 再 用 LSR[14]、TRNR[20]、RLcBR[25]、ESNNR[26]、MLHS[27]方法以及一種基于深度學(xué)習(xí)的方法SRGAN（super-resolution using a generative adversarial network）[31]進行了定性和定量的比較。由于這些比較方法對異常值不具有魯棒性，實驗首先使用自適應(yīng)中值濾波器（adaptive median filter, AMF）[32]對原始輸入含噪聲低分辨率圖像進行處理，以減少異常值對結(jié)果的影響。不同混合噪聲下各類方法的PSNR和SSIM平均值見補充材料表S1。

實驗表明，本文提出的算法在大多數(shù)情況下都優(yōu)于其他5種方法。為了便于視覺比較，補充材料圖S1展示了部分結(jié)果。顯然，由本文所提出方法恢復(fù)的圖像有較少的噪聲和偽影，并且更好地保留細節(jié)和紋理。由于缺少關(guān)于臉部圖像的一些先驗信息，LSR方法生成的圖像有嚴重的可見偽影（參見圖S2第2列）。TRNR方法的輸出仍有一些噪聲（參見圖S2第3列）。RLcBR方法的性能取決于AMF檢測脈沖噪聲的精度，然而，在混合噪聲情況下，很難準確地識別噪聲的性質(zhì)。因此，當高斯噪聲在混合噪聲中的貢獻很小時，RLcBR方法給出了很好的結(jié)果，而隨著高斯噪聲水平的增大，RLcBR方法的性能明顯下降。ESNNR方法通過誤差收縮技術(shù)將識別出的高動態(tài)內(nèi)容（如離群值或噪聲）減小并引導(dǎo)重建，但對于尖銳的邊緣也會進行抑制。MLHS方法隨著混合噪聲水平的增大顯示出不魯棒的性能。RLENR方法在第一階段用PCA方法抑制脈沖噪聲，但與此同時也忽視了人臉的細節(jié)信息，所以在脈沖噪聲增強的情況下性能下降比較明顯。目前，基于深度學(xué)習(xí)的方法在圖像恢復(fù)等許多領(lǐng)域都取得了令人矚目的效果。遺憾的是，SRGAN方法在噪聲場景下并沒有達到令人滿意的超分辨率性能，它的輸出受到異常值的嚴重影響。盡管在只有脈沖噪聲（σ=0）的情況下，本文算法在客觀性度量指標上表現(xiàn)一般，但在視覺效果上與最好的算法沒有明顯區(qū)別?；旌显肼暻闆r下，與六個有代表性的方法相比，本文提出的方法在視覺效果上表現(xiàn)更佳，在大部分情況下均表現(xiàn)出了優(yōu)秀的結(jié)果。

3 結(jié)論

針對人臉超分辨率過程中混合噪聲（高斯噪聲和椒鹽噪聲）的影響，提出了利用加權(quán)數(shù)據(jù)保真項和表示系數(shù)的稀疏正則化的重建模型。在混合噪聲下，重建殘差的分布不同于傳統(tǒng)的高斯分布，為此引入一個加權(quán)矩陣來自適應(yīng)處理混合噪聲下的像素。另外，通過理論推導(dǎo)出圖像塊表示的先驗性，提出利用L1范數(shù)來刻畫重建系數(shù)的權(quán)重。最終實驗驗證了本文提出的超分辨率方法對人臉圖像中的混合噪聲能有效抑制，且可以恢復(fù)出足夠多的細節(jié)，也直接驗證了加權(quán)與稀疏約束在混合噪聲干擾下實現(xiàn)人臉圖像超分辨率的可行性。

補充材料

與本文相關(guān)的補充數(shù)據(jù)見：http://www.xsjs-cifs.com/CN/abstract/abstract6988.shtml。