吳小藝，吳小俊

（江南大學 物聯(lián)網(wǎng)工程學院，江蘇 無錫 214122）

作為計算機視覺和模式識別中最具挑戰(zhàn)性的研究課題之一，人臉識別(FR)[1-8]在近幾年一直是研究的熱點課題。在實際生活中，人臉識別也被廣泛應(yīng)用，比如視頻監(jiān)控、安全相關(guān)訪問和人機交互技術(shù)等。隨著研究的深入，目前無污損情況下的人臉識別已經(jīng)達到理想的效果。但在面部有遮擋和偽裝的情況下進行人臉識別和分類仍然是一個具有挑戰(zhàn)性的難題。

1 低秩稀疏表示理論

近年來，基于稀疏表示的方法在人臉識別領(lǐng)域內(nèi)被廣泛使用。Wright等[5]提出基于稀疏表示rank representation),將對表示系數(shù)的塊對角約束和權(quán)重約束相結(jié)合，得到了更加理想的表示系數(shù)。而上述這些基于低秩矩陣恢復的方法的主要思想都是構(gòu)造一個干凈的具有判別性的字典，消除訓練樣本中的遮擋帶來的影響，但是并沒有考慮到測試樣本中存在遮擋的情況。如果測試樣本中也存在遮擋且沒有通過算法被有效地移除，也將導致測試樣本無法正確分類，會對實驗結(jié)果產(chǎn)生很大的影響。

針對樣本中存在污染的問題，本文提出一種結(jié)構(gòu)化加權(quán)稀疏低秩恢復算法。該算法在原始低秩表示的基礎(chǔ)上對低秩系數(shù)進行了加權(quán)和結(jié)構(gòu)化稀疏約束，可以得到一個結(jié)構(gòu)化的判別低秩系數(shù)，而且同類樣本的表示系數(shù)會有更強的相關(guān)性。跟上述方法不同的是，受到Chen等[19]提出的DLRR(discriminative low-rank representation)的啟發(fā)，本文在得到訓練樣本的恢復樣本后，根據(jù)原始訓練樣本和恢復后的干凈訓練樣本學習到一個低秩投影矩陣，并對存在遮擋的測試樣本進行投影，有效地消除了測試樣本中存在的遮擋，解決了測試樣本中存在遮擋從而影響最終分類結(jié)果的問題。最后使用SRC方法對恢復后的測試樣本進行分類識別。在幾個標準數(shù)據(jù)上的實驗結(jié)果驗證了所提出方法的有效性和魯棒性。

2 相關(guān)工作

2.1 稀疏表示分類

稀疏表示分類方法的主要思想是將測試樣本表示為訓練樣本的稀疏線性組合，并計算測試樣本和每個類別的重構(gòu)誤差，最后將測試樣本分在最小重構(gòu)誤差對應(yīng)的類別中。假設(shè)分類(SRC)。稀疏表示分類的主要思想是將一個測試樣本看成一個過完備字典中少量原子的線性表示，并計算出測試樣本關(guān)于字典矩陣的編碼系數(shù)，最后利用最小重構(gòu)誤差法分類。近年來，很多基于SRC的算法被相繼提出。Zhang等[9]提出了基于協(xié)同表示的分類(CRC)，將SRC中的l1-norm換為l2-norm，在保證分類結(jié)果理想的同時加快了分類速度。針對小樣本問題，Deng等[10]提出ESRC，使用輔助的類內(nèi)變化字典表示訓練樣本和測試樣本之間可能存在的變化。RRC[8](regularized robust coding)算法和JRPL[11](joint representation and pattern learning)算法進一步增強了SRC算法在存在污染情況下的魯棒性。雖然SRC及其改進算法達到了較高的識別率，但是當測試樣本和訓練樣本中都存在遮擋或像素污損的時候，算法的分類效果依然會受到影響。而直接忽略被遮擋的訓練樣本，隱藏在原始訓練樣本中的判別信息就不能被充分地利用，從而導致性能變差。因此，SRC在實際的應(yīng)用中受到了限制。

最近的研究表明，視覺數(shù)據(jù)具有低秩結(jié)構(gòu)，低秩矩陣恢復技術(shù)成為研究的熱點題。Candès等[12]提出的魯棒主成分分析(robust principal component analysis, RPCA)可以從被污染的數(shù)據(jù)中恢復出原始數(shù)據(jù)的低秩矩陣，隨后Liu等[13]提出了低秩表示(low-rank representation,LRR)方法?；赗PCA和LRR，研究者提出了很多方法來處理訓練樣本中存在的遮擋和污損。Chen等[7]使用RPCA把原始的訓練數(shù)據(jù)分解為低秩矩陣和誤差矩陣，同時讓不同類的低秩部分結(jié)構(gòu)不相關(guān)，在一定程度上增加了鑒別信息。Ma等[14]提出的DLRD_SR(discriminative low-rank dictionary for sparse representation)在字典學習的過程中加入了低秩和稀疏約束，在樣本存在污染時取得了較好的分類效果。Zhang等[15]提出LSLR(learning structured low-rank representations)，通過在訓練過程中加入結(jié)構(gòu)化約束，構(gòu)造出了一個結(jié)構(gòu)化的字典，使得系數(shù)更加趨近于塊對角結(jié)構(gòu)，并通過優(yōu)化后的系數(shù)對測試樣本進行分類，但是LSLR并沒有著重加強每類子字典對同類訓練樣本的表示能力。Nguyen[16]在LRR的基礎(chǔ)上增加了標簽約束項和重構(gòu)誤差約束項，讓類內(nèi)的重構(gòu)誤差減小而類間的重構(gòu)誤差增大，進一步加強了每一類子字典的判別性。Chang[17]在算法中加入權(quán)重約束項，使得在塊對角上的低秩系數(shù)值更大，非塊對角上的值更加趨于0，同時提高了表示系數(shù)和字典的判別性。Zhang等[18]提出BDLRR (block-diagonal low- 表 示 C 類 訓練樣本，樣本總數(shù)為 T ， X 的每列為一個訓練樣本圖像，在本文中也記為X=[X1X2···XC]， 其 中 Xi表 示第 i 類訓練樣本，測試樣本 y ∈ Rm。SRC的目標函數(shù)為

式中： λ >0 為正則化參數(shù)，用來平衡誤差項和稀疏項。在得到系數(shù) α 后，測試樣本 y 可以通過最小殘差法分類，即

式中 αi是 第 i 類訓練樣本對應(yīng)的系數(shù)。

2.2 低秩矩陣恢復

要從有遮擋的訓練樣本中恢復出干凈的訓練樣本，需要借助于低秩矩陣恢復技術(shù)。有遮擋的訓練樣本可以表示為低秩矩陣 D 和對應(yīng)的稀疏誤差 E 之和，即 X =D+E。

因此，Candès等[14]提出使用魯棒PCA方法來對 X 進行恢復，目標函數(shù)為

由于式(3)是非凸的，常用的做法是把 l0范數(shù)換成 l1范數(shù)，把秩 函數(shù)換成核范數(shù) ‖ D ‖?( 矩陣D的奇異值之和)，因此式(3)變?yōu)?/p>

RPCA假設(shè)數(shù)據(jù)來自一個單獨的子空間，但是實際中的數(shù)據(jù)通常來自多個子空間[20]，基于此，Liu等[15]推廣了RPCA的概念并提出了更一般的秩最小化問題，即低秩表示，目標函數(shù)為

式中： A 為字典矩陣；Z 為表示系數(shù)。上述凸優(yōu)化問題可以使用不精確的增廣拉格朗日乘子(ALM)算法在多項式時間內(nèi)有效地解決。在得到算法的最優(yōu)解(Z?, E?) 后， A Z?(或 X - E?)就是原始數(shù)據(jù) X 的低秩恢復數(shù)據(jù)。

3 學習結(jié)構(gòu)化的加權(quán)稀疏低秩表示

通過結(jié)構(gòu)化加權(quán)稀疏低秩表示SWLRR(structured and weighted low-rank represen -tation)將污染的樣本恢復成干凈的樣本，同時學習一個原始訓練樣本到恢復訓練樣本的投影矩陣。SWLRR利用了原始訓練樣本的標簽信息，并對低秩表示系數(shù)進行加權(quán)稀疏約束，使得相似的樣本盡可能有相似的表示，也增強了恢復矩陣的判別能力。

3.1 結(jié)構(gòu)化的加權(quán)稀疏低秩表示(SWLRR)

為了提高SRC的性能，可以利用低秩矩陣恢復技術(shù)來解決上面提到的幾個影響分類效果的問題。把原始的訓練樣本分解為干凈的訓練樣本和對應(yīng)的稀疏誤差。受Zhang等[15]和Zhang等[18]的啟發(fā)，本文在原始式(5)的基礎(chǔ)上增加了兩個對低秩表示系數(shù)的約束項，提出了用SWLRR來恢復污染的樣本，同時增強恢復矩陣的判別性。

式 中： α 、 β 、 λ 是 標 量 參 數(shù)； ⊙ 表 示Hadamard積(逐元素相乘)； ‖ D ⊙Z‖0利用了加權(quán)的方法來提升對類內(nèi)樣本表示的相關(guān)性； D 是一個和矩陣 Z 大小相同的矩陣， D 的 元素 dij表 示第 i 個 基 ai到第j個訓練樣本 xj的距離(有很多度量樣本之間距離的方法，本文用歐氏距離的平方來定義兩個樣本之間的距離，即的目的就是通過對低秩系數(shù)矩陣進行加權(quán)約束，來提高類內(nèi)表示的相關(guān)性，讓相似的樣本有更加相似的表示，加強訓練樣本的自表示能力，也在一定程度上提高了表示系數(shù)的鑒別性。因為 l0范數(shù)最小化問題是 N P 難問題，所以我們把第2項寫成它的替代形式 ‖ D ⊙Z‖1。因此，式(6)可以改寫為為結(jié)構(gòu)化約束項，由于當訓練樣本去除噪聲、遮擋、表情和光照影響后，每一類的樣本有著相似的基結(jié)構(gòu)[14]。根據(jù)2.2節(jié)的討論，給定一組基A，低秩矩陣恢復可以將污損的矩陣X分解成低秩部分AZ和稀疏噪聲部分E，即X=AZ+E。根據(jù)文獻[15]，基A關(guān)于訓練樣本X的低秩表示矩陣 Z 應(yīng)該具有塊對角結(jié)構(gòu)：

3.2 算法優(yōu)化求解

為了將變量分離，引入輔助變量 P 、 J,則式(8)變成：

式(9)可以用ALM求解，它對應(yīng)的增廣拉格朗日函數(shù)為

式中： Y1、 Y2、 Y3為 拉格朗日乘子； μ >0 為懲罰參數(shù)； ＜ Y2,Z-P>=tr(Y2T-(Z-P))，本文利用含有自適應(yīng)懲罰項的線性交替方向法(linearized alternating direction method with adaptive penalty, LADM AP)[21-22]來優(yōu)化式(10)，為描述方便，式(10)可以進一步簡化為

可以交替優(yōu)化變量Z、P、J、E，即優(yōu)化其中一個時，固定另外3個變量。每次迭代時變量的更新情況如下。

式(16)、(17)中的 T 為軟閾值算子，算法1總結(jié)了式(10)的優(yōu)化過程。通過算法1迭代更新得到問題，即式(7)的最優(yōu)解(Z?, E?)那么被恢復的圖像和對應(yīng)的誤差則為 A Z?和 E?。圖1展示了不同類的訓練樣本和對應(yīng)的恢復結(jié)果。

圖 1 SWLRR算法得到的恢復結(jié)果Fig. 1 Recovery results obtained using SWLRR method

算法1 用LADMAP求解問題 (即式(8))

輸入 訓練數(shù)據(jù)樣本 X =[X1X2···XC]∈ Rm×n，參數(shù) λ > 0,β > 0；

輸出 (Z?,E?)。

初始化 Z0= P0=J0=E0=Y1,0=Y2,0=Y3,0=0，μmax=108， ρ0=1.1 , δ=10-6，m a xiter=1 000，k=0。

若不滿足式(7)中的收斂條件，則循環(huán)下列更新步驟：

1)根據(jù)式(13)更新 P ；

2)根據(jù)式(16)更新 Z ；

3)根據(jù)式(17)更新 J ；

4)根據(jù)式(18)更新 E；

5)更新拉格朗日乘子：

Y1,k+1=Y1,k+μk(X-XZk+1-Ek+1)；

Y2,k+1=Y2,k+μk(Zk+1-Pk+1)；

Y3,k+1=Y3,k+μk(Zk+1-Jk+1)；

6)更新參數(shù) μ： μk+1=min(ρμk,μmax)；

7)檢查收斂條件：

8)更新 k ← k+1；

3.3 低秩投影矩陣

在對樣本進行分類時，訓練樣本和測試樣本中存在的遮擋都會對分類結(jié)果產(chǎn)生影響。所以將訓練樣本恢復成干凈樣本后，接下來要考慮的問題就是如何移除測試樣本中可能存在的遮擋。受Bao等[24]啟發(fā)，可以通過學習一個低秩投影矩陣，將受污染的測試樣本投影到相應(yīng)的低秩子空間。

根據(jù)算法1求出低秩表示系數(shù) Z?后 ，Y=X Z?∈Rm×T即為訓練樣本的低秩恢復。通過原始訓練樣本 X 和其低秩恢復 Y，可以學習一個低秩投影矩陣 A?？赏ㄟ^優(yōu)化如下問題得到低秩投影矩陣 A ：

假設(shè) A?為上述優(yōu)化問題的最優(yōu)解，通過Y=AX 可 知上述優(yōu)化問題的最優(yōu)解為 A?=YX+，X+為 X 的 偽逆矩陣。 X+的偽逆矩陣可以通過X+=VΣ-1UT求 解， U ΣVT為 X 的 瘦 形 奇 異 值 分解。樣本 X 的主要成分和誤差部分分別為A?X和 X -A?X 。 因為 A 反應(yīng)的是污染樣本和干凈低秩恢復之間的一種映射關(guān)系，所以當給定一個測試樣本 y ， A?y 即 為測試樣本 y 的低秩恢復。

圖2是AR數(shù)據(jù)庫中部分測試樣本圖像經(jīng)過?低秩投影矩陣恢復后的圖像，可以看到通過將測試樣本投影到低秩投影矩陣，測試圖像中的遮擋區(qū)域得到一定程度的消除，接下來就可以開始進一步地降維和分類操作，SWLRR的整體流程如算法2所示。

4實驗結(jié)果與分析

為了驗證SWLRR的有效性，本文將SWLRR和一些已經(jīng)提出的經(jīng)典算法如DLRR、SRC、LRMR、RRC[8]、SVM[25-27]進行了對比。所有算法均使用SRC算法進行分類。實驗中SWLRR和DLRR算法引入了低秩投影思想。實驗分別在CMU PIE、AR和Extended Yale B人臉數(shù)據(jù)庫上進行。

圖 2 測試樣本經(jīng)過矩陣 A 投影后的恢復結(jié)果Fig. 2 Recovery results using low-rank projection A

我們使用有光照、表情變化以及飾物遮擋的人臉圖像對SWLRR算法進行測試，實驗中所有訓練樣本和測試樣本的污損類型都是相同的，且每一次樣本選擇都是隨機的。實驗涉及4個重要參數(shù)，包括3個SWLRR的權(quán)重參數(shù) α 、 β、λ 和1個SRC參數(shù) s r cλ，參數(shù)值通過多次實驗確定。在 A R[28]、Extended Yale B[29-30]、CMU PIE[31]數(shù)據(jù)庫參數(shù)均設(shè)為= 0 . 05。

實驗在CPU為Intel core i5-6500 @3.20 GHz，內(nèi)存為12.0 GB，操作系統(tǒng)為Windows 7，MATLAB版本為MATLAB R2015a的環(huán)境下進行。

4.1 無遮擋的人臉識別實驗

4.1.1 Extended Yale B數(shù)據(jù)庫

Extended Yale B數(shù)據(jù)庫由38個人的2 414張人臉圖片組成，每個人大約有59～64張不同的光照環(huán)境下的圖片。在實驗中，每張人臉圖片大小為192像素 × 168像素。圖3(a)展示了Extended Yale B數(shù)據(jù)庫中某類的少量樣本。在Extended Yale B 數(shù)據(jù)庫我們進行了2次無遮擋實驗，分別在每一類中隨機選擇16和32個樣本作為訓練樣本，其余作為測試樣本。每個實驗重復10次，取10次結(jié)果的均值為最終結(jié)果。特征維度選擇為25、50、75、100、200和300。訓練樣本個數(shù)為16和32的實驗結(jié)果如表1、2所示。

兩組實驗結(jié)果顯示以上所有算法的識別率都隨著圖像特征維度的增加而增加，這是因為相對較高的維度提供了更多的圖像信息，從而提高了識別性能。而且在維度相同時，SWLRR的識別率遠高于其他算法，尤其是在特征維度較低時，本文提出的方法更加有優(yōu)勢。例如：特征維度為25時，以上的2組實驗中SWLRR的識別率高達92.41%和97.75%，遠遠高于其他算法。實驗結(jié)果可以證實，SWLRR可以較好地解決樣本中存在不同的光照和表情的問題。

圖 3 實驗中用到的樣本圖像Fig. 3 Images used in our experiments

表 1 Extended Yale B數(shù)據(jù)庫在無遮擋條件下不同維度的算法識別率(16訓練樣本)Table 1 The recognition rate of different dimensions in Extended Yale B database without occlusion(16 tr aining samples) %

表 2 Extended Yale B數(shù)據(jù)庫上在無遮擋條件下不同維度的算法識別率(32訓練樣本)Table 2 The recognition rate of different dimensions in Extended Yale B database without occlusion(32 tr aining samples) %

4.1.2 AR數(shù)據(jù)庫實驗

AR數(shù)據(jù)庫包含126個人的4 000多張人臉圖片，每個人有26張，被分為兩部分，每部分由含有表情光照變化的7幅無遮擋圖片、3幅戴墨鏡圖片和3幅戴圍巾圖片組成，每幅圖片大小被裁剪成165像素 × 120像素，圖3(b)展示了AR數(shù)據(jù)庫中某類的少量樣本。實驗中每人前半部分圖片中的7張無遮擋圖片作為訓練樣本，后半部分中的7張無遮擋圖片作為測試樣本，特征維度選擇為 2 5、50、100、200、300，對比結(jié)果如表 3 所示。從實驗結(jié)果來看，SWLRR在AR數(shù)據(jù)庫上無遮擋條件的識別率也均高于其他算法。

表 3 AR數(shù)據(jù)庫在無遮擋條件下不同維度的算法識別率Table 3 The recognition rate of different dimensions in AR database without occlusion %

4.1.3 CMU PIE 數(shù)據(jù)庫實驗

CMU PIE數(shù)據(jù)庫由68個人的41 368張圖片組成，所有圖片在不同姿勢、光照和表情條件下采集。本文選用編號為C07的子數(shù)據(jù)庫用來實驗，其包含68個人的1 629張圖片，每人大約24張，每張圖片大小為64×64，圖3(c)展示了CMU PIE數(shù)據(jù)庫中某類的少量樣本。實驗中每類隨機選擇12張圖片作為訓練樣本，其余圖片作為測試樣本，共進行10次實驗，取10次結(jié)果均值為最終結(jié)果。特征維度選擇為25、50、100、200、300，對比結(jié)果如表4所示。

表 4 CMU PIE數(shù)據(jù)庫上不同算法在無遮擋條件下的識別率Table 4 The recognition rate of different dimensions in CMU PIE database without occlusion %

從表4可以看出，在CMU PIE數(shù)據(jù)庫上SWLRR算法在不同維度下識別率同樣遠高于其他算法。在維度為25時，SWLRR算法識別率為93.39%，高于DLRR算法將近11%。但是，隨著維度的增加，各種算法識別率的差異變得越來越小，主要是因為在低維度情況下，DLRR算法缺乏結(jié)構(gòu)化特征，數(shù)據(jù)的線性特征不足以分離不同子空間的樣本，SWLRR增強了不同類樣本的結(jié)構(gòu)性，進一步提高了樣本的判別能力，從而提高了識別率。

4.2 有噪聲的人臉識別實驗

4.2.1 加入人工噪聲的人臉識別

為了驗證SWLRR算法的魯棒性，首先在Extended Yale B數(shù)據(jù)庫上進行添加隨機高斯噪聲的實驗。實驗中，每張圖片大小為192×168像素。對整個數(shù)據(jù)庫分別隨機選擇10%和20%比例的樣本進行高斯噪聲污染，污染比例為10%，污染后，每類隨機選擇32個樣本進行訓練，剩余樣本進行測試，每次實驗重復5次取均值。在維度為50、100、300時對2種污染比例下不同算法進行比較，結(jié)果如表5所示。

表 5 Extended Yale B 數(shù)據(jù)庫上不同算法在兩種比例噪聲污染下的識別率Table 5 The recognition rate of different methods on the Extended Yale B database with two kinds of pixel corruptions %

表5中，前3行和后3行分別是隨機選擇數(shù)據(jù)庫中10%和20%比例的樣本進行污染后，SWLRR算法在該數(shù)據(jù)庫上的識別庫(不同特征維度下)。

4.2.2 有真實遮擋的人臉識別

本節(jié)進一步研究SWLRR算法在不同類型的面部遮擋情況下的性能，實驗選用了難度較大的AR數(shù)據(jù)庫，因為AR數(shù)據(jù)庫中的圖像會存在多種類型的遮擋。主要通過選取以下2種類型的遮擋來評估算法的魯棒性。

1)太陽鏡：驗證SWLRR在選取的訓練樣本和測試樣本中均含有太陽鏡遮擋時的性能，太陽鏡大概遮擋了人臉的20%。選擇每一類前半部分中的7張中性圖片(表情光照)加上隨機選取的一個有太陽鏡遮擋圖片作為訓練樣本，則后半部分的7張中性圖片和所有剩下的5張?zhí)栫R圖片作為測試樣本(8個訓練樣本，12個測試樣本)。

2)太陽鏡圍巾混合情形：驗證SWLRR在選取的訓練樣本和測試樣本中均含有太陽鏡和圍巾遮擋時的性能。每一類前半部分中的7張中性圖片(表情光照)和隨機選取的一個有太陽鏡遮擋圖片、一個有圍巾遮擋圖片作為訓練樣本，則后半部分的所有圖片和前半部分剩下的的2張含有太陽鏡和2張含有圍巾的圖片作為測試樣本(9個訓練樣本，17個測試樣本)。

實驗中，對類型1)進行3次實驗，每次選擇不同的遮擋圖片作為訓練樣本，最后取3次分類結(jié)果的均值；對類型2)，進行9次實驗，每次選擇不同組合的太陽鏡樣本和墨鏡樣本作為訓練樣本，最后取9次結(jié)果的均值。特征維度選擇為25、50、100、200和300。以下列舉了各種算法在類型1)和2)時的識別率，如表6、表7所示。

表 6 AR數(shù)據(jù)庫上不同算法在太陽鏡遮擋條件下的識別率Table 6 The recognition rate of different methods on the AR database with the occlusion of sunglasses %

表 7 AR數(shù)據(jù)庫上不同算法在混合遮擋條件下的識別率Table 7 The recognition rate of different methods on the AR database with mix occlusion %

從表6、表7可以看出，在樣本存在真實遮擋的情形下，SWLRR算法在不同維度時，性能仍然優(yōu)于其余所有算法，這表明SWLRR算法在樣本存在真實遮擋時有著較好的魯棒性。

5 結(jié)束語

本文提出了用于人臉識別的結(jié)構(gòu)化加權(quán)稀疏低秩恢復算法(SWLRR)，主要解決了訓練樣本和測試樣本同時存在污染導致無法正確分類的問題。SWLRR首先對低秩系數(shù)進行權(quán)重和結(jié)構(gòu)化約束，繼而通過移除訓練樣本和測試樣本中的污染，有效減少了樣本中的污染對實驗結(jié)果造成的負面影響。因此SWLRR算法樣本在有無遮擋的情況下都有著較為突出的性能。在AR、Extended Yale B、CMU PIE數(shù)據(jù)庫上的實驗驗證了SWLRR算法在不同情況下的有效性和對噪聲的魯棒性。下一步將嘗試將本文思想與其他解決樣本中存在污染的算法結(jié)合，進一步提升算法性能。