杜 漢，龍顯忠*，李 云

（1.南京郵電大學(xué)計(jì)算機(jī)學(xué)院、軟件學(xué)院、網(wǎng)絡(luò)空間安全學(xué)院，南京 210023；2.江蘇省大數(shù)據(jù)安全與智能處理重點(diǎn)實(shí)驗(yàn)室（南京郵電大學(xué)），南京 210023）

（?通信作者電子郵箱lxz@njupt.edu.cn）

0 引言

非負(fù)矩陣分解（Non-negative Matrix Factorization，NMF）是將非負(fù)約束整合到一般的矩陣分解中［1-2］，其目標(biāo)是找到兩個(gè)非負(fù)矩陣，使其乘積能夠最大可能地近似原矩陣。具體而言，NMF 是使用基向量的線性組合來表示原始數(shù)據(jù)，并且線性組合和基向量中的元素值都是非負(fù)的。這與大腦對(duì)于事物認(rèn)知的方式是一致的，都是對(duì)于事物整體的認(rèn)知是基于對(duì)事物整體的部分的認(rèn)知［3-5］。已有研究表明，當(dāng)基向量的數(shù)量較大時(shí)，NMF是一個(gè)NP-hard問題［6-8］，并且相應(yīng)的文獻(xiàn)已經(jīng)證實(shí)了在何種條件下NMF 是可解的［9］。NMF 應(yīng)用在諸多方面，如文檔聚類［10］、人臉識(shí)別［11］、DNA 基因表達(dá)［12］、疾病關(guān)聯(lián)預(yù)測(cè)［13］等。其中最具代表性的研究工作是用于人臉識(shí)別的局部非負(fù)矩陣分解（Local Non-negative Matrix Factorization，LNMF）［11］和用于圖像聚類的圖正則非負(fù)矩陣分解（Graph Regularized Non-negative Matrix Factorization，GNMF）［14］。研究人員將基于NMF 的方法分為四大類［15］，并從理論上對(duì)其進(jìn)行分析，分別是：非負(fù)矩陣分解（Basic NMF），僅添加了非負(fù)的約束；受限的非負(fù)矩陣分解（Constrained NMF），即增加了一些額外的約束，如添加正則化項(xiàng)等；結(jié)構(gòu)化的非負(fù)矩陣分解（Structured NMF），修改了標(biāo)準(zhǔn)的因式分解公式；廣義非負(fù)矩陣分解（Generalized NMF），在廣義上突破了傳統(tǒng)的數(shù)據(jù)類型或因式分解的模式。此外，在傳統(tǒng)NMF 的基礎(chǔ)上，通過結(jié)合深度學(xué)習(xí)提出了一些新穎的人臉識(shí)別方法，其中性能較為先進(jìn)的是采用三層金字塔模型獲取圖像多尺度信息和采用生成對(duì)抗網(wǎng)絡(luò)訓(xùn)練人臉與草圖之間的映射關(guān)系［16］。對(duì)于人臉識(shí)別，在損失函數(shù)中嵌入自適應(yīng)圖學(xué)習(xí)的思想，實(shí)現(xiàn)了一種新的人臉識(shí)別訓(xùn)練策略，并且該方法調(diào)整了不同訓(xùn)練階段中容易識(shí)別樣本和難識(shí)別樣本的相對(duì)數(shù)量比例［17］。

近年來，諸多研究發(fā)現(xiàn)高維數(shù)據(jù)通常位于非線性的低維流形空間中。因此，提出了各種各樣的流形學(xué)習(xí)算法用以發(fā)現(xiàn)高維數(shù)據(jù)在低維空間中的非線性表示［18］。針對(duì)流形學(xué)習(xí)的優(yōu)點(diǎn)，提出了幾種基于流形學(xué)習(xí)的NMF 的方法，如圖正則非負(fù)矩陣分解（GNMF）［14］、保持鄰域正交投影非負(fù)矩陣分解［19］、魯棒性的基于圖重構(gòu)非負(fù)矩陣分解［20］以及稀疏對(duì)偶圖正則化深度非負(fù)矩陣分解［21］。然而，在這些方法中，構(gòu)造圖的過程和NMF 的迭代過程是相互獨(dú)立的。即這些算法一旦被用來構(gòu)造圖，在隨后的矩陣分解過程中，它的圖結(jié)構(gòu)不會(huì)再發(fā)生變化。為了解決這一問題，已有文獻(xiàn)提出了下面幾種算法：自適應(yīng)圖正則的低秩矩陣分解［22］、魯棒自動(dòng)圖正則判別的非負(fù)矩陣分解［23］、基于自適應(yīng)稀疏圖正則化的非負(fù)矩陣分解［24］、自適應(yīng)離散超圖匹配［25］、自適應(yīng)近鄰的NMF［26］和局部受限的自適應(yīng)圖NMF［27］。在這些算法的迭代過程中，可以同時(shí)學(xué)習(xí)系數(shù)矩陣、基矩陣以及圖的權(quán)重矩陣。

樣本的標(biāo)簽信息對(duì)于分類任務(wù)十分重要，于是有研究提出了幾種半監(jiān)督NMF 算法，例如約束NMF［28］、基于半監(jiān)督的NMF［29］和基于共性提取和半監(jiān)督的NMF［30］。

本文的主要工作如下：

1）利用子空間學(xué)習(xí)中的自表示模型獲得自表示系數(shù)，并生成權(quán)重矩陣，從而得到拉普拉斯矩陣。本文將流形學(xué)習(xí)中拉普拉斯矩陣、子空間學(xué)習(xí)中的自表示以及用于判別的標(biāo)簽信息結(jié)合到NMF 框架中，提出了圖學(xué)習(xí)正則判別非負(fù)矩陣分解（Graph Learning Regularized Discriminative Non-negative Matrix Factorization，GLDNMF）算法，在它的迭代求解過程中，由于對(duì)自表示系數(shù)進(jìn)行更新，所以該算法中的拉普拉斯矩陣在每一次迭代過程中都會(huì)被更新。

2）利用訓(xùn)練集的標(biāo)簽信息構(gòu)造類別指示矩陣，并分別用降維后的訓(xùn)練樣本和權(quán)重系數(shù)矩陣分別重構(gòu)類別指示矩陣，從而得到兩個(gè)不同的正則項(xiàng)，使得學(xué)習(xí)到的投影矩陣保持了數(shù)據(jù)的判別信息。

1 相關(guān)工作

從模式識(shí)別的角度看，NMF 可以看作是無監(jiān)督學(xué)習(xí)。通過添加樣本的標(biāo)簽信息，NMF 可進(jìn)一步擴(kuò)充為監(jiān)督學(xué)習(xí)，即判別NMF。它現(xiàn)在正被成功地應(yīng)用于圖像分類任務(wù)中，如人臉識(shí)別和面部表情識(shí)別。

目前，大量的分類文章大多以廣義KL 散度（Kullback-Leibler Divergence）為基礎(chǔ)，通過引入不同的判別約束來構(gòu)造目標(biāo)函數(shù)。在此基礎(chǔ)上，又出現(xiàn)了大量的判別NMF 應(yīng)用于人臉識(shí)別，分別是加上局部約束的非負(fù)矩陣分解（LNMF）［11］，加上拉普拉斯矩陣的非負(fù)矩陣分解（GNMF）［14］，以及加上流形學(xué)習(xí)和判別信息的圖正則判別非負(fù)矩陣分解（Graph Regularized Discriminative Non-negative Matrix Factorization，GDNMF）［31］。

本章將介紹NMF 算法以及它的幾種典型變體，同時(shí)回顧了兩種經(jīng)典的降維算法：主成分分析（Principal Component Analysis，PCA）［32］和局部保持投影（Locality Preserving Projections，LPP）［33］算法。設(shè)矩陣X=[x1，x2，…，xn]∈Rm×n，每一列代表一幅m維的圖像。一般來說，當(dāng)數(shù)值m較大時(shí)，會(huì)導(dǎo)致維數(shù)災(zāi)難，從而導(dǎo)致識(shí)別精度低并且識(shí)別速度慢，因此，有必要在人臉識(shí)別之前進(jìn)行降維，下面將介紹六種常用的維數(shù)約減算法。

1.1 非負(fù)矩陣分解

NMF 即對(duì)于任意給定的一個(gè)非負(fù)矩陣X∈Rm×n能夠分解成兩個(gè)非負(fù)矩陣W∈Rm×r和H∈Rr×n(r?min(m，n))相乘的形式，如下所示：

為解決NMF 的優(yōu)化問題［2，7］，提出了如乘性更新算法、交替最小二乘算法和梯度下降算法等。

利用歐氏距離度量NMF重構(gòu)誤差的優(yōu)化問題如下：

其中：||?||F表示Frobenius范數(shù)；X∈Rm×n是數(shù)據(jù)矩陣；W∈Rm×r為基矩陣；H∈Rr×n為系數(shù)矩陣。矩陣X、W和H中的元素都是非負(fù)的。對(duì)應(yīng)的乘性更新規(guī)則如（3）所示：

1.2 圖正則非負(fù)矩陣分解

基于流形學(xué)習(xí)理論，研究人員提出了GNMF 模型［14］。在該模型中，高維空間中相鄰的數(shù)據(jù)點(diǎn)在低維流形空間中仍然保持相鄰。

利用歐氏距離度量GNMF重構(gòu)誤差的優(yōu)化問題如下：

其中：Tr（）為矩陣的跡；L為拉普拉斯矩陣；正則化參數(shù)λ≥0控制重構(gòu)誤差與正則項(xiàng)之間的平衡性。

1.3 圖正則判別非負(fù)矩陣分解

在GNMF 的目標(biāo)函數(shù)中加入標(biāo)簽信息來構(gòu)造圖正則判別非負(fù)矩陣分解（GDNMF）［31］，此模型能夠使分類的精確度比GNMF更高。

利用歐氏距離度量GDNMF重構(gòu)誤差的優(yōu)化問題如下：

其中：參數(shù)λ和β的值都是非負(fù)的；Y是一個(gè)類別指示矩陣；A是一個(gè)隨機(jī)初始化的非負(fù)矩陣。

1.4 局部非負(fù)矩陣分解

在NMF 的基礎(chǔ)之上，通過添加局部約束提出了局部非負(fù)矩陣分解（LNMF）［11］，能夠更進(jìn)一步地提取圖像的局部特征。LNMF 對(duì)基矩陣添加了空間局部性的約束，所以在學(xué)習(xí)基矩陣的過程中，表現(xiàn)出了比NMF 更加優(yōu)異的性能，并且隨著原始圖像維數(shù)的增加，LNMF所學(xué)習(xí)到的特征更加局域化。

利用KL散度度量LNMF重構(gòu)誤差的優(yōu)化問題如下：

其中：參數(shù)α和β大于0；D(X‖WH)表示KL 散度；U=WTW；V=HHT。

1.5 主成分分析

主成分分析（PCA）是一種最廣泛的數(shù)據(jù)降維算法。它的主要思想是將m維特征映射到d維上，這d維是全新的正交特征，也被稱為主成分，即在原有m維特征的基礎(chǔ)上重新選擇出來的d維特征。假設(shè)數(shù)據(jù)樣本已經(jīng)中心化，即；再假設(shè)投影變換后得到的新坐標(biāo)系為{b1，b2，…，bm}，其中bi是標(biāo)準(zhǔn)正交基向量。若丟棄新坐標(biāo)系中的部分坐標(biāo)，即將維度降低到d（d＜m）維，則樣本點(diǎn)xi在低維坐標(biāo)系中的投影是zi=(zi1；zi2；…；zid)，其中是xi在低維坐標(biāo)系下第j維的坐標(biāo)。

考慮整個(gè)數(shù)據(jù)矩陣X，原樣本點(diǎn)xi和基于投影重構(gòu)的樣本點(diǎn)之間的距離用歐氏距離可表示為：

其中：矩陣B為矩陣X投影變化后得到的新坐標(biāo)系；矩陣I為單位矩陣。

1.6 局部保持投影

局部保持投影（LPP）是非線性降維方法的線性化，進(jìn)一步可理解為相互間有某種非線性關(guān)系的樣本點(diǎn)在降維之后仍然保持這種非線性關(guān)系，如原始空間內(nèi)距離較近的樣本點(diǎn)，映射后對(duì)應(yīng)樣本的距離仍然較近。

根據(jù)原始數(shù)據(jù)構(gòu)造一個(gè)鄰接圖，對(duì)應(yīng)的權(quán)重矩陣為E（鄰接圖中點(diǎn)相鄰為1，否則為0），令映射后的數(shù)據(jù)矩陣為T=(t1，t2，…，tn)。原始樣本與映射后的數(shù)據(jù)樣本之間的重構(gòu)誤差為：

2 圖學(xué)習(xí)正則判別非負(fù)矩陣分解

2.1 GLDNMF模型

受子空間聚類中自表示學(xué)習(xí)的啟發(fā)，利用得到的自表示系數(shù)構(gòu)造親和矩陣（權(quán)重矩陣）［34］。根據(jù)親和矩陣進(jìn)一步構(gòu)造拉普拉斯矩陣，并使其在迭代過程中不斷更新。為了更進(jìn)一步利用標(biāo)簽信息，構(gòu)造一個(gè)類別指示矩陣Y∈Rr×n，其定義如下：

其中：sj∈{1，2，…，r}表示第j個(gè)樣本xj的標(biāo)簽；r和n分別是訓(xùn)練集X中的樣本類別數(shù)和樣本總數(shù)。Y中每個(gè)行向量的代數(shù)和表示從每類中隨機(jī)選取的用來構(gòu)造訓(xùn)練集的圖像個(gè)數(shù)。

圖學(xué)習(xí)正則判別非負(fù)矩陣分解的模型如下：

其中：參數(shù)λ、γ和β是三個(gè)非負(fù)常數(shù)；C∈Rn×n為自表示的系數(shù)矩陣，diag(C)=0 表示矩陣C的主對(duì)角線上的元素全為0；P=(C+CT)/2 是一個(gè)親和矩陣，根據(jù)P可得到對(duì)角矩陣Q∈Rn×n，Q的主對(duì)角線上的元素Qii是P的第i行（或第i列，因?yàn)镻是對(duì)稱的）之和，即；拉普拉斯矩陣L=Q-P，L∈Rn×n；A∈Rr×r是一個(gè)隨機(jī)初始化的非負(fù)矩陣。

式（11）中的第一項(xiàng)為NMF 的基本公式，第二項(xiàng)是子空間學(xué)習(xí)中的自表示約束，它可以學(xué)習(xí)到一個(gè)新的自表示系數(shù)矩陣C，然后通過C構(gòu)造L所需的P和Q。通過引入自表示約束正則項(xiàng)，使式（11）中的L不斷地被更新，在每次迭代過程中均能構(gòu)造出最優(yōu)的圖結(jié)構(gòu)，提升模型保相似性的能力。第4 項(xiàng)和第5 項(xiàng)是利用訓(xùn)練集的標(biāo)簽信息構(gòu)造類別指示矩陣，并分別用降維后的訓(xùn)練樣本和權(quán)重系數(shù)矩陣重構(gòu)類別指示矩陣，增強(qiáng)模型的判別能力。

從本質(zhì)上講，GLDNMF 是將子空間學(xué)習(xí)、圖學(xué)習(xí)、流形學(xué)習(xí)和標(biāo)簽信息一起整合到NMF 的框架中。通過求解式（11）得到的基矩陣W不僅具有保相似性結(jié)構(gòu)的能力，同時(shí)蘊(yùn)含了很好的判別能力。

2.2 GLDNMF的更新規(guī)則

雖然式（11）對(duì)于（W，H，C，A）不是凸函數(shù)，但當(dāng)固定式（11）的其他變量時(shí)，對(duì)于（W，H，C，A）中的一個(gè)變量是凸函數(shù)。式（11）的目標(biāo)函數(shù)可以進(jìn)一步地寫成如下形式：

應(yīng)用矩陣跡的性質(zhì)Tr(AB)=Tr(BA)和Tr(A)=Tr(AT)。令φ、ψ、Ω和θ分別為W、H、C、和A的拉格朗日乘子，則J對(duì)應(yīng)的拉格朗日函數(shù)的形式為：

分別對(duì)Lf中的W、H、C和A求偏導(dǎo)數(shù)：

由KKT 條件φijWij=0、ψjkHjk=0、ΩkkCkk=0 和θjj Ajj=0，可以得到下面的公式：

于是，式（11）中關(guān)于W、H、C和A的乘性更新規(guī)則為：

在式（22）～（25）的更新規(guī)則下，目標(biāo)函數(shù)

是非增的。目標(biāo)函數(shù)中的W、H、C和A分別進(jìn)行迭代，直到迭代次數(shù)超過設(shè)置的最大值或者式（11）的值趨于不變。具體流程如算法1所示：

算法1 圖學(xué)習(xí)正則判別非負(fù)矩陣分解。

輸入 訓(xùn)練集矩陣X∈Rm×n，類別指示矩陣Y∈Rr×n，參數(shù)λ、γ、β和r（r為訓(xùn)練集中樣本的類別總數(shù)）；

輸出 基矩陣W。

過程

①初始化：隨機(jī)初始化4 個(gè)矩陣W∈Rm×r，H∈Rr×n，C∈Rn×n，diag(C)=0，A∈Rr×r；計(jì)算P和Q；

②通過式（22）～（25）依次更新W、H、C、A；

③更新diag（C）=0；

④計(jì)算P=(C+CT)/2，；

⑤迭代步驟②～④直到目標(biāo)函數(shù)的值趨于不變或者迭代次數(shù)到達(dá)所設(shè)定的最大值。

2.3 RCGLDNMF模型

RCGLDNMF 模型去掉了GLDNMF 中的自表示學(xué)習(xí)正則項(xiàng)，其中RC是Remove C 的英文簡(jiǎn)寫，即不與GLDNMF 中學(xué)習(xí)到的自表示系數(shù)矩陣C結(jié)合，其模型為：

參數(shù)設(shè)置和矩陣語義均與GLDNMF 保持一致，但采用GNMF 中的相同方式構(gòu)造拉普拉斯矩陣L所需的矩陣P和Q，并使用式（22）、（23）和（25）迭代更新W、H和A，在更新過程中不再修改矩陣L。

2.4 算法1的收斂性證明

為了證明本文所提出的算法1，需要證明O1在式（22）～（25）的更新步驟下不增加。對(duì)于目標(biāo)函數(shù)O1，如果僅更新W，需要固定H、C和A，所以O(shè)1的第一項(xiàng)和第四項(xiàng)存在；同樣，如果更新C，需要固定W、H和A，則O1的第二項(xiàng)存在。因此，本文對(duì)圖學(xué)習(xí)正則判別非負(fù)矩陣分解中的W、C和A的更新公式與NMF中的公式相同。于是，本文利用NMF的收斂性證明來證明O1在式（22）、（24）和（25）的更新步驟下是不增加的。而NMF 的收斂性已被證實(shí)［2］，因此，本文只需要證明O1在式（23）的更新步驟下是不增加的。本文遵循其中描述的過程，利用輔助函數(shù)可以證明O1的收斂性。

定義當(dāng)G(h，h′)滿足以下條件為F(h)的輔助函數(shù)：

此輔助函數(shù)對(duì)于以下的引理非常重要。

引理1如果G是F的輔助函數(shù)，那么F在更新的過程中是非遞增的。

現(xiàn)在證明在式（23）中對(duì)H的更新等同于對(duì)在上述輔助函數(shù)的條件下對(duì)式（28）的更新。

考慮任意元素hab∈H，用Fab表示在O1中只與Hab有關(guān)的元素。通過對(duì)其求偏導(dǎo)易得出下列式子：

由于更新的本質(zhì)是基于元素的，所以這足以說明在式（23）的更新步驟下每個(gè)Fab都是非遞增的。于是，引入以下引理。

引理2函數(shù)

是Fab的輔助函數(shù)。

證明 由于G(h，h)=Fab(h)是顯而易見的，所以僅證明。因此，首先考慮用Fab(h) 的泰勒展開公式：

并且存在以下事實(shí)：

和

由于式（32）為輔助函數(shù)，所以在此更新規(guī)則下Fab是非遞增的。

3 實(shí)驗(yàn)與結(jié)果分析

本文在兩個(gè)人臉數(shù)據(jù)集UMIST［35］和Yale［36］（部分示例如圖1 所示）上測(cè)試了所提算法的識(shí)別性能，并與已有的典型算法進(jìn)行對(duì)比，包括：PCA、LPP、NMF、LNMF、GNMF、GDNMF 和RCGLDNMF，而且實(shí)驗(yàn)中不同算法的相同參數(shù)都取一樣的值。

圖1 UMIST和Yale數(shù)據(jù)集中的人臉圖像示例Fig.1 Face image examples of UMIST and Yale datasets

3.1 實(shí)驗(yàn)數(shù)據(jù)集

兩個(gè)數(shù)據(jù)集的統(tǒng)計(jì)描述如表1所示。

表1 兩種數(shù)據(jù)集的統(tǒng)計(jì)Tab.1 Statistics of two datasets

UMIST 人臉數(shù)據(jù)集包含20 個(gè)人的575 張PGM 格式的圖像，每一類的樣本數(shù)從19～48 張不等。將每幅圖像下采樣為40×40 像素陣列，然后使陣列中的每一列首尾相接拼成一個(gè)列向量。Yale 人臉數(shù)據(jù)集包含15 個(gè)人的165 張GIF 格式的圖像，每一類的樣本數(shù)為11 張圖像。將每幅圖像下采樣為40×40 像素陣列，然后使陣列中的每一列首尾相接拼成一個(gè)列向量。

3.2 實(shí)驗(yàn)過程

實(shí)驗(yàn)中使用的所有人臉圖像都是手動(dòng)對(duì)齊和裁剪的。每張人臉圖像都被表示為一個(gè)列向量，而后將其特征（像素值）縮放到［0，1］（即每個(gè)像素點(diǎn)的值除以255）。從每個(gè)類中隨機(jī)選取一些圖像構(gòu)造訓(xùn)練集，例如表2中的5train 表示每類中隨機(jī)選取5 個(gè)樣本構(gòu)造訓(xùn)練集，剩余的圖像構(gòu)造測(cè)試集，其他情況以此類推。如表1 所示，在UMIST 和Yale 數(shù)據(jù)集中，UMIST 中每類的樣本數(shù)目為19～48，而Yale 中每類的樣本數(shù)目為11，所以在UMIST 數(shù)據(jù)集中可以選擇11train，而在Yale數(shù)據(jù)集中最多只能選擇9train。將訓(xùn)練集輸入到不同的模型中學(xué)習(xí)低維空間的基矩陣，并將學(xué)習(xí)到的基矩陣作為投影矩陣分別對(duì)訓(xùn)練集和測(cè)試集進(jìn)行降維。測(cè)試集用于測(cè)試在得到的低維空間中人臉識(shí)別的準(zhǔn)確性。在本文實(shí)驗(yàn)中，使用1-近鄰分類器。在計(jì)算基矩陣W的過程中，NMF及基于NMF的各種改進(jìn)算法都要進(jìn)行1 000 次的重復(fù)迭代。這些實(shí)驗(yàn)獨(dú)立進(jìn)行10次，然后計(jì)算出平均精度，以保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性。

3.3 實(shí)驗(yàn)參數(shù)選擇

本文提出的GLDNMF 存在三個(gè)正則化參數(shù)，即λ、γ和β。在實(shí)驗(yàn)中，固定從每類中選取的樣本數(shù)量，以此來分析參數(shù)對(duì)識(shí)別精度的影響，實(shí)驗(yàn)中隨機(jī)從每類中選取5 張圖像構(gòu)造訓(xùn)練集，每類中剩余的圖像構(gòu)造測(cè)試集。本文算法在不同數(shù)據(jù)集上的平均識(shí)別精度會(huì)隨著參數(shù)值的變化而變化。

圖2 是固定γ和β時(shí)，準(zhǔn)確率與λ的關(guān)系曲線，可以看出，隨著λ的增大，識(shí)別精度并未表現(xiàn)出明確的規(guī)律性，波動(dòng)幅度較大，但在λ＜100 時(shí)，隨著λ的增大，識(shí)別精度雖有劇烈波動(dòng)，但大體趨勢(shì)是逐漸升高，并在λ=100 時(shí)達(dá)到頂峰，而后λ繼續(xù)增大時(shí)，識(shí)別精度的大體趨勢(shì)是逐漸減小。圖3是固定λ時(shí)，準(zhǔn)確率與γ和β的關(guān)系曲線，可以看出，隨著γ的增大，識(shí)別精度在逐漸提高，但是，隨著β的增大，識(shí)別精度時(shí)好時(shí)壞，綜合UMIST 和Yale 數(shù)據(jù)集中的表現(xiàn)，選擇γ較大，β較小。綜合考慮三個(gè)參數(shù)的取值在兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，折中選擇的實(shí)驗(yàn)參數(shù)取值為：λ=100，γ=0.6，β=0.2。

圖2 γ和β不變時(shí)準(zhǔn)確率與λ的關(guān)系Fig.2 Relationship between accuracy and λ with fixed γ and β

圖3 λ不變時(shí)準(zhǔn)確率與γ和β的關(guān)系Fig.3 Relationship among accuracy and γ，β with fixed λ

表2 與表3 中的RCGLDNMF 是在設(shè)置相同參數(shù)值時(shí)，去掉自表示的正則化項(xiàng)后進(jìn)行的模型測(cè)試結(jié)果，即在該模型的學(xué)習(xí)過程中，不再更新拉普拉斯矩陣。表2和表3中的粗體表示在相同參數(shù)的情況中，不同算法用于人臉識(shí)別的最佳平均準(zhǔn)確率。

表2 不同算法在UMIST數(shù)據(jù)集上的平均準(zhǔn)確率Tab.2 Average accuracies of different algorithms on UMIST dataset

表3 不同算法在Yale數(shù)據(jù)集上的平均準(zhǔn)確率Tab.3 Average accuracies of different algorithms on Yale dataset

從表2、3 的實(shí)驗(yàn)數(shù)據(jù)可以看出，GLDNMF 比RCGLDNMF在識(shí)別精度上最多達(dá)到5 個(gè)百分點(diǎn)的提升，這說明在模型學(xué)習(xí)過程中更新拉普拉斯矩陣對(duì)識(shí)別精度是有益的。而且在此實(shí)驗(yàn)中，數(shù)據(jù)集要降到的維數(shù)r為訓(xùn)練集中樣本的類別總數(shù)：對(duì)于UMIST數(shù)據(jù)集，r=20；對(duì)于Yale數(shù)據(jù)集，r=15。

圖4 驗(yàn)證了本文算法的收斂性，隨著迭代次數(shù)的增加重構(gòu)誤差趨于平緩并且不變。

圖4 迭代次數(shù)與重構(gòu)誤差之間的關(guān)系Fig.4 Relationship between iteration number and reconstruction error

4 結(jié)語

本文提出了圖學(xué)習(xí)正則判別非負(fù)矩陣分解算法GLDNMF，同時(shí)引入了子空間聚類中的自表示學(xué)習(xí)、流形學(xué)習(xí)和標(biāo)簽信息。在非負(fù)矩陣分解的迭代過程中不斷更新圖的拉普拉斯矩陣，可以更好地保持高維數(shù)據(jù)在低維空間中的結(jié)構(gòu)信息，利用訓(xùn)練集的標(biāo)簽信息可以提高投影矩陣的判別能力。實(shí)驗(yàn)結(jié)果表明，與PCA、LPP、非負(fù)矩陣分解及其幾種有代表性的變體相比，GLDNMF 具有更強(qiáng)的判別能力和更高的識(shí)別精度。