孫廣玲，董 勇，劉 志

(上海大學(xué) 通信與信息工程學(xué)院，上海 200072)

?

偽特權(quán)信息和SVM+

孫廣玲，董 勇，劉 志

(上海大學(xué) 通信與信息工程學(xué)院，上海 200072)

針對只有部分訓(xùn)練樣本擁有特權(quán)信息的特權(quán)學(xué)習(xí)，提出了偽特權(quán)信息及相應(yīng)的SVM+．一方面，對于無特權(quán)信息的樣本額外構(gòu)造偽特權(quán)信息，使得這部分樣本的松弛變量可在修正空間中預(yù)測，從而有效地提高了模型泛化能力．可用信息和隨機(jī)特征都是有效的偽特權(quán)信息．另一方面，將真正特權(quán)信息用偽特權(quán)信息取代，使得全部訓(xùn)練樣本的松弛變量都在惟一的修正空間中預(yù)測．在實(shí)踐中發(fā)現(xiàn)，至少對于某些真正的特權(quán)信息和二分類問題來說，使用一個修正空間可獲得更優(yōu)的泛化能力．在手寫數(shù)字和人臉表情識別問題上進(jìn)行的實(shí)驗(yàn)結(jié)果顯示，采用偽特權(quán)信息的SVM+具備一定的優(yōu)勢．

特權(quán)學(xué)習(xí);偽特權(quán)信息;SVM+

利用特權(quán)信息的學(xué)習(xí)(Learning Using Privileged Information， LUPI)是近年來機(jī)器學(xué)習(xí)領(lǐng)域發(fā)展較快的一個方向[1-2]．其意圖在于模仿人類“教”與“學(xué)”中的一個重要現(xiàn)象:在學(xué)生的學(xué)習(xí)階段，一個好的教師除了提供實(shí)例，還要提供相關(guān)的其他信息，而這些信息是在非學(xué)習(xí)階段(學(xué)生利用學(xué)習(xí)得來的知識獨(dú)立解決問題而不再依賴于教師)不可獲得的，因此稱為特權(quán)信息．在學(xué)習(xí)階段提供特權(quán)信息的意義是: 相對于只提供實(shí)例，可以使學(xué)生獲得更好的知識，從而提高其未來獨(dú)立解決問題的能力．自然地，人們可以構(gòu)建體現(xiàn)類似思想的機(jī)器學(xué)習(xí)模型，以使學(xué)習(xí)得來的模型擁有更強(qiáng)的泛化能力．相對于特權(quán)信息，稱訓(xùn)練樣本和測試樣本都可獲得的信息為可用信息．

最早的屬于利用特權(quán)信息的學(xué)習(xí)模型是SVM+[2]．自SVM+提出之后，無論是模型、算法還是應(yīng)用方面，在利用特權(quán)信息的學(xué)習(xí)領(lǐng)域研究者們已發(fā)表了很多研究成果．對比屬于有監(jiān)督學(xué)習(xí)的SVM+，文獻(xiàn)[3]中研究了利用特權(quán)信息的無監(jiān)督聚類問題，并將其用于金融領(lǐng)域的預(yù)測模型[4]．文獻(xiàn)[5]中給出了特權(quán)經(jīng)驗(yàn)風(fēng)險最小化相對于常規(guī)經(jīng)驗(yàn)風(fēng)險最小化可獲得更快收斂速度的理論分析．文獻(xiàn)[6]中提出了Information-Theoretic Metric Learning+(ITML+)，試圖用特權(quán)信息修正可用信息空間中每一對訓(xùn)練樣本的損失，并用于RGBD中的人臉認(rèn)證和身份重認(rèn)證．文獻(xiàn)[7]中提出了Gaussian Process Classification+(GPC+)，特權(quán)信息被看做GPC隱函數(shù)中的噪聲，從而可以被用于較好地評價可用信息空間中訓(xùn)練樣本的可利用程度．文獻(xiàn)[8]中分析出SVM+的主要作用等效于在支持向量機(jī)(Support Vector Machine，SVM)的目標(biāo)函數(shù)中，利用特權(quán)信息給出每個訓(xùn)練樣本的權(quán)重．文獻(xiàn)[9]中提出基于Structural SVM+(SSVM+)的目標(biāo)定位方法，擴(kuò)展了之前基于特權(quán)學(xué)習(xí)的模型僅用于分類的應(yīng)用場景．類似地，文獻(xiàn)[10]中研究了利用特權(quán)信息的結(jié)構(gòu)化輸出條件回歸森林算法，用于定位人臉的特征點(diǎn)．文獻(xiàn)[11]中強(qiáng)調(diào)有相對排序關(guān)系的屬性作為特權(quán)信息或是文獻(xiàn)[12]中利用特權(quán)信息學(xué)習(xí)屬性排序?qū)τ谔嵘诸惼餍阅艿淖饔?，而這相對排序關(guān)系是基于一定的學(xué)習(xí)模型得到的，恰好可與SVM+的模型一致地形成一個整體．

上述研究無一不在強(qiáng)調(diào)特權(quán)信息的作用，但更多的研究目的是比較訓(xùn)練樣本有無特權(quán)信息時，分類器性能的差異．然而存在另一方面的問題是，由于獲取方法的特殊性，或者獲取的成本較高，或者其他原因，在很多現(xiàn)實(shí)應(yīng)用中，僅部分的訓(xùn)練樣本才擁有特權(quán)信息．對于此種情況，Vapnik提出了Partial SVM+(PSVM+)，對于有特權(quán)信息樣本的松弛變量，利用修正函數(shù)預(yù)測．對于無特權(quán)信息樣本的松弛變量，仍然利用決策函數(shù)預(yù)測[2]．這是自然和直觀的方法．但是在小樣本的學(xué)習(xí)問題中，決策函數(shù)較高的VC(Vapnik-Chervonenkis)維使得無特權(quán)信息部分的樣本易產(chǎn)生過學(xué)習(xí)．固然可以只利用有特權(quán)信息的樣本，但在小樣本問題中，樣本本身是“最寶貴”的資源，不可丟棄．因此，在保證利用所有樣本的前提下，筆者提出了對于無特權(quán)信息的樣本額外構(gòu)造一種特權(quán)信息，稱為偽特權(quán)信息，使得這部分無特權(quán)信息的樣本也可以在修正空間中利用修正函數(shù)預(yù)測松弛變量，以有效地降低過學(xué)習(xí)的概率．筆者構(gòu)造了兩種偽特權(quán)信息，即訓(xùn)練樣本的可用信息和隨機(jī)特征．另外，也是在利用所有樣本的同時，還可以使得全部的訓(xùn)練樣本都采用偽特權(quán)信息而預(yù)測松弛變量．實(shí)驗(yàn)結(jié)果說明，至少對于某些真正的特權(quán)信息和二分類問題來說，該策略可以獲得更強(qiáng)的泛化能力．

1 采用偽特權(quán)信息的SVM+

由前分析可知，PSVM+分別用修正函數(shù)和決策函數(shù)預(yù)測有無特權(quán)信息這兩個樣本集的松弛變量．然而一個顯然的問題是: 在小樣本的學(xué)習(xí)問題中，用VC(Vapnik-Chervonenkis)維較高的決策函數(shù)直接預(yù)測無特權(quán)信息樣本的松弛變量易導(dǎo)致模型過學(xué)習(xí)．因此，對于無特權(quán)信息的樣本，可設(shè)想構(gòu)造偽特權(quán)信息，用于在修正空間和利用修正函數(shù)預(yù)測無特權(quán)信息樣本的松弛變量．依據(jù)文獻(xiàn)[2]中的分析，偽特權(quán)信息及修正空間的引入可提高無特權(quán)信息樣本學(xué)習(xí)的收斂速度，從而提高了整個模型的泛化能力．實(shí)踐中也證明了該策略的確可使在相同的數(shù)據(jù)集下，模型的泛化能力得到提升(見實(shí)驗(yàn)相關(guān)部分)．該模型在下文中稱為形式Ⅰ．另一方面，在引入偽特權(quán)信息之后，模型中必然要考慮兩個修正函數(shù)的復(fù)雜度問題，從而增加了整個模型的風(fēng)險．筆者試圖從只保留一個修正空間的角度提出另一種模型．這時無非有兩種選擇:一種是只利用那部分有真正特權(quán)信息的樣本；另一種選擇是丟棄真正的特權(quán)信息，代之以偽特權(quán)信息．由于前者樣本數(shù)目直接決定了風(fēng)險的界，而且在小樣本的問題中，樣本是更加“寶貴”的資源，不可丟棄．因此，選擇后者并生成新的模型，稱為形式II．此時所有訓(xùn)練樣本的特權(quán)信息皆為偽特權(quán)信息，且模型中只保留一個修正空間．下面給出這兩種形式模型的定義及求解．

1.1 形式Ⅰ

為部分樣本引入偽特權(quán)信息之后，與真正特權(quán)信息聯(lián)合預(yù)測樣本松弛變量并考慮兩個修正函數(shù)復(fù)雜度的，在原空間中的SVM+的目標(biāo)泛函及約束為

將其轉(zhuǎn)換至對偶空間中求解:

1.2 形式Ⅱ

將偽特權(quán)信息樣本擴(kuò)展至全部樣本，式(1)可變化為如下的形式:

同樣，將其轉(zhuǎn)換至對偶空間中求解:

上式中所有符號含義與形式Ⅰ中的相同．不難發(fā)現(xiàn)，該模型與SVM+的定義一致，只是有關(guān)特權(quán)信息的表示或計算用相應(yīng)的偽特權(quán)信息取代，因此也可視為SVM+的特例．

為了更顯明地表示上面兩種形式，下文中將形式Ⅰ簡記為P3SVM+(Pseudo-Privileged information based Partial SVM+)，將形式Ⅱ簡記為P2SVM+(Pseudo-Privileged information based SVM+)．至于這偽特權(quán)信息如何構(gòu)造，其一是選擇訓(xùn)練樣本的可用信息用作偽特權(quán)信息．在此種情況下，特權(quán)信息可視為與可用信息相同．其二是將服從一定分布的隨機(jī)變量用作偽特權(quán)信息，具體方法參見實(shí)驗(yàn)部分．兩種形式的模型都轉(zhuǎn)換至對偶空間并采用標(biāo)準(zhǔn)的二次規(guī)劃算法求解．

2 實(shí)驗(yàn)和分析

2.1 實(shí)驗(yàn)數(shù)據(jù)庫介紹

(1) 手寫數(shù)字識別和MNIST數(shù)據(jù)庫．MNIST數(shù)據(jù)庫擁有大量手寫數(shù)字圖片，且分辨率為28×28[13]．為了使分類問題更具難度，Vapnik和Vashist將這些圖片大小統(tǒng)一轉(zhuǎn)換成 10×10 的分辨率，并且只關(guān)注數(shù)字5和8之間的分類問題．用http://ml.nec-labs.com/download/data/svm+/mnist.priviledged中提供的轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，可用信息是100維的像素信息，特權(quán)信息是21維的屬性描述特征，例如某個數(shù)字具有對稱性，可以給它定義一個實(shí)數(shù)來表征對稱性的強(qiáng)度等．

2.2 MNIST5-8分類數(shù)據(jù)集

選取訓(xùn)練集、驗(yàn)證集、測試集的樣本個數(shù)分別為70，4 002 和 1 866 個．其中70個訓(xùn)練樣本是從全部100個有屬性特權(quán)信息的樣本中隨機(jī)地抽取20次，學(xué)習(xí)各模型，然后在固定的 1 866 個測試樣本上測試．而各模型參數(shù)的最優(yōu)參數(shù)由獲得最高識別率的驗(yàn)證集確定．表1為各模型參數(shù)的取值情況．

表1 MNIST5-8分類數(shù)據(jù)集實(shí)驗(yàn)各模型參數(shù)設(shè)置

表1中的P3SVM+A和P3SVM+R分別表示將可用信息和隨機(jī)特征用作偽特權(quán)信息的P3SVM+．類似地，P2SVM+A和P2SVM+R分別表示將可用信息和隨機(jī)特征用作偽特權(quán)信息的P2SVM+．

隨機(jī)特征生成和維數(shù)選擇如下所述．

圖1 帶有屬性特權(quán)信息的MNIST5?8分類數(shù)據(jù)集，不同數(shù)量特權(quán)信息樣本和不同模型識別率隨隨機(jī)特征維數(shù)的變化曲線圖2 帶有屬性特權(quán)信息的MNIST5?8分類測試結(jié)果(所有模型的學(xué)習(xí)樣本總數(shù)都為70個)

P3SVM+和P2SVM+涉及到偽特權(quán)信息中的隨機(jī)特征如何生成的問題．筆者選擇的隨機(jī)分布是0-1均勻分布．為了進(jìn)一步地確定維數(shù)，進(jìn)行了以下測試: 當(dāng)有屬性特權(quán)信息訓(xùn)練樣本的個數(shù)分別為20，35，50，且維數(shù)分別為1，25，50，75，100時，測試了P3SVM+R及P2SVM+R的識別率，而其他參數(shù)分別與P3SVM+A及P2SVM+A相同．結(jié)果如圖1所示．依據(jù)這個結(jié)果，選擇隨機(jī)特征的維數(shù)是25．圖2顯示了不同模型的識別性能．其中，SVM+表示學(xué)習(xí)樣本只包含有屬性特權(quán)信息的樣本，SVM表示利用全部70個樣本但只是可用信息學(xué)習(xí)．從實(shí)驗(yàn)結(jié)果中可以看出，在只有20和35個屬性特權(quán)信息樣本的學(xué)習(xí)中，SVM+的表現(xiàn)是最差的；而當(dāng)樣本數(shù)增加到50時，其表現(xiàn)與PSVM+接近．另外一方面，對于PSVM+和P3SVM+A(R)來說，不同數(shù)量的特權(quán)樣本對識別率的影響并不大．這個結(jié)果充分說明，學(xué)習(xí)樣本的總量相對屬性特權(quán)信息樣本的數(shù)量而言，對提升分類器的性能起更重要的作用．在3種不同特權(quán)信息樣本數(shù)的情況下，P3SVM+A(R)的表現(xiàn)優(yōu)于PSVM+的，P2SVM+A(R)的表現(xiàn)也優(yōu)于SVM的．值得關(guān)注的是，P3SVM+A(R)甚至低于SVM，與P2SVM+A(R)高于SVM的結(jié)果聯(lián)合分析，可以認(rèn)為真正特權(quán)信息和偽特權(quán)信息引入的修正空間并存，至少在該例當(dāng)中，的確增加了學(xué)習(xí)模型的風(fēng)險．

2.3 Bosphorus人臉表情識別

從數(shù)據(jù)庫中隨機(jī)抽取65個人作為實(shí)驗(yàn)數(shù)據(jù)，身份無交疊地劃分為訓(xùn)練集、驗(yàn)證集、測試集，其中30個人是訓(xùn)練集，20個人是驗(yàn)證集，15個人是測試集．同樣地，實(shí)驗(yàn)中所有涉及識別率的結(jié)果都為交叉驗(yàn)證20次的平均數(shù)據(jù)．各模型最優(yōu)參數(shù)仍依據(jù)驗(yàn)證集確定．

表2 Bosphorus數(shù)據(jù)庫實(shí)驗(yàn)各模型參數(shù)設(shè)置

對于PSVM+，當(dāng)灰度特權(quán)信息樣本的比例變化時，相應(yīng)的最優(yōu)參數(shù)也有所區(qū)別，具體見表2．

隨機(jī)特征生成和維數(shù)選擇如下所述．

同樣生成服從0-1均勻分布的隨機(jī)特征．對于維數(shù)的選擇，進(jìn)行了類似的實(shí)驗(yàn)，得到的結(jié)果如圖3所示．從曲線的變化趨勢可以看出，900維是比較合適的選擇．

圖3 Bosphorus數(shù)據(jù)庫不同數(shù)量特權(quán)信息樣本占總樣本比例和不同模型識別率隨隨機(jī)特征維數(shù)變化的曲線圖4 Bosphorus數(shù)據(jù)庫測試結(jié)果

圖4呈現(xiàn)的各模型整體的識別率，再次反映了P3SVM+A(R)相對于PSVM+以及P2SVM+A(R)相對于SVM的優(yōu)勢．至于該實(shí)驗(yàn)中體現(xiàn)出的其他問題及相應(yīng)的分析，都與2.2節(jié)類似，此處不再贅述．但是與2.2節(jié)結(jié)果不同的是，P3SVM+A(R)的識別率高于SVM的，也與P2SVM+A(R)的識別率基本一致．這說明真正特權(quán)信息的具體選擇也在相當(dāng)程度上影響了模型學(xué)習(xí)的收斂速度，而不僅僅是模型的結(jié)構(gòu)．

3 總 結(jié)

筆者提出了將可用信息和隨機(jī)特征用作偽特權(quán)信息的P3SVM+模型和P2SVM+模型．P3SVM+模型的特點(diǎn)是偽特權(quán)信息與真正特權(quán)信息并存，P2SVM+模型的特點(diǎn)是全部樣本的特權(quán)信息都是偽特權(quán)信息．在MNIST5-8分類數(shù)據(jù)集和Bosphorus人臉表情識別數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果，說明了筆者所提模型具備一定的優(yōu)勢．今后的工作將著重于研究如何生成更有效的偽特權(quán)信息．

[1] VAPNIK V, VASHIST A, PAVLOVITCH N. Learning Using Hidden Information(Larning with Teacher)[C]//Proceedings of the International Joint Conference on Neural Networks. Piscataway: IEEE, 2009: 3188-3195.

[2]VAPNIK V, VASHIST A. A New Learning Paradigm: Learning Using Privileged Information[J]. Neural Networks, 2009, 22(5/6): 544-557.

[3]FEYEREISL J, AICKELIN U. Privileged Information for Data Clustering[J]. Information Sciences, 2012, 194: 4-23.

[4]RIBEIRO B, SILVA C, VIEIRA A, et al. Financial Distress Model Prediction Using SVM+[C]//Proceedings of the International Joint Conference on Neural Networks. Piscataway: IEEE, 2010: 5596729.

[5]PECHYONY D, VAPNIK V. On the Theory of Learnining with Privileged Information[C]//Advances in Neural Information Processing Systems 23: 24th Annual Conference on Neural Information Processing Systems. Vancouver: Neural Information Processing Systems Foundation, 2010: 1894-1902.

[6]XU X X, LI W, XU D. Distance Metric Learning Using Privileged Information for Face Verification and Person Re-identification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2015, 26(12): 3150-3162.

[8]LAPIN M, HEIN M, SCHIELE B. Learning Using Privileged Information: SVM+and Weighted SVM[J]. Neural Networks, 2014, 53: 95-108.

[9]FEYEREISL J, KWAK S, SON J, et al. Object Localization Based on Structural SVM Using Privileged Information[C]//Advances in Neural Information Processing Systems27: 28th Annual Conference on Neural Information Processing Systems. Vancouver: Neural Information Processing Systems Foundation, 2014: 208-216.

[10]YANG H, PATRAS I. Privileged Information Based Conditional Structured Output Regression Forest for Facial Point Detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2015, 25(9): 1507-1520.

[11]SHARMANSKA V, QUADRIANTO N, LAMPERT C H. Learning to Rank Using Privileged Information[C]//Proceedings of the IEEE International Conference on Computer Vision. Piscataway: IEEE, 2013: 825-832.

[12]WANG S Z, TAO D C, YANG J. Relative Attribute SVM+learning for Age Estimation[J]. IEEE Transactions on Cybernetics, 2016, 46(3): 827-839.

[13]LECUN Y, BOTTOU L, BENGIO Y, et al. Gradient-based Learning Applied to Document Recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[14]SAVRAN A, ALYüZ N, DIBEKLIOLU H, et al. Bosphorus Database for 3D Face Analysis[M]. Lecture Notes in Computer Science:5372. Heidelberg: Springer Verlag, 2008: 47-56.

[15]AHONEN T, HADID A, PIETIKAINEN M. Face Description with Local Binary Patterns: Application to Face Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(12): 2037-2041.

(編輯：郭 華)

Pseudo-privileged information and SVM+

SUNGuangling，DONGYong，LIUZhi

(School of Communication and Information Engineering, Shanghai Univ., Shanghai 200072, China)

In machine learning, learning using privileged information(LUPI) tries to improve the generalization of the classifier by leveraging information only available during learning. In the scenario of privileged information(PI) possessed by partial training samples, pseudo-privileged information(PPI) and SVM+are investigated. The proposed models depend on two formulations. One is to construct PPI for the samples without PI alone. The formulation enables slacks of such samples predicted in the correcting space with an ultimate goal of improving the generalization of the classifier. Available information and random features are proved to be effective options for PPI. The other is to replace the genuine PI with PPI so as to predict the slacks of all training samples in the unique correcting space. It is confirmed that at least for certain genuine PI and two categories classification task, the latter one is capable of obtaining better generalization performance. Experiments are performed on written digits and facial expression recognition. The results have validated advantages of SVM+using PPI.

learning using privileged information; pseudo-privileged information; SVM+

2015-10-26

時間：2016-04-01

教育部科學(xué)技術(shù)研究重點(diǎn)資助項目(212053)；上海市自然科學(xué)基金資助項目(16ZR1411100)

孫廣玲(1975-)，女，副教授，E-mail: sunguangling@shu.edu.cn．

http://www.cnki.net/kcms/detail/61.1076.tn.20160401.1622.036.html

10.3969/j.issn.1001-2400.2016.06.018

TP391.41

A

1001-2400(2016)06-0103-06