覃姜維 鄭啟倫 馬千里 韋佳 林古立

(華南理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，廣東廣州510006)

傳統(tǒng)機(jī)器學(xué)習(xí)方法基于假設(shè)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)分布一致的前提，這大大限制了其應(yīng)用范圍［1］.當(dāng)假設(shè)條件不滿足的時(shí)候，傳統(tǒng)分類器的性能可能出現(xiàn)下降.最常見(jiàn)的情況是對(duì)一個(gè)新領(lǐng)域數(shù)據(jù)進(jìn)行分類時(shí)，由于幾乎沒(méi)有標(biāo)記數(shù)據(jù)，傳統(tǒng)機(jī)器學(xué)習(xí)方法無(wú)法訓(xùn)練出可靠的分類器.比如說(shuō)，大量研究發(fā)掘的生物信息數(shù)據(jù)和快速增長(zhǎng)的網(wǎng)絡(luò)信息數(shù)據(jù)都包含著豐富的待挖掘信息，但是由于這些數(shù)據(jù)缺乏標(biāo)記，而人工進(jìn)行標(biāo)記也費(fèi)時(shí)費(fèi)力，要分析這些數(shù)據(jù)隱含的信息就變得非常困難.此外，在相關(guān)領(lǐng)域存在大量的標(biāo)記數(shù)據(jù)卻無(wú)法直接使用［1］.因此，有必要探尋相關(guān)領(lǐng)域數(shù)據(jù)與目標(biāo)領(lǐng)域數(shù)據(jù)的聯(lián)系，并利用相關(guān)領(lǐng)域中的監(jiān)督信息來(lái)指導(dǎo)目標(biāo)領(lǐng)域中的任務(wù)學(xué)習(xí).

近來(lái)，受到人類認(rèn)知學(xué)習(xí)過(guò)程中遷移學(xué)習(xí)的啟發(fā)［2］，相關(guān)學(xué)者提出了機(jī)器學(xué)習(xí)中的遷移學(xué)習(xí)方法［3-5］，目的是解決跨領(lǐng)域、跨任務(wù)的學(xué)習(xí)問(wèn)題.早期關(guān)于遷移學(xué)習(xí)的工作有 learning to learning［3］、lifelong learning［4］、learning one more thing 和多任務(wù)學(xué)習(xí)［5-6］.其中和遷移學(xué)習(xí)最為相似的是多任務(wù)學(xué)習(xí)，但多任務(wù)學(xué)習(xí)研究的是若干個(gè)任務(wù)共同學(xué)習(xí)的情況，并沒(méi)有考慮對(duì)與源數(shù)據(jù)分布不一致的目標(biāo)數(shù)據(jù)的學(xué)習(xí).一般來(lái)說(shuō)，遷移學(xué)習(xí)方法可以分為實(shí)例遷移、特征遷移、參數(shù)遷移和關(guān)聯(lián)知識(shí)遷移［7］.在這幾類遷移方法中，實(shí)例遷移和特征遷移被廣泛地進(jìn)行研究.其中，實(shí)例遷移強(qiáng)調(diào)對(duì)樣本層面的信息進(jìn)行重用，而特征遷移著重研究特征層面上的聯(lián)系.

研究者們從不同的角度來(lái)研究遷移機(jī)制的實(shí)現(xiàn).由于數(shù)據(jù)散布在不同的領(lǐng)域，遷移的前提是找尋可供遷移的共同映射，并建立這個(gè)映射的橋梁.Mahmud［8］定義了一種任務(wù)相似度的衡量機(jī)制，并以此為基礎(chǔ)來(lái)定量地決定任務(wù)間遷移的信息量.Ruckert等［9］提出了一種基于核方法的遷移算法，即先在源數(shù)據(jù)上學(xué)習(xí)一系列泛化性能良好的核函數(shù)，然后以最小化準(zhǔn)則將其結(jié)合起來(lái)用于預(yù)測(cè)目標(biāo)數(shù)據(jù)的標(biāo)簽.Dai等［10］定義出源數(shù)據(jù)和目標(biāo)數(shù)據(jù)的共同特征，并以此為橋梁執(zhí)行協(xié)同聚類算法，使源數(shù)據(jù)的標(biāo)簽結(jié)構(gòu)影響目標(biāo)數(shù)據(jù)的標(biāo)簽結(jié)構(gòu).Dai等［11］還將該算法擴(kuò)展到源領(lǐng)域數(shù)據(jù)標(biāo)簽缺失的情況，提出了一種無(wú)監(jiān)督遷移學(xué)習(xí)方法.Ling等［12］提出一種基于譜分類的遷移框架，目標(biāo)是在源數(shù)據(jù)的監(jiān)督信息和目標(biāo)領(lǐng)域的自有結(jié)構(gòu)當(dāng)中找到一個(gè)平衡.文獻(xiàn)［13］提出的方法也是基于譜分析的方法，歸納了幾種遷移學(xué)習(xí)的情形，得出了一種遷移框架.這些方法以找尋源和目標(biāo)領(lǐng)域的共同表示為目標(biāo)，但忽略了目標(biāo)領(lǐng)域數(shù)據(jù)的自身特性.Daume等［14］假設(shè)源和目標(biāo)領(lǐng)域包含相同和不同的組成成分，提出利用混合模型來(lái)進(jìn)行學(xué)習(xí).他們將兩個(gè)來(lái)自不同領(lǐng)域的數(shù)據(jù)看成是3個(gè)不同分布數(shù)據(jù)的混合結(jié)果，并共享一個(gè)相同的分布數(shù)據(jù).Storkey等［15］考慮了一種更為普遍的情況，認(rèn)為源領(lǐng)域和目標(biāo)領(lǐng)域共享多個(gè)混合成分，從而更為細(xì)致地考慮了混合模型的組成.這兩種方法在求解一個(gè)公共模型的基礎(chǔ)上再使用期望最大化(EM)算法來(lái)對(duì)目標(biāo)領(lǐng)域的模型進(jìn)行修正.

大部分研究通過(guò)參數(shù)化的估計(jì)方法來(lái)學(xué)習(xí)模型，當(dāng)數(shù)據(jù)量小的時(shí)候，存在參數(shù)估計(jì)困難的問(wèn)題.為避免對(duì)分布參數(shù)進(jìn)行估計(jì)，本研究提出了一種非參數(shù)化的遷移學(xué)習(xí)算法——多步橋接精化(Multi-Step Bridged Refinement，簡(jiǎn)稱MSBR)來(lái)解決訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)分布不一致的分類問(wèn)題.首先通過(guò)構(gòu)造一系列中間模型來(lái)建立源領(lǐng)域和目標(biāo)領(lǐng)域之間的連接，進(jìn)而進(jìn)行標(biāo)簽傳播，最終完成從源領(lǐng)域到目標(biāo)領(lǐng)域的判別信息的遷移.由于構(gòu)造的中間模型兩兩間的數(shù)據(jù)分布相似，原來(lái)被認(rèn)為較難的遷移過(guò)程被分解成為一系列相對(duì)容易解決的子遷移.

1 多步橋接精化遷移

1.1 問(wèn)題定義

1.2 交互精化

本研究借助標(biāo)簽傳播的原理來(lái)求目標(biāo)領(lǐng)域數(shù)據(jù)的標(biāo)簽［16］.標(biāo)簽傳播受到 PageRank 算法的啟發(fā)［17］.PageRank算法通過(guò)網(wǎng)頁(yè)間的鏈接關(guān)系來(lái)對(duì)網(wǎng)頁(yè)的重要性進(jìn)行評(píng)分，一個(gè)網(wǎng)頁(yè)的權(quán)值受到鏈接到該網(wǎng)頁(yè)的頁(yè)面的影響.假設(shè)u為一個(gè)網(wǎng)頁(yè)，其權(quán)值評(píng)估公式為

式中:R表示頁(yè)面的權(quán)值;E表示網(wǎng)頁(yè)的初始權(quán)值;Bu為指向u的頁(yè)面集合;Nu為集合u指向的網(wǎng)頁(yè)集合的數(shù)量;η為平衡因子.公式(1)利用頁(yè)面間相互連接的關(guān)系來(lái)表明指向一個(gè)頁(yè)面的鄰居頁(yè)面的權(quán)值越高，其頁(yè)面權(quán)值也就越大.公式(1)包含了交互精化的思想，頁(yè)面的權(quán)值被其鄰居頁(yè)面的權(quán)值精化，同時(shí)又對(duì)其鄰居頁(yè)面的權(quán)值進(jìn)行精化.更進(jìn)一步，可以認(rèn)為相似的網(wǎng)頁(yè)間具有相互鏈接的關(guān)系.本研究以此為基礎(chǔ)得到一個(gè)基于交互精化的標(biāo)簽傳播模型.在圖1中，假設(shè)有標(biāo)記數(shù)據(jù) x1、x2、x3屬于類別a，標(biāo)記數(shù)據(jù) x4、x5、x6屬于類別 b.其中，x1、x3、x5是u1的鄰居，而x2、x4、x6是 u2的鄰居.如果每個(gè)鄰居對(duì)未標(biāo)記數(shù)據(jù)的標(biāo)簽貢獻(xiàn)程度一致，那么可以認(rèn)為u1屬于a的概率大于屬于b的概率，而u2屬于b的概率大于屬于a的概率.

圖1 標(biāo)簽傳播Fig.1 Label propagation

因此，一個(gè)樣本的鄰居所屬類別的情況反映出該樣本所屬類別的情形.也就是說(shuō)，當(dāng)一個(gè)樣本的鄰居屬于某個(gè)類別的概率越大，則這個(gè)樣本屬于該類別的概率也就越大.然而，該模型的討論是在數(shù)據(jù)分布一致的前提下進(jìn)行的，在本研究的問(wèn)題中，源數(shù)據(jù)和目標(biāo)數(shù)據(jù)的分布并不相同，為此，本研究將模型應(yīng)用到遷移問(wèn)題的場(chǎng)景中.

1.3 多步橋接精化

為了讓目標(biāo)數(shù)據(jù)獲得源數(shù)據(jù)的標(biāo)簽信息，本研究借助中間模型在兩個(gè)領(lǐng)域數(shù)據(jù)間執(zhí)行交互精化算法來(lái)進(jìn)行標(biāo)簽傳播.一般來(lái)說(shuō)，很難直接在不同分布的數(shù)據(jù)間執(zhí)行交互精化算法，但是當(dāng)分布非常相似的時(shí)候，可以認(rèn)為標(biāo)簽傳播條件近似成立，從而達(dá)到標(biāo)簽結(jié)構(gòu)遷移的目的.通過(guò)引進(jìn)一個(gè)中間模型M，將整個(gè)遷移過(guò)程分成兩步，首先是從源數(shù)據(jù)到中間模型的遷移，其次是從中間模型到目標(biāo)數(shù)據(jù)的遷移.由于中間模型M由源數(shù)據(jù)和目標(biāo)數(shù)據(jù)構(gòu)成，其分布DM與DS和DT的距離相對(duì)接近，因而在DS和DM或者在DM和DT之間進(jìn)行遷移相對(duì)于在DS和DT之間遷移要容易.雖然源數(shù)據(jù)和目標(biāo)數(shù)據(jù)來(lái)源于不同分布的領(lǐng)域，但由于領(lǐng)域間相關(guān)，它們存在一定的聯(lián)系.假設(shè)P(c|d)表示數(shù)據(jù)的所屬類別的條件概率，給定樣本d，有

這是由源數(shù)據(jù)和目標(biāo)數(shù)據(jù)共享相同的標(biāo)簽空間決定的.因此能夠在M中利用這個(gè)關(guān)系讓源數(shù)據(jù)對(duì)目標(biāo)數(shù)據(jù)的標(biāo)簽進(jìn)行精化.借助中間模型，能夠在遷移的過(guò)程中分步實(shí)施交互精化算法，從而達(dá)到標(biāo)簽傳播的目的.

通過(guò)引入中間模型M，使得在不同領(lǐng)域間的數(shù)據(jù)間的標(biāo)簽傳播成為可能.但是，當(dāng)數(shù)據(jù)分布具有顯著差異的時(shí)候，僅僅依靠單個(gè)中間模型是不夠的.為此，需要提供更為可靠的遷移環(huán)境.對(duì)中間模型進(jìn)行變換，構(gòu)造一系列的橋接模型，這些模型中兩兩的分布更為接近.由于相似的數(shù)據(jù)分布讓遷移成為可能，那么本研究中構(gòu)造的近似分布中間模型可以使得遷移更加平滑和可靠.具體來(lái)說(shuō)，本研究是在構(gòu)造的中間模型中兩兩相互執(zhí)行交互精化算法，進(jìn)而實(shí)現(xiàn)從源數(shù)據(jù)到目標(biāo)數(shù)據(jù)的標(biāo)簽傳播.

圖2 多步橋接精化模型Fig.2 Multi-step bridged refinement model

具體的中間模型的構(gòu)造過(guò)程見(jiàn)圖2，中間模型都由標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)構(gòu)成，他們的比例由λ進(jìn)行控制.定義模型中的數(shù)據(jù)組成為

近鄰的模型在分布上相似，可以執(zhí)行交互精化來(lái)進(jìn)行標(biāo)簽傳播，其過(guò)程如下.令 f為精化結(jié)果，f0是初始值，fi，j為樣本 di屬于類別 j的概率，O(i)為di的鄰居集合，K為鄰居個(gè)數(shù)，則模型間執(zhí)行交互精化的過(guò)程為

在交互精化的過(guò)程中，fi作為下一步精化過(guò)程的初始輸入f0.在完成n次精化過(guò)程后，根據(jù)對(duì)樣本的標(biāo)簽進(jìn)行賦值.

MSBR算法偽碼描述如下:

1.4 算法的收斂性

根據(jù)文獻(xiàn)［14］，式(4)可以重寫(xiě)為式(6)或(7)，其中L是根據(jù)樣本鄰居構(gòu)造的鄰接矩陣.

每步精化過(guò)程的結(jié)果都會(huì)收斂到一個(gè)穩(wěn)定值f*.在多步精化的過(guò)程中，可以將全部的精化過(guò)程定義為:

式中:Fi表示第i次精化的結(jié)果.將式(8)－(10)的左右相乘，得到式(11)，算法最終收斂于Fn.

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

本研究采用兩個(gè)標(biāo)準(zhǔn)文本數(shù)據(jù)20Newsgroup(http:∥people.csail.mit.edu/jrennie/20Newsgroups)和 SRAA(http:∥www.cs.umass.edu/～ mccallum/code-data.html)作為實(shí)驗(yàn)數(shù)據(jù)集.為了使數(shù)據(jù)集滿足遷移場(chǎng)景，本研究對(duì)數(shù)據(jù)集進(jìn)行了重構(gòu).由于以上選擇的數(shù)據(jù)集都包含分屬不同頂層類別的子主題，可以將相同頂層類別的子主題劃分出來(lái)與不同頂層類別的子主題構(gòu)成不同的領(lǐng)域數(shù)據(jù).基于這種重構(gòu)，本研究認(rèn)為由于源領(lǐng)域數(shù)據(jù)和目標(biāo)領(lǐng)域數(shù)據(jù)來(lái)源于不同的子主題，所以存在差異，但因?yàn)槠渲械淖又黝}共享頂層主題，因此兩個(gè)領(lǐng)域數(shù)據(jù)間又存在聯(lián)系.本研究分別對(duì)20Newsgroup和SRAA做如下重構(gòu):

(1)20Newsgroup是一個(gè)包含近20000個(gè)新聞組的文檔集，大約分成20類，包含6個(gè)頂層類別.將其中的空白類別刪除掉，利用剩余的數(shù)據(jù)生成數(shù)據(jù)集(見(jiàn)表1).

表1 基于20Newsgroup構(gòu)建的數(shù)據(jù)集Table 1 Data sets constructed from 20Newsgroup

(2)SRAA是一個(gè)包含73218篇文檔的文本數(shù)據(jù)集，可以分成 simuauto、simuavation、realauto和realavation 4個(gè)類別.根據(jù)文檔內(nèi)容的描述，本研究選擇任意的兩個(gè)主題作為源領(lǐng)域數(shù)據(jù)而剩余的主題作為目標(biāo)領(lǐng)域數(shù)據(jù)，生成的數(shù)據(jù)集見(jiàn)表2.

表2 基于SRAA構(gòu)建的數(shù)據(jù)集Table 2 Data sets constructed from SRAA

本研究利用向量空間模型(VSM)對(duì)文本數(shù)據(jù)進(jìn)行處理［18］.整個(gè)過(guò)程包括大小寫(xiě)轉(zhuǎn)換、提取詞干、去除停用詞、特征選擇和計(jì)算 TF/IDf值［19］.此外，將詞頻設(shè)為5.

2.2 實(shí)驗(yàn)方法

本研究利用傳統(tǒng)分類器求得目標(biāo)數(shù)據(jù)的初始標(biāo)簽，然后利用文中提出的算法對(duì)目標(biāo)數(shù)據(jù)的初始標(biāo)簽進(jìn)行精化.本研究選擇了3種經(jīng)典的監(jiān)督分類器和半監(jiān)督分類器，即支持向量機(jī)(SVM)［20］，樸素貝葉斯(NB)和轉(zhuǎn)導(dǎo)式支持向量機(jī)(TSVM)［21-22］.為了知道遷移是否起作用，本研究同時(shí)也將文中提出的算法的結(jié)果與傳統(tǒng)分類器做對(duì)比.

實(shí)驗(yàn)策略為:

(1)在源數(shù)據(jù)上利用傳統(tǒng)分類器訓(xùn)練分類模型，并將其直接用于目標(biāo)數(shù)據(jù)的分類;

(2)在傳統(tǒng)分類器對(duì)目標(biāo)數(shù)據(jù)的分類結(jié)果上，利用BRTL對(duì)傳統(tǒng)分類器的結(jié)果進(jìn)行精化［23］;

(3)在傳統(tǒng)分類器對(duì)目標(biāo)數(shù)據(jù)的分類結(jié)果上，利用文中提出的算法對(duì)傳統(tǒng)分類器的結(jié)果進(jìn)行精化，為了與BRTL做對(duì)比，本研究將參數(shù)α設(shè)置為0.7;

(4)直接利用BRTL和文中提出的MSBR對(duì)目標(biāo)數(shù)據(jù)進(jìn)行精化.

2.3 實(shí)驗(yàn)結(jié)果和討論

表3－5給出了4種不同策略上的計(jì)算結(jié)果，從表中可以看到，傳統(tǒng)分類器在跨領(lǐng)域的數(shù)據(jù)分類中性能較差，而兩種遷移學(xué)習(xí)方法在學(xué)習(xí)精度上要優(yōu)于傳統(tǒng)分類器.對(duì)比傳統(tǒng)分類器(SVM、NB、TSVM)和遷移分類器(BRTL、MSBR)在所有問(wèn)題上的平均分類精度，BRTL相對(duì)傳統(tǒng)分類器提高了22%，而文中提出的MSBR相對(duì)傳統(tǒng)分類器提高了48%.可以看到遷移算法對(duì)跨領(lǐng)域環(huán)境下的數(shù)據(jù)分類精度與傳統(tǒng)分?jǐn)?shù)器相比有很明顯的提升.

表3 傳統(tǒng)分類器SVM、NB、TSVM在數(shù)據(jù)集上的分類精度Table 3 Classification accuracy of the traditional classifiers SVM，NB，TSVM on the data sets %

表4 BRTL在數(shù)據(jù)集上的分類精度Table 4 Classification accuracy of BRTL on the data sets %

表5 MSBR在數(shù)據(jù)集上的分類精度Table 5 Classification accuracy of MSBR on the data sets %

從表4可以看出，BRTL敏感于初始分類器的選擇，因此對(duì)同樣的數(shù)據(jù)集在不同的初始條件下得到的結(jié)果是不一樣的.比如說(shuō)，TSVM在ng1上的結(jié)果要優(yōu)于SVM和NB，因此BRTL在基于TSVM初始結(jié)果上的精化結(jié)果要優(yōu)于基于SVM和NB的精化結(jié)果.由于對(duì)初始分類器的選擇較敏感，使得BRTL的結(jié)果變得不可靠.而表5中，MSBR對(duì)于每個(gè)問(wèn)題的最終精化結(jié)果是一致的.

圖3 精化步數(shù)對(duì)結(jié)果的影響Fig.3 Effect of different refinement steps on the results

為了探討中間模型的變化對(duì)目標(biāo)數(shù)據(jù)分類精度的影響，本研究分別繪出多步情況下MSBR算法在各數(shù)據(jù)集上的精度變化曲線，如圖3所示.由圖3可見(jiàn)，對(duì)于每個(gè)問(wèn)題來(lái)說(shuō)，MSBR算法最后得到的精度一致.換句話說(shuō)，初始分類器的選擇沒(méi)有影響MSBR算法的最后結(jié)果.這有別于文獻(xiàn)［21］認(rèn)為遷移效果受限于初始分類器的選擇的結(jié)論.本研究認(rèn)為在精化步數(shù)足夠的條件下，算法在每個(gè)問(wèn)題上的結(jié)果應(yīng)該是一致的，這是由于從源數(shù)據(jù)遷移到目標(biāo)數(shù)據(jù)的監(jiān)督信息是一定的.然而兩步精化不足以優(yōu)化目標(biāo)數(shù)據(jù)的標(biāo)簽結(jié)構(gòu)，在多個(gè)中間模型的橋接下，源數(shù)據(jù)的標(biāo)簽信息才能完全地被用來(lái)影響目標(biāo)領(lǐng)域的標(biāo)簽結(jié)構(gòu).

由圖3還可知，借助相關(guān)領(lǐng)域數(shù)據(jù)的監(jiān)督信息可以改善目標(biāo)領(lǐng)域在沒(méi)有標(biāo)記數(shù)據(jù)情況下的分類精度，但是并不是在所有情況下都是如此.如圖3(b)所示，隨著精化步數(shù)n的增大，精度略微出現(xiàn)了下降.本研究認(rèn)為這是由于ng2中的源數(shù)據(jù)和目標(biāo)數(shù)據(jù)分布非常相似，因此傳統(tǒng)的分類器表現(xiàn)出較好的性能，而利用MSBR算法在橋接精化的過(guò)程中出現(xiàn)了標(biāo)簽信息的損失，從而造成精度下降.

由圖3還可知，當(dāng)n大于15時(shí)，算法精度趨于穩(wěn)定，而后n的繼續(xù)增大并不能改變算法的效果.由此可見(jiàn)，15步精化對(duì)MSBR來(lái)說(shuō)已經(jīng)足夠.

由圖4可見(jiàn)，對(duì)于MSBR來(lái)說(shuō)，當(dāng)α的取值范圍在0.6到0.8之間時(shí)，算法精度J有較好的效果，本研究的實(shí)驗(yàn)中將α設(shè)置為0.7.

圖4 α對(duì)MSBR結(jié)果的影響Fig.4 Effect of α on the results of MSBR

4 結(jié)語(yǔ)

本研究探討了跨領(lǐng)域數(shù)據(jù)分類的問(wèn)題，以橋接精化為基礎(chǔ)，提出了一種遷移環(huán)境下的學(xué)習(xí)算法MSBR.即通過(guò)構(gòu)造一系列中間模型建立起源數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間的連接，在此基礎(chǔ)上對(duì)鄰近的模型間執(zhí)行交互精化，最終實(shí)現(xiàn)從源數(shù)據(jù)到目標(biāo)數(shù)據(jù)的標(biāo)簽傳播.該算法的優(yōu)點(diǎn)是能夠充分利用源數(shù)據(jù)的標(biāo)簽信息來(lái)影響目標(biāo)數(shù)據(jù)的標(biāo)簽結(jié)構(gòu)，并且不敏感于初始分類器的選擇.實(shí)驗(yàn)表明，該算法在效果上優(yōu)于對(duì)比的幾個(gè)傳統(tǒng)分類器和BRTL，是有效可行的.

進(jìn)一步研究將探討任務(wù)間的相似度如何影響遷移效果，同時(shí)也會(huì)考慮將MSBR應(yīng)用到如從文本到圖片或者視頻的跨媒體場(chǎng)景中.

［1］ Dietterich T G，Domingos P，Getoor L，et al.Structured machine learning:the next ten years［J］.Machine Learning，2008，73(1):3-23.

［2］ Brown A L，Kane M J.Preschool children can learn to transfer:learning to learn and learning from example［J］.Cognitive Psychology，1998，20(4):493-523.

［3］ Thrun S，Pratt L Y.Learning to learn［M］.Boston:Kluwer Academic Publishers，1998:1-13.

［4］ Thrun S.Is learning the n-th thing any easier than learning the first?［C］∥Proceedings of the 12th Neural Information Processing Systems.Cambridge:MIT Press，1995:640-646.

［5］ Thrun S，Mitchell T M.Learning one more thing［C］∥Proceedings of the 14th International Joint Conference on Artificial Intelligence.Quebec:IJCAI，1995:1217-1225.

［6］ Caruana R.Multitask learning ［J］.Machine Learning，1997，28(1):41-75.

［7］ Pan S，Yang Q.A survey on transfer learning［J］.IEEE Transactions on Knowledge and Data Engineering，2009，22(10):1345-1359.

［8］ Mahmud M M H.On universal transfer learning［J］.Theoretical Computer Science，2009，410(19):1826-1846.

［9］ Ruckert U，Kramer S.Kernel-based inductive transfer［C］∥Machine Learning and Knowledge Discovery in Databases.Belgium:Springer，2008:220-233.

［10］ Dai W，Xue G R，Yang Q，et al.Co-clustering based classification for out-of-domain documents［C］∥Proceedings of the 13th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York:ACM，2007:210-219.

［11］ Dai W，Yang Q，Xue G R，et al.Self-taught clustering［C］∥Proceedings of the Twenty-Fifth International Conference of Machine Learning.Helsinki:ACM，2008:200-207.

［12］ Ling X，Dai W，Xue G R，et al.Spectral domain transfer learning［C］∥Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.Nevada:ACM，2008:488-496.

［13］ Dai W，Jin O，Xue G R，et al.EigenTransfer:a unified framework for transfer learning［C］∥Proceedings of the 26th International Conference on Machine Learning.Montreal:ACM，2009:193-200.

［14］ Daume III H，Marcu D.Domain adaptation for statistical classiers［J］.Journal of Artificial Intelligence Research，2006，26(1):101-126.

［15］ Storkey A J，Sugiyama M.Mixture regression for covariate shift［C］∥Proceedings of the 21st Neural Information Processing Systems.Cambridge:MIT Press，2007:1337-1344.

［16］ Wang F，Zhang C S.Label propagation through linear neighborhoods［J］.IEEE Transactions on Knowledge and Data Engineering，2008，20(1):55-67.

［17］ Page L，Brin S，Motwani R，et al.The PageRank citation ranking:bringing order to the web［R］.Stanford:Stanford Digital Library，1998.

［18］ Blei D M，Ng A Y，Jordan M I.Latent dirichlet allocation［J］.Journal of Machine Learning Research，2003，3(1):993-1022.

［19］ Sebastiani F.Machine learning in automated text categorization［J］.ACM Computing Survey，2002，34(1):1-47.

［20］ Joachims T.Making large-scale SVM learning practical［C］∥Advances in Kernel Methods:Support Vector Learning.Cambridge:MIT Press，1999:169-184.

［21］ Rish I.An empirical study of the Naive Bayes classifier［C］∥Proceedings of IJCAI-01 Workshop on Empirical Methods in Artificial Intelligence.Washington:IJCAI，2001:41-46.

［22］ Joachims T.Transductive inference for text classification using support vector machines［C］∥Proceedings of the 16th International Conference on Machine Learning.Slovenia:ACM，1999:200-209.

［23］ Xing D，Dai W，Xue G R，et al.Bridged refinement for transfer learning［C］∥Proceedings of 11th European Conference on Practice of Knowledge Discovery in Databases.Warsaw:Springer，2007:324-335.