張麗娜 ，戴靈鵬 ，匡泰

（1.浙江安防職業(yè)技術(shù)學(xué)院信息工程系，浙江 溫州 325016；2.溫州大學(xué)生命與環(huán)境科學(xué)學(xué)院，浙江 溫州 325035）

一種適應(yīng)于非完備標(biāo)簽數(shù)據(jù)和標(biāo)簽關(guān)聯(lián)性的多標(biāo)簽分類(lèi)方法

張麗娜1，2，戴靈鵬2，匡泰1

（1.浙江安防職業(yè)技術(shù)學(xué)院信息工程系，浙江 溫州 325016；2.溫州大學(xué)生命與環(huán)境科學(xué)學(xué)院，浙江 溫州 325035）

多標(biāo)簽分類(lèi)已在很多領(lǐng)域得到了實(shí)際應(yīng)用，所用標(biāo)簽大多具有很強(qiáng)的關(guān)聯(lián)性，甚至存在非完備標(biāo)簽或部分標(biāo)簽遺失。然而，現(xiàn)有的多標(biāo)簽分類(lèi)算法難以同時(shí)處理這兩種情況?；诖?，提出一種新的概率模型處理方法，實(shí)現(xiàn)同時(shí)對(duì)具有標(biāo)簽關(guān)聯(lián)性和遺失標(biāo)簽情況進(jìn)行多標(biāo)簽分類(lèi)。該方法可以自動(dòng)獲知和掌握多標(biāo)簽的關(guān)聯(lián)性。此外，通過(guò)整合遺失的標(biāo)簽信息，該方法能夠提供一個(gè)自適應(yīng)策略來(lái)處理遺失的標(biāo)簽。在完備標(biāo)簽和非完備標(biāo)簽的數(shù)據(jù)上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，與現(xiàn)有的多標(biāo)簽分類(lèi)算法相比，提出的方法得到了較好的分類(lèi)預(yù)測(cè)評(píng)價(jià)值。

非完備標(biāo)簽；標(biāo)簽關(guān)聯(lián)性；多標(biāo)簽分類(lèi)；概率模型

1 引言

在傳統(tǒng)的標(biāo)簽數(shù)據(jù)分類(lèi)問(wèn)題中，一個(gè)樣點(diǎn)通常只分配一個(gè)標(biāo)簽。但在實(shí)際應(yīng)用中，大部分都涉及多標(biāo)簽分類(lèi)，即一個(gè)樣點(diǎn)可分配多個(gè)標(biāo)簽，如文本分類(lèi)、圖像標(biāo)注以及基因方程的分析［1］等。正是由于該類(lèi)問(wèn)題的不斷出現(xiàn)，也吸引了越來(lái)越多的學(xué)者進(jìn)行多標(biāo)簽分類(lèi)問(wèn)題的研究。

經(jīng)過(guò)多年的研究和發(fā)展，目前已出現(xiàn)了大量的多標(biāo)簽分類(lèi)方法，最為經(jīng)典且應(yīng)用最廣泛的是問(wèn)題轉(zhuǎn)換類(lèi)方法［2，3］。在此類(lèi)方法中，較常用的一種方法是二值相關(guān)（binary relevance，BR）［4］算法。該方法建立在標(biāo)簽之間相互獨(dú)立假設(shè)的基礎(chǔ)上，當(dāng)標(biāo)簽存在很大的關(guān)聯(lián)性時(shí)，該方法的效果不佳。針對(duì)BR方法的局限性，一種解決方案是假定標(biāo)簽的關(guān)聯(lián)性是一種先驗(yàn)信息或很容易被估計(jì)，如Read等人［5］提出了一種鏈?zhǔn)椒诸?lèi)器（classifier chain，CC）算法，該方法以一定的次序?qū)⒁幌盗蠦R分類(lèi)器串聯(lián)起來(lái)，后一個(gè)分類(lèi)器的結(jié)果總是依賴(lài)于前一個(gè)分類(lèi)器，這樣便考慮了標(biāo)簽的關(guān)聯(lián)性。然而，其弊端是如果前一個(gè)分類(lèi)器存在誤差，這種關(guān)聯(lián)也會(huì)將誤差進(jìn)行傳遞積累。孫霞等人［6］提出了一種基于Haddoop框架的傳播算法，該方法能適應(yīng)大規(guī)模數(shù)據(jù)，但誤差同樣會(huì)在迭代算法中傳播。在Hariharan等人［7］提出的最大邊界多標(biāo)簽分類(lèi)器（max-margin multi-label classifier，M3L）中，標(biāo)簽的關(guān)聯(lián)性被從訓(xùn)練集中計(jì)算出的成對(duì)標(biāo)簽關(guān)聯(lián)所代替，取得了不錯(cuò)的效果，但該方法在樣本數(shù)量較少時(shí)會(huì)出現(xiàn)一些誤差。此外，一些方法通過(guò)標(biāo)簽轉(zhuǎn)換進(jìn)行去標(biāo)簽關(guān)聯(lián)，即對(duì)去關(guān)聯(lián)的標(biāo)簽進(jìn)行分離學(xué)習(xí)，如Hsu等人［8］提出的利用隨機(jī)矩陣進(jìn)行標(biāo)簽轉(zhuǎn)換、在標(biāo)簽矩陣中采用奇異值分解法的主標(biāo)簽空間轉(zhuǎn)換 （principal label space transformation，PLST）［9］、在標(biāo)簽矩陣和輸入樣本矩陣中均采用奇異值分解法的條件主標(biāo)簽空間轉(zhuǎn)換（conditional principal label space transformation，CPLST）［10］以及在最小二乘回歸基礎(chǔ)上利用SVD技術(shù)的多標(biāo)簽分類(lèi)算法［11］，經(jīng)過(guò)這些方法轉(zhuǎn)換后的標(biāo)簽都可以單獨(dú)進(jìn)行處理。再有，一些學(xué)者在方法的精度等方面也做了一些研究，如李遠(yuǎn)航等人［12］、許美香等人［13］通過(guò)主動(dòng)學(xué)習(xí)的方法提高分類(lèi)器的精度和效率；徐曉丹等人［14］通過(guò)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理來(lái)提高分類(lèi)器的精度。

在多標(biāo)簽分類(lèi)算法中，另一個(gè)重要的問(wèn)題是標(biāo)簽遺失。針對(duì)此問(wèn)題，一些學(xué)者也提出了相應(yīng)的解決方案。其中一種解決方法是丟棄所有沒(méi)有標(biāo)簽的樣本，但會(huì)損失大量的標(biāo)簽信息。另一種方法是估算遺失的標(biāo)簽，尤其是正標(biāo)簽，如群索引多標(biāo)簽排序 （multi-label ranking with group lasso，MLRGL）［15］算法，它將分類(lèi)問(wèn)題轉(zhuǎn)化為雙邊排序 問(wèn) 題進(jìn) 行 解 決 ；快 速 圖 像 標(biāo) 記［16］（fast image tagging，F(xiàn)astTag）法，它假設(shè)標(biāo)簽一致性被破壞，該方法能對(duì)可能遺失的正標(biāo)簽進(jìn)行恢復(fù)，但不能有效地處理標(biāo)簽關(guān)聯(lián)性問(wèn)題，且只能對(duì)正標(biāo)簽進(jìn)行恢復(fù)。Yu等人［17］根據(jù)經(jīng)驗(yàn)誤差最小化，提出了一種對(duì)遺失標(biāo)簽的分析方法，該方法也沒(méi)有準(zhǔn)確考慮標(biāo)簽的關(guān)聯(lián)性，限制了它的應(yīng)用。

針對(duì)目前大部分方法分別在處理標(biāo)簽關(guān)聯(lián)和標(biāo)簽遺失問(wèn)題中存在的缺陷以及難以對(duì)這兩個(gè)問(wèn)題同時(shí)進(jìn)行處理的情況，提出一個(gè)新的概率模型，該模型能同時(shí)處理標(biāo)簽關(guān)聯(lián)和標(biāo)簽遺失問(wèn)題，它不需準(zhǔn)確地找出標(biāo)簽轉(zhuǎn)換，只需將概率模型重新表述成原始的標(biāo)簽空間，在原始標(biāo)簽空間中自動(dòng)獲知和掌握標(biāo)簽的關(guān)聯(lián)性。此外，通過(guò)對(duì)遺失的標(biāo)簽信息進(jìn)行整合，以提供一種自適應(yīng)的方法來(lái)處理遺失標(biāo)簽。最后，在具有完備標(biāo)簽和遺失標(biāo)簽數(shù)據(jù)上進(jìn)行試驗(yàn)，結(jié)果表明，該方法所獲得的效果優(yōu)于現(xiàn)有經(jīng)典方法。

2 提出的方法

第2節(jié)主要介紹同時(shí)處理非完備標(biāo)簽數(shù)據(jù)和標(biāo)簽關(guān)聯(lián)性的多標(biāo)簽分類(lèi)方法。首先進(jìn)行最基本的步驟，即標(biāo)簽轉(zhuǎn)換，在此基礎(chǔ)上，提出一個(gè)新的概率模型，對(duì)標(biāo)簽關(guān)聯(lián)和遺失標(biāo)簽同時(shí)進(jìn)行處理，并給出優(yōu)化子問(wèn)題的推導(dǎo)過(guò)程。

2.1 標(biāo)簽轉(zhuǎn)換

在多標(biāo)簽分類(lèi)問(wèn)題中，對(duì)于一個(gè)給定的訓(xùn)練集{（x，y）}，其中，x∈Rd是輸入，y∈{0，1}m是對(duì)應(yīng)的輸出，其中，m 是樣點(diǎn)數(shù)，d是樣點(diǎn)維度。標(biāo)簽轉(zhuǎn)換［9，10］是指將每一個(gè) y轉(zhuǎn)換成=Py，其中是轉(zhuǎn)換矩陣，經(jīng)轉(zhuǎn)換之后的標(biāo)簽是不相關(guān)的，即可以單獨(dú)對(duì)待。首先，采用一個(gè)線性模型作為初始模型（加權(quán)為，偏差為），即被假定為：是噪聲方差。注意：用于標(biāo)簽轉(zhuǎn)換的高斯噪聲一般是實(shí)值（盡管原始值是二值）。式（1）可改寫(xiě)為如下形式：其中，

2.2 標(biāo)簽關(guān)聯(lián)處理

第2.1節(jié)主要介紹了標(biāo)簽轉(zhuǎn)換的基本方法，接下來(lái)將建立一個(gè)模型，利用該模型對(duì)標(biāo)簽關(guān)聯(lián)性進(jìn)行處理。

2.2.1 模型建立及分析

首先，建立一個(gè)概率模型。通過(guò)使用式（2）和式（4）以及和轉(zhuǎn)換標(biāo)簽時(shí)編碼原始標(biāo)簽的誤差以得到，在對(duì)式（4）中z進(jìn)行湊整之前的多標(biāo)簽預(yù)測(cè)遵從下列正態(tài)分布：

其中，λ1，λ2＞0 是兩個(gè)自由參數(shù)，用來(lái)增加-1的稀疏度和收縮性，-1指精度矩陣，表示標(biāo)簽i和標(biāo)簽j之間 部 分 相 關(guān)［18］。增 加-1的 稀 疏 度 意 味 著 大 部 分 的 標(biāo) 簽 是條件不相關(guān)的。這里，p（）是根據(jù)-1表述，而不是。為了模擬從z到二值預(yù)測(cè)y的湊整誤差，通過(guò)下面的正態(tài)分布來(lái)近似：

其中，λ0＞0。

其中，β1，β2＞0。圖 1 是代表整個(gè)模型的一個(gè)圖解表示，可清楚呈現(xiàn)其建立過(guò)程。具體地，首先通過(guò)自由參數(shù)λ1和λ2根據(jù)式（6）來(lái)獲得的信息；同時(shí)，通過(guò)參數(shù) β1和 β2根據(jù)式（11）來(lái)獲得的信息，進(jìn)而得到的分布。根據(jù)式（5），通過(guò)已知的訓(xùn)練集x、偏差b以及得到的W和來(lái)得到z，進(jìn)而根據(jù)式（7）通過(guò)給定的參數(shù)λ0來(lái)獲得y。提出的模型相較傳統(tǒng)方法模型的優(yōu)勢(shì)在于：現(xiàn)有的部分方法未考慮標(biāo)簽間的關(guān)聯(lián)性，或考慮了相關(guān)性，但由于串聯(lián)分類(lèi)器存在誤差或樣本數(shù)量較少等原因，其關(guān)聯(lián)會(huì)將誤差傳遞積累，進(jìn)而導(dǎo)致更多的誤差。而提出的模型不需要準(zhǔn)確地找出標(biāo)簽轉(zhuǎn)換，只需將概率模型重新表述成原始的標(biāo)簽空間，在原始標(biāo)簽空間中自動(dòng)獲知和掌握標(biāo)簽的關(guān)聯(lián)性，目標(biāo)是獲得能夠?qū)崿F(xiàn)同時(shí)對(duì)具有標(biāo)簽關(guān)聯(lián)性和遺失標(biāo)簽情況進(jìn)行多標(biāo)簽分類(lèi)求解模型 （具體求解處理見(jiàn)第2.2.2節(jié)和第2.3節(jié)）。

圖1 提出模型的一個(gè)圖解表示

2.2.2 模型推導(dǎo)求解

對(duì)建立的模型進(jìn)行推導(dǎo)求解。對(duì)于給定的N個(gè)樣點(diǎn)，令研究表明，湊整會(huì)導(dǎo)致編碼誤差為對(duì)應(yīng)的標(biāo)簽矩陣。其中，上標(biāo)（i）表示第i個(gè)樣點(diǎn)。當(dāng)

下面，使用交替最大化方法［23］對(duì)式（11）進(jìn)行求解，交替獲得后驗(yàn)信息最大值，即在式（13）中每次固定其他變量而求一個(gè)變量的最大值。這里，每一個(gè)子問(wèn)題是凸性的，且容易求解，具體如下。

（1）固定其他變量，求解Z

最優(yōu)化子問(wèn)題是：

顯然，每一個(gè) z（i）都可以單獨(dú)求解。令 z（i）的導(dǎo)數(shù)為 0，可以得到：

（2）固定其他變量，求解W和b

最優(yōu)化子問(wèn)題為：

令W的導(dǎo)數(shù)為0，可以得到一個(gè)封閉形式的解：，對(duì)于 b，令其導(dǎo)數(shù)為 0，可以得到：

根據(jù)式（6）的先驗(yàn)信息，最優(yōu)化子問(wèn)題為：

2.3 遺失標(biāo)簽處理

基于提出的模型，對(duì)遺失標(biāo)簽情況進(jìn)行處理。如前所說(shuō)，標(biāo)簽向量也許會(huì)有一些遺失記錄。假設(shè)樣點(diǎn)x（i）具有l(wèi)i個(gè) 觀 測(cè) 標(biāo) 簽 以 及 ui=m-li個(gè) 遺 失 標(biāo) 簽 ，可 將 y（i）和 z（i）分 別 記為和，其中，。同樣，對(duì)每一個(gè)i，通過(guò)將第li行／列與首次觀測(cè)的標(biāo)簽進(jìn)行對(duì)應(yīng)，可將-1記為其中，

不同于直接估算遺失標(biāo)簽值的方法［15］，這里所獲得的信息直接來(lái)源于觀測(cè)標(biāo)簽，類(lèi)似于式（13），可以得到：

則仍然滿(mǎn)足正態(tài)分布［24］：是W的子矩陣，W的列對(duì)應(yīng)于li觀測(cè)標(biāo)簽。注意：每一個(gè)在整個(gè)矩陣中相對(duì)于是獨(dú)立的。因此，盡管有遺失標(biāo)簽存在，推理過(guò)程仍然可以利用標(biāo)簽關(guān)聯(lián)信息。

如第2.2.2節(jié)所示，本節(jié)也將使用交替最大化法來(lái)求解式（21）中的后驗(yàn)信息最大值。對(duì)于的最大化子問(wèn)題與之前相同，因此其校正不變。

最優(yōu)化子問(wèn)題為：

（2）固定其他變量，求解W和b

最優(yōu)化子問(wèn)題為：

不同于式（16），這里無(wú)法對(duì)該凸問(wèn)題得到封閉解，而需要通過(guò)降低梯度對(duì)W進(jìn)行最優(yōu)化，即對(duì)b可得到一個(gè)封閉解：

最優(yōu)化子問(wèn)題為：

通過(guò)軟閾值迭代算法［25］進(jìn)行求解，將式（28）分解為兩部分：

梯度降；

其中，τ=λ2η，η 是梯度降的補(bǔ)償。

3 實(shí)驗(yàn)效果與分析

在第 3節(jié)中，對(duì) Guillaumin等人［26］采用的 4個(gè)圖像標(biāo)注的數(shù)據(jù)集（表1）進(jìn)行試驗(yàn)。對(duì)每一個(gè)圖像都提取1 000個(gè)SIFT特征。

表1 數(shù)據(jù)集

將提出的處理非完備數(shù)據(jù)和標(biāo)簽關(guān)聯(lián)的多標(biāo)簽分類(lèi)方法 （multi-label classification with incomplete labeled data and label relevance，ILDLR）與下列經(jīng)典方法進(jìn)行對(duì)比分析：

· 二值相關(guān)（BR）算法［4］；

· 條件的主標(biāo)簽空間轉(zhuǎn)換（CPLST）法［10］；

· 具有群索引的多標(biāo)簽排序（MLRGL）法［15］；

· 快速圖像標(biāo)記（FastTag）法［16］。

由于在CPLST方法中的轉(zhuǎn)換標(biāo)簽是實(shí)際值，因此，使用脊回歸作為其初始模型。所有方法的參數(shù)調(diào)整都基于一個(gè)已驗(yàn)證的集合，該集合通過(guò)對(duì)實(shí)驗(yàn)數(shù)據(jù)采樣25%獲得。下面兩個(gè)參數(shù)被廣泛的用于多標(biāo)簽分類(lèi)的效果評(píng)價(jià)［26］：

其中，macro_F1和micro_F1值越大，效果越好。

3.1 在完備標(biāo)簽數(shù)據(jù)上的實(shí)驗(yàn)

在4組完備數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并與其他幾種方法進(jìn)行對(duì)比?；?0折交叉驗(yàn)證方法，對(duì)數(shù)據(jù)進(jìn)行分類(lèi)及F1值評(píng)價(jià)，結(jié)果見(jiàn)表2，其中，“±”表示10次驗(yàn)證計(jì)算的 F1評(píng)價(jià)值的浮動(dòng)范圍?？梢钥吹?，在完備標(biāo)簽的情況下，提出的ILDLR方法對(duì)所有的數(shù)據(jù)處理效果都比其他方法要好。對(duì)于 MLRGL方法，在 COREL5K、ESPGAME和IAPRTCL12 3個(gè)數(shù)據(jù)集上的處理效果與其他幾種方法的效果差距較大。

3.2 在非完備標(biāo)簽數(shù)據(jù)上的實(shí)驗(yàn)

通過(guò)以下方式生成遺失標(biāo)簽。之前提及有m個(gè)標(biāo)簽，對(duì)每一個(gè)訓(xùn)練樣本集，選擇其中的一半作為觀測(cè)值，其余的為遺失值。由于每個(gè)樣點(diǎn)都普遍具有極少的正標(biāo)簽，且標(biāo)簽進(jìn)行隨機(jī)拆分有可能導(dǎo)致僅僅觀測(cè)到負(fù)標(biāo)簽，因此，對(duì)每一個(gè)樣點(diǎn)，保證有k=1，2，3個(gè)觀測(cè)到的正標(biāo)簽（如果一個(gè)樣本的正標(biāo)簽數(shù)少于k個(gè)，那么它所有的正標(biāo)簽將被挑選出來(lái)）。將ILDLR、MLRGL、FastTag和BR 4種方法進(jìn)行比較，這4種方法都能處理遺失標(biāo)簽。

表3呈現(xiàn)的是10折交叉驗(yàn)證的結(jié)果，可以看到，ILDLR的效果要優(yōu)于其他方法（除了在MIRFLICKR數(shù)據(jù)集中當(dāng)k=2時(shí)）。當(dāng)遺失標(biāo)簽的數(shù)量遠(yuǎn)大于k的最大值時(shí)，效果并不會(huì)隨著k的增大而變好。并且當(dāng)k=1時(shí)，通過(guò)ILDLR獲得的F1與表2中具有完備標(biāo)簽所獲得的值很接近。對(duì)于數(shù)據(jù)COREL5K，ILDLR在標(biāo)簽遺失的情況下反而效果更好，其原因是：對(duì)于完備標(biāo)簽，需要學(xué)習(xí)m×n的標(biāo)簽矩陣Z。而當(dāng)標(biāo)簽遺失時(shí)，只需要學(xué)習(xí)觀測(cè)標(biāo)簽矩陣Z對(duì)應(yīng)的子矩陣。這樣，盡管式（22）依賴(lài)于分布的結(jié)果，且可能會(huì)引進(jìn)一些誤差，但減少了自由參數(shù)的個(gè)數(shù)。因此，提出的ILDLR方法在標(biāo)簽遺失的情況下也會(huì)得到很好的處理效果。

表2 具有完備標(biāo)簽數(shù)據(jù)的結(jié)果

4 結(jié)束語(yǔ)

對(duì)多標(biāo)簽分類(lèi)提出了一個(gè)概率模型，然后受標(biāo)簽轉(zhuǎn)換方法的啟發(fā)，此模型在原始標(biāo)簽空間而不是在轉(zhuǎn)換標(biāo)簽空間進(jìn)行表述，這可以靈活地處理標(biāo)簽相關(guān)和遺失標(biāo)簽情況，并且推導(dǎo)過(guò)程簡(jiǎn)單。在完備的數(shù)據(jù)和具有非完備的遺失標(biāo)簽數(shù)據(jù)上的實(shí)驗(yàn)都表明，提出的方法比現(xiàn)有的其他經(jīng)典方法效果更好。

［1］ZHANG M L，ZHOU Z H.A review on multi-label learning algorithms ［J］.IEEE Transactions on Knowledge and Data Engineering，2014，26（8）：1819-1837.

［2］MADJAROV G，KOCEV D，GJORGJEVIKJ D，et al.An extensive experimental comparison of methods for multi-label learning［J］.Pattern Recognition，2012，45（9）：3084-3104.

［3］王霄，周李威，陳耿，等.一種基于標(biāo)簽相關(guān)性的多標(biāo)簽分類(lèi)算法［J］.計(jì)算機(jī)應(yīng)用研究，2014，31（9）：2609-2614.WANG X，ZHOU L W，CHEN G，et al.Correlation label-based multi-label classification algorithm.［J］.Application Research of Computers，2014，31（9）：2609-2614.

［4］TSOUMAKAS G， KATAKIS I， VLAHAVAS I.Mining multi-label data［M］.New York：Springer，2010：667-685.

表3 10折交叉驗(yàn)證結(jié)果

［5］READ J，PFAHRINGER B，HOLMES G，et al.Classifier chains for multi-labelclassification ［C］／／European Conference on Machine Learning，June 14-18，2009，Montreal，Canada.New Jersey：IEEE Press，2009：254-269.

［6］孫霞，張敏超，馮筠，等.Hadoop框架下的多標(biāo)簽傳播算法［J］.西安交通大學(xué)學(xué)報(bào)，2015，49（5）：134-139.SUN X，ZHANG M C，F(xiàn)ENG J，et al.A label propagation algorithm for multi-label classification ［J］.Journal of Xi’an Jiaotong University，2015，49（5）：134-139.

［7］HARIHARAN B，ZELNIK M L，VISHWANATHAN S，et al.Large scale max-margin multi-label classification with priors［C］／／27th International Conference on Machine Learning，June 21-24，2010，Haifa，Isreal.New Jersey：IEEE Press，2010：423-430.

［8］HSU D，KAKADE S，LANGFORD J，et al.Multi-label prediction via compressed sensing［J］.Computer Science，2009：772-780.

［9］ TAI F，LIN H.Multi-label classification with principal label space transformation ［J］.Neural Computation，2012，24 （9）：2508-2542.

［10］CHEN Y N，LIN H T.Feature-aware label space dimension reduction for multi-label classification ［J］.Advances in Neural Information Processing Systems ，2012（2）：1538-1546.

［11］馬宗杰，劉華文.基于奇異值分解-偏最小二乘回歸的多標(biāo)簽分類(lèi)算法［J］.計(jì)算機(jī)應(yīng)用，2014，34（7）：2058-2061.MA Z J，LIU H W.Multi-label classification based on singular value decomposition-partial least squares regression［J］.Journal of Computer Applications，2014，34（7）：2058-2061.

［12］李遠(yuǎn)航，劉波，唐僑.面對(duì)多標(biāo)簽圖數(shù)據(jù)的主動(dòng)學(xué)習(xí)［J］.計(jì)算機(jī)科學(xué)，2014，41（11）：260-264.LIYH，LIUB，TANGQ.Activelearningformulti-label classification on graphs［J］.Computer Science，2014，41（11）：260-264.

［13］許美香，孫福明，李豪杰.主動(dòng)學(xué)習(xí)的多標(biāo)簽圖像分類(lèi)在線分類(lèi)［J］.中國(guó)圖像圖形學(xué)報(bào)，2015，20（2）：237-244.XU M X，SUN F M，LI H J.Online multi-label image classification with active learning ［J］.Journal of Image and Graphics，2015，20（2）：237-244.

［14］徐曉丹，姚明海，劉華文，等.基于kNN的多標(biāo)簽分類(lèi)預(yù)處理方法［J］.計(jì)算機(jī)科學(xué)，2015，42（5）：106-108.XU X D，YAO M H，LIU H W，et al.Pre-processing method of multi-label classification based on kNN［J］.Computer Science，2015，42（5）：106-108.

［15］BUCK S，JIN R，JAIN A.Multi-label learning with incomplete class assignments ［C］／／IEEE Conference on Computer Vision and Pattern Recognition，June 20-25，2011，Providence，RI，USA.New Jersey：IEEE Press，2012：2801-2808.

［16］CHEN M，ZHENG A，WEINBERGER K Q.Fast image tagging［C］／／30th International Conference on Machine Learning，June 16-21，2013，Atlanta，GA，USA.New Jersey：IEEE Press，2013：1274-1282.

［17］YU H F，JAIN P，DHILLON I S.Large-scale multi-label learning with missing labels［C］／／31st International Conference on Machine Learning，June 21-26，2014，Beijing，China.New Jersey：IEEE Press，2014：593-601.

［18］PETTERSON J，CAETANO T.Submodular multi-label learning［J］.Advances in Neural Information Processing Systems，2011：1512-1520.

［19］GUPTA A，NAGAR D.Matrix variate distributions ［M］.Boca Raton：Chapmanamp;Hall／CRC Press，2000.

［20］RAI P，KUMAR A，III H D.Simultaneously leveraging output and task structures for multiple-output regression［C］／／Advances in Neural Information Processing Systems，December 3-8，2012，South Lake Tahoe，USA.New Jersey：IEEE Press，2012：3194-3202.

［21］ROTHMAN A J，LEVINA E，ZHU J.Sparse multivariate regression with covariance estimation［J］.Journal of Computational and Graphical Statistics，2010，19（4）：947-962.

［22］ZHANG Y，YEUNG D Y.A convex formulation for learning task relationships in multi-task learning ［C］／／26th Conference on Uncertainty in Artificial Intelligence，July 8-11，2010，Los Angeles，USA.New Jersey：IEEE Press，2010：733-742.

［23］BERTSEKAS D P.Nonlinear programming ［M］.Nashua：Athena Scientific，1999.

［24］BISHOP C M.Pattern recognition and machine learning［M］.New York：Springer-Verlag，2006：125-153.

［25］BECK A，TEBOULLE M.A fast iterative shrinkage-thresholding algorithm for linear inverse problem［J］.SIAM Journal on Imaging Sciences，2009，2（1）：183-202.

［26］GUILLAUMIN M，MENSINK T，VERBEEK J，et al.Tagprop：discriminative metric learning in nearest neighbor models for image auto-annotation ［C］／／International Conference on Computer Vision，September 29-October 2，2009，Kyoto，Japan.New Jersey：IEEE Press，2009：309-316.

A multi-label classification method for disposing incomplete labeled data and label relevance

ZHANG Lina1，2，DAI Lingpeng2，KUANG Tai1
1.Department of Information Engineering，Zhejiang College of Security Technology，Wenzhou 325016，China 2.College of Life and Environmental Science，Wenzhou University，Wenzhou 325035，China

Multi-label classification methods have been applied in many real-world fields，in which the labels may have strong relevance and some of them even are incomplete or missing.However，existing multi-label classification algorithms are unable to handle both issues simultaneously.A new probabilistic model that can automatically learn and exploit multi-label relevance was proposed on label relevance and missing label classification simultaneously.By integrating out the missing information，it also provides a disciplined approach to handle missing labels.Experiments on a number of real world data sets with both complete and incomplete labels demonstrated that the proposed method can achieve higher classification and prediction evaluation scores than the existing multi-label classification algorithms.

incomplete label，label relevance，multi-label classification，probabilistic model

s： Education Science Department Foundation of Zhejiang Province（No.2016SCG188），The Natural Science Foundation of Zhejiang Province of China （No.LY14C03007）

TP311

A

10.11959／j.issn.1000-0801.2016197

2016-05-04；

2016-07-10

張麗娜，zln_zcst@163.com

浙江省教育科學(xué)規(guī)劃基金資助項(xiàng)目（No.2016SCG188）；浙江省自然科學(xué)基金資助項(xiàng)目（No.LY14C03007）

張麗娜（1980-），女，浙江安防職業(yè)技術(shù)學(xué)院信息工程系講師，主要研究方向?yàn)閿?shù)據(jù)挖掘、圖像處理、模式識(shí)別。

戴靈鵬（1975-），男，博士，溫州大學(xué)生命與環(huán)境科學(xué)學(xué)院副教授，主要研究方向?yàn)槟Ｊ阶R(shí)別。

匡泰（1964-），男，浙江安防職業(yè)技術(shù)學(xué)院信息工程系副教授，主要研究方向?yàn)榇髷?shù)據(jù)、人工智能。