摘 要：

近年來，多核方法已被證實(shí)在很多領(lǐng)域上有著比單核更好的性能。然而，現(xiàn)有的在線多標(biāo)簽分類算法大多采用單核方法，并且依賴于離線的核函數(shù)選擇過程。為了克服這些問題并提升分類性能，提出了一種在線多核多標(biāo)簽分類算法（online multi kernel multi-label classification，OMKMC）。具體而言，OMKMC將多個(gè)核分類器及其權(quán)重系數(shù)的學(xué)習(xí)建模成一個(gè)非凸優(yōu)化問題，使用交替最小化方法求解這一問題，推導(dǎo)出了核分類器及其權(quán)重系數(shù)的閉式更新公式。此外，OMKMC還引入了孤立核以解決大規(guī)模數(shù)據(jù)上的計(jì)算問題。在八個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)表明，相較于其他幾種先進(jìn)多標(biāo)簽分類算法，OMKMC在多項(xiàng)性能指標(biāo)上均有優(yōu)勢，證明了OMKMC是有效的。

關(guān)鍵詞：多標(biāo)簽分類；多核學(xué)習(xí)；非凸優(yōu)化；在線學(xué)習(xí)

中圖分類號(hào)：TP391"" 文獻(xiàn)標(biāo)志碼：A""" 文章編號(hào)：1001-3695（2024）12-017-3651-07

doi： 10.19734/j.issn.1001-3695.2024.04.0125

Multi kernel algorithm for online multi-label classification

Tang Chaoyang， Zhai Tingting， Zheng Yixian

（College of Information Engineering， Yangzhou University， Yangzhou Jiangsu 225127， China）

Abstract：

In recent years， researchers have shown that multi-kernel methods outperform single-kernel methods in various domains. However， existing online multi-label classification algorithms mostly adopt single-kernel approaches and rely on offline kernel function selection processes. To address these issues and improve classification performance， this paper proposed an online multi-kernel multi-label classification algorithm （OMKMC）. Specifically， OMKMC modeled the learning of multi kernel classifiers and their weight coefficients as a non-convex optimization problem， solving this problem using an alternating minimization approach， which derived closed-form update formulas for kernel classifiers and their weight coefficients. Additionally， OMKMC introduced an isolation kernel to handle computational challenges on large-scale data. Experiments on eight public datasets show that OMKMC outperforms several advanced multi-label classification algorithms in various performance metrics， proving its effectiveness.

Key words：multi-label classification; multi kernel learning; non-convex optimization; online learning

0 引言

核方法是機(jī)器學(xué)習(xí)領(lǐng)域中的重要方法，廣泛用于各種非線性預(yù)測任務(wù)中［1，2］。一方面，核方法利用核函數(shù)隱式地將數(shù)據(jù)映射到一個(gè)高維特征空間中，并在此空間中進(jìn)行學(xué)習(xí)和預(yù)測，另一方面，核方法利用核技巧避免顯式地計(jì)算高維的特征映射。現(xiàn)有的核方法可以分為單核方法和多核方法。單核方法的性能受限于數(shù)據(jù)的特征分布，并不能很好地處理具有多源異構(gòu)特征的數(shù)據(jù)［3］，而且其核函數(shù)的參數(shù)選取過程較為復(fù)雜，往往需要借助于交叉驗(yàn)證或者額外的數(shù)據(jù)。相比之下，多核方法通過結(jié)合多個(gè)核函數(shù)，能夠較好地表示多源異構(gòu)數(shù)據(jù)，并且能學(xué)習(xí)不同核函數(shù)的組合方式，自動(dòng)調(diào)整核函數(shù)的權(quán)重，以獲得更優(yōu)的模型性能。

近年來，出現(xiàn)了很多有效的多核學(xué)習(xí)方法，例如基于Boosting的多核組合方法［4］、基于Nystrm的多核學(xué)習(xí)方法［5］、基于引力策略的多核學(xué)習(xí)方法［6］、基于深度學(xué)習(xí)的多核學(xué)習(xí)方法［7］等。盡管上述多核模型有著比單核模型更好的性能，但是它們在學(xué)習(xí)過程中需要將所有的數(shù)據(jù)都存儲(chǔ)在內(nèi)存中才能進(jìn)行學(xué)習(xí)，因此并不適用于數(shù)據(jù)持續(xù)增長的數(shù)據(jù)流環(huán)境。

鑒于此，Jin等人［8］將多核學(xué)習(xí)與在線學(xué)習(xí)結(jié)合，首次提出了在線多核學(xué)習(xí)方法，該方法通過在線的方式實(shí)現(xiàn)了核分類器及其權(quán)重系數(shù)的同步更新，使得多核學(xué)習(xí)可以適用于數(shù)據(jù)流環(huán)境，但該方法在使用流行的高斯核作為核函數(shù)時(shí)具有可拓展性差的問題。Shen等人［9］首次利用隨機(jī)傅里葉特征技術(shù)［10］來實(shí)現(xiàn)可拓展的在線多核學(xué)習(xí)，通過一個(gè)專家建議算法Hedge［11］對(duì)核分類器進(jìn)行加權(quán)組合。當(dāng)預(yù)定義的核集中包含大量的核時(shí)，Ghari等人［12］利用核之間的相似性構(gòu)造了反饋圖，借助于圖的反饋信息，從所有核中選擇一個(gè)子集，實(shí)現(xiàn)對(duì)不相關(guān)核的裁剪，以減輕多核學(xué)習(xí)的計(jì)算負(fù)擔(dān)。

盡管在線多核學(xué)習(xí)已經(jīng)取得了一定的研究進(jìn)展，但幾乎所有研究都集中在單標(biāo)簽分類或回歸任務(wù)上，對(duì)于多標(biāo)簽分類的研究非常少。多標(biāo)簽分類在現(xiàn)實(shí)世界中具有非常廣泛的應(yīng)用，例如在文本分類［13］、圖像分類［14］、生物信息學(xué)［15］以及醫(yī)學(xué)診斷［16］等領(lǐng)域。相比于單標(biāo)簽分類，在多標(biāo)簽分類中，每個(gè)實(shí)例與多個(gè)標(biāo)簽相關(guān)聯(lián)，且標(biāo)簽之間可能存在相關(guān)性，其預(yù)測任務(wù)是為任意輸入的實(shí)例輸出與之相聯(lián)系的所有標(biāo)簽。因此，多標(biāo)簽分類通常是比單標(biāo)簽分類更難的任務(wù)，需要開發(fā)專門的算法和技術(shù)。根據(jù)應(yīng)用場景的不同，多標(biāo)簽分類可以分為離線多標(biāo)簽分類和在線多標(biāo)簽分類，其中在線多標(biāo)簽分類是近年來興起的一個(gè)重要研究方向，更加適用于社交媒體、電商推薦、新聞推薦等實(shí)時(shí)性強(qiáng)、數(shù)據(jù)動(dòng)態(tài)性強(qiáng)的應(yīng)用場景。

盡管目前已有幾個(gè)在線多標(biāo)簽分類算法被提出，但這些算法都是單核的，且依賴于離線的核函數(shù)選擇程序。Qiu等人［17］提出了一種基于核極限學(xué)習(xí)機(jī)的半監(jiān)督在線多標(biāo)簽分類算法，該算法在構(gòu)造極限學(xué)習(xí)機(jī)的輸出函數(shù)時(shí)，使用核函數(shù)代替隱藏層映射，并將半監(jiān)督極限學(xué)習(xí)機(jī)［18］調(diào)整到數(shù)據(jù)流的場景中。Zhai等人［19］提出了一族被動(dòng)主動(dòng)的在線多標(biāo)簽分類算法，該族算法旨在學(xué)習(xí)標(biāo)簽得分和閾值的預(yù)測器，使得相關(guān)標(biāo)簽的得分在閾值之上，而閾值又在無關(guān)標(biāo)簽的得分之上，該目標(biāo)被建模為一個(gè)包含兩個(gè)線性約束的凸優(yōu)化問題，通過求解KKT條件得到問題的最優(yōu)解。之后，Zhai等人［20］又提出了一個(gè)聯(lián)合優(yōu)化閾值與標(biāo)簽評(píng)分模型的框架，將多標(biāo)簽分類問題建模為一個(gè)包括L個(gè)線性約束的凸優(yōu)化問題，其中L是標(biāo)簽的數(shù)量，并將其轉(zhuǎn)換為一個(gè)無約束問題，通過一階在線梯度下降法或二階自適應(yīng)鏡像下降法進(jìn)行求解。其中，Zhai等人［20］的一階自適應(yīng)標(biāo)簽閾值算法能與核進(jìn)行結(jié)合，表現(xiàn)出很強(qiáng)的性能。

基于以上分析，為了克服傳統(tǒng)的基于批量學(xué)習(xí)的核方法在選擇核函數(shù)時(shí)所面臨的困難，同時(shí)彌補(bǔ)現(xiàn)有在線多核方法在多標(biāo)簽領(lǐng)域研究的不足，本文提出了一種全新的在線多核多標(biāo)簽分類算法。本文方法通過在線地學(xué)習(xí)多個(gè)核分類器，并動(dòng)態(tài)地分配每個(gè)核分類器的貢獻(xiàn)系數(shù)，不僅能免去離線選擇核函數(shù)的煩瑣步驟，而且有效地提升了多標(biāo)簽分類任務(wù)的性能。本文的貢獻(xiàn)如下：

a）將核分類器及其權(quán)重系數(shù)的學(xué)習(xí)建模成一個(gè)非凸優(yōu)化問題，通過交替最小化方法求解這一問題，推導(dǎo)出了核分類器以及組合系數(shù)的閉式更新公式。

b）為了緩解在線核學(xué)習(xí)所面臨的核災(zāi)難問題，本文引入孤立核［21］，該核函數(shù)具有顯式的特征映射，使得學(xué)習(xí)模型可以在新的特征空間中直接通過向量來表示，實(shí)現(xiàn)了本文算法的高效運(yùn)行。

c）在八個(gè)不同領(lǐng)域的公開數(shù)據(jù)集上，與多種先進(jìn)的多標(biāo)簽分類算法相比，本文算法在多項(xiàng)性能指標(biāo)上均有優(yōu)勢。

1 符號(hào)表示和問題設(shè)定

為處理大規(guī)模數(shù)據(jù)，本文算法采用孤立核［21］。孤立核具有一個(gè)顯式的特征映射，借助于該映射，（x）可以直接用向量表示，從而每個(gè)模型都可以用向量表示，因此無須保存支持向量。孤立核的核心思想是，隨機(jī)選取φ個(gè)數(shù)據(jù)樣本點(diǎn)，以數(shù)據(jù)樣本點(diǎn)為基準(zhǔn)將數(shù)據(jù)空間切分為φ個(gè)子空間，當(dāng)實(shí)例x到來時(shí)，判斷x會(huì)落入到哪個(gè)子空間，落入的空間標(biāo)記為1，其余空間記為0，因此，（x）可以表示成一個(gè)由0和1組成的長度為φ的向量。通常要隨機(jī)進(jìn)行多次子空間的劃分，劃分次數(shù)記為t，最終數(shù)據(jù)點(diǎn)x經(jīng)過孤立核映射變成一個(gè)長度為tφ的向量，即（x）∈{0，1}tφ。

孤立核已經(jīng)在二分類、聚類和異常檢測等領(lǐng)域得到了應(yīng)用，但根據(jù)調(diào)查，目前尚未有研究在多標(biāo)簽學(xué)習(xí)領(lǐng)域應(yīng)用孤立核。因此，本文的研究不僅豐富了孤立核的應(yīng)用范疇，也為多標(biāo)簽學(xué)習(xí)提供了一種新的思路和方法。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)環(huán)境以及實(shí)驗(yàn)數(shù)據(jù)集

本文所使用的實(shí)驗(yàn)環(huán)境為CPU為Intel Core i7-10700，內(nèi)存大小為16 GB。本文的編程環(huán)境為MATLAB R2018b。

本文選擇了來自多個(gè)領(lǐng)域的8個(gè)公開數(shù)據(jù)集，選擇這些數(shù)據(jù)集主要基于以下幾點(diǎn)考慮：

a）多領(lǐng)域覆蓋：這些數(shù)據(jù)集覆蓋了生物、音樂、圖像、文本、視頻和醫(yī)藥等多個(gè)不同的領(lǐng)域。選擇來自不同領(lǐng)域的數(shù)據(jù)集有助于驗(yàn)證本文方法的廣泛適用性。

b）規(guī)模多樣性：所選數(shù)據(jù)集具有不同的規(guī)模，從小規(guī)模到大規(guī)模的數(shù)據(jù)集都有涵蓋。通過在規(guī)模不同的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，可以全面評(píng)估本文方法在不同數(shù)據(jù)規(guī)模下的表現(xiàn)。

c）標(biāo)準(zhǔn)數(shù)據(jù)集選擇：這些數(shù)據(jù)集都是多標(biāo)簽分類研究領(lǐng)域中常用的數(shù)據(jù)集，選擇這些標(biāo)準(zhǔn)數(shù)據(jù)集不僅能夠方便與其他研究的對(duì)比，而且能夠確保實(shí)驗(yàn)結(jié)果的通用性。

使用的所有數(shù)據(jù)集都可以在如下的網(wǎng)站上進(jìn)行下載（https：//www.uco.es/kdis/mllresources/），數(shù)據(jù)集信息如表1所示。

4.2 評(píng)估指標(biāo)

本文采用7個(gè)常見的多標(biāo)簽分類評(píng)估指標(biāo)來評(píng)價(jià)算法的性能，分別是精確率（precision，P）、召回率（recall，R）、F1度量、MacroF1、MicroF1、漢明損失（Hamming loss，HL）以及排序損失（ranking loss，RL），它們的計(jì)算公式為

F1=2×P×RP+R（20）

其中：N是評(píng)估的測試樣本數(shù)目；精確率是指被正確預(yù)測為正例的樣本數(shù)占所有被預(yù)測為正例的樣本數(shù)的比例；召回率是指被正確預(yù)測為正例的樣本數(shù)占真實(shí)正例的樣本數(shù)的比例；F1度量值是精確率和召回率的調(diào)和平均值，用于綜合評(píng)估模型的性能。這三個(gè)性能指標(biāo)的值越大越好。

MacroF1=1Q∑Qj=12×tpj2×tpj+fpj+fnj（21）

MicroF1=2×∑Qj=1tpj∑Qj=1（2×tpj+fpj+fnj）（22）

其中：Q表示標(biāo)簽數(shù)量；tpj、fpj和fnj分別代表第j個(gè)標(biāo)簽的真陽性、假陽性和假陰性的實(shí)例個(gè)數(shù)。以上兩種指標(biāo)越大越好。

HL=1N×Q∑Ni=1|Y^iΔYi|（23）

RL=1N ∑Ni=1 ∑j∈Yi，k∈YiI［h（xi， j）≤h（xi，k）］|Yi|×|i|（24）

其中：Δ指的是兩個(gè)集合的對(duì)稱差；h（xi， j）表示在實(shí)例xi的標(biāo)簽j上的模型預(yù)測分?jǐn)?shù)。漢明損失衡量被錯(cuò)誤預(yù)測的標(biāo)簽的比例，排序損失衡量多個(gè)標(biāo)簽排序時(shí)的性能，這兩個(gè)性能指標(biāo)值越小越好。

4.3 對(duì)比算法

本文根據(jù)數(shù)據(jù)集的規(guī)模大小采取了不同的策略，對(duì)于表1中的Gpositive、CHD-49、Emotions、Yeast和Scene這五個(gè)規(guī)模較小的數(shù)據(jù)集，本文算法采用多個(gè)高斯核作為預(yù)定義的核，記該算法為OMKMC-GK，并與如下4個(gè)基線算法進(jìn)行對(duì)比：

FALT-GK［20］：一階自適應(yīng)標(biāo)簽閾值算法，采用單個(gè)高斯核處理非線性分類。

OMKMC-GK-EW：OMKMC-GK的一個(gè)退化版本，也是多核方法，但是為每個(gè)核分類器分配相同且固定的權(quán)重系數(shù)，僅更新核分類器，不更新核權(quán)值。即對(duì)于t∈［T］，m∈［M］，βt，m=1/M。

CLML［26］：該算法利用標(biāo)簽和實(shí)例的相關(guān)信息來學(xué)習(xí)多標(biāo)簽分類的共同特征和特定于標(biāo)簽的特征。

CMLL［27］：通過對(duì)標(biāo)簽和特征的兩個(gè)嵌入空間進(jìn)行聯(lián)合學(xué)習(xí)，改進(jìn)了現(xiàn)有的緊湊學(xué)習(xí)方法。其中k-CMLL算法是CMLL算法的核化擴(kuò)展版本。

選擇這些算法作為對(duì)比算法主要基于以下考慮：

a）與原單核算法的對(duì)比：本文將原單核算法擴(kuò)展為多核方法。因此，本文選擇了單核方法FALT作為基準(zhǔn)模型。通過與FALT的比較，可以驗(yàn)證本文方法在原單核方法基礎(chǔ)上的改進(jìn)和提升。

b）權(quán)重更新方法的有效性：引入退化的多核方法OMKMC-EW作為基線模型。OMKMC-EW為每個(gè)核分類器分配相同且固定的權(quán)重系數(shù)，通過與OMKMC-EW的比較，可以有效地評(píng)估本文權(quán)重更新方法的有效性。

c）與先進(jìn)方法對(duì)比：CLML和CMLL是當(dāng)前多標(biāo)簽分類領(lǐng)域中的前沿方法，與它們進(jìn)行對(duì)比可以全面評(píng)估本文方法的性能表現(xiàn)。

對(duì)于表1中的Enron、Tmc2007、Mediamill這三個(gè)規(guī)模較大的數(shù)據(jù)集上，本文算法采用多個(gè)孤立核作為預(yù)定義的核，算法記為OMKMC-IK，并與如下5個(gè)基線算法進(jìn)行對(duì)比：

FALT-IK：采用單個(gè)孤立核的一階自適應(yīng)標(biāo)簽閾值算法。

FALT-M-IK：使用多個(gè)孤立核，利用每個(gè)核對(duì)應(yīng)的顯式特征映射m得到實(shí)例x的新的向量表示（x），然后將所有的向量串聯(lián)起來得到融合的特征表示［1（x），…，M（x）］，作為線性的FALT算法的輸入。

OMKMC-IK-EW：將OMKMC-GK-EW中的高斯核換成孤立核得到的算法。

其余兩個(gè)基線算法分別是CLML和CMLL，已在上文簡單介紹過。

4.4 實(shí)驗(yàn)設(shè)定

為了增強(qiáng)本文算法的收斂性，允許算法在整個(gè)訓(xùn)練集上遍歷10次，其中前幾次用于對(duì)所有的單核多標(biāo)簽?zāi)Ｐ瓦M(jìn)行初始化，后幾次用于執(zhí)行交替最小化策略來更新多核多標(biāo)簽分類模型。剩余在線算法FALT也允許遍歷10次。

對(duì)于多核學(xué)習(xí)問題來說，如何選擇核的個(gè)數(shù)及種類在目前來說沒有一個(gè)統(tǒng)一的理論標(biāo)準(zhǔn)，但是本文方法可以自適應(yīng)地調(diào)整各個(gè)核函數(shù)的權(quán)重，從而無須過多地關(guān)注核函數(shù)的選擇，僅需一個(gè)預(yù)定義的核集。具體來說，本文算法OMKMC-GK共選用了11個(gè)高斯核，其表達(dá)式為Euclid Math OneKAp（xi，xj）=exp（－‖xi－xj‖22δ2），其中所選取的11個(gè)核參數(shù)δ2分別是{2－5，2－4，…，25}，正則項(xiàng)參數(shù)λ的搜索區(qū)間是［10－10，10－5］，兩個(gè)學(xué)習(xí)率α和η的搜索區(qū)間是［2－5，25］。使用孤立核的算法OMKMC-IK選用log2（n/2）」－2個(gè)孤立核，其中n是訓(xùn)練樣本的數(shù)量，每個(gè)孤立核的采樣次數(shù)t均設(shè)置為100，每次采樣的樣本量φ的取值分別是{23，24，…，2log2（n/2）」}，算法其余參數(shù)的設(shè)定與OMKMC-GK相同。

基線對(duì)比算法中，F(xiàn)ALT-GK的核參數(shù)δ2從OMKMC-GK的預(yù)定義核集中選取最優(yōu)的那個(gè)，F(xiàn)ALT-IK使用的孤立核從OMKMC-IK的預(yù)定義核集中選擇最優(yōu)的那個(gè)。對(duì)于其余的多核算法，其預(yù)定義的核集與本文的算法設(shè)置相同。CLML和CMLL這兩種算法的參數(shù)是根據(jù)原論文中建議的參數(shù)設(shè)置來選擇的。

通過交叉驗(yàn)證結(jié)合網(wǎng)格搜索找到最優(yōu)參數(shù)，一旦找到最優(yōu)參數(shù)，對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行 20 次隨機(jī)排列以學(xué)習(xí)模型，并將學(xué)習(xí)后的模型在測試數(shù)據(jù)進(jìn)行評(píng)估，將這20次評(píng)估的平均值作為實(shí)驗(yàn)結(jié)果。

4.5 實(shí)驗(yàn)結(jié)果分析

表2～9記錄了不同算法在每個(gè)數(shù)據(jù)集上的性能指標(biāo)值，其中括號(hào)內(nèi)的為標(biāo)準(zhǔn)差，采取配對(duì)t檢驗(yàn)，在95%置信水平下，每個(gè)指標(biāo)的最佳結(jié)果及其可比結(jié)果用粗體表示。其中，基線對(duì)比算法k-CMLL在測試Tmc2007和Mediamill這兩個(gè)數(shù)據(jù)集時(shí)內(nèi)存溢出，無法呈現(xiàn)測試結(jié)果，該方法并不適用于大規(guī)模數(shù)據(jù)集。

從表2～6可以看出，在幾乎所有的性能指標(biāo)上，本文算法OMKMC-GK都顯著優(yōu)于采用固定權(quán)重系數(shù)的OMKMC-GK-EW。這表明為每個(gè)核分類器分配合適的權(quán)重系數(shù)是非常重要的，也表明本文算法的核分類器權(quán)重系數(shù)的更新

方法是有效的。與經(jīng)過核參數(shù)精細(xì)挑選的FALT-GK相比，OMKMC-GK在Gpositive、CHD-49、Emotions、Scene和Yeast這五個(gè)數(shù)據(jù)集上都具有競爭優(yōu)勢，這表明了本文所提出的多核方法是有效的，同時(shí)OMKMC-GK還省去了選取核參數(shù)的煩瑣步驟。與其余兩個(gè)算法CLML和k-CMLL相比，本文算法的性能指標(biāo)在這五個(gè)數(shù)據(jù)集上都具有顯著優(yōu)勢。

綜上，在高斯核上，本文方法的綜合性能優(yōu)于對(duì)比算法，在絕大多數(shù)性能指標(biāo)上都能取得具有競爭力的結(jié)果。

從表7～9可以看出，與經(jīng)過核參數(shù)精心挑選的FALT-IK相比，本文算法OMKMC-IK在Enron、Tmc2007和Mediamill這三個(gè)數(shù)據(jù)集上，幾乎所有的指標(biāo)都優(yōu)于FALT-IK。與多核特征融合的算法FALT-M-IK相比，在所有數(shù)據(jù)集上，本文算法在多數(shù)指標(biāo)上都有領(lǐng)先，這表明雖然都是使用了多個(gè)核函數(shù)，但是對(duì)多個(gè)核分類器進(jìn)行更新的方法是有效的。與采用固定權(quán)重系數(shù)的算法OMKMC-IK-EW相比，本文算法在所有數(shù)據(jù)集上的評(píng)估指標(biāo)幾乎都優(yōu)于OMKMC-IK-EW，這再一次證明了本文方法更新核分類器的權(quán)重系數(shù)是有效的。與離線算法CLML相比，本文算法在Tmc2007數(shù)據(jù)集上有顯著優(yōu)勢，在Enron和Mediamill數(shù)據(jù)集上各有領(lǐng)先，具有競爭優(yōu)勢。

綜上，分析表2～9可以得出，無論是在高斯核還是在孤立核上，本文方法的綜合性能都優(yōu)于對(duì)比方法，在大部分性能指標(biāo)上都能取得具有競爭力的結(jié)果，這充分地驗(yàn)證了本文所提出的多核方法是有效的。

對(duì)于3個(gè)大規(guī)模數(shù)據(jù)集，本文將高斯核和孤立核在OMKMC算法中的性能進(jìn)行了全面比較。除了常規(guī)的性能指標(biāo)外，還特別增加了訓(xùn)練時(shí)間這一指標(biāo)，以展示不同核函數(shù)在時(shí)間效率上的差異。表10記錄了Enron和Tmc2007數(shù)據(jù)集上的性能指標(biāo)和訓(xùn)練時(shí)間。此外，由于Mediamill數(shù)據(jù)集在高斯核的方法上超出了本文所用設(shè)備的計(jì)算資源限制，所以無法呈現(xiàn)該數(shù)據(jù)集的實(shí)驗(yàn)數(shù)據(jù)。

從表10可以看出，孤立核和高斯核在這兩個(gè)數(shù)據(jù)集上的性能表現(xiàn)大致相當(dāng)，盡管在部分性能指標(biāo)上，孤立核略遜于高斯核。然而，在訓(xùn)練時(shí)間方面，孤立核顯著優(yōu)于高斯核。例如，在Tmc2007數(shù)據(jù)集上，孤立核的訓(xùn)練時(shí)間是101.25 s，高斯核是2 091.54 s，相差20倍左右。因此，孤立核方法在處理大規(guī)模數(shù)據(jù)集時(shí)，不僅能夠保持較高的性能，還能顯著提高時(shí)間效率，這使得孤立核在大規(guī)模數(shù)據(jù)集的應(yīng)用中更具實(shí)際應(yīng)用價(jià)值。

最后，為了驗(yàn)證本文方法在實(shí)例上的應(yīng)用結(jié)果，使用南京大學(xué)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘研究所公開的自然圖像數(shù)據(jù)集（https：//www.lamda.nju.edu.cn/data_MIMLimage.ashx）。該數(shù)據(jù)集共有2 000張圖片，分為沙漠、山脈、海洋、落日、樹木5種標(biāo)簽類別。每張圖片都與一個(gè)、兩個(gè)或三個(gè)標(biāo)簽相關(guān)聯(lián)。本文從測試集中隨機(jī)選取了6張圖片，運(yùn)行本文方法并將預(yù)測結(jié)果與圖片的真實(shí)標(biāo)簽進(jìn)行對(duì)比，圖1展示了這些圖片及其預(yù)測結(jié)果，圖片下方的文字為預(yù)測結(jié)果。

從圖1可以看出，本文方法在實(shí)例上的分類結(jié)果比較準(zhǔn)確，除了圖（f）未能預(yù)測到“沙漠”標(biāo)簽以外，其余圖片全部預(yù)測正確。圖（f）預(yù)測失敗可能是因?yàn)椤吧衬睒?biāo)簽出現(xiàn)頻次較低，導(dǎo)致模型未能充分學(xué)習(xí)該特征，進(jìn)而在識(shí)別該標(biāo)簽時(shí)表現(xiàn)不佳。

通過上述實(shí)例分析可以看出，本文方法在多標(biāo)簽分類任務(wù)中的應(yīng)用效果良好，大多數(shù)標(biāo)簽均能準(zhǔn)確預(yù)測。

5 結(jié)束語

本文提出了一種在線多核多標(biāo)簽分類算法，具體來說，將多個(gè)核分類器及其權(quán)重系數(shù)的學(xué)習(xí)建模成一個(gè)非凸優(yōu)化問題，通過使用交替最小化方法推導(dǎo)出了核分類器及其權(quán)重系數(shù)的閉式更新公式。在八個(gè)公開數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文算法在多項(xiàng)性能指標(biāo)上均有優(yōu)勢。

雖然在多核學(xué)習(xí)中，核函數(shù)的選取并沒有一個(gè)統(tǒng)一的理論標(biāo)準(zhǔn)，但是本文方法不需要通過離線的方法來確定最優(yōu)的核分類器組合方式，而是從預(yù)定義的核集中以在線地方式篩選出性能較優(yōu)的核分類器，并將它們進(jìn)行加權(quán)組合來進(jìn)行最終的預(yù)測，這種方法不僅省去了煩瑣的核函數(shù)選擇步驟，而且能夠充分利用不同核函數(shù)捕捉數(shù)據(jù)特征的優(yōu)勢，提升整體的分類性能。這充分體現(xiàn)了本文方法的有效性和實(shí)用性。

此外，在實(shí)驗(yàn)部分，本文將多個(gè)核函數(shù)得到的特征進(jìn)行簡單的拼接，得到了多標(biāo)簽數(shù)據(jù)集的一種融合特征表示方法，在融合后的數(shù)據(jù)集上運(yùn)行多標(biāo)簽算法，取得了比單核方法更好的效果。然而，目前還存在著許多先進(jìn)的特征融合方式，因此在未來的研究中，可以在多核特征融合的方向上作進(jìn)一步探索。

參考文獻(xiàn)：

［1］Tang Jingjing， Hou Zhaojie， Yu Xiaotong， et al. Multi-view cost-sensitive kernel learning for imbalanced classification problem ［J］. Neurocomputing， 2023， 552： 126562.

［2］Wu Wenhui， Hou Junhui， Wang Shiqi， et al. Semi-supervised adaptive kernel concept factorization ［J］. Pattern Recognition， 2023， 134： 109114.

［3］Gonen M， Alpaydm E. Multiple kernel learning algorithms ［J］. Journal of Machine Learning Research， 2011， 12： 2211-2268.

［4］曾禮靈， 李朝鋒. 結(jié)合Boosting方法與SVM的多核學(xué)習(xí)跟蹤算法 ［J］. 計(jì)算機(jī)工程與應(yīng)用， 2018， 54（13）： 203-208. （Zeng Li-ling， Li Chaofeng. Multiple-kernel learning based object tracking algorithm with Boosting and SVM ［J］. Computer Engineering and Applications， 2018， 54（13）： 203-208.）

［5］Wang Ling， Wang Hongqiao， Fu Guanyuan. Multi-Nystrm method based on multiple kernel learning for large scale imbalanced classification ［J］. Computational Intelligence and Neuroscience， 2021， 2021： 9911871.

［6］Yang Mengping， Wang Zhe， Li Yangqiong， et al. Gravitation ba-lanced multiple kernel learning for imbalanced classification ［J］. Neural Computing and Applications， 2022， 34（16）： 13807-13823.

［7］Rebai I， Ayed Y， Mahdi W. Deep multilayer multiple kernel learning ［J］. Neural Computing and Applications， 2016， 27（8）： 2305-2314.

［8］Jin Rong， Hoi S C H， Yang Tianbao. Online multiple kernel lear-ning： algorithms and mistake bounds ［C］// Proc of the 21st International Conference on Algorithmic Learning Theory. Berlin： Springer， 2010： 390-404.

［9］Shen Yanning， Chen Tianyi， Giannakis G B. Random feature-based online multi-kernel learning in environments with unknown dynamics ［J］. Journal of Machine Learning Research， 2019， 20（1）： 773-808.

［10］Rahimi A， Recht B. Random features for large-scale kernel machines ［C］// Proc of the 21st Annual Conference on Neural Information Processing Systems. New York： Curran Associate Inc.， 2007： 1177-1184.

［11］Freund Y， Schapire R. A decision-theoretic generalization of on-line learning and an application ［J］. Journal of Computer And System Sciences， 1997， 55（1）： 119-139.

［12］Ghari P M， Shen Yanning. Graph-aided online multi-kernel learning ［J］. Journal of Machine Learning Research， 2024， 24（1）： 751-794.

［13］田雨薇， 張智. 基于標(biāo)簽推理和注意力融合的多標(biāo)簽文本分類方法 ［J］. 計(jì)算機(jī)應(yīng)用研究， 2022， 39（11）： 3315-3319， 3326. （Tian Yuwei， Zhang Zhi. Multi-label text classification method based on label reasoning and attention fusion ［J］. Application Research of Computers， 2022， 39（11）： 3315-3319， 3326.）

［14］楊敏航， 陳龍， 劉慧， 等. 基于圖卷積網(wǎng)絡(luò)的多標(biāo)簽遙感圖像分類 ［J］. 計(jì)算機(jī)應(yīng)用研究， 2021， 38（11）： 3439-3445. （Yang Minhang， Chen Long， Liu Hui， et al. Multi-label remote sensing ima-ge classification based on graph convolutional network ［J］. Application Research of Computers， 2021， 38（11）： 3439-3445.）

［15］Sun Liang， Zu Chen， Shao Wei， et al. Reliability-based robust multi-atlas label fusion for brain MRI segmentation ［J］. Artificial Intelligence in Medicine， 2019， 96： 12-24.

［16］Wang Xin， Wang Jun， Shan Fei， et al. Severity prediction of pulmonary diseases using chest CT scans via cost-sensitive label multi-kernel distribution learning ［J］. Computers in Biology and Medicine， 2023， 159： 106890.

［17］Qiu Shiyuan， Li Peipei， Hu Xuegang. Semi-supervised online kernel extreme learning machine for multi-label data stream classification ［C］// Proc of International Joint Conference on Neural Networks. Piscataway， NJ： IEEE Press， 2022： 1-8.

［18］Huang Gao， Song Shiji， Gupta J N D， et al. Semi-supervised and unsupervised extreme learning machines ［J］. IEEE Trans on Cybernetics， 2014， 44（12）： 2405-2417.

［19］Zhai Tingting， Wang Hao. Online passive-aggressive multilabel classification algorithms ［J］. IEEE Trans on Neural Networks and Learning Systems， 2023， 34（12）： 10116-10129.

［20］Zhai Tingting， Wang Hao， Tang Hongcheng. Joint optimization of scoring and thresholding models for online multi-label ［J］. Pattern Recognition， 2023， 136（109）： 167.

［21］Ting Kaiming， Wells J R， Washio T. Isolation kernel： the x factor in efficient and effective large scale online kernel learning ［J］. Data Mining and Knowledge Discovery， 2021， 35（6）： 2282-2312.

［22］Hoi S C H， Jin Rong， Zhao Peilin， et al. Online multiple kernel classification ［J］. Machine Learning， 2013， 90（2）： 289-316.

［23］Sahoo D， Hoi S C H， Zhao Peilin. Cost sensitive online multiple kernel classification ［C］// Proc of the 8th Asian Conference on Machine Learning. Cambridge： JMLR， 2016： 65-80.

［24］Jain P， Kar P. Non-convex optimization for machine learning ［J］. Foundations and Trends in Machine Learning， 2017， 10（3）： 142-336.

［25］Wang Zhuang， Crammer K， Vucetic S. Breaking the curse of kerneli-zation： budgeted stochastic gradient descent for large-scale SVM trai-ning ［J］. Journal of Machine Learning Research， 2012， 13： 3103-3131.

［26］Li Junlong， Li Peipei， Hu Xuegang， et al. Learning common and label-specific features for multi-Label classification with correlation information ［J］. Pattern Recognition， 2022， 121： 108259.

［27］Lyu Jiaqi， Wu Tianran， Peng Chenlun， et al. Compact learning for multi-label classification ［J］. Pattern Recognition， 2021， 113： 10783.