摘要： 針對現(xiàn)有的特征提取方法忽略文本局部和全局聯(lián)系的問題，提出了基于多尺度特征提取的層次多標(biāo)簽文本分類方法。首先，設(shè)計了多尺度特征提取模塊，對不同尺度特征進(jìn)行捕捉，更好地表示文本語義。其次，將層次特征嵌入文本表示中，得到具有標(biāo)簽特征的文本語義表示。最后，在標(biāo)簽層次結(jié)構(gòu)的指導(dǎo)下對輸入文本構(gòu)建正負(fù)樣本，進(jìn)行對比學(xué)習(xí)，提高分類效果。在WOS、RCV1-V2、NYT和AAPD數(shù)據(jù)集上進(jìn)行對比實驗，結(jié)果表明，所提模型在評價指標(biāo)上表現(xiàn)出色，超過了其他主流模型。此外，針對層次分類提出層次Micro-F1和層次Macro-F1指標(biāo)，并對模型效果進(jìn)行了評價。

關(guān)鍵詞： 層次多標(biāo)簽文本分類； 多尺度特征提??； 對比學(xué)習(xí)； 層次Micro-F1； 層次Macro-F1

中圖分類號： TP391

文獻(xiàn)標(biāo)志碼： A

文章編號： 1671-6841（2025）02-0024-07

DOI： 10.13705/j.issn.1671-6841.2023120

Hierarchical Multi-label Text Classification Method Based

on Multi-scale Feature Extraction

WU Zixuan， WANG Ye， YU Hong

（Chongqing Key Laboratory of Computational Intelligence， Chongqing University of Posts and

Telecommunications， Chongqing 400065， China）

Abstract：

A hierarchical multi-label text classification method based on multi-scale feature extraction was proposed to address the issue of current feature extraction methods in neglecting the local and global connections in text. Firstly， a multi-scale feature extraction module was designed to capture features at different scales， aiming to provide a better representation of text semantics. Secondly， the hierarchical features were embedded into the text representation to obtain a text semantic representation with label features. Finally， with the guidance of the label hierarchy， positive and negative samples were constructed for the input text， and contrastive learning was performed to enhance the classification effectiveness. Comparative experiments were conducted on the WOS， RCV1-V2， NYT and AAPD datasets. The results indicated that the proposed model performed well in terms of the evaluation indices and exceeded other mainstream models. Additionally， the hierarchical Micro-F1 and Macro-F1 indicators were proposed for hierarchical classification， and the effectiveness of the model was evaluated.

Key words： hierarchical multi-label text classification; multi-scale feature extraction; contrastive learning; hierarchical Micro-F1; hierarchical Macro-F1

0 引言

層次多標(biāo)簽文本分類（hierarchical multi-label text classification，HMTC）問題是指在現(xiàn)實情境中，一個樣本可能具有多個類標(biāo)簽，并且這些類標(biāo)簽之間存在層次結(jié)構(gòu)，分類任務(wù)的目標(biāo)是將這些具有層次結(jié)構(gòu)的類標(biāo)簽正確地分配給樣本。層次多標(biāo)簽分類問題與多標(biāo)簽分類類似，不同之處在于樣本對應(yīng)多個類標(biāo)簽時，這些標(biāo)簽之間具有天然的層次依賴關(guān)系，如父與子關(guān)系或祖先與后代關(guān)系。此外，這些標(biāo)簽之間的依賴關(guān)系具有不同權(quán)重，較低層級的標(biāo)簽會受到較高層級標(biāo)簽的約束。

為引入類別層級信息，Banerjee等^［1］提出HTrans模型，采用遷移學(xué)習(xí)的方式為每個類別訓(xùn)練一個二分類器，子類別的分類器采用父類別的模型參數(shù)進(jìn)行初始化。Cesa-Bianchi等^［2］提出層次貝葉斯模型，增量學(xué)習(xí)每個節(jié)點的線性分類器。Zhou等^［3］將層次表示為有向圖，并利用標(biāo)簽依賴的先驗概率來聚集節(jié)點信息，提出一種層次感知全局模型HiAGM。Deng等^［4］在HiAGM基礎(chǔ)上提出基于文本標(biāo)簽互信息最大化的HTCInfoMax模型。除此之外，一些方法同時利用了局部和全局信息。Huang等^［5］提出HARNN模型，用局部分類器采用注意力機(jī)制提取標(biāo)簽特征，用全局分類器將各層級提取的特征拼接起來，給出全局預(yù)測結(jié)果。Zhang等^［6］利用公共因子在同級類別之間建立聯(lián)系，由父層向子層傳遞文本表征，設(shè)計了LA-HCN模型，判斷文本與子層中哪個類別最相匹配。Wang等^［7］提出基于層次引導(dǎo)的對比學(xué)習(xí)模型，將層次嵌入文本編碼器中，而不是單獨建模。

當(dāng)前在處理層次多標(biāo)簽分類問題時，面臨的一個主要挑戰(zhàn)是文本特征提取的局限性?，F(xiàn)有的特征提取方法不夠多樣化，往往忽視了文本特征在局部和全局之間的聯(lián)系。文本本身蘊(yùn)含著多個方面的信息，僅僅關(guān)注詞語或句子的單一表示方法可能會導(dǎo)致部分信息丟失。局部的文本表示無法完全捕捉文本中的全局信息，而實際上，文本的意義往往由單個詞或句子與周圍文本相互聯(lián)系共同構(gòu)成。因此，本文提出了基于多尺度特征提取的層次多標(biāo)簽文本分類方法（hierarchical multi-label text classification method based on multi-scale feature extraction），簡稱為MHGCLR。首先設(shè)計了多尺度特征提取模塊，將BERT^［8］詞向量和Doc2Vec^［9］句向量結(jié)合起來，從不同尺度捕捉特征，以更好地區(qū)分文本，提高分類性能。為了充分捕捉文本中的多層次信息，文本分類中同時使用單詞級別和句子級別的特征。這些不同尺度的特征往往具有各自獨特的語義信息和特點，將這些特征結(jié)合起來可以相互彌補(bǔ)不足之處。MHGCLR模型采用門控單元對不同尺度的特征進(jìn)行融合，可以自適應(yīng)變化，決定信息的重要性和傳遞的路徑，提升分類效果。

此外，根據(jù)層次文本分類（hierarchical text classification，HTC）的傳統(tǒng)評估度量，會把孤立節(jié)點視為正確有效的預(yù)測，但是這樣并不合理。每個節(jié)點的預(yù)測不應(yīng)該與它所在路徑內(nèi)的結(jié)果相沖突，孤立的預(yù)測和不一致路徑不符合實際要求。針對標(biāo)簽不一致問題，本文提出了兩個新的指標(biāo)：層次Micro-F1和層次Macro-F1。只有將真實標(biāo)簽的所有祖先都預(yù)測正確，才能認(rèn)為這個標(biāo)簽預(yù)測正確。這兩個指標(biāo)能夠更全面地評估模型的性能，避免了使用傳統(tǒng)指標(biāo)帶來的局限性。在WOS、RCV1-V2、NYT和AAPD數(shù)據(jù)集上進(jìn)行了對比實驗，結(jié)果表明，所提出的MHGCLR模型優(yōu)于其他主流模型。

1 基于多尺度特征提取的HMTC方法

為了應(yīng)對原始文本轉(zhuǎn)化為高維度向量的問題，特別是其在計算資源和模型復(fù)雜度方面所造成的負(fù)擔(dān)，需要進(jìn)行特征提取處理。特征提取是將原始文本數(shù)據(jù)轉(zhuǎn)換為低維度且稠密的特征向量的過程。這個過程通過保留原始文本的關(guān)鍵信息，能夠降低特征向量的維度，從而提高模型訓(xùn)練效率和預(yù)測準(zhǔn)確性。常見的特征提取方法包括TF-IDF、Doc2Vec、BERT等。

傳統(tǒng)上常傾向于單一特征提取方法，然而這些常用的方法如BERT和Doc2Vec都存在一定的局限性。具體而言，BERT能夠提供上下文相關(guān)的詞向量，精準(zhǔn)地表達(dá)每個單詞的含義，但在捕捉整個句子的語義信息方面相對較弱。與之相反，Doc2Vec能夠捕捉到整個句子的語義信息，但它平均化了單詞的表示，失去了單詞級別的豐富信息。本文采用了融合BERT和Doc2Vec的策略，將BERT詞向量和Doc2Vec句向量結(jié)合起來，有助于克服它們各自的局限性。這種融合方法利用了門控單元自適應(yīng)地確定信息的重要性，從而將信息融合在一起。最終得到的特征表示能夠更全面、準(zhǔn)確地表達(dá)文本信息。圖1展示了多尺度特征提取層的結(jié)構(gòu)。

1.1 BERT

使用BERT模型在詞尺度生成高質(zhì)量的詞向量表示。BERT是基于Transformer Encoder的模型，其中每個Transformer Encoder包含多頭自注意力機(jī)制與前饋神經(jīng)網(wǎng)絡(luò)。

使用殘差連接和層歸一化操作提高模型訓(xùn)練效率與泛化能力，解決梯度消失和梯度爆炸問題，

y=LayerNorm（x+Sublayer（x）），（1）

式中：Sublayer表示自注意力機(jī)制或者前饋網(wǎng)絡(luò)子層；LayerNorm表示層歸一化；x是子層的輸入向量；y表示輸出向量。

1.2 Doc2Vec

Doc2Vec是基于Word2Vec模型的一種算法，用于生成文檔的向量表示，即句向量。與Word2Vec不同，Doc2Vec能夠捕捉整個文檔的語義信息。PV-DM是Doc2Vec的一種變體，也被稱為Distributed Memory模型，該技術(shù)能將文檔和單詞嵌入固定的向量空間中。PV-DM模型接受上下文單詞和句向量作為輸入，通過神經(jīng)網(wǎng)絡(luò)預(yù)測目標(biāo)單詞。模型參數(shù)通過反向傳播算法進(jìn)行調(diào)整，使得模型能夠準(zhǔn)確預(yù)測目標(biāo)單詞并生成準(zhǔn)確的文檔向量。通過這種方式，PV-DM模型能夠捕捉整個句子的信息，而不僅僅是單詞級別。將BERT的語義表征與Doc2Vec句向量輸入特征融合層進(jìn)行融合，然后完成分類任務(wù)。這種融合能夠更好地結(jié)合句子的語義信息，為分類任務(wù)提供更準(zhǔn)確的輸入。

1.3 特征融合

采用門控單元GRU的更新門，對BERT和Doc2Vec進(jìn)行特征融合。具體來說，將BERT詞向量和Doc2Vec句向量作為GRU網(wǎng)絡(luò)的輸入，通過門控單元自適應(yīng)地決定信息的重要性，將信息進(jìn)行融合，得到最終的特征表示。首先通過線性變換將兩個向量的維度對齊，

Doc=W·

HDoc，（2）

式中：HDoc表示Doc2Vec特征向量；Doc表示轉(zhuǎn)化后的特征向量；

W是變換矩陣。

之后，通過更新門機(jī)制來確定信息的保留程度，

gw=σ（wiDoc+

wcHBERT+bg），（3）

式中：gw表示信息的保留程度；HBERT表示BERT文本特征向量；σ表示sigmoid激活函數(shù)；

wi與wc為更新門權(quán)重；bg表示更新門偏置。

特征融合可表示為

Hfusion=

gDoc+（1-g）HBERT，（4）

式中：Hfusion表示融合后的文本特征向量。

門控單元的更新門如圖2所示。

1.4 圖形編碼器

采用Graphormer作為標(biāo)簽層次結(jié)構(gòu)的建模工具。Graphormer是一種基于Transformer的神經(jīng)網(wǎng)絡(luò)架構(gòu)，該架構(gòu)通過層次標(biāo)簽樹對節(jié)點信息進(jìn)行編碼。將Graphormer與文本編碼器BERT和Doc2Vec相結(jié)合，以有效整合層次信息和文本信息，這種融合為層次分類任務(wù)帶來了顯著的性能提升。

1.5 對比學(xué)習(xí)

首先利用之前學(xué)習(xí)到的標(biāo)簽特征進(jìn)行一個注意力的選擇，得到Aij矩陣。Aij

代表每一個不同的token對相應(yīng)標(biāo)簽的貢獻(xiàn)概率，并通過Softmax函數(shù)得到一個概率分布。給定一個特定的標(biāo)簽，就可以從這個分布中抽取token并形成一個正樣本。設(shè)定了一個閾值γ，用于確定采樣的token。如果某個token對不同標(biāo)簽的影響概率超過這個閾值，就將其判定為屬于該標(biāo)簽的正樣本。負(fù)樣本的構(gòu)建過程是將學(xué)習(xí)到的真實樣本以及相應(yīng)的正樣本組成N個正對（hi，i），對其添加一個非線性層，

ci=W2ReLU（W1hi），（5）

i=

W2ReLU（W1i），（6）

式中：W1∈Rdh×dh，W2∈Rdh×dh，dh為隱藏層層數(shù)。

對于每個正對，有

2（N-1）個負(fù)例。對于2N個例子Z={z∈{ci}∪

{i}}，采用NT-Xent損失函數(shù)強(qiáng)迫正、負(fù)例之間的距離變大，計算zm的NT-Xent損失，可表示為

L^conm=-logexp（sim（zm，

μ（zm））/τ）

∑2Ni=1，i≠m

exp（sim（zm，zi）/τ），（7）

式中：τ為溫度超參數(shù)；sim為余弦相似函數(shù)，sim（u，v）=u·v/（‖u‖‖v‖）；μ為匹配函數(shù)，并且

μ（zm）=

ci，if

zm=i，

i，if

zm=ci。（8）

總對比學(xué)習(xí)損失為所有例子的平均損失，可表示為

L^con=12N∑2Nm=1L^conm。（9）

1.6 輸出層與損失函數(shù)

將多標(biāo)簽分類的層次結(jié)構(gòu)扁平化，把隱藏的特征輸入線性層，并使用sigmoid函數(shù)計算概率。將特征融合得到的語義信息進(jìn)行概率轉(zhuǎn)換，輸出文本i出現(xiàn)在標(biāo)簽j上的概率，從而得到模型的預(yù)測結(jié)果，可表示為

pij=sigmoid（whi+b）j，（10）

式中：w為權(quán)重系數(shù)；b為偏置項；

hi為特征向量；pij為預(yù)測概率。

對于多標(biāo)簽分類，對標(biāo)簽j上的文本i使用一個二元交叉熵?fù)p失函數(shù)，可表示為

LCij=-yijlg（pij）-（1-yij）lg（1-pij），（11）

LC=∑Ni=1∑kj=1LCij，（12）

式中：yij為樣本的真實標(biāo)簽。

最終的損失函數(shù)是分類損失和對比學(xué)習(xí)損失的組合，可表示為

L=LC+λL^con，（13）

式中：λ為控制對比損失權(quán)重的超參數(shù)。

2 實驗

2.1 實驗準(zhǔn)備

2.1.1 數(shù)據(jù)集

在WOS^［10］、NYT^［11］、RCV1-V2^［12］和AAPD^［13］數(shù)據(jù)集上進(jìn)行實驗，并采用多種指標(biāo)對實驗結(jié)果進(jìn)行評價。WOS涵蓋了Web of Science數(shù)據(jù)庫中發(fā)表的學(xué)術(shù)論文摘要，AAPD則搜集了Arxiv學(xué)術(shù)論文的摘要以及對應(yīng)的學(xué)科類別信息，而NYT和RCV1-V2都是新聞分類語料庫。WOS用于單路徑HTC，而NYT、RCV1-V2和AAPD包含多路徑分類標(biāo)簽，數(shù)據(jù)集的標(biāo)簽為樹狀的層級結(jié)構(gòu)。4個數(shù)據(jù)集的統(tǒng)計信息如表1所示。

2.1.2 實驗設(shè)置

對于文本編碼器，使用BERT和Doc2Vec模型，其中Transformer的bert-base-uncased作為基本架構(gòu)。對于Graphormer，將自適應(yīng)圖注意力頭設(shè)置為8，特征大小設(shè)置為768，batch size設(shè)置為16。選擇的優(yōu)化器是Adam，學(xué)習(xí)率設(shè)置為3×10^-4。使用訓(xùn)練集對模型進(jìn)行訓(xùn)練，每個輪次結(jié)束后對驗證集進(jìn)行評估，如果在連續(xù)6 個輪次中Macro-F1不增加，則停止訓(xùn)練。閾值γ在WOS上設(shè)置為0.02，在NYT、RCV1-V2和AAPD上設(shè)置為0.005。WOS、RCV1-V2和AAPD的損失權(quán)重λ為0.1，NYT的損失權(quán)重λ為0.3，對比模塊的溫度超參數(shù)固定為1。在PyTorch中實現(xiàn)模型，并在NVIDIA GeForce RTX 3090上進(jìn)行實驗。

2.1.3 評價指標(biāo)

首先使用準(zhǔn)確率、召回率、Micro-F1和Macro-F1來評估實驗結(jié)果，其次引入了兩個新的評價指標(biāo)：層次Micro-F1（HMicro-F1）和層次Macro-F1（HMacro-F1）。這兩個新指標(biāo)與傳統(tǒng)度量的區(qū)別在于，這些受約束的評價指標(biāo)要求對于一個節(jié)點的預(yù)測結(jié)果被視為“真”，必須滿足該節(jié)點在每個層次上的所有祖先節(jié)點都被預(yù)測為“真”。

2.2 實驗結(jié)果

將本文提出的MHGCLR模型與經(jīng)典模型以及其他目前主流的模型在WOS、RCV1-V2、NYT和AAPD數(shù)據(jù)集上進(jìn)行對比實驗。選擇的基線方法包括TextCNN^［14］、TextRNN^［15］、TextRCNN^［16］、FastText^［17］、AttentiveConvNet^［18］、TextVDCNN^［19］、HTCInfoMax^［4］、HBGL^［20］和HiMatch^［21］模型。

不同模型在4個公開數(shù)據(jù)集上的實驗結(jié)果如表2和表3所示（最優(yōu)結(jié)果加黑顯示）?？梢钥闯觯琈HGCLR模型在WOS、RCV1-V2、NYT和AAPD數(shù)據(jù)集上的準(zhǔn)確率分別為90.66%、87.72%、85.71%和85.82%；Micro-F1值分別為87.32%、86.41%、78.92%和79.79%；Macro-F1值分別為81.54%、69.32%、67.61%和63.92%，相比其他模型具有更好的性能。在新的層次評價指標(biāo)方面，MHGCLR模型依然表現(xiàn)良好，在4個數(shù)據(jù)集上的HMicro-F1值分別為85.75%、84.57%、74.67%和77.03%，HMacro-F1值分別為80.64%、67.51%、65.26%和60.04%，說明MHGCLR模型通過建模多尺度特征對層次間的依賴也產(chǎn)生了效果。

2.3 性能分析

首先進(jìn)行消融實驗，分別在有、無多尺度特征提取模塊下進(jìn)行實驗，從而驗證了模塊的有效性。接著進(jìn)行分層表現(xiàn)實驗，觀察模型在不同層次上的性能表現(xiàn)。

2.3.1 消融實驗

在WOS數(shù)據(jù)集上進(jìn)行消融實驗，結(jié)果如表4所示?？梢钥闯觯卸喑叨忍卣魈崛∧K的MHGCLR模型的分類效果要優(yōu)于無多尺度特征提取模塊的HGCLR模型，其在Micro-F1和Macro-F1上分別提升0.57和0.36個百分點，而且HMicro-F1和HMacro-F1層次指標(biāo)也略有提高。

2.3.2 分層表現(xiàn)實驗

對每個層次的分類情況進(jìn)行了分層輸出，并將MHGCLR模型與其他模型的表現(xiàn)進(jìn)行了比較。由于RCV1-V2數(shù)據(jù)集中存在部分少樣本標(biāo)簽，故選擇在具有3個層次的RCV1-V2數(shù)據(jù)集上進(jìn)行實驗。由于Micro-F1值對分布不平衡情況更為敏感，選用其作為對比指標(biāo)，模型在不同層

次上的實驗結(jié)果如表5所示。結(jié)果表明，MHGCLR模型在每個層次上都優(yōu)于其他模型，并且在深層次上的性能明顯優(yōu)于其他模型。MHGCLR模型能夠充分利用多尺度表征中學(xué)習(xí)到的知識，特別是在深層次的少樣本標(biāo)簽分類方面表現(xiàn)出色。

3 結(jié)語

本文將多尺度特征提取和特征融合引入HMTC任務(wù)中，結(jié)合了Graphormer和對比學(xué)習(xí)工作，提出了MHGCLR模型。該模型可以提取不同尺度的特征，考慮了文本的多尺度性以及局部和全局之間的聯(lián)系，從而提高了模型在HMTC任務(wù)上的整體性能。首先設(shè)計了多尺度特征提取模塊，將文本劃分為不同尺度并提取相應(yīng)的特征，然后進(jìn)行特征融合。這樣做可以在淺層特征中提取詞匯信息，在深層特征中提取更抽象的語義信息，從而更好地捕捉文本的層次化結(jié)構(gòu)。在WOS、RCV1-V2、NYT和AAPD數(shù)據(jù)集上進(jìn)行了對比實驗，結(jié)果表明，該模型不僅在傳統(tǒng)評價指標(biāo)上取得了顯著提升，而且在新提出的具有層次約束的評價指標(biāo)HMicro-F1和HMacro-F1上的表現(xiàn)也超越了其他模型。未來的研究方向?qū)⒅赜诮?biāo)簽之間的關(guān)聯(lián)性，以更準(zhǔn)確地反映其層次結(jié)構(gòu)和相關(guān)性。

參考文獻(xiàn)：

［1］ BANERJEE S， AKKAYA C， PEREZ-SORROSAL F， et al. Hierarchical transfer learning for multi-label text classification［C］∥Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2019： 6295-6300.

［2］ CESA-BIANCHI N， GENTILE C， ZANIBONI L. Incremental algorithms for hierarchical classification［J］. Journal of machine learning research， 2006， 7： 31-54.

［3］ ZHOU J E， MA C P， LONG D K， et al. Hierarchy-aware global model for hierarchical text classification［C］∥Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2020： 1106-1117.

［4］ DENG Z F， PENG H， HE D X， et al. HTCInfoMax： a global model for hierarchical text classification via information maximization［C］∥Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg： Association for Computational Linguistics， 2021： 3259-3265.

［5］ HUANG W， CHEN E H， LIU Q， et al. Hierarchical multi-label text classification： an attention-based recurrent network approach［C］∥Proceedings of the 28th ACM International Conference on Information and Knowledge Management. New York： ACM Press， 2019： 1051-1060.

［6］ ZHANG X Y， XU J H， SOH C， et al. LA-HCN： label-based attention for hierarchical multi-label text classification neural network［J］. Expert systems with applications， 2022， 187： 115922.

［7］ WANG Z H， WANG P Y， HUANG L Z， et al. Incorporating hierarchy into text encoder： a contrastive learning approach for hierarchical text classification［C］∥Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2022： 7109-7119.

［8］ 劉燕. 基于BERT-BiGRU的中文專利文本自動分類［J］. 鄭州大學(xué)學(xué)報（理學(xué)版）， 2023， 55（2）： 33-40.

LIU Y. Automatic classification method for Chinese patent texts based on BERT-BiGRU［J］. Journal of Zhengzhou university （natural science edition）， 2023， 55（2）： 33-40.

［9］ 曾立英， 許乾坤， 張麗穎， 等. 面向主題檢索的科技政策擴(kuò)散識別方法［J］. 鄭州大學(xué)學(xué)報（理學(xué)版）， 2022， 54（5）： 82-89.

ZENG L Y， XU Q K， ZHANG L Y， et al. Identification method for subject retrieval of science and technology policy diffusion［J］. Journal of Zhengzhou university （natural science edition）， 2022， 54（5）： 82-89.

［10］KOWSARI K， BROWN D E， HEIDARYSAFA M， et al. HDLTex： hierarchical deep learning for text classification［C］∥ Proceedings of the 16th IEEE International Conference on Machine Learning and Applications. Piscataway：IEEE Press， 2018： 364-371.

［11］BOWMAN S R， ANGELI G， POTTS C， et al. A large annotated corpus for learning natural language inference［C］∥Proceedings of the Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2015： 632-642.

［12］LEWIS D， YANG Y M， ROSE T， et al. RCV1： a new benchmark collection for text categorization research［J］. Journal of machine learning research， 2004， 5： 361-397.

［13］YANG P， SUN X， LI W， et al. SGM： sequence generation model for multi-label classification［C］∥Proceedings of the 27th International Conference on Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2018： 3915-3926.

［14］KIM Y. Convolutional neural networks for sentence classification［C］∥Proceedings of the Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2014： 1746-1751.

［15］LIU X， WU J， YANG Y. Recurrent neural network for text classification with multi-task learning［C］∥Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg： Association for Computational Linguistics， 2016： 10-21.

［16］LAI S W， XU L H， LIU K， et al. Recurrent convolutional neural networks for text classification［C］∥ Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press，2015： 2268-2274.

［17］JOULIN A， GRAVE E， BOJANOWSKI P， et al. Bag of tricks for efficient text classification［C］∥Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2017： 427-431.

［18］NEUMANN M， VU N T. Attentive convolutional neural network based speech emotion recognition： a study on the impact of input features， signal length， and acted speech［C］∥ IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE Press， 2017： 1972-1976.

［19］CONNEAU A， SCHWENK H， BARRAULT L， et al. Very deep convolutional networks for text classification［C］∥Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics. Stroudsburg： Association for Computational Linguistics， 2017： 1107-1116.

［20］JIANG T， WANG D Q， SUN L L， et al. Exploiting global and local hierarchies for hierarchical text classification［C］∥Proceedings of the Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2022： 4030-4039.

［21］CHEN H B， MA Q L， LIN Z X， et al. Hierarchy-aware label semantics matching network for hierarchical text classification［C］∥Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2021： 4370-4379.