李詠豪 李倫波

摘要：文本分類問題是自然語言處理中的重要任務(wù)。本文將機(jī)器學(xué)習(xí)中的樸素貝葉斯模型以及Softmax回歸應(yīng)用于自動文本分類中，在清華新聞分類語料數(shù)據(jù)集上實現(xiàn)了基于多項分布與類條件分布假設(shè)實現(xiàn)了樸素貝葉斯模型，并使用BOOL、TF、IDF、TF-IDF四種特征權(quán)重訓(xùn)練了Softmax回歸模型。最后，將兩種模型在訓(xùn)練集與測試集上的性能進(jìn)行對比。

關(guān)鍵詞：樸素貝葉斯;Softmax回歸;自然語言處理;文本分類

中圖分類號：G642? ? ? 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2021）28-0131-02

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

A Comparative Study of Naive Bayes and Softmax Regression in Text Classification

LI Yong-hao*， LI Lun-bo

（College of Computer Science and Engineering， Nanjing University of Science & Technology， Nanjing 210094， China）

Abstract： Text classification is an important task in natural language processing. In this paper， the Naive Bayes model and Softmax regression in machine learning are applied to automatic text classification. The naive Bayes model is implemented on the Tsinghua news classified corpus data set based on the assumption of multinomial distribution and class conditional distribution. And the Softmax regression model is trained with four feature weights including BOOL， TF， IDF， and TF-IDF. Finally， we compare the performance of the two models on the training set and the test set.

Key words： naive bayes; softmax regression; natural language processing; text classification

1 引言

自然語言處理中的文本分類指的是給定文檔，將文檔歸為n個類別中的1個。文本分類在現(xiàn)實生活中的用途十分廣泛，比如，將社交媒體中短文按照其討論內(nèi)容分為不同的類別;在情感分析問題中，提取文檔中人物表露的態(tài)度;在郵箱管理中，自動區(qū)別垃圾郵件與非垃圾郵件。

文本分類任務(wù)通常由傳統(tǒng)的機(jī)器學(xué)習(xí)模型完成，如支持向量機(jī)[1]、樸素貝葉斯[2]，也可由深度學(xué)習(xí)方法[3]實現(xiàn)。無論哪種統(tǒng)計學(xué)習(xí)模型，數(shù)據(jù)集對于模型性能都有著巨大的影響，本文中的模型使用了清華新聞分類語料數(shù)據(jù)集[4]，它是根據(jù)新浪RSS訂閱頻道2005年至2011年間的歷史數(shù)據(jù)篩選過濾生成的，包括74萬篇新聞文檔，10余個類別標(biāo)簽，數(shù)據(jù)集中句子已經(jīng)過準(zhǔn)確的分詞，比如： 他 和 與 他 同輩 的 一 批 科學(xué)家 是 我國 計算機(jī) 技術(shù) 逼近 國際 先進(jìn) 水平 的 希望 。同時，該數(shù)據(jù)集中包括一系列停用詞，“我”“自己”等停用詞十分常用，反而會影響新聞分類的精確度。由于數(shù)據(jù)規(guī)模過大，在CPU上訓(xùn)練速度緩慢，所以，在所有類別中，選擇體育、政治、教育、法律、電腦與經(jīng)濟(jì)共6個主題的數(shù)據(jù)，每個子類中進(jìn)行500條新聞的隨機(jī)抽樣。

2 模型介紹

2.1 樸素貝葉斯

機(jī)器學(xué)習(xí)模型可分為判別式模型與生成式模型。判別式模型對給定觀測值的標(biāo)簽的后驗概率[p（y|x）]建模，而生成式模型對觀測值和標(biāo)簽的聯(lián)合概率[p（x，y）]建模，然后用貝葉斯法則[p（y|x）=p（x，y）/p（x）]進(jìn)行預(yù)測。樸素貝葉斯模型是一種生成式模型。

樸素貝葉斯采用詞袋表示。在詞袋模型中，不考慮文檔中單詞的位置，詞與詞之間是互相獨立的，就像將所有詞語裝進(jìn)一個袋子里一樣。

樸素貝葉斯文本分類的步驟如下：

（1） 計算先驗概率，即[p（y=cj）]，每個樣本對應(yīng)的先驗概率等于所屬類別樣本數(shù)占所有樣本數(shù)目的比例。

（2） 計算條件概率，令N為文檔個數(shù)，V為詞表大小，[N（ti，x（k））]表示第i個詞在第k個文檔中出現(xiàn)的次數(shù)，[cj]表示第j個類別：

[θi|j=Nk=1I（y（k）=cj）N（ti，x（k））+1i'=1VNk=1I（y（k）=cj）N（ti，x（k））+V]（多項式分布假設(shè)）? ? ?（1）

[μi|j=Nk=1I（y（k）=cj）I（ti∈x（k））+1Nk=1I（y（k）=cj）+2]（多變量伯努利假設(shè)）? ? ? ?（2）

[μi|j]與[θi|j]表示一個文檔中的第i個詞屬于第j個類別的概率，對于多項式分布假設(shè)，分母為所有文檔總詞數(shù)，分子為文檔第i個詞在第j類所有文檔中出現(xiàn)的總次數(shù);對于多變量假設(shè)，分母為所有文檔中出現(xiàn)過第i個詞的文檔數(shù)目，分子為第j類所有文檔中有第i個詞出現(xiàn)的文檔數(shù)目。為了防止零概率問題，需要進(jìn)行拉普拉斯平滑處理。

（3） 計算后驗概率[p（x|y=cj）=i=1V[I（ti∈x）μi|j+I（ti∈x）（1-μi|j）]]，去后驗概率最大時對應(yīng)的類別作為預(yù)測類別。

2.2 Softmax回歸

Softmax回歸[5]是一種多分類模型，也稱作多類logistic回歸，在NLP中，與最大熵模型是等價的，Softmax回歸作為一種廣泛使用的分類算法，常常作為深度學(xué)習(xí)分類模型最后一層執(zhí)行分類預(yù)測。與樸素貝葉斯不同，Softmax模型是一種判別式模型。

模型假設(shè)如下：

[p（y=j|x;θ）=hj（x）=eθTjxk=1CeθThx，j=1，2，…C，where θC=0]? ? ? ?（3）

[p（y=j|x;θ）]表示給定參數(shù)[θ]時，樣本x屬于第j類的概率。值得注意的是，樣本x通過特征權(quán)重法構(gòu)造，對于每一個文檔，特征權(quán)重法構(gòu)建一個詞表，詞表中的每個詞具有一個固定的下標(biāo)以及一個特征值。在使用TF特征（Term Frequency）時，某一文檔的特征向量中對應(yīng)詞的特征值等于詞在文檔中出現(xiàn)的次數(shù)，其他特征權(quán)重方法有BOOL、IDF、TF-IDF等。

Softmax回歸模型使用梯度下降法更新權(quán)重：[?l（θ）?θj'=k=1N（1y（k）=j'-hj'（x（k）））x（k）]。

3 實驗

所有模型中，樸素貝葉斯（多項式分布）在測試集上的準(zhǔn)確率最高，訓(xùn)練時間最短。Softmax回歸模型使用TF權(quán)重時，測試集上的準(zhǔn)確率最高。

樸素貝葉斯（多項式分布）實驗結(jié)果如圖1所示。

樸素貝葉斯（多變量伯努利）[6]實驗結(jié)果如圖2所示。

Softmax（GD+TF）實驗結(jié)果如圖3所示。

Softmax模型對于訓(xùn)練集的擬合效果更好（準(zhǔn)確率達(dá)到100%），但在測試集上，樸素貝葉斯分類準(zhǔn)確率更高。我們觀察到Softmax的具體分類準(zhǔn)確率與訓(xùn)練集的文檔數(shù)目存在聯(lián)系，某一類別在訓(xùn)練集中的文檔數(shù)目越多，則測試集上該類的分類準(zhǔn)確率越高。Softmax模型不需要詞袋假設(shè)，適用范圍更廣泛。而在數(shù)據(jù)集較小的文本分類中，樸素貝葉斯模型的速度快、識別準(zhǔn)確率高。時間成本上，樸素貝葉斯低于Softmax回歸。原因如下：樸素貝葉斯模型直接統(tǒng)計得到頻率與概率表格，不需要使用梯度下降進(jìn)行參數(shù)優(yōu)化。

基于多項式假設(shè)的樸素貝葉斯模型準(zhǔn)確率遠(yuǎn)高于多變量假設(shè)。這是因為在多項式模型的類條件概率計算中，對于一個文檔d，多項式模型中，只有在d中出現(xiàn)過的單詞，才會參與后驗概率計算。Softmax（bool）模型在本問題中優(yōu)于多變量伯努利模型。

分類準(zhǔn)確率：TF > IDF > BOOL > TF-IDF。BOOL特征權(quán)重具有實現(xiàn)簡單，速度快的優(yōu)點，但是忽視了詞頻。TF權(quán)重以詞頻度量詞的重要性，詞頻越高，認(rèn)為該詞越重要。對于大部分詞，詞頻高，說明詞重要。然而，有一些詞（如“方面”、“中國”）在文檔中大量出現(xiàn)，此時，詞頻無法有效描述文檔的特征。

4 結(jié)束語

本文將對樸素貝葉斯模型和Softmax回歸進(jìn)行了對比研究，并在清華新聞分類語料數(shù)據(jù)集上進(jìn)行了文本分類實驗，實驗結(jié)果表明，從時間復(fù)雜度來看，樸素貝葉斯低于Softmax回歸，Softmax模型適用范圍較廣。

參考文獻(xiàn)：

[1] 岳文應(yīng).基于Doc2Vec與SVM的聊天內(nèi)容過濾[J].計算機(jī)系統(tǒng)應(yīng)用，2018，27（7）：127-132.

[2] 蘇瑩，張勇，胡珀，等.基于樸素貝葉斯與潛在狄利克雷分布相結(jié)合的情感分析[J].計算機(jī)應(yīng)用，2016，36（6）：1613-1618.

[3] 孫志遠(yuǎn)，魯成祥，史忠植，等.深度學(xué)習(xí)研究與進(jìn)展[J].計算機(jī)科學(xué)，2016，43（2）：1-8.

[4] 蔡巍，王英林，尹中航.基于網(wǎng)上新聞?wù)Z料的Web頁面自動分類研究[J].情報科學(xué)，2010，28（1）：124-127，136.

[5] 劉亞沖，唐智靈.基于Softmax回歸的通信輻射源特征分類識別方法[J].計算機(jī)工程，2018，44（2）：98-102.

[6] 吳皋，李明，周稻祥，等.基于深度集成樸素貝葉斯模型的文本分類[J].濟(jì)南大學(xué)學(xué)報（自然科學(xué)版），2020，34（5）：436-442.

【通聯(lián)編輯：唐一東】