宋 明，劉彥隆

(太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，山西 晉中030600)

1 引 言

近年來，隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，微博、推特等社交媒體的出現(xiàn)使用戶從信息的接收者轉(zhuǎn)變?yōu)橹鲃?dòng)發(fā)起者，海量數(shù)據(jù)的迸發(fā)，給文本處理任務(wù)帶來了挑戰(zhàn)，單單依靠人工方法來挖掘信息不切實(shí)際，因此，通過某種技術(shù)手段自動(dòng)化、智能化地處理任務(wù)成為迫切需求.與此同時(shí)，深度學(xué)習(xí)，機(jī)器學(xué)習(xí)等人工智能技術(shù)正滲透到各行各業(yè)，為中文短文本情感分析技術(shù)革新帶來了參考意義.

文本情感分析是自然語言處理研究的一個(gè)熱點(diǎn)，是對(duì)帶有情感色彩的主觀性文本進(jìn)行分析、處理、歸納和推理的過程[1].其中一個(gè)重要問題就是情感分類，也就是情感傾向性判斷，即判斷文本的觀點(diǎn)是積極褒義的，消極貶義的還是客觀中性的.自然語言處理技術(shù)快速發(fā)展，越來越多的研究者關(guān)注于網(wǎng)絡(luò)用戶的情感分析.Yang 等[2]改進(jìn) Kim的模型，基于卷積神經(jīng)網(wǎng)絡(luò)理論，對(duì) Twitter 推文進(jìn)行了分類研究，并驗(yàn)證了卷積神經(jīng)網(wǎng)絡(luò)對(duì) Twitter 信息情感分類的優(yōu)越性能，這種方法只考慮到了文本局部特征，未能捕獲較長(zhǎng)文本前后的信息相關(guān)性；周瑛等[3]引入深度學(xué)習(xí)理論，提出了基于注意力機(jī)制的LSTM(Long-Short Term Memory)模型，模型解決了長(zhǎng)文本微博信息的情感特征分析.但LSTM仍具有計(jì)算費(fèi)時(shí)，梯度消失等局限，同時(shí)標(biāo)注成本高，同一詞匯在不同領(lǐng)域的多種含義仍限制了性能的提升；對(duì)于小數(shù)據(jù)集的自然語言處理任務(wù)，ULMFiT[4](Universal language model fine-tuning for text classification)提出了一種高效的遷移學(xué)習(xí)方法，緩解了數(shù)據(jù)集不足的問題；為平衡簡(jiǎn)單樣本和困難樣本的貢獻(xiàn)，OHEM[5]算法選取高損失值的樣本作為訓(xùn)練樣本，加強(qiáng)了對(duì)困難樣本的學(xué)習(xí)程度，但完全忽略了高概率的簡(jiǎn)單樣本對(duì)模型的貢獻(xiàn).

現(xiàn)有微博數(shù)據(jù)內(nèi)容涵蓋范圍較廣，同時(shí)關(guān)注敏感話題、相關(guān)領(lǐng)域等.從頭訓(xùn)練的機(jī)器學(xué)習(xí)方法訓(xùn)練費(fèi)時(shí)，對(duì)數(shù)據(jù)量也有一定要求，成本較高.因此本文提出Bert[6](Bidirectional Encoder Representations from Transformers)預(yù)訓(xùn)練模型作為網(wǎng)絡(luò)結(jié)構(gòu)，初始化網(wǎng)絡(luò)參數(shù)進(jìn)行遷移學(xué)習(xí)，以獲取深層語義信息，提升泛化能力.首先將此算法與經(jīng)典情感分類算法卷積神經(jīng)網(wǎng)絡(luò)TextCNN[7](Convolutional neural networks for sentence classification)、長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM[8]、通用語言模型微調(diào)Ulmfit等模型進(jìn)行性能對(duì)比.并針對(duì)困難樣本容易分錯(cuò)的問題，將Focal Loss[9]引入到中文文本情感分類任務(wù)中，結(jié)合對(duì)比實(shí)驗(yàn)，本文提出的方法在多分類任務(wù)中優(yōu)于同類算法，F(xiàn)ocal Loss一定程度提升對(duì)困難樣本的分類能力.

2 相關(guān)工作

2.1 Bert語言模型預(yù)訓(xùn)練

通過預(yù)訓(xùn)練得到語言的表征工作已經(jīng)進(jìn)行了數(shù)十個(gè)年頭，從傳統(tǒng)密集分布的非神經(jīng)詞嵌入模型[10]到基于神經(jīng)網(wǎng)絡(luò)的 Word2Vec[11]和 GloVe[12]，這些工作提供了一種初始化權(quán)值的方法，在多項(xiàng)自然語言處理任務(wù)中，不僅使訓(xùn)練方式便捷很多，模型的效果同時(shí)有明顯的提升作用.Bert把語言模型作為訓(xùn)練任務(wù)，通過無監(jiān)督預(yù)訓(xùn)練的方式抽取大量語言信息，并遷移到其他下游任務(wù).

采用Transformer[13]網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行預(yù)訓(xùn)練，受完型填空任務(wù)的啟發(fā)，采用“masked language model”(MLM)，并在所有網(wǎng)絡(luò)層中把上下文信息同時(shí)考慮在內(nèi)，此方法突破了單向語言模型的局限.進(jìn)而可以得到深層雙向的語言表示.

Bert采用雙向 Transformer 結(jié)構(gòu)，通過放縮點(diǎn)積注意力與多頭注意力直接獲取語言單位的雙向語義關(guān)系.通過 Transformer 結(jié)構(gòu)獲取到的信息優(yōu)于傳統(tǒng)的RNNs 模型以及對(duì)正反向 RNNs 網(wǎng)絡(luò)直接拼接的雙向 RNNs 模型.

2.2 輸入表示

Bert的輸入是由兩個(gè)句子相連的序列，每個(gè)句子前面添加一個(gè)標(biāo)識(shí)符[CLS]表示句子開始，尾部添加一個(gè)標(biāo)識(shí)符[SEP]作為結(jié)束，兩個(gè)句子通過分隔符[SEP]隔開.對(duì)于每個(gè)單詞，Bert進(jìn)行了3種不同的嵌入操作，分別是對(duì)單詞位置信息進(jìn)行編 碼position embeddings、對(duì)單詞進(jìn)行Word2vec 編碼token embeddings、對(duì)句子整體進(jìn)行編碼segmentation embeddings.將這3種嵌入結(jié)果進(jìn)行向量拼接，可以得到Bert輸入，如圖1所示.

圖1 Bert的輸入表示Fig.1 Input representation of Bert

2.3 Masked LM

ELMo[14]使用經(jīng)過獨(dú)立訓(xùn)練的從左到右和從右到左LSTM的串聯(lián)來生成用于下游任務(wù)的功能.OpenAI GPT則是使用從左向右的單向Transformer作為網(wǎng)絡(luò)結(jié)構(gòu).事實(shí)上，深層雙向模型比從左向右模型或從左向右和從右向左模型的淺層連接更強(qiáng)大.不幸的是，因?yàn)殡p向條件將允許每個(gè)單詞在多層上下文中間接“看到自己”.故標(biāo)準(zhǔn)條件語言模型只能從左到右或從右到左進(jìn)行訓(xùn)練.

為了解決語義單向問題，Bert將輸入詞的15%隨機(jī)進(jìn)行掩蔽(Mask)，其中被掩蔽掉的詞80%幾率被[MASK]替代，10%幾率是正確的詞匯，10%幾率替換成詞匯表中隨機(jī)詞匯，通過訓(xùn)練語言模型預(yù)測(cè)這些詞來抵消“鏡像問題”的影響.但是語言模型無法學(xué)習(xí)到句子間的關(guān)系，于是 Bert引入下句話預(yù)測(cè)(NSP)任務(wù)來解決這個(gè)問題.預(yù)訓(xùn)練后 Bert無需引入復(fù)雜的模型結(jié)構(gòu)，只需要對(duì)不同的自然語言處理任務(wù)進(jìn)行微調(diào)、學(xué)習(xí)少量的新參數(shù)，即可通過歸納式遷移學(xué)習(xí)將模型用在源域與目標(biāo)域不相同的新任務(wù)中.Mask LM流程如圖2所示.

2.4 Transformer編碼器

Bert模型采用Transformer作為特征提取器，模型由多個(gè)Transformer層疊加構(gòu)成.Transformer 編碼器有兩個(gè)子層，分別是基于自注意力機(jī)制的自注意力層和全連接前饋網(wǎng)絡(luò)層.同時(shí)，在每個(gè)子層內(nèi)都加入了殘差結(jié)構(gòu)(residual)和歸一化層(layer nomalization)，結(jié)構(gòu)圖如圖3所示.

圖2 Masked LM流程Fig.2 Process of Masked LM

其中h個(gè)縮放點(diǎn)積注意(Scaled Dot-Product Attention)組成多頭自注意力模型(Multi-Head Attention).作為基本單元，縮放注意力計(jì)算公式為：

(1)

MultiHead(Q，K，V)=Concat(head1，…，headh)WO

(2)

(3)

圖3 Transformer編碼器Fig.3 Transformer encoder

如果對(duì)矩陣Q、K和V進(jìn)項(xiàng)線性計(jì)算，轉(zhuǎn)換成不同的矩陣，然后使用 h 個(gè)縮放點(diǎn)積單元進(jìn)行計(jì)算，把h個(gè)縮放點(diǎn)積單元計(jì)算的結(jié)果組合起來，就能夠獲得更多的語義特征.由于每個(gè)縮放點(diǎn)積單元的輸入 K、Q 和 V 在進(jìn)行計(jì)算時(shí)的權(quán)重不同，就能夠獲取來自文本不同空間的語義特征.以捕捉句子中的每個(gè)詞關(guān)于上下文的信息.

前饋網(wǎng)絡(luò)層由兩個(gè)大小為 1的卷積核組成，使用 ReLu 激活函數(shù)做兩次線性轉(zhuǎn)換

FFN(x)=max(0，xW1+b1)W2+b2

(4)

其中W1和W2是權(quán)重，b1和b2為偏置項(xiàng).最后經(jīng)過殘差網(wǎng)絡(luò)和層歸一化得到最終輸出.

Transformer 編碼器網(wǎng)絡(luò)總共使用n個(gè)編碼器抽取文本的特征，后將學(xué)習(xí)到的分布式特征使用全連接層將特征整合映射到樣本標(biāo)記空間，以便進(jìn)行文本情感傾向性分類.

3 基于Focal Loss優(yōu)化Bert微調(diào)模型

3.1 交叉熵?fù)p失函數(shù)

對(duì)于大多數(shù)文本分類任務(wù)，通常采用交叉熵(Cross Entropy，CE)作為損失函數(shù)，其計(jì)算公式為公式(5)：

CE(pt)=-log(pt)

(5)

其中：

(6)

pt是某事件發(fā)生的概率，pt屬于[0，1].對(duì)于多分類情況，實(shí)際為二分類擴(kuò)展，如公式(7)所示：

(7)

其中M為類別數(shù)量，yc指示變量，如果樣本預(yù)測(cè)類別和該類別相同則為1，否則為0，pc為預(yù)測(cè)樣本屬于類別c的概率.

3.2 引入權(quán)重的Focal Loss 算法

傳統(tǒng)交叉熵作為損失函數(shù)時(shí)，未考慮到簡(jiǎn)單樣本和困難樣本對(duì)模型優(yōu)化的貢獻(xiàn)程度差異，數(shù)量多且簡(jiǎn)單的樣本占loss優(yōu)化的絕大部分，此類樣本容易分類loss值較低，相對(duì)而言，數(shù)量少的困難樣本對(duì)loss的優(yōu)化貢獻(xiàn)下降，導(dǎo)致模型的優(yōu)化方向并不理想.故本文提出了基于Bert遷移學(xué)習(xí)模型fine tuning時(shí)，采用重塑交叉熵?fù)p失的方法Focal Loss，降低被良好分類樣本的損失權(quán)重，并把重點(diǎn)放在稀疏的困難樣本上，即情感傾向較難劃分，預(yù)測(cè)概率較低的一類樣本.以優(yōu)化損失函數(shù)，進(jìn)一步提升情感多分類模型效果.

首先在傳統(tǒng)交叉熵基礎(chǔ)上，添加了調(diào)制因子(1-pt)γ，計(jì)算公式為式(8)：

FL(pt)=-(1-pt)γlog(pt)

(8)

其中(1-pt)γ為調(diào)制因子，γ∈[0，5]為聚焦參數(shù)，γ取不同值對(duì)結(jié)果影響不同，當(dāng)γ=0時(shí)，F(xiàn)L=CE，等于傳統(tǒng)的交叉熵函數(shù)；當(dāng)γ>0時(shí)，降低了簡(jiǎn)單樣本的相對(duì)損失值，進(jìn)而將注意力放在困難樣本和分錯(cuò)的樣本上.例如當(dāng)pt=0.9且γ=2時(shí)，F(xiàn)L=0.01CE，即得分越高pt越接近1，損失權(quán)重越小，簡(jiǎn)單樣本對(duì)損失函數(shù)的影響越??；相反，當(dāng)pt=0.2且γ=2時(shí)，F(xiàn)L=0.64CE，這樣得分值越低pt越接近0，損失權(quán)重越大，而不是將CE同比降低，困難樣本對(duì)損失函數(shù)的影響越大.因此，在訓(xùn)練過程中加強(qiáng)了困難樣本的訓(xùn)練，對(duì)簡(jiǎn)單樣本減少訓(xùn)練.

FL(pt)=-α(1-pt)γlog(pt)

(9)

進(jìn)一步α作為平衡權(quán)重，如式(9)所示，α∈[0，1]，控制正負(fù)樣本對(duì)總的loss的共享權(quán)重，調(diào)節(jié)縮放比例.FocalLoss同時(shí)在一定程度上能緩解數(shù)據(jù)不均衡問題，無論哪種類別數(shù)據(jù)較少，由于樣本少導(dǎo)致在實(shí)際訓(xùn)練過程中更容易判錯(cuò)，種類特征學(xué)習(xí)不夠，置信度也變低，損失也隨之增大.同時(shí)在學(xué)習(xí)過程中逐漸拋棄簡(jiǎn)單樣本，因此，剩下了各類別的困難樣本，可以達(dá)到同樣的訓(xùn)練優(yōu)化目的.

3.3 情感分類模型訓(xùn)練流程

具體基于Bert與Focal Loss的情感分類模型微調(diào)流程如圖4所示，首先對(duì)標(biāo)注的微博語料進(jìn)行數(shù)據(jù)預(yù)處理，包括去除無關(guān)字符，特殊符號(hào)等；然后進(jìn)行分詞，根據(jù)position embeddings、token embeddings、segmentation embeddings得到Bert的輸入向量表示；輸入到經(jīng)過初始化的預(yù)訓(xùn)練Bert模型中，利用分類器預(yù)測(cè)值與真實(shí)標(biāo)簽值對(duì)比并通過Focal Loss算法得到損失值；最后優(yōu)化器進(jìn)行優(yōu)化調(diào)整權(quán)重參數(shù)，重復(fù)fine tuning過程直至迭代結(jié)束.

圖4 Bert-FL模型訓(xùn)練流程Fig.4 Training process of Bert-FL model

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

本文數(shù)據(jù)是針對(duì)廣播電視領(lǐng)域，通過網(wǎng)絡(luò)爬蟲爬取新浪微博某時(shí)間段熱點(diǎn)話題評(píng)論數(shù)據(jù)，通過人工對(duì)微博評(píng)論數(shù)據(jù)的情感傾向進(jìn)行標(biāo)注整理，得出積極正面語料5027條，消極負(fù)面語料5058條，中性語料9939條，共計(jì)20208條數(shù)據(jù)集.

微博數(shù)據(jù)內(nèi)容不規(guī)范，通常包含一些與情感分類無關(guān)的符號(hào)，例如網(wǎng)址鏈接url，話題內(nèi)容“#話題#”，“@用戶”，類似的這些字符并不是人們想要表達(dá)的信息，這些無用的信息可能對(duì)接下來的情感分類效果造成一些影響.所以首先要?jiǎng)h除過濾掉這類無關(guān)字符，一般通過正則表達(dá)的方法來處理，去除特定字符進(jìn)而保留文本的主要內(nèi)容.在運(yùn)行各算法之前，通常要對(duì)文本分詞，本實(shí)驗(yàn)統(tǒng)一采用jieba來分詞.另外，根據(jù)個(gè)別算法的要求，有時(shí)也需要對(duì)停用詞進(jìn)行處理，對(duì)照停用表將其去除.將預(yù)處理后的數(shù)據(jù)存放在本地?cái)?shù)據(jù)庫中，進(jìn)行下一步語料庫的劃分，其中每個(gè)類別隨機(jī)抽取439條，共計(jì)1317條用作測(cè)試集.剩下每個(gè)類別隨機(jī)抽取90%用于訓(xùn)練構(gòu)建模型，10%用于驗(yàn)證調(diào)整模型參數(shù).詳見表1.

表1 數(shù)據(jù)集劃分Table 1 Date set partition

4.2 評(píng)價(jià)指標(biāo)

準(zhǔn)確率(Accuracy)是在衡量文本分類結(jié)果時(shí)常用的直觀的評(píng)價(jià)指標(biāo).它是在測(cè)試文本中，預(yù)測(cè)標(biāo)簽與實(shí)際標(biāo)簽吻合的文本所占的比率.計(jì)算公式為：

(10)

預(yù)測(cè)時(shí)長(zhǎng)是指在同等文本數(shù)量情況下，各模型完成預(yù)測(cè)所占用的時(shí)間.

4.3 結(jié)果及分析

為驗(yàn)證雙向語義編碼表示Bert的有效性，實(shí)驗(yàn)首先構(gòu)建Bert網(wǎng)絡(luò)結(jié)構(gòu)，并用同樣的數(shù)據(jù)集在一些經(jīng)典情感分類方法上進(jìn)行訓(xùn)練預(yù)測(cè)，多次訓(xùn)練得出各自最優(yōu)模型對(duì)比.

由于實(shí)驗(yàn)數(shù)據(jù)是中文微博短文本，且微博規(guī)定評(píng)論內(nèi)容不超過140個(gè)詞，結(jié)合實(shí)驗(yàn)所用服務(wù)器的內(nèi)存大小，故處理文本的最大長(zhǎng)度設(shè)置為150，同時(shí)對(duì)過短為句子也不做處理.Bert模型訓(xùn)練的具體參數(shù)如表2所示.實(shí)驗(yàn)在Linux CentOS 7.3.1611下進(jìn)行，采用Anaconda虛擬環(huán)境編程，實(shí)驗(yàn)基于Tensorflow 1.11.0和Pytorch 1.3.0深度學(xué)習(xí)框架來搭建模型，并使用兩塊TITAN X(Pascal)GPU來運(yùn)行模型.

表2 Bert超參數(shù)設(shè)置Table 2 Bert hyperparameter setting

實(shí)驗(yàn)結(jié)果如表3所示,從實(shí)驗(yàn)結(jié)果可以看出，在整體準(zhǔn)確率方面，基于預(yù)訓(xùn)練的遷移學(xué)習(xí)模型都在90%以上，均優(yōu)于從頭訓(xùn)練的網(wǎng)絡(luò)模型，其中Bert的分類準(zhǔn)確率最高，達(dá)到91.56%.由于Transformer編碼器在處理文本序列時(shí)，序列中單詞之間不受距離的限制，任意單詞之間的關(guān)系都可以捕獲.一定程度證明Transformer編碼器效果優(yōu)于LSTM.TextCNN準(zhǔn)確率最低，因?yàn)槠涮崛〉木植刻卣髟谌蝿?wù)中會(huì)缺失部分前后相關(guān)語義信息.LSTM準(zhǔn)確率相較于TextCNN提升不明顯原因可能是大部分句子長(zhǎng)度較短，簡(jiǎn)單的單向LSTM并沒有發(fā)揮提取長(zhǎng)期特征的優(yōu)勢(shì).但在分類速度上，TextCNN的分類速度遠(yuǎn)遠(yuǎn)超過遷移學(xué)習(xí)類模型，僅需1s，原因是CNN其權(quán)重共享特征，參數(shù)大大減少，Bert模型速度最慢.另外無論LSTM與Transformer網(wǎng)絡(luò)結(jié)構(gòu)都相對(duì)復(fù)雜一些.對(duì)比試驗(yàn)表明，Bert模型在短文本情感分類任務(wù)中準(zhǔn)確率最高，但分類速度表現(xiàn)略差.

表3 各模型分類結(jié)果對(duì)比表Table 3 Comparison table of classification results of each model

雖然Bert網(wǎng)絡(luò)模型整體預(yù)測(cè)準(zhǔn)確率略有提升，但由于數(shù)據(jù)中存在情感傾向較難區(qū)分的句子，這些因素都不同程度對(duì)分類準(zhǔn)確率造成了影響.為解決此問題，進(jìn)一步構(gòu)建基于Focal Loss的Bert模型，進(jìn)行多組實(shí)驗(yàn)，選出最優(yōu)權(quán)重因子α參數(shù)，如表4所示.

表4 Bert-FL不同參數(shù)在測(cè)試集的表現(xiàn)Table 4 Performance of different Bert-FLparameters in the test set

由表4可以看出，當(dāng)γ= 2且α= 0.75時(shí)，能達(dá)到最高準(zhǔn)確率92.39%，證明了此參數(shù)更適合本次情感分類任務(wù).同時(shí)與Bert的最高準(zhǔn)確率91.56%相比，提升0.83%，可以得出，此方法在整體準(zhǔn)確率上略有提升.各類別預(yù)測(cè)結(jié)果如表5所示，對(duì)比實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的Bert-FL模型在數(shù)據(jù)相對(duì)較少的負(fù)面和正面的分類準(zhǔn)確率均有一定提升，整體準(zhǔn)確率分布更加均衡.

表5 各情感類別準(zhǔn)確率對(duì)比Table 5 Comparison of accuracy rates of various emotion categories

為進(jìn)一步驗(yàn)證Focal Loss對(duì)困難樣本的學(xué)習(xí)能力，實(shí)驗(yàn)從439條測(cè)試集中人工篩選出408條簡(jiǎn)單樣本，31條困難樣本進(jìn)行測(cè)試.Bert和Bert-FL 在簡(jiǎn)單/困難樣本中的表現(xiàn)如表6所示.

表6 Bert-FL在簡(jiǎn)單/困難樣本中的表現(xiàn)Table 6 Performance of Bert-FL in easy / hard samples

由表6可以看出，將Bert的損失函數(shù)替換成Focal Loss后，簡(jiǎn)單樣本的準(zhǔn)確率變化不明顯，而對(duì)于31條困難樣本預(yù)測(cè)準(zhǔn)確率，模型有一定程度的提升.這是因?yàn)楹?jiǎn)單樣本置信度高，損失小，權(quán)重因子α與γ參數(shù)的作用使得損失變化更小，參數(shù)更新越微??；與之相比，困難樣本置信度低，損失較大，優(yōu)

表7 各類別例句Table 7 Example sentences for various category

化器著重學(xué)習(xí)此類樣本.實(shí)驗(yàn)結(jié)果一定程度驗(yàn)證了改進(jìn)后的算法在不影響簡(jiǎn)單樣本分類效果的情況下，提升了困難樣本的分類準(zhǔn)確率.證明了該算法的可行性與有效性.表7展示了數(shù)據(jù)集中正面、中性、負(fù)面3類別例句以及困難樣本例句.

5 結(jié)束語

本文在面向廣播電視微博領(lǐng)域的中文短文本情感多分類任務(wù)中，提出了Bert作為預(yù)訓(xùn)練模型初始化網(wǎng)絡(luò)參數(shù)，在模型微調(diào)時(shí)刻采用Focal Loss替代交叉熵，一定程度緩解訓(xùn)練數(shù)據(jù)稀疏的困難樣本和較多的簡(jiǎn)單樣本對(duì)分類器學(xué)習(xí)貢獻(xiàn)度不同的問題.該方法仍然有不足之處，訓(xùn)練模型大及參數(shù)過多，預(yù)測(cè)時(shí)間長(zhǎng)等.在今后的研究工作中將繼續(xù)優(yōu)化算法模型，改進(jìn)模型缺點(diǎn).提升模型在工程中的應(yīng)用效果.