王穎

摘? 要： 隨著人工智能研究領(lǐng)域的迅速發(fā)展，各種人工智能相關(guān)的行業(yè)也以大爆炸的趨勢迅猛興起，隨著人工智能行業(yè)的迅猛興起，也導(dǎo)致越來越多的行業(yè)都希望能夠以人工智能來取代人工工作。本文提出一種改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型，在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型中增加一層循環(huán)隱含層，并應(yīng)用在語義情感識別領(lǐng)域，經(jīng)驗(yàn)證，在識別準(zhǔn)確度方面取得較好的成績。

關(guān)鍵詞： 語義;情感識別;卷積神經(jīng)網(wǎng)絡(luò);人工智能

【Abstract】： With rapid development of research field of artificial intelligence， various industries related to artificial intelligence have been booming with big bang trend. With rapid rise of the artificial intelligence industry， more industries try to replace artificial work with artificial intelligence. The article proposes an improved convolutional neural network model， which adds a circular hidden layer to traditional convolutional neural network model， and is applied in semantic emotion recognition field. Practice has proved that it has achieved good results in recognition accuracy.

【Key words】： Semantics; Emotion recognition; Convolutional neural network; Artificial intelligence

0? 引言

目前，最大化匹配方法常常被用在語義識別中[1]。鑒于漢語的復(fù)雜性和表達(dá)語義的能力遠(yuǎn)高于其他語言，不同語用和語境中同一個(gè)次的含義可表達(dá)出完全不同的含義[2]。導(dǎo)致使用最大化匹配法實(shí)現(xiàn)語義識別效果并不理想[3]。

隨著人工智能技術(shù)的飛速發(fā)展，近年也有學(xué)者將卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)及誤差反向傳播神經(jīng)網(wǎng)絡(luò)模型用于語義識別技術(shù)，這些專家和學(xué)者在應(yīng)用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)語義情感識別的領(lǐng)域取得了不錯(cuò)的成績，但鑒于漢語表達(dá)情感的復(fù)雜程度導(dǎo)致在識別速度和準(zhǔn)確度方面也存在不盡如人意的方面?；谝陨媳尘埃疚奶岢鲆环N改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型用以語義識別，該模型在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型中增加一層循環(huán)隱含層，該循環(huán)隱含層實(shí)現(xiàn)在同等數(shù)量的訓(xùn)練樣本集前提下實(shí)現(xiàn)對網(wǎng)絡(luò)模型的過渡訓(xùn)練的功能，大大提高網(wǎng)絡(luò)模型的識別準(zhǔn)確度[4]。

1? 語義識別

1.1? 語義的表示

自然語言可通過分布語義，框架語義，模型論語義等三種主要途徑進(jìn)行表示[5]。隨著人工智能技術(shù)發(fā)展衍生出的智能語音表示途徑為自然語言的一種衍生表示形式。使用領(lǐng)域（domain）、意圖（intent）、詞槽（slot）等三種形式來表示語義[6]。

領(lǐng)域（domain）：通常按語言數(shù)據(jù)來源來劃分領(lǐng)域，統(tǒng)一行業(yè)背景或?qū)I(yè)范圍內(nèi)的語言數(shù)據(jù)劃分為統(tǒng)一領(lǐng)域，如醫(yī)療、交通等。領(lǐng)域在語法中可看作句子的主語。

意圖（intent）：意圖類似語法中的謂語，是指對語義領(lǐng)域內(nèi)的數(shù)據(jù)進(jìn)行的動(dòng)作或操作，比如查找交通等。

詞槽（slot）：指語義領(lǐng)域的屬性，可看作語法中的賓語，如交通類型。

1.2? 語義識別的三個(gè)層次

（1）應(yīng)用層：應(yīng)用層是指語義的使用層面，如行業(yè)應(yīng)用等。

（2）NLP技術(shù)層：是指對自然語言經(jīng)過技術(shù)手段進(jìn)行加工、處理轉(zhuǎn)化成機(jī)器語言或?qū)C(jī)器語言合成自然語言。

（3）底層數(shù)據(jù)層：底層數(shù)據(jù)層是指語義的領(lǐng)域來源。

2? 卷積神經(jīng)網(wǎng)絡(luò)模型

2.1? 卷積神經(jīng)網(wǎng)絡(luò)介紹

卷積神經(jīng)網(wǎng)絡(luò)模型包含輸入層、隱含層及輸出層。其中輸入層輸入的為原始數(shù)據(jù)，模型將輸入層輸入的原始數(shù)據(jù)通過隱含層的卷積操作將原始數(shù)據(jù)逐層提取出目標(biāo)函數(shù)[7]。其中逐層抽取的過程被稱之為前向反饋操作[8]。

當(dāng)?shù)玫侥繕?biāo)函數(shù)后，網(wǎng)絡(luò)模型通過計(jì)算預(yù)測值和目標(biāo)值之間的誤差，通過反向傳播算法逐層從最后一層向前反饋誤差[9]。次過程被稱之為后向反饋操作。

卷積神經(jīng)網(wǎng)絡(luò)基本模型如圖1所示。

2.2? 改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型研究

2.3? 網(wǎng)絡(luò)模型訓(xùn)練

2.3.1? 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)通過前向傳播和反向傳播兩個(gè)階段完成。其中前向傳播是數(shù)據(jù)從低層網(wǎng)絡(luò)層向高層網(wǎng)絡(luò)層的傳播，反向傳播是誤差從高層網(wǎng)絡(luò)層向低層網(wǎng)絡(luò)層的傳播。

具體訓(xùn)練過程為：① 網(wǎng)絡(luò)進(jìn)行權(quán)值的初始化;② 輸入層輸入原始數(shù)據(jù);③ 隱含層進(jìn)行卷積運(yùn)算、采樣、全連接層向高層網(wǎng)絡(luò)層前向傳播;④ 循環(huán)隱含層通過循環(huán)計(jì)算網(wǎng)絡(luò)的輸出值與目標(biāo)值之間的誤差;⑤ 如果計(jì)算出誤差大于目標(biāo)期望值時(shí)，將誤差反向傳播回網(wǎng)絡(luò)模型，并且順序獲得全連接層和采樣層及卷積層的誤差。如果最終得出的誤差小于或等于期望值誤差值，結(jié)束訓(xùn)練;⑥ 根據(jù)三次循環(huán)求得誤差平均值進(jìn)行權(quán)值更新。

2.3.2? 卷積層的前向傳播過程

網(wǎng)絡(luò)模型的卷積層的卷積操作被稱作卷積層的前向傳播過程。卷積層采用特定步長的卷積運(yùn)算方式，先獲取初始運(yùn)算函數(shù)，并與該出事運(yùn)算函數(shù)進(jìn)行卷積運(yùn)算（針對語義情感識別即權(quán)值矩陣與文字情感的特征值進(jìn)行加權(quán)和再加上一個(gè)偏置量），然后通過激活函數(shù)得到該層的輸出[10]。

2.3.3? 采樣層的前向傳播過程

從卷積層獲取的特征數(shù)據(jù)作為輸入傳輸?shù)讲蓸訉?，并通過下采樣層的池化操作來對輸入數(shù)據(jù)進(jìn)行降維操作，以此來避免過擬合情況。最大化池方法是拾取語義情感峰值的過程。均值池化方法是拾取語義情感均值的過程。隨機(jī)池化方法是拾取所有情感特征在所有特征中出現(xiàn)的概率，然后從所有特征中隨機(jī)選取一種作為該語義情感特征值，其中概率越大的特征最終被選取得概率也越大。

2.3.4? 全連接層的前向傳播過程

從卷積層和采樣層獲取到情感特征后，將提取出來的情感特征輸入到模型中的全連接層。并對所提取的情感特征進(jìn)行分類，從而獲得分類模型，并得到輸出矩陣。然后經(jīng)過激勵(lì)函數(shù)f（y）的激活，傳入下一層[11]。

3? 實(shí)驗(yàn)結(jié)果及分析

3.1? 數(shù)據(jù)

3.3? 分析

從實(shí)驗(yàn)結(jié)果可以看出，在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型中增加一層循環(huán)隱含層在識別的準(zhǔn)確度卻有較大的提高。因模型針對特定的流程進(jìn)行優(yōu)化，所以針對識別準(zhǔn)確度的效果提高較明顯。

4? 結(jié)論

本文在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型中增加一層循環(huán)隱含層，提出一種改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型，并將其應(yīng)用在語義情感識別領(lǐng)域，經(jīng)驗(yàn)證，取得了較高的識別率。與傳統(tǒng)的方法相比，CNN無監(jiān)督式提取特征應(yīng)用于不同的數(shù)據(jù)均取得了較好的準(zhǔn)確率，但在網(wǎng)絡(luò)復(fù)雜度上還需繼續(xù)改進(jìn)。

參考文獻(xiàn)

T. Berners-Lee， J. Hendler， and O. Lassila， “The Semantic Web， ” Scientific American， May 2001， pp. 34-43.

P. Patel-Schneider， P. Hayes and I. Horrocks， “OWL web ontology language AbstractSyntax and Semantics”， W 3C Rec om mendation， http：//www.w3.org/TR/owl-semantics/2004.

P. Mika， “Flink： Semantic Web Technology for the Extraction and Analysis of Social Networks， ” Journal of Web Semantics， vol. 3， no. 2， 2005， pp. 211-223

H. Stuckenschmidt and M. Klein， “Structure-based partitioning of large class hierarchies”， In Proceedings of Third International Semantic Web Conference （ISWC 2004）， volume 3298 of Lecture Notes in Computer Science， pages 289-303， Springer， 2004.

W. Hu， Y. Zhao and Y. Qu， “Partition Based Block Matching of Large Class Hierarchies”， In Proceedings of the 1st Annual Asian Semantic Web Conference. （ASWC2006）， Springer-Verlag Berlin Heidelberg. LNCS 4185， pp： 72-83.

X. Zhang， G. Cheng and Y. Qu， “Ontology Summarization Based on RDF Sentence Graph”， In Proceedings of the 16th International World Wide Web Conference （WWW2007）， ACM Press， pp： 707-715， 2006.

韓英杰. 基于綜合調(diào)度關(guān)鍵路徑的多核任務(wù)調(diào)度研究[D]. 哈爾濱理工大學(xué). 2014.

蘇賽軍. 網(wǎng)絡(luò)化多智能體系統(tǒng)的協(xié)調(diào)控制及一致性問題研究[D]. 中南大學(xué)， 2011.

郭文忠， 陳國龍， 陳慶良， 等. 基于粒子群優(yōu)化算法和相關(guān)性分析的特征子集選擇[J]. 計(jì)算機(jī)科學(xué)， 2008（2）： 144-146.

劉騰飛， 于雙元， 張洪濤， 等. 基于循環(huán)和卷積神經(jīng)網(wǎng)絡(luò)的文本分類研究[J]. 軟件， 2018， 39（01）： 64-69.

吳亞熙， 岑峰. 基于卷積神經(jīng)網(wǎng)絡(luò)的多層級目標(biāo)檢測方法[J]. 軟件， 2018， 39（4）： 164-169.