李思特

摘 要：自然語言處理是近幾年發(fā)展迅速的智能算法，其具有的多種優(yōu)勢正被越來越多的人認可。本文圍繞人工智能歌詞創(chuàng)作的社會熱點，從文本生成出發(fā)，宏觀上認識了自然語言處理的定義、應用領域及技術原理，并且深入剖析了RNN和LSTM這兩種文本生成算法的基本原理，具有一定的參考價值。

關鍵詞：自然語言處理;應用;文本生成;RNN;LSTM

中圖分類號：TP391.1 文獻標識碼：A 文章編號：1671-2064（2019）14-0041-02

0 引言

隨著人工智能技術的高速發(fā)展，智能化已成為當今時代的發(fā)展特色，智能化應用也體現(xiàn)在生活中的方方面面，人機對話、人機對弈、AI寫歌詞等新聞熱搜已為人們所熟知。其中，人工智能歌詞創(chuàng)作頻頻成為互聯(lián)網的熱門話題，在2018年的綜藝節(jié)目《中國好聲音》中，參賽選手宿涵也曾宣傳了其創(chuàng)業(yè)公司推出的AI歌詞創(chuàng)作項目。本文即圍繞人工智能歌詞創(chuàng)作這一熱門話題，對其主要應用的自然語言處理技術進行闡述，并介紹其相關應用。

1 自然語言處理的概述及應用

自然語言處理，英文名稱是Natural Language Process（NLP），是人工智能領域的重要分支[1]。自然語言是人腦所特有的高級功能，自然語言處理即為利用計算機技術，通過相關算法對書面或口頭形式的自然語言信息進行各種類型的加工或處理[2]。自然語言處理是實現(xiàn)人機交互的重要技術手段，也可以對語言信息進行分類或分析，其應用主要有機器翻譯、情感分析、智能問答、語言生成、信息提取、語音輸入、輿情分析等諸多方面[3]。

1.1 機器翻譯

機器翻譯是利用計算機將一種自然語言轉換為另一種自然語言（目標語言）的過程。它在國內有許多比較成熟的應用，比如現(xiàn)在比較流行的有道翻譯、百度翻譯、谷歌翻譯等等。

1.2 情感分析

情感分析在一些有評論機制的應用上非常有用，它可以把不同的評論通過分析歸入到不同的情感標簽中，比如判斷評論是積極的還是消極的，根據一定的規(guī)則，在用戶的評論區(qū)上顯示。

1.3 智能問答

智能問答在一些電商網站上有很大價值，比如淘寶、天貓、京東等等。有些簡單的問題并不需要人工客戶來處理，智能問答可以解決用戶的這些問題，從而省去大量的人力成本。

1.4 語言生成

語言生成主要應用在新聞和體育賽事解說上，系統(tǒng)通過自然語言處理將解說員的臺詞翻譯成文字，實時顯示在APP上，方便觀眾快速收到文字解說。

1.5 信息提取

信息提取主要應用在搜索引擎上，它們在采集大量的數據后，提取關鍵的信息進行自動分類。例如針對新聞的搜索頁面，在應用了信息提取算法之后，進行主題的分析，可將不同的新聞歸類到不同的主題當中。

1.6 語音輸入

語音輸入被認為是目前世界上最簡便、最易用的輸入法，在當前發(fā)展極為迅速。國內，科大訊飛是語音輸入做得最好的互聯(lián)網公司，它推出的同聲傳譯翻譯器，可以實時進行中英文的同聲傳譯，在各大會議和賽事中得到廣泛應用。

1.7 輿情分析

輿情分析在政府或企業(yè)的公關中起著十分重要的作用，美國前總統(tǒng)奧巴馬在參與美國大選時，就曾多次利用輿情分析對資金和廣告的投放進行調整、制作有效的拉票戰(zhàn)術。自然語言處理在輿情分析中的應用，使得媒體界、公關領域的工作效率大大提高。

2 自然語言處理的技術原理

自然語言處理應用在生活中的很多方面，為實現(xiàn)這些應用，需對其技術原理進行深入剖析。本章將從自然語言處理最基本的詞法和句法分析，以及機器翻譯、情感分析、文本生成所采用的技術方法這幾個方面展開論述。

2.1 詞法分析

詞法分析包括中文分詞、詞性標注和命名體識別。中文分詞是指將連續(xù)的句子分割成完整的詞匯序列;詞性標注賦予了每個詞特定的詞性，如動詞、名詞等等。命名體識別是將專有名詞進行識別，比如人名、地名。通過這三個步驟，詞法分析可將自然語言進行初步分類，方便下一步處理。

2.2 句法分析

句法分析可以利用一句話中詞與詞之間的關系，來表示句中的語法信息。主要作用是精準理解輸入者的意圖，通過句法分析，抽取出語句中的主干部分，實現(xiàn)對語句的精準理解。

2.3 機器翻譯的主要方法

2.3.1 基于規(guī)則的機器翻譯

基于規(guī)則的機器翻譯是通過詞性分析、詞語位置變幻等規(guī)則，把詞或短語直接進行翻譯，一般情況翻譯質量較差。

2.3.2 基于統(tǒng)計的機器翻譯

該種方法采用了統(tǒng)計學的相關理論，首先需要一個大的語料庫，當翻譯詞時，會計算該詞與其相鄰詞間的概率，然后選擇概率最大的翻譯結果作為輸出，默認概率最大為翻譯最準確。這種方法也是目前較為常用的機器翻譯方法之一[4]。

2.3.3 基于實例的機器翻譯

當需要輸入一句話進行翻譯時，會搜索出類似的語句，在有異常翻譯的詞語處進行直接替換，即可得到最終結果，翻譯效果較差。

2.4 情感分析

情感分析是針對具有主觀傾向的文體，如用戶評論等。情感分析首先要提取文本中的關鍵情感詞語，進行分類并給出相應的可信度，可分為積極、中性、消極。情感分析可以幫助商家理解用戶的心理，顯示一定情感比例的評論。還可以幫助企業(yè)進行熱點分析、輿論監(jiān)控，為企業(yè)的決策提供支持[5]。

2.5 文本生成

文本生成可基于關鍵詞或基于一句話的文本進行再生成。第一步是要輸入關鍵詞或一句話，如果是關鍵詞，系統(tǒng)會在基礎語料庫中篩選出含有這個關鍵詞的語句，判斷是否符合要求，不符合的話要對這句話在同義詞語料庫中進行同義詞的替換，最后輸出。

在文本生成同義句時，先要對已輸入的語句進行分詞，分詞后如果兩個語句詞不同且語義不同，則不滿足模板變換的條件，就要再去除停用詞，對于剩下的詞計算詞距離，得到相似矩陣，對兩個句子分別構建bi-gram統(tǒng)計向量，計算相似度。最后把所有句子由相似度高到低進行排序，根據需要的句子數量選取指定數量的句子。

3 人工智能歌詞創(chuàng)作的主要方法

人工智能歌詞創(chuàng)作的本質是采用了文本生成的相關算法。首先需要將自然語言數字化處理，即導入依賴，加載數據，創(chuàng)建映射，使每一個字符都可以映射到一個數字，然后進行數據預處理，將數據轉換成可供模型訓練的格式，再進行模型構建，最后應用相關算法生成文本，本文主要列舉循環(huán)神經網絡算法和LSTM算法這兩種方法。

3.1 循環(huán)神經網絡（RNN）算法原理

首先需要準備數據，循環(huán)神經網絡RNN引入了隱狀態(tài)h，可以對序列形的數據提取特征，也就是通過前幾次輸出的量，對輸入的量進行判斷與更改，用上一狀態(tài)的輸出量通過處理轉化為新的輸入量[6]。歌詞向量化后輸入x1，x2，……xn，該輸入量通過與隱狀態(tài)h的計算預測，輸出y1，y2，……yn。預測效果會隨著反復學習，逐漸優(yōu)化。技術原理圖如圖1所示。

3.2 長短期記憶網絡（LSTM）算法原理

上文提到的RNN具有一種重復神經網絡模塊的鏈式形式，即隱狀態(tài)h。相較于RNN來說，LSTM不是單一的神經網絡，它有四種特殊的交互結構。這種結構叫門，可以實現(xiàn)選擇性地讓信息通過。技術原理如圖2所示。

數據通過遺忘門時，遺忘門會輸出一個0到1之間的實數，1表示完全保留，0表示完全舍棄。輸入門決定讓多少新的信息加入，其中包含兩個步驟，一個是sigmoid層決定哪些信息需要更新，另一個tanh層生成一個向量，也就是備選的用來更新的內容。這兩部分結合起來，對其進行更新，會產生新的候選值，該值根據決定更新每個狀態(tài)的程度進行變化。最后，需要決定輸出什么值：（1）運行一個sigmoid層來確定細胞狀態(tài)的輸出部分;（2）把輸入門的最終值通過tanh進行處理，得到一個值，并將它和sigmoid門的輸出相乘;（3）輸出所需的確定輸出值，來實現(xiàn)文本生成[7]。

4 結語

基于自然語言處理技術的人工智能歌詞創(chuàng)作雖然在諸多方面還存在著挑戰(zhàn)，但毫無疑問，自然語言處理的發(fā)展前景是明朗的。通過自然語言處理的相關技術，我們可以將智能化帶入生活的方方面面，實現(xiàn)機器與人之間的溝通，從根本上影響到人們的生活，意義深遠，潛力無窮。相信隨著智能算法的不斷優(yōu)化，AI技術將會在自然語言方面做到更多。

參考文獻

[1] 奚雪峰，周國棟.面向自然語言處理的深度學習研究[J].自動化學報，2016，42（10）：1445-1465.

[2] 李彥峰.人工智能在自然語言處理中的應用[J].襄陽職業(yè)技術學院學報，2018，17（04）：71-74+78.

[3] 李生.自然語言處理的研究與發(fā)展[J].燕山大學學報，2013（5）：377-384.

[4] 李亞超，熊德意，張民.神經機器翻譯綜述[J].計算機學報，2018，41（12）：2734-2755.

[5] 范創(chuàng).人機對話中的情感文本生成方法研究[D].哈爾濱工業(yè)大學，2018.

[6] 王懿.基于自然語言處理和機器學習的文本分類及其應用研究[D].中國科學院研究生院（成都計算機應用研究所），2006.

[7] 于振龍.基于LSTM的自然語言生成技術研究與實現(xiàn)[D].北京郵電大學，2018.