張成琦(湖南涉外經(jīng)濟(jì)學(xué)院,長沙 410205)
智能信息處理技術(shù)的應(yīng)用與研究
張成琦(湖南涉外經(jīng)濟(jì)學(xué)院,長沙410205)
摘要:智能信息處理主要涉及智能搜索和信息處理等方面的功能,應(yīng)用的主要技術(shù)是自然語言處理和理解。本文發(fā)現(xiàn)、總結(jié)了智能搜索和信息獲取在自然語言理解應(yīng)用中相關(guān)的問題,闡述了問題存在的根源以及解決辦法。
關(guān)鍵詞:智能搜索;信息獲取;自然語言處理;自然語言理解
隨著信息化技術(shù)的不斷發(fā)展與深入,特別是網(wǎng)絡(luò)技術(shù)的逐漸普及,人們對信息的需求也是越來越多,質(zhì)量要求越來越高,這些所涉及到的都是當(dāng)前計算機(jī)智能信息處理技術(shù)方面急需解決的難題,鑒于智能搜索和信息獲取理論成熟性、深度,也鑒于它們在自然語言理解實驗中取得了較好的效果,重點(diǎn)討論下智能搜索、信息獲取。
自然語言理解技術(shù)就是研究讓計算機(jī)理解人們?nèi)粘K玫恼Z言,通過研究希望建立一種人和計算機(jī)之間友好的交互關(guān)系,關(guān)系建立主要有2種思路,一是實驗?zāi)P退悸罚环N是直接應(yīng)用模型思路。實驗?zāi)P退悸罚敲嫦蛉斯ぶ悄芩谕鉀Q的一般語言理解問題,主要是研究讓計算機(jī)理解人的一般語言能力,能在計算機(jī)上建立一套計算機(jī)能夠識別的語言庫。按照這個思路,最終可能建成言語分析或生成所需的自然語言理解知識庫。而直接應(yīng)用模型策略是直接以應(yīng)用為目標(biāo),無論哪種情況,都是專門針對某一具體領(lǐng)域采用解決自然語言理解的基本策略。
搜索其實采用的就是過濾器模型,通過標(biāo)注和匹配兩項工作,從原始數(shù)據(jù)中篩選出滿足要求的數(shù)據(jù)。搜索有很多的類型,智能搜索是搜索中最高級的搜索類型,是基于語義搜索,搜索對象小到一句話,大到一段文字。不過它的主要對象是自然語言文本,智能搜索是自然語言處理的重要環(huán)節(jié),它在使用過程的相關(guān)問題也就成為大家討論的焦點(diǎn)。
(1)標(biāo)注。搜索對象是標(biāo)注的結(jié)果,而標(biāo)注就是產(chǎn)生對文本的描述,標(biāo)注的關(guān)鍵要素就是標(biāo)注用詞,而通常包含主題詞與自由詞兩種類型。使用主題詞存在的問題比較多,具體表現(xiàn)在詞表不夠用,內(nèi)容陳舊,而且涉及內(nèi)容過于復(fù)雜。鑒于此原因,使用自由詞標(biāo)注彌補(bǔ)了使用主題詞的缺陷,同時不需要理解全文,效率較高;(2)理解搜索要求。用戶提出的查詢數(shù)據(jù)的要求通常用都是很零散的,用戶提出的數(shù)據(jù)查詢要求,輸入系統(tǒng)、經(jīng)由自然語言理解前端句法語義分析器進(jìn)行分析生成句法樹,然后,系統(tǒng)通常以名詞短語作為搜索的關(guān)鍵詞在經(jīng)過標(biāo)注的文獻(xiàn)庫中搜索目標(biāo)對象;(3)實現(xiàn)智能搜索。智能搜索的大致過程是這樣的,對兩個或多個不同的文檔進(jìn)行標(biāo)注,如果標(biāo)注的結(jié)果完全一致,那么說明被標(biāo)注結(jié)果相應(yīng)的內(nèi)容也是一致,那所標(biāo)注的內(nèi)容也就是用戶所查找的目標(biāo)對象,最終實現(xiàn)了智能搜索的目的。
信息獲取相對于信息搜索來說,技術(shù)更先進(jìn),更成熟,它是一門綜合性極強(qiáng)的技術(shù),同時以深入的語言處理基本理論和技術(shù)作為支撐,研究多種基本的自然語言處理技術(shù)的綜合應(yīng)用,具有很好的研究價值。下面就信息獲取的基本內(nèi)涵、語言處理技術(shù)以及信息獲取的基本過程等方面內(nèi)容進(jìn)行一些基本的討論。
(1)信息獲取的內(nèi)涵。信息獲取是指從一段文本中抽取指定的一類信息,并將其形成結(jié)構(gòu)化的數(shù)據(jù),然后填入一個數(shù)據(jù)庫中供用戶查詢使用的過程。獲取的過程包含三個方面的內(nèi)容:一是模板元素,主要涉及文章中的專有名詞、時間詞、數(shù)量詞和詞組等;二是模板關(guān)系,主要涉及命名實體之間的各種關(guān)系;三是腳本模板,主要涉及事件之中的各個實體、屬性或關(guān)系;(2)語言處理技術(shù)。中文信息的處理包含三個種自然語言處理的技術(shù):一是詞切分和詞性標(biāo)注。主要技術(shù)是建立信息獲取的詞切分方法,開發(fā)合適的漢語詞切分和詞類標(biāo)注軟件。二是短語句法及語義分析,主要涉及句法成分的識別與標(biāo)注,關(guān)鍵詞提取,搜索特征集的提取、索引等。三是句群分析,主要涉及句間成分的傳遞、指代、引用信息表的建立和使用,以及概念關(guān)系的推理等;(3)信息獲取的過程。信息獲取過程有4個環(huán)節(jié),一是描述信息,就是指利用信息模式描述大家感興趣的信息,比如<公司名><產(chǎn)品名>。這樣在系統(tǒng)中預(yù)定義類似的信息模式,存放在模式庫中,供用戶選用。二是詞法、句法及語義分析,并做各種文本標(biāo)注。借助合適的詞典、構(gòu)詞規(guī)則等知識庫的支持,比如名詞短語有人的名字、機(jī)構(gòu)的名稱以及產(chǎn)品名稱等,再比如動詞短語有事件描述與事實陳述等。三是確定信息的最終形式,主要通過上下文文關(guān)聯(lián)、指代、引用等分析和推理方式實現(xiàn)。四是結(jié)果輸出,比如生成一個關(guān)系數(shù)據(jù)庫或給出自然語句陳述等。
參考文獻(xiàn):
[1]傅承德.自然語言理解的方法與策略[M].河南人民出版社,2001:185.
[2]陳力為.計算機(jī)語言學(xué)研究與應(yīng)用[M].北京語言學(xué)院出版社,1993:134.