方玉萍
摘 要 中文內(nèi)容中的歧義問題一直都是語言學(xué)中的一個(gè)重點(diǎn)研究內(nèi)容,同時(shí)也是將中文語言與計(jì)算機(jī)信息處理技術(shù)相互融合的一個(gè)難點(diǎn)所在。隨著我們對中文信息處理相關(guān)問題的深入研究,我們也逐漸發(fā)現(xiàn)了新的問題。這給中文信息化處理工作帶來了極大的障礙。為了更好地理解并有效地解決這一問題,我們將中文信息處理中存在的問題專門拿出來進(jìn)行探討。通過對歧義問題的處理,從而就目前存在的歧義的原因進(jìn)行分析并提出相關(guān)消除歧義的方式方法。
關(guān)鍵詞 中文信息處理;歧義問題;分析
中圖分類號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708(2017)190-0058-02
人們將信息技術(shù)的發(fā)展引入到與中文信息的處理中,不僅能夠有效地提升工作效率,同時(shí)還能夠更好的對中文進(jìn)行研究。然而在實(shí)踐過程中我們發(fā)現(xiàn),雖然信息技術(shù)能夠很好的對中文進(jìn)行信息轉(zhuǎn)換,然而在面對中文中存在的歧義問題時(shí),仍然會(huì)出現(xiàn)一些問題。比如在特定的中文信息環(huán)境中,對語言信息的處理不恰當(dāng)?shù)默F(xiàn)象。雖然這種歧義一直存在,但是它產(chǎn)生的影響相對較小。主要原因在于人們會(huì)自發(fā)的通過語言環(huán)境,背景以及常識(shí)進(jìn)行有效地結(jié)合。從而在不同的歧義含義中找出最為正確的答案。相較于信息技術(shù)對于中文信息處理中存在的歧義,正是缺乏這種環(huán)境、背景、常識(shí)的引入所導(dǎo)致的。因此,我們可以通過這種方式來尋找解決方法。從而幫助計(jì)算機(jī)在處理中文信息的過程中減少歧義問題的發(fā)生。
1 中文信息處理的概念
關(guān)于中文信息處理的概念性的表述可以理解為通過使用計(jì)算機(jī)的信息技術(shù)來將中文中涉及到發(fā)音、字形以及含義等相關(guān)信息的內(nèi)容進(jìn)行處理和加工的方式[1]。中文信息處理方式是綜合了語言學(xué)、計(jì)算機(jī)信息技術(shù)、聲學(xué)等多種學(xué)科的綜合性的技術(shù)概念。通過將計(jì)算機(jī)信息技術(shù)引入到中文研究中,不僅有效地提高了對中文的含義表述的工作效率,同時(shí)還能夠?qū)崿F(xiàn)多方面、多層次的處理手段,從而使中文的表述以及含義理解更加具體。
2 中文信息處理中對歧義問題研究的發(fā)展
隨著在中文信息處理過程中歧義問題的不斷發(fā)生,對于“消歧”的工作也逐漸受到更多的重視,尤其是在信息技術(shù)發(fā)展的迅猛階段[2]。對于“消歧”工作的科研學(xué)術(shù)報(bào)告已達(dá)到近百篇。不難看出,自從對于信息處理過程中的歧義有了定義后,“消歧”工作的研究和開展已呈現(xiàn)出一個(gè)明顯的上升趨勢[3]。同時(shí),“消歧”的研究內(nèi)容也在不斷的拓展,從中文內(nèi)容中的各個(gè)方面開始逐步進(jìn)行了研究。使研究內(nèi)容不僅具有全面性更有交叉性。
3 目前存在的主要歧義問題
通過對中文信息處理過程中的歧義問題的分析,在對歧義問題進(jìn)行研究和探討時(shí),我們通常會(huì)將中文中的歧義問題以其具體發(fā)生歧義的情況為準(zhǔn),分為:結(jié)構(gòu)歧義、詞義歧義、分詞歧義、其他類型以及不明確限定的歧義類型。在其他類型的分類中還包含著對于詞語詞性的歧義分析、短語邊界的詞義分析、文字信息所反映的詞義分析以及縮略語句的歧義問題。
4 消除歧義問題的方法
4.1 處理歧義問題的策略
1)在對中文信息處理中的歧義問題的處理過程中,我們在研究過程中主要是兩方面的工作內(nèi)容,一方面就是對目前存在的歧義進(jìn)行定義,另一方面就是對歧義進(jìn)行類別區(qū)分。
2)在研究的過程中,會(huì)針對歧義出現(xiàn)的規(guī)則進(jìn)行對消歧工作的開展。在2005年前對于歧義問題的分析處理中,著重以歧義出現(xiàn)的規(guī)則為主要的主導(dǎo)研究方式。后來這種方式慢慢被人們所摒棄,成為消歧工作的偏門手法[4]。
3)通過大家對消歧問題的不斷研究,逐漸對消歧工作產(chǎn)生了新的工作方式,這種方式是基于規(guī)則的策略下有效的結(jié)合了統(tǒng)計(jì)的方式。通過二元數(shù)據(jù)的分析,對所使用的方法進(jìn)行評估。隨著大家對這種消歧方式的使用,越來越多的人開始認(rèn)可統(tǒng)計(jì)策略帶來的消歧工作的高效率。因此,統(tǒng)計(jì)方式逐漸成為了消歧手段中的主打方式。
4)隨著知識(shí)被不斷的積累,知識(shí)庫的建立。以知識(shí)庫作為信息技術(shù)處理基礎(chǔ)的方式也被大家認(rèn)可,并產(chǎn)生了一定的積極的作用。隨著知識(shí)庫的不斷發(fā)展和完善。能夠使研究者更好的結(jié)合統(tǒng)計(jì)策略和規(guī)則策略對消歧問題做出更好的處理。
人們不斷地對歧義問題和消歧問題進(jìn)行研究,相信會(huì)有更多的消歧方式出現(xiàn),并加入到消歧方式之中對目前的消歧工作提供有效的補(bǔ)益。
4.2 處理歧義的方式方法
1)隨著對歧義問題的研究逐步發(fā)展成熟,語料庫的發(fā)展也逐漸的完善。因此,通過語料庫對歧義問題進(jìn)行評測已成為目前研究的主要趨勢。
目前所要面對的問題就是,對于歧義的規(guī)則和知識(shí)庫的信息內(nèi)容需要有人進(jìn)行不斷地完善和篩選。同時(shí),這個(gè)工作并不是短期內(nèi)就可以結(jié)束的工作,它需要相關(guān)人員進(jìn)行長期的工作。于是研究者想出了相對較為簡單的方式,通過對語言進(jìn)行收集并加工,將語言資源做成語料庫,通過不斷地實(shí)驗(yàn)對計(jì)算機(jī)進(jìn)行訓(xùn)練,使計(jì)算機(jī)自發(fā)的通過語料庫的信息處理來消除歧義,并對消除歧義的方式進(jìn)行評測。實(shí)現(xiàn)評測的依據(jù)是根據(jù)大量的數(shù)學(xué)內(nèi)容和統(tǒng)計(jì)學(xué)的方式,而計(jì)算機(jī)正好具有數(shù)據(jù)處理的優(yōu)勢,所以這種方式的應(yīng)用被迅速的推廣開來。
2)在研究過程中,機(jī)器引導(dǎo)學(xué)習(xí)的算法取得了一定的效果。如果有監(jiān)督機(jī)的話還需要標(biāo)語料。然而這種方式對人力物力的需求量較大。所以無監(jiān)督的學(xué)習(xí)方法逐漸進(jìn)入了歧義研究的領(lǐng)域。通過自動(dòng)匹配語料庫中出現(xiàn)的消歧義的信息,從而消除信息內(nèi)的歧義信息[5]。然而有監(jiān)督的消歧方式和無監(jiān)督的消歧方式之間的差異仍很明顯。尤其是對于目前網(wǎng)絡(luò)信息中出現(xiàn)的新的語料問題。將歧義有效的轉(zhuǎn)換為兩種語言對應(yīng)的語句的計(jì)算問題也成為我們需要繼續(xù)研究的方向。
3)信息技術(shù)的發(fā)展必然帶來計(jì)算機(jī)運(yùn)算方式的更新,隨著計(jì)算方式的不斷更新,必然會(huì)對消歧產(chǎn)生一定的積極作用。不僅能夠在一定的范圍內(nèi)提升消歧的效率和準(zhǔn)確率。同時(shí)還能夠在目前消歧所使用的現(xiàn)有算法的基礎(chǔ)上對其進(jìn)行改進(jìn)。
5 對于消歧工作的思考
在計(jì)算機(jī)信息技術(shù)迅猛發(fā)展的近30年的時(shí)間內(nèi),我們對消歧的研究主要在于消歧所使用的策略方法。通過不斷的實(shí)驗(yàn)和研究,也得出了目前較為實(shí)用的消歧方式。尤其是概率統(tǒng)計(jì)的方式已成為消歧方式的主要手段,將消歧工作的效率推向了一個(gè)新的層次,然而之后卻再?zèng)]有明顯的超越。因此,我們的研究必須進(jìn)一步的發(fā)展。第一,在研究歧義問題的過程中我們必須緊密的結(jié)合語言發(fā)展的方向以及科學(xué)技術(shù)。從而更進(jìn)一步的加強(qiáng)對應(yīng)的理論依據(jù)和模型計(jì)算的方式。第二,在研究歧義問題的過程中,我們還需要對語言知識(shí)面做進(jìn)一步的擴(kuò)展。從語言的心理認(rèn)知的方向都對歧義問題進(jìn)行研究。從而看看對于歧義問題的處理能否有新的收獲。第三,在前期的研究中我們得出統(tǒng)計(jì)方式和結(jié)構(gòu)方式的歧義問題處理已成為主流,而在不斷的發(fā)展中,這兩種方式也呈現(xiàn)出了不斷融合的態(tài)勢。第四,在研究過程中,還需要不斷的借鑒國外對信息處理中的歧義問題的解決方式。第五,建立標(biāo)準(zhǔn)數(shù)據(jù)集,從而更好地引導(dǎo)中文信息處理工作。
6 結(jié)論
在信息處理過程中的歧義問題本就是語言處理技術(shù)在發(fā)展過程中的必然存在,因此,我們需要不斷的進(jìn)行研究和分析。從而更加清晰的掌握目前在中文信息處理過程中產(chǎn)生的歧義。
參考文獻(xiàn)
[1]張祿彭,易綿竹,周云.中文歧義研究25年——以《中文信息學(xué)報(bào)》論文為例[J].中文信息學(xué)報(bào),2012(4):73-84.
[2]溫唱.基于樹形結(jié)構(gòu)的中文分詞方法的研究及實(shí)現(xiàn)[D].北京:華北電力大學(xué),2013.
[3]方昌健,王有權(quán).基于規(guī)則和上下文語境的交集型歧義消解算法[J].科協(xié)論壇(下半月),2012(6):112-114.
[4]尹倩.基于語境信息的中文分詞交叉歧義處理方法[J].重慶工商大學(xué)學(xué)報(bào)(自然科學(xué)版),2016(5):20-24.
[5]魏莎莎,熊海靈.中文分詞中的歧義識(shí)別處理策略[J].微計(jì)算機(jī)信息,2010(30):190-192.