摘要：

介詞結(jié)構(gòu)的分析難點(diǎn)在于如何對(duì)介詞及其結(jié)構(gòu)進(jìn)行有效分類，挖掘其語(yǔ)義信息，并對(duì)介詞結(jié)構(gòu)進(jìn)行有效的消歧處理．為了應(yīng)對(duì)這一難題，結(jié)合人工智能和神經(jīng)網(wǎng)絡(luò)技術(shù)，提出一種基于長(zhǎng)短期記憶和注意力機(jī)制的樹(shù)遞歸神經(jīng)網(wǎng)絡(luò)模型，旨在解決自然語(yǔ)言處理中的上下文介詞消歧問(wèn)題．該模型通過(guò)引入注意力機(jī)制，將模型注意力集中在與介詞含義相關(guān)的關(guān)鍵信息上．首先，通過(guò)嵌入上下文解析樹(shù)和上下文詞向量，捕捉上下文詞匯之間的語(yǔ)義關(guān)系．然后，采用帶有長(zhǎng)短期記憶功能的樹(shù)遞歸神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory Tree Recurrent Neural Network，Tree-LSTM）模型為樹(shù)中的每個(gè)節(jié)點(diǎn)生成隱藏特征，并遞歸地跟蹤樹(shù)中不同分支上的傳播來(lái)計(jì)算樹(shù)節(jié)點(diǎn)的上下文表示．最后，為了減少噪聲對(duì)上下文中與介詞含義相關(guān)的關(guān)鍵信息的影響，引入注意機(jī)制卷積神經(jīng)網(wǎng)絡(luò)（Attention-based Convolutional Neural Network，ACNN），使模型專注于需要消除歧義的文檔中的重要部分．這種方式使模型能夠自動(dòng)選擇并關(guān)注與當(dāng)前介詞含義最相關(guān)的詞匯，從而提高消歧準(zhǔn)確性．實(shí)驗(yàn)結(jié)果表明： 在Semeval 2013 Task 12詞義消歧數(shù)據(jù)集上，該文提出的模型取得了88.04%的F1-score，優(yōu)于現(xiàn)有主流深度學(xué)習(xí)模型，驗(yàn)證了該文方法的有效性．

關(guān)" 鍵" 詞：

人工智能； 神經(jīng)網(wǎng)絡(luò)； 介詞消歧； 深度學(xué)習(xí)； 注意力機(jī)制

中圖分類號(hào)：

TP393

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：16739868（2024）10022211

DOI：10.13718/j.cnki.xdzk.2024.10.019

張明，廖希．基于人工智能神經(jīng)網(wǎng)絡(luò)的上下文介詞消歧方法 ［J］．西南大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，46（10）： 222-232．

收稿日期：20231218

基金項(xiàng)目：

國(guó)家自然科學(xué)基金項(xiàng)目（61801062）； 重慶市自然科學(xué)基金項(xiàng)目（cstc2021Jcyj-msxmX0634）．

作者簡(jiǎn)介：

張明，碩士，副教授，主要從事人工智能應(yīng)用研究．

A Context Preposition Disambiguation Method Based on

Artificial Intelligence Neural Network

ZHANG Ming1， LIAO Xi2

1. School of Software，Chengdu Polytechnic，Chengdu 610041，China；

2. School of Communication and Information Engineering，Chongqing University of Posts and" "Telecommunication，Chongqing 400065，China

Abstract：

The analysis of prepositional structures presents challenges in effectively classifying prepositions and their structures，mining their semantic information，and effectively disambiguating prepositional structures．To address this challenge，this paper proposes an ACNN-Tree-LSTM model that combines artificial intelligence and neural network techniques，aiming to solve the problem of context-based preposition disambiguation in natural language processing．The core idea is to introduce an attention mechanism to focus the model's attention on key information in the context，which is relevant to the meaning of the preposition．In this study，the context parsing tree and context word embeddings were first embedded to capture the semantic relationships between context words．Then，the Tree-LSTM model was utilized to generate hidden features for each node in the tree，and the context representation of tree nodes was computed by recursively tracking propagation along different branches of the tree．Finally，to reduce the influence of noise on key information related to the meaning of the preposition in the context，an attention mechanism was introduced to enable the model to focus on the crucial parts of the reference document that require disambiguation．This approach allows the model to automatically select and pay attention to the vocabulary mostly relevant to the current prepositional meaning，thereby improving disambiguation accuracy．Experimental results on the Semeval 2013 Task 12 Word Sense Disambiguation dataset demonstrated that the proposed model achieved an F1-score of 88.04%，outperforming existing mainstream deep learning models and validating the effectiveness of the proposed approach．

Key words：

artificial intelligence； neural networks； preposition disambiguation； deep learning； attention mechanism

隨著人工智能領(lǐng)域的迅猛發(fā)展，自然語(yǔ)言處理（Natural Language Processing，NLP）作為一個(gè)重要的研究方向受到了廣泛關(guān)注．NLP旨在使計(jì)算機(jī)能夠理解和處理人類語(yǔ)言，其中上下文理解是其中一個(gè)重要的任務(wù)．在自然語(yǔ)言中，詞義消歧（Word Sense Disambiguation，WSD）逐步引起了研究者們的關(guān)注［1］．

由于神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性擬合能力，因此深度學(xué)習(xí)模型被廣泛用于詞義消歧．例如，何春輝等［2］基于余弦相似度，對(duì)未標(biāo)記的語(yǔ)料使用長(zhǎng)短期記憶（Long Short-Term Memory，LSTM）模型結(jié)合有標(biāo)注語(yǔ)料上下文語(yǔ)境進(jìn)行消歧．Arshey等［3］選用多義詞鄰接的4個(gè)詞的詞形、詞性和語(yǔ)義作為特征，使用深度信念網(wǎng)絡(luò)（Deep Belief Networks，DBN）模型來(lái)消歧．Chauhan等［4］將深度學(xué)習(xí)模型應(yīng)用于詞義消歧，直接優(yōu)化了給定相似度的文檔，在無(wú)監(jiān)督預(yù)訓(xùn)練階段使用疊加去噪自動(dòng)編碼器來(lái)學(xué)習(xí)初始文檔表示，最后進(jìn)行微調(diào)．由于短文本語(yǔ)義的稀疏性，需要深度神經(jīng)網(wǎng)絡(luò)來(lái)進(jìn)一步探索語(yǔ)義，但過(guò)度的深度堆疊自動(dòng)編碼器容易出現(xiàn)梯度消失問(wèn)題．Loureiro等［5］利用堆疊雙向長(zhǎng)短期記憶網(wǎng)絡(luò)（Bidirectional Long Short-Term Memory，Bi-LSTM）的雙重關(guān)注機(jī)制，從上下文特征、詞義描述特征等方面計(jì)算詞義之間的關(guān)聯(lián)性．然而，該模型側(cè)重于句子的長(zhǎng)距離依賴，沒(méi)有考慮文本的局部特征．Li等［6］根據(jù)雙向LSTM編碼器捕獲了提及的詞匯、句法和本地文本信息，并使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）與細(xì)粒度類型的結(jié)構(gòu)化信息源相結(jié)合對(duì)實(shí)體文檔進(jìn)行建模．結(jié)構(gòu)化信息包括對(duì)知識(shí)庫(kù)的描述．知識(shí)庫(kù)的質(zhì)量直接影響到實(shí)體消歧結(jié)果，而該研究沒(méi)有考慮到數(shù)據(jù)集中實(shí)體與知識(shí)庫(kù)中的實(shí)體不一致的情況．段宗濤等［7］提出了用于詞義消歧的成對(duì)連接．通過(guò)模擬Kruskal算法，使用配對(duì)連接算法來(lái)近似解決MINTREE（基于樹(shù)的詞義消歧目標(biāo)）問(wèn)題，并使用Word2vec中的跳格方法來(lái)完成文本矢量化表示．這種方法生成的詞向量與詞本身一一對(duì)應(yīng)，不能反映同一詞在不同語(yǔ)境中的真實(shí)含義．Alokaili等［8］使用一個(gè)聯(lián)合排名框架來(lái)尋找相似或相關(guān)的實(shí)體以消除歧義，他們提出用一個(gè)詞義消歧框架來(lái)擴(kuò)展概念性的短文嵌入模型，并使用注意力模型來(lái)選擇相關(guān)的詞進(jìn)行預(yù)測(cè)．然而，在處理短文NLP任務(wù)時(shí)文本中包含的有用信息相對(duì)較少，僅靠注意力機(jī)制無(wú)法獲得完整的語(yǔ)義知識(shí)．

介詞屬于助詞，在語(yǔ)言中所占的比例并不大，但卻是一個(gè)重要而常見(jiàn)的詞類．它是虛詞中常見(jiàn)的一類，用來(lái)表示詞與詞或句之間的關(guān)系，介詞不能單獨(dú)作句子成分，需要與其他實(shí)詞共同構(gòu)成介詞短語(yǔ)，作用是在句子中修飾、補(bǔ)充謂語(yǔ)，揭示與動(dòng)作、性狀等有關(guān)的如時(shí)間、地點(diǎn)、比較、施事、受事、對(duì)象、方式等．

上下文介詞消歧的重要性在于，它在多個(gè)NLP任務(wù)中扮演著關(guān)鍵角色，包括句法分析、語(yǔ)義理解、機(jī)器翻譯和信息檢索等，準(zhǔn)確地識(shí)別上下文介詞的含義對(duì)于這些任務(wù)的性能和效果具有重要意義．然而，由于上下文的復(fù)雜性和多義性，上下文介詞消歧仍然是一個(gè)具有挑戰(zhàn)性的問(wèn)題．當(dāng)前的研究主要集中在傳統(tǒng)的基于規(guī)則和統(tǒng)計(jì)的方法上，這些方法通常依賴于手工特征工程和人工定義的規(guī)則，限制了其在復(fù)雜上下文中的適應(yīng)能力．此外，這些方法往往無(wú)法充分利用大規(guī)模數(shù)據(jù)和深度學(xué)習(xí)的優(yōu)勢(shì)，因此在處理復(fù)雜語(yǔ)義場(chǎng)景時(shí)存在一定的局限性．

為了解決上述問(wèn)題，本文結(jié)合人工智能和神經(jīng)網(wǎng)絡(luò)技術(shù)，提出一種帶有長(zhǎng)短期記憶基于注意力機(jī)制的樹(shù)遞歸神經(jīng)網(wǎng)絡(luò)模型（ACNN-Tree-LSTM）用于上下文介詞消歧，旨在通過(guò)深度學(xué)習(xí)模型的應(yīng)用，提高消歧任務(wù)的準(zhǔn)確性和泛化能力．實(shí)驗(yàn)驗(yàn)證了本文模型能夠更好地利用上下文信息，并有效地解決了介詞歧義問(wèn)題．通過(guò)與其他先進(jìn)的深度學(xué)習(xí)模型在大型詞義消歧數(shù)據(jù)集上的比較結(jié)果表明，本文模型在上下文介詞消歧任務(wù)中具有非常明顯的優(yōu)越性．

本文的研究具有以下幾個(gè)方面的意義：

方法創(chuàng)新： 本文探索并提出了一種新穎的基于人工智能神經(jīng)網(wǎng)絡(luò)的上下文介詞消歧方法，使用Tree-LSTM作為文本表示，通過(guò)樹(shù)遞歸神經(jīng)網(wǎng)絡(luò)捕獲語(yǔ)義信息，并添加自注意力機(jī)制來(lái)進(jìn)一步學(xué)習(xí)特征信息．該方法將深度學(xué)習(xí)模型與上下文建模相結(jié)合，在介詞消歧領(lǐng)域提供了一種新的解決方案，并為上下文理解任務(wù)的研究和應(yīng)用提供了新的思路．

提高任務(wù)準(zhǔn)確性： 本文的方法旨在提高上下文介詞消歧任務(wù)的準(zhǔn)確性．通過(guò)充分利用深度學(xué)習(xí)模型的學(xué)習(xí)能力和泛化能力，盡可能減少消歧任務(wù)中的誤判和錯(cuò)誤分類，從而提高整體任務(wù)的準(zhǔn)確性．

1" 文獻(xiàn)綜述

1.1" 介詞概念及其歧義分析

在英語(yǔ)中，介詞可分為簡(jiǎn)單介詞、復(fù)合介詞和短語(yǔ)介詞等多種類型，在語(yǔ)義分析中發(fā)揮著重要作用［9-10］，例如： at、by、in、of、for、off、from是簡(jiǎn)單的介詞．復(fù)合介詞是由一個(gè)介詞和一個(gè)副詞或形容詞組成的固定搭配，它們的含義是整體構(gòu)成短語(yǔ)所表示的含義，例如： according to，because of，in front of，from under等．短語(yǔ)介詞是由多個(gè)詞組成的固定短語(yǔ)，在語(yǔ)法上作為一個(gè)介詞來(lái)使用．短語(yǔ)介詞可以是介詞、名詞或代詞的組合，例如： at first，on time，in school等．

介詞通常具有多個(gè)含義，其具體含義取決于上下文的語(yǔ)境．例如，在句子“I ran____the park”中，介詞“through”和“to”的含義完全不同，分別表示“穿過(guò)”和“到達(dá)”的意思．

上下文介詞消歧是指在給定句子中確定介詞具體含義的任務(wù)．例如：

“Buy a car with a steering wheel”．

句中的介詞短語(yǔ)“with a steering whee”修飾了名詞“a car”．在該句中，正確的理解是人們應(yīng)該買(mǎi)一輛帶方向盤(pán)的汽車(chē)，而不是說(shuō)人們應(yīng)該用方向盤(pán)作為購(gòu)買(mǎi)汽車(chē)的交易條件．

上下文介詞歧義問(wèn)題也可以指一個(gè)特定的介詞，在不同語(yǔ)義場(chǎng)景下具有多個(gè)不同含義．如圖1，圖2兩種情況．

在圖1句子1中，介詞短語(yǔ)“with a fork”修飾在動(dòng)詞“eats”上，表示用于進(jìn)食動(dòng)作的工具（叉子）．圖2中的句子2看起來(lái)似乎與第一個(gè)句子只有很小的區(qū)別，但是從圖1和圖2中的語(yǔ)法層次樹(shù)可以看出，它們的語(yǔ)法結(jié)構(gòu)有很大不同．介詞短語(yǔ)“with apple”不修飾在動(dòng)詞上，而是修飾在名詞“pizza”上，表示和披薩一起進(jìn)食的食物（蘋(píng)果）．

因此，準(zhǔn)確理解上下文中介詞的含義對(duì)于正確解析句子的語(yǔ)義至關(guān)重要．

1.2" 介詞消歧研究現(xiàn)狀

1.2.1" 基于規(guī)則的介詞消歧方法

早期的研究主要采用基于規(guī)則的方法來(lái)解決介詞消歧問(wèn)題．基于規(guī)則的方法依賴于手工定義的規(guī)則和語(yǔ)法知識(shí)，通過(guò)匹配和推理來(lái)確定介詞的含義．這些方法在小規(guī)模數(shù)據(jù)集上表現(xiàn)良好，但在復(fù)雜語(yǔ)義場(chǎng)景下的適應(yīng)能力有限．

一種常見(jiàn)的基于規(guī)則的方法是使用詞典或語(yǔ)法規(guī)則來(lái)確定介詞含義．研究者們根據(jù)詞典中的定義和示例，或者基于句法規(guī)則，手動(dòng)為每個(gè)介詞定義含義，然后根據(jù)上下文進(jìn)行匹配．然而，這種方法需要大量的人工工作和專家知識(shí)，并且難以泛化到新的語(yǔ)義環(huán)境中．

1.2.2" 基于統(tǒng)計(jì)的介詞消歧方法

統(tǒng)計(jì)方法通過(guò)統(tǒng)計(jì)語(yǔ)言模型和機(jī)器學(xué)習(xí)算法來(lái)解決介詞消歧問(wèn)題．其中，最常用的方法是基于特征工程的機(jī)器學(xué)習(xí)方法，通過(guò)選擇和轉(zhuǎn)化特征來(lái)訓(xùn)練分類器進(jìn)行消歧［11］．這些方法通常依賴于手工定義的特征和特征選擇算法，限制了其在復(fù)雜語(yǔ)義場(chǎng)景下的準(zhǔn)確性和泛化能力．

特征工程的方法通常會(huì)考慮上下文中的詞匯、句法結(jié)構(gòu)和語(yǔ)義信息等特征．例如，可以考慮上下文中的詞性、詞頻、上下文窗口中的其他詞匯等特征．然后，通過(guò)選擇合適的特征和使用機(jī)器學(xué)習(xí)算法，如支持向量機(jī)（Support Vector Machine，SVM）或樸素貝葉斯分類器來(lái)進(jìn)行消歧．

1.2.3" 基于深度學(xué)習(xí)的介詞消歧方法

近年來(lái)，隨著人工智能、神經(jīng)網(wǎng)絡(luò)技術(shù)的興起，基于深度學(xué)習(xí)的方法在介詞消歧問(wèn)題中取得了顯著的進(jìn)展．這些方法主要通過(guò)將上下文建模和語(yǔ)義信息捕捉納入神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，從而實(shí)現(xiàn)了對(duì)上下文介詞含義的準(zhǔn)確判斷．深度學(xué)習(xí)模型，如神經(jīng)網(wǎng)絡(luò)和Transformer等具有強(qiáng)大的表征能力和學(xué)習(xí)能力，能夠從大規(guī)模數(shù)據(jù)中學(xué)習(xí)復(fù)雜的語(yǔ)義信息．

一種常用的方法是使用預(yù)訓(xùn)練語(yǔ)言模型，如來(lái)自Transformers的雙向編碼器表示（Bidirectional Encoder Representations from Transformers，BERT），通過(guò)無(wú)監(jiān)督學(xué)習(xí)方式學(xué)習(xí)詞向量和語(yǔ)言模型，然后在消歧任務(wù)上進(jìn)行微調(diào)．BERT模型能夠通過(guò)雙向上下文信息的學(xué)習(xí)，捕捉到詞語(yǔ)的豐富語(yǔ)義表示［12-13］．研究者們?cè)贐ERT模型的基礎(chǔ)上進(jìn)行了改進(jìn)和優(yōu)化，如使用不同的注意力機(jī)制和網(wǎng)絡(luò)結(jié)構(gòu)，以提高模型在上下文詞義消歧任務(wù)上的性能［14］．

除了BERT，還有其他基于深度學(xué)習(xí)的模型被應(yīng)用于介詞消歧任務(wù)，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）等．這些模型通過(guò)多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，能夠捕捉上下文的局部依賴關(guān)系和長(zhǎng)期依賴關(guān)系，從而更好地理解上下文中介詞的語(yǔ)義含義．

此外，一些研究工作還嘗試將注意力機(jī)制引入上下文介詞消歧任務(wù)中．注意力機(jī)制能夠自動(dòng)地將注意力集中在關(guān)鍵信息上，有助于模型更好地理解上下文的重要部分．通過(guò)引入注意力機(jī)制，研究者們能夠更準(zhǔn)確地捕捉到上下文中與介詞含義相關(guān)的信息，提高了模型的消歧性能．

2" 本文方法

2.1" 上下文表示

樹(shù)遞歸神經(jīng)網(wǎng)絡(luò)（Tree-RNN，TNN）［15］被引入利用文本的語(yǔ)言結(jié)構(gòu)來(lái)組成句子表示．通過(guò)計(jì)算兩個(gè)候選子節(jié)點(diǎn)的表示（如果兩個(gè)節(jié)點(diǎn)合并），網(wǎng)絡(luò)將計(jì)算其父節(jié)點(diǎn)的表示以及新節(jié)點(diǎn)的合理性分?jǐn)?shù)．然后遞歸地重復(fù)這個(gè)過(guò)程，可以獲得短語(yǔ)的語(yǔ)義表示．本文選擇帶有長(zhǎng)短期記憶功能的樹(shù)遞歸神經(jīng)網(wǎng)絡(luò)（Long Short-Term Memory Tree Recurrent Neural Network，Tree-LSTM）來(lái)編碼上下文信息，以便通過(guò)考慮小元素的語(yǔ)義組成來(lái)獲得更好的文本單元表示．與TNN連接時(shí)，LSTM還可隨著時(shí)間的推移保留序列信息．TNN可以被視為RNN的超集，具有線性結(jié)構(gòu)．RNN需要先前的上下文來(lái)捕獲短語(yǔ)，并且通常會(huì)捕獲最終向量中過(guò)多的最后一個(gè)單詞．與RNN不同，TNN則可以從小塊中捕獲更大的類似于語(yǔ)言結(jié)構(gòu)的結(jié)構(gòu)．

Tree-LSTM模型的目標(biāo)是通過(guò)遞歸地跟蹤樹(shù)中不同分支上的傳播來(lái)加強(qiáng)樹(shù)節(jié)點(diǎn)的高級(jí)表示．在Tree-LSTM結(jié)構(gòu)中，如果一個(gè)單詞的顏色比另一個(gè)單詞深，則意味著該單詞與上下文向量的相關(guān)性比其他單詞更大．如圖3所示，句子“I moved into my flat on the 21st of last month．（我上個(gè)月21日搬進(jìn)了我的公寓）”．在這個(gè)樹(shù)狀結(jié)構(gòu)中，每個(gè)單詞都表示為一個(gè)節(jié)點(diǎn)，連接節(jié)點(diǎn)的線表示它們之間的語(yǔ)法關(guān)系．重要介詞“into” “on” “of”在最終的上下文向量中得到加強(qiáng)．

在上下文表示中，我們嵌入上下文解析樹(shù)和上下文詞向量．首先使用GloVe向量作為詞向量，然后使用Stanford Parser語(yǔ)法分析器來(lái)編碼解析樹(shù)．嵌入后，使用選區(qū)Tree-LSTM為樹(shù)中的每個(gè)節(jié)點(diǎn)生成隱藏特征．在這個(gè)過(guò)程中，每個(gè)節(jié)點(diǎn)都會(huì)遞歸地處理其子節(jié)點(diǎn)的信息，然后更新自己的隱藏狀態(tài)和存儲(chǔ)單元，從而構(gòu)建出反映整個(gè)句子語(yǔ)義的上下文向量．

2.2" 文檔和描述表示

在生成選區(qū)Tree-LSTM之后，根據(jù)子節(jié)點(diǎn)的表示遞歸地計(jì)算非葉節(jié)點(diǎn)的上下文表示，如圖4所示．

為了體現(xiàn)文檔信息和實(shí)體描述頁(yè)面，本文使用帶有注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)（CNN）來(lái)編碼這些背景信息．CNN在處理數(shù)據(jù)時(shí)能夠有效地提取出具有穩(wěn)定性和抽象性的特征．詞嵌入之后，使用CNN為文檔生成固定長(zhǎng)度的向量．本文使用修正線性單元（ReLU）作為激活單元，并將結(jié)果與最大池化相結(jié)合．然而，CNN無(wú)法捕獲文檔中的重要組成部分．為了減少噪聲對(duì)相關(guān)信息的影響，引入了一種注意機(jī)制，以使模型專注于需要消除歧義的相關(guān)信息的重要部分．

對(duì)于候選描述部分，使用介詞表示作為卷積層輸出的注意力權(quán)重來(lái)強(qiáng)化描述頁(yè)面的關(guān)鍵部分．介詞表示通過(guò)候選介詞的詞向量的平均值來(lái)計(jì)算．對(duì)于文檔部分，使用候選介詞描述向量作為注意力權(quán)重來(lái)加強(qiáng)文檔中的重要組成部分．

2.3" 類型表示

細(xì)粒度類型為介詞提供結(jié)構(gòu)化信息．細(xì)粒度類型是指在分類任務(wù)中對(duì)目標(biāo)進(jìn)行更細(xì)致劃分和分類的一種方法，它在分類任務(wù)中引入了更多的子類或更細(xì)致的分類標(biāo)簽，使得分類更具有精確性和詳細(xì)性．例如，對(duì)于動(dòng)物分類任務(wù)，可以將目標(biāo)進(jìn)一步細(xì)分為貓科動(dòng)物、犬科動(dòng)物、鳥(niǎo)類等，這樣的細(xì)粒度分類可以更準(zhǔn)確地捕捉目標(biāo)的特征和屬性，并提供更豐富的語(yǔ)義信息．通過(guò)引入更多的細(xì)粒度類型，可以提高分類模型的準(zhǔn)確性和區(qū)分能力，使其能夠區(qū)分具有相似特征的目標(biāo)．為了鍵入候選介詞，本文使用自然語(yǔ)言處理工具包（Natural Language Toolkit，NLTK），這是一個(gè)常用的Python庫(kù)，提供了豐富的文本處理功能，包括句法分析和詞性標(biāo)注等，為介詞消歧任務(wù)提供支持．NLTK為每個(gè)候選介詞返回一組類型，然后計(jì)算每種類型與介詞相關(guān)的概率．

本文需要上下文信息來(lái)確定每個(gè)細(xì)粒度類型．通過(guò)使用一種特定的系統(tǒng)，利用一種專注于細(xì)節(jié)的編碼神經(jīng)模型來(lái)預(yù)測(cè)細(xì)粒度類型．

2.4" 介詞消歧

在執(zhí)行介詞消歧（Preposition Disambiguation，PD）系統(tǒng)之前，本文需要生成一些候選介詞，這些候選介詞具有先前得分，它們?cè)谥暗脑u(píng)估中已經(jīng)得到了分?jǐn)?shù)，而這些分?jǐn)?shù)是通過(guò)使用提前計(jì)算好的頻率字典得出的．本文從多個(gè)細(xì)粒度計(jì)算候選介詞之間的語(yǔ)義相似性．公式（1）的特征F（w，e）表示語(yǔ)義相似度的多個(gè)粒度．

F（w，e）

=［cos（wc，ec），cos（wc，ed），cos（wc，en），cos（wd，ec），

cos（wd，ed），cos（wd，en），cos（wn，ec），cos（wn，ed），cos（wn，en）］

（1）

公式（1）計(jì)算了兩個(gè)詞向量w和e之間不同組成部分的余弦相似度．具體來(lái)說(shuō)，w和e被分解為它們的子組成部分，分別標(biāo)記為wc，wd，wn和ec，ed，en．本文PD系統(tǒng)的最終分?jǐn)?shù)是先前分?jǐn)?shù)和語(yǔ)義相似度分?jǐn)?shù)的組合．然后，選擇最終得分最高的候選介詞作為消歧系統(tǒng)的結(jié)果．

2.5" 模型訓(xùn)練

由于TNN利用語(yǔ)言信息來(lái)表示句子，因此本文選擇BRNN-CNN系統(tǒng)．由于PD模型使用深度神經(jīng)網(wǎng)絡(luò)，因此通過(guò)PD模型的損失函數(shù)并最小化結(jié)果函數(shù)來(lái)進(jìn)行訓(xùn)練．

Θ′=argminΘ LPD（2）

其中，Θ是PD任務(wù)的參數(shù)集，LPD為損失函數(shù)．在這個(gè)過(guò)程中，目標(biāo)是確定模型參數(shù)Θ的最優(yōu)值，使損失函數(shù)LPD達(dá)到最小值．優(yōu)化后的模型參數(shù)為Θ′，它代表了模型訓(xùn)練完成后的參數(shù)狀態(tài)．

2.6" 模型構(gòu)架概述

本文使用Tree-LSTM對(duì)上下文部分進(jìn)行建模，因?yàn)門(mén)ree-LSTM在表示長(zhǎng)句子的語(yǔ)義方面表現(xiàn)良好．文檔部分使用帶有注意力機(jī)制（ACNN）的CNN進(jìn)行編碼．為了消除噪聲對(duì)文檔部分的影響，采用注意力機(jī)制來(lái)捕獲輸入的重要組成部分．對(duì)于類型部分，使用細(xì)粒度介詞類型系統(tǒng)為每個(gè)介詞提供一系列類型，以減少歧義．

在上下文介詞消歧任務(wù)中，本文計(jì)算提及部分（上下文、文檔、類型）和候選介詞部分（上下文、文檔、類型）之間的語(yǔ)義相似性，如圖5所示．

3" 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果

3.1" 數(shù)據(jù)集

在介詞消歧領(lǐng)域，目前還沒(méi)有專門(mén)針對(duì)介詞消歧而構(gòu)建的獨(dú)立數(shù)據(jù)集．因此，本文選擇了一個(gè)常用的詞義消歧數(shù)據(jù)集Semeval 2013 Task 12．Semeval 2013 Task 12（數(shù)據(jù)集是從英文語(yǔ)料庫(kù)中提取的）．該數(shù)據(jù)集包含10 000個(gè)標(biāo)記的詞義消歧實(shí)例，其中5 134個(gè)用于訓(xùn)練，4 866個(gè)用于測(cè)試．Semeval 2013 Task 12數(shù)據(jù)集覆蓋了多個(gè)語(yǔ)義類別，包括動(dòng)詞、名詞、形容詞和介詞．

3.2" 評(píng)價(jià)指標(biāo)

為了衡量模型在介詞消歧任務(wù)中的性能，本文使用精度（Precision，P）、召回率（Recall，R）和F1-Score作為評(píng)價(jià)指標(biāo)．具體計(jì)算如式（3）、式（4）、式（5）所示．

P=TPTP+FP（3）

R=TPTP+FN（4）

F1=2×P×RP+R（5）

其中，TP為被模型預(yù)測(cè)為正類的正樣本； TN為被模型預(yù)測(cè)為負(fù)類的負(fù)樣本； FP為被模型預(yù)測(cè)為正類的負(fù)樣本； FN為被模型預(yù)測(cè)為負(fù)類的正樣本．

3.3" 實(shí)驗(yàn)結(jié)果分析

本文模型在上下文介詞消歧任務(wù)中與其他先進(jìn)的深度學(xué)習(xí)模型（Word2vec-BiLSTM［16］、XLNet BERT［17］、Pre-trained BERT［18］）進(jìn)行了比較，在3個(gè)標(biāo)準(zhǔn)指標(biāo)上的對(duì)比結(jié)果如圖6所示．

圖6中，對(duì)于Word2vec-BiLSTM，其精度P為75.76%，召回率R為75.63%，F(xiàn)1值為78.82%，位置特征的加入可以幫助模型感知文本中語(yǔ)義向量的位置信息，更好地理解數(shù)據(jù)中的語(yǔ)義關(guān)系．與Word2vec-BiLSTM相比，Pre-trained BERT中詞之間的關(guān)系在P、R、F1方面分別提高了3.47%、3.74%和1.26%．因?yàn)锽ERT生成的詞向量是動(dòng)態(tài)的，可以對(duì)單詞的多義現(xiàn)象進(jìn)行建模，能夠更準(zhǔn)確地反映詞在當(dāng)前語(yǔ)義中的實(shí)際含義．XLNet BERT通過(guò)常用的均值池化和最大池化融合特征來(lái)表示文本．最大池化提取文本中最重要的特征； 均值池考慮鄰域中的所有語(yǔ)義信息．該模型的性能相比Pre-trained BERT有很大的提高，分別高出6.80%、6.47%、5.35%．而本文模型的P、R、F1值分別為89.25%、88.76%、89.58%，高于所有對(duì)比模型．這是因?yàn)楸疚哪Ｐ褪褂肨ree-LSTM作為文本表示，通過(guò)樹(shù)遞歸神經(jīng)網(wǎng)絡(luò)捕獲語(yǔ)義信息，并添加自注意力機(jī)制來(lái)進(jìn)一步學(xué)習(xí)特征信息，而不是簡(jiǎn)單地扁平化，通過(guò)自注意力為不同的語(yǔ)義分配權(quán)重，以更好地獲得語(yǔ)義依賴關(guān)系．此外，本文模型使用不同大?。?，4，5］的卷積核來(lái)提取BERT輸出的文本語(yǔ)義信息，采用修正線性單元（ReLU）作為激活單元，并將結(jié)果與最大池化相結(jié)合來(lái)篩選提取的語(yǔ)義信息．通過(guò)這兩種方式的結(jié)合，可以有效地融合最重要的特征和鄰域中的所有語(yǔ)義信息．由圖6可知，本文提出的具有注意力機(jī)制的樹(shù)遞歸神經(jīng)網(wǎng)絡(luò)，在上下文介詞消歧任務(wù)中取得了比現(xiàn)有主流模型更好的實(shí)驗(yàn)結(jié)果，驗(yàn)證了模型的有效性．

為了進(jìn)一步研究本文提出的Tree-LSTM模型中的神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)模型對(duì)上下文介詞消歧的作用，分別使用學(xué)習(xí)率、樹(shù)節(jié)點(diǎn)數(shù)、卷積核大小進(jìn)行消融實(shí)驗(yàn)分析．

3.3.1" 學(xué)習(xí)率對(duì)實(shí)驗(yàn)性能的影響

學(xué)習(xí)率（Learning rate）代表了神經(jīng)網(wǎng)絡(luò)中隨時(shí)間推移和信息累積的速度．學(xué)習(xí)率作為監(jiān)督學(xué)習(xí)以及深度學(xué)習(xí)中重要的超參數(shù)，決定著目標(biāo)函數(shù)能否收斂到局部最小值以及何時(shí)收斂到最小值．學(xué)習(xí)率是最影響性能的超參數(shù)之一，合適的學(xué)習(xí)率能夠使目標(biāo)函數(shù)在合適的時(shí)間內(nèi)收斂到局部最小值．為了探究不同學(xué)習(xí)率對(duì)模型性能的影響，本文分別采用0.001、0.0001、0.00005的學(xué)習(xí)率進(jìn)行實(shí)驗(yàn)，結(jié)果如表1所示．

由表1可知，當(dāng)學(xué)習(xí)率為0.000 1時(shí)，本文模型效果最好，P、R、F1值分別為88.14%、87.98%、88.04%．然而，當(dāng)學(xué)習(xí)率增加到0.001時(shí)，模型的結(jié)果P、R、F1分別下降了3.64%、4.17%、4.04%，因?yàn)楫?dāng)學(xué)習(xí)率過(guò)大時(shí)，模型會(huì)跨越最優(yōu)值導(dǎo)致長(zhǎng)時(shí)間不收斂，訓(xùn)練效果不佳．當(dāng)學(xué)習(xí)率為0.000 05時(shí)，模型的結(jié)果在P、R、F1方面分別下降了2.73%、3.92%、3.72%，因?yàn)楫?dāng)學(xué)習(xí)率太小時(shí)，模型容易下降陷入局部最優(yōu)，無(wú)法達(dá)到全局最優(yōu)點(diǎn)．由此可知，本文模型的最佳學(xué)習(xí)率為0.000 1．

3.3.2" 樹(shù)節(jié)點(diǎn)數(shù)量對(duì)實(shí)驗(yàn)性能的影響

為了探討遞歸神經(jīng)網(wǎng)絡(luò)中樹(shù)節(jié)點(diǎn)數(shù)量對(duì)實(shí)驗(yàn)結(jié)果的影響，本文將樹(shù)節(jié)點(diǎn)數(shù)量設(shè)置為2、3、4，實(shí)驗(yàn)結(jié)果如表2所示．

如表2所示，當(dāng)使用3個(gè)樹(shù)節(jié)點(diǎn)時(shí)，模型表現(xiàn)最佳．當(dāng)樹(shù)節(jié)點(diǎn)數(shù)量設(shè)置為2時(shí)，模型P、R、F1分別為87.25%、85.30%、85.59%，相應(yīng)指標(biāo)分別下降0.89%、2.68%、2.45%，這是因?yàn)闃?shù)節(jié)點(diǎn)的數(shù)量太少，模型將無(wú)法充分?jǐn)M合數(shù)據(jù)集．當(dāng)樹(shù)節(jié)點(diǎn)數(shù)量為4時(shí)，模型P、R、F1分別為86.62%、86.60%、86.61%，相應(yīng)指標(biāo)分別下降1.52%、1.38%、1.43%．這是因?yàn)檫^(guò)多的樹(shù)節(jié)點(diǎn)提取語(yǔ)義信息，導(dǎo)致模型過(guò)擬合，降低模型的遷移能力．

3.3.3" 不同卷積核大小對(duì)實(shí)驗(yàn)性能的影響

為了探討卷積核大小對(duì)模型性能的影響，本文選擇大小為［2，3，4］、［3，4，5］和［4，5，6］的卷積核，實(shí)驗(yàn)結(jié)果如表3所示．

如表3所示，當(dāng)卷積核大小為［3，4，5］時(shí)，模型達(dá)到最佳效果，P、R、F1分別為88.14%、87.98%、88.04%．當(dāng)卷積核大小為［2，3，4］時(shí)，窗口較小，使得感受野的范圍較小，感受野包含的文本信息較少，特征也有限，因此模型無(wú)法完全表達(dá)句子的這些特征，導(dǎo)致P、R、F1值下降1.20%、1.62%、1.53%．當(dāng)卷積核大小為［4，5，6］時(shí)，由于感受野的變化使得全局特征明顯，模型獲得的文本語(yǔ)義信息中存在相當(dāng)大的噪聲，模型復(fù)雜度增加．模型的P、R、F1分別下降了1.57%、1.94%、1.85%．

4" 結(jié)論

近年來(lái)的研究發(fā)現(xiàn)，歧義消除和理解主要集中在實(shí)詞（代詞、名詞、動(dòng)詞等）的消解，對(duì)于高頻虛詞如介詞的歧義消除和理解研究較為有限．因此，本文提出一種基于人工智能的上下文介詞消歧方法，采用帶有長(zhǎng)短期記憶功能的樹(shù)遞歸神經(jīng)網(wǎng)絡(luò)模型．該方法使用帶有LSTM的TNN（Tree-LSTM）對(duì)上下文進(jìn)行建模，并通過(guò)注意力機(jī)制捕捉關(guān)鍵信息，以減少噪聲對(duì)介詞含義的影響．通過(guò)多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，模型能夠捕捉上下文中的局部依賴關(guān)系和長(zhǎng)期依賴關(guān)系，更好地理解介詞的語(yǔ)義含義．引入注意力機(jī)制能夠更準(zhǔn)確地捕捉與介詞含義相關(guān)的信息，從而提高消歧性能．實(shí)驗(yàn)結(jié)果證明，本文模型在準(zhǔn)確性和泛化能力方面具有優(yōu)越性．本文為相關(guān)領(lǐng)域的研究人員提供了有益的參考和啟發(fā)，推動(dòng)了上下文介詞消歧技術(shù)的進(jìn)一步發(fā)展和應(yīng)用．此外，本文模型還表現(xiàn)出較強(qiáng)的魯棒性，能夠適應(yīng)不同領(lǐng)域和語(yǔ)義場(chǎng)景下的消歧需求．然而，我們也注意到該模型在處理長(zhǎng)文本和復(fù)雜語(yǔ)義場(chǎng)景時(shí)仍存在一定的挑戰(zhàn)，這可能是注意力機(jī)制的局限性所致．未來(lái)的研究將進(jìn)一步探索改進(jìn)注意力機(jī)制，以提升模型在復(fù)雜語(yǔ)境下的性能．

參考文獻(xiàn)：

［1］

淑嫻陳．詞義消歧研究綜述 ［J］．教育科學(xué)發(fā)展，2022，4（1）： 137-139．

［2］" 何春輝，胡升澤，張翀，等．融合深層語(yǔ)義和顯式特征的中文句子對(duì)相似性判別方法 ［J］．中文信息學(xué)報(bào)，2022，36（9）： 28-37．

［3］" ARSHEYM，ANGEL VIJI K S．An Optimization-Based Deep Belief Network for the Detection of Phishing E-Mails ［J］．Data Technologies and Applications，2020，54（4）： 529-549．

［4］" CHAUHAN S，DANIEL P，SAXENA S，et al．Fully Unsupervised Machine Translation Using Context-Aware Word Translation and DenoisingAutoencoder ［J］．Applied Artificial Intelligence，2022，36（1）： 1771-1795．

［5］" LOUREIRO D，REZAEE K，PILEHVAR M T，et al．Analysis and Evaluation of Language Models for Word Sense Disambiguation ［J］．Computational Linguistics，2021，47（2）： 387-443．

［6］" LI J，SUNA X，HAN J L，et al．A Survey on Deep Learning for Named Entity Recognition ［J］．IEEE Transactions on Knowledge and Data Engineering，2022，34（1）： 50-70．

［7］" 段宗濤，李菲，陳柘．實(shí)體消歧綜述 ［J］．控制與決策，2021，36（5）： 1025-1039．

［8］" ALOKAILI A，ELBACHIRMENAIM．SVM Ensembles for Named Entity Disambiguation ［J］．Computing，2020，102（4）： 1051-1076．

［9］" MADE JULIARTA I．Prepositional Phrase and Its Translations Found in the Novel “Budha，a Story of Enlightenment” ［J］．E-Journal of Linguistics，2021，5（1）： 28-47．

［10］NGHI T T，THANG N T，PHUC T H．An Investigation into Factors Affecting the Use of English Prepositions by Vietnamese Learners of English ［J］．International Journal of Higher Education，2020，10（1）： 24-40．

［11］王奧，吳華瑞，朱華吉．基于特征增強(qiáng)的多方位農(nóng)業(yè)問(wèn)句語(yǔ)義匹配 ［J］．西南大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，45（6）： 201-210．

［12］范齊楠，孔存良，楊麟兒，等．基于BERT與柱搜索的中文釋義生成 ［J］．中文信息學(xué)報(bào)，2021，35（11）： 80-90．

［13］陸偉，李鵬程，張國(guó)標(biāo)，等．學(xué)術(shù)文本詞匯功能識(shí)別——基于BERT向量化表示的關(guān)鍵詞自動(dòng)分類研究 ［J］．情報(bào)學(xué)報(bào)，2020，39（12）： 1320-1329．

［14］張國(guó)標(biāo)，李鵬程，陸偉，等．多特征融合的關(guān)鍵詞語(yǔ)義功能識(shí)別研究 ［J］．圖書(shū)情報(bào)工作，2021，65（9）： 89-96．

［15］宋曉濤，孫海龍．基于神經(jīng)網(wǎng)絡(luò)的自動(dòng)源代碼摘要技術(shù)綜述 ［J］．軟件學(xué)報(bào)，2022，33（1）： 55-77．

［16］YUE W，LI L．Sentiment Analysis Using Word2Vec-CNN-BiLSTM Classification ［C］ //2020 Seventh International Conference on Social Networks Analysis，Management and Security （SNAMS）．Paris： IEEE，2020．

［17］RADKE M A，GUPTA A，STOCK K，et al．Disambiguating Spatial Prepositions： The Case of Geo-Spatial Sense Detection ［J］．Transactions in GIS，2022，26（6）： 2621-2650．

［18］PAWAR S，THOMBRE S，MITTAL A，et al．Tapping BERT for Preposition Sense Disambiguation ［EB/OL］．2021： arXiv： 2111．13972．http： //arxiv．org/abs/2111．13972．

責(zé)任編輯" 夏娟