郭旭超 郝 霞 姚曉闖 李 林

(1.中國農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院, 北京 100083； 2.山東農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院, 泰安 271018;3.中國農(nóng)業(yè)大學(xué)土地科學(xué)與技術(shù)學(xué)院, 北京 100083)

0 引言

意圖識(shí)別與槽位填充是自然語言理解的兩大核心子任務(wù)[1]，是進(jìn)行知識(shí)問答的前提。前者一般可被視為句子級的文本分類任務(wù)，旨在將給定問句劃分為預(yù)先設(shè)定好的意圖類別；而后者可被視為字符級序列標(biāo)注任務(wù)，即將長度為n的問句序列X=[x1x2…xn]標(biāo)記為槽位標(biāo)簽序列Y=[y1y2…yn][2]。以問句“水稻惡苗病的俗稱叫什么？”為例，本文旨在通過上述任務(wù)分別識(shí)別出該問句的語義槽“水稻惡苗病”和意圖“別稱”，從而構(gòu)成三元組(水稻惡苗病，別稱，?)，其中“？”表示根據(jù)語義槽(頭實(shí)體)“水稻惡苗病”和意圖(關(guān)系)“別稱”從知識(shí)圖譜中查找并反饋給用戶的答案(尾實(shí)體)。由此可見，意圖識(shí)別與槽位填充任務(wù)是正確解析問句語義的關(guān)鍵，在基于知識(shí)圖譜的農(nóng)業(yè)病蟲害問答系統(tǒng)中發(fā)揮重要作用。

目前，針對意圖識(shí)別與槽位填充的方法總體上可分為流水線方法和聯(lián)合抽取方法。流水線方法將意圖識(shí)別與槽位填充分別進(jìn)行建模[3-8]。而目前農(nóng)業(yè)病蟲害領(lǐng)域主要采用流水線方法實(shí)現(xiàn)意圖識(shí)別和槽位填充任務(wù)[9-12]。此類方法容易導(dǎo)致錯(cuò)誤傳播問題，并且容易忽略兩者之間的相關(guān)性。

為此，近年來提出許多基于深度學(xué)習(xí)的聯(lián)合抽取方法，此類方法能夠?qū)ι鲜鋈蝿?wù)進(jìn)行聯(lián)合建模，可進(jìn)一步細(xì)分為參數(shù)共享、單向關(guān)聯(lián)和雙向關(guān)聯(lián)模型[13]。參數(shù)共享模型采用共享參數(shù)隱式地學(xué)習(xí)意圖識(shí)別與槽位填充任務(wù)之間的相關(guān)性[14]。例如，一些學(xué)者分別將門控循環(huán)網(wǎng)絡(luò)(Gated recurrent unit, GRU)、注意力機(jī)制、RNN以及BERT相結(jié)合，提出了多種面向意圖識(shí)別與槽位填充的隱式聯(lián)合抽取模型[15-17]。雖然上述方法的整體識(shí)別性能相對于流水線方法有所提升，但僅通過聯(lián)合優(yōu)化損失函數(shù)隱式地利用兩者之間的相關(guān)性，可解釋性較弱[13]。

單向關(guān)聯(lián)模型采用意圖或槽位信息顯式地指導(dǎo)槽位填充/意圖識(shí)別任務(wù)。例如文獻(xiàn)[18]提出了一種語義槽門控機(jī)制(Slot-gated mechanism，Slot-Gated)，建立了意圖上下文語義信息到槽位填充任務(wù)的單向關(guān)聯(lián)，從而提高了模型整體性能。文獻(xiàn)[19]提出了一種結(jié)合單詞級意圖標(biāo)簽的棧式傳播框架(StackPropagation)，該框架直接利用意圖信息作為槽位填充任務(wù)的輸入，以便獲取意圖語義知識(shí)。此外，該模型還為棧式傳播框架執(zhí)行了字符級意圖識(shí)別機(jī)制以進(jìn)一步緩解錯(cuò)誤傳播問題。文獻(xiàn)[20]在文獻(xiàn)[17]基礎(chǔ)上通過引入意圖-槽位注意力機(jī)制，提出了JointIDSF模型，該模型通過“軟”意圖標(biāo)簽嵌入顯式地將意圖上下文信息集成到槽位填充任務(wù)中。在面向越南語的PhoATIS數(shù)據(jù)集上全局F1值達(dá)到86.25%，比JointBERT+CRF提升0.7個(gè)百分點(diǎn)。

雙向關(guān)聯(lián)模型旨在對兩任務(wù)之間的雙向關(guān)聯(lián)關(guān)系進(jìn)行建模。例如，文獻(xiàn)[21-22]在文獻(xiàn)[18]基礎(chǔ)上分別提出了兩種基于雙向門控機(jī)制的聯(lián)合抽取模型DCNN-Gate和Biass-Gate，建立了意圖識(shí)別與槽位填充之間的雙向關(guān)聯(lián)。文獻(xiàn)[23]則提出了一種意圖識(shí)別-槽位填充雙向關(guān)聯(lián)網(wǎng)絡(luò)(Slot filling-intent detection, SF-ID)，構(gòu)建了兩任務(wù)之間的直接關(guān)聯(lián)，增強(qiáng)彼此交互能力，但需考慮任務(wù)順序。為解決上述問題，文獻(xiàn)[24]提出了一種協(xié)同互作Transformer機(jī)制，該機(jī)制同時(shí)考慮兩任務(wù)之間的交叉影響，在ATIS和SNIPS數(shù)據(jù)集上分別取得87.4%和90.30%的整體識(shí)別精度。

農(nóng)業(yè)病蟲害領(lǐng)域的意圖識(shí)別與槽位填充仍存在以下問題：該領(lǐng)域的意圖識(shí)別與槽位填充研究仍處于初級階段，因此還有任務(wù)相互獨(dú)立、忽略彼此相關(guān)性等問題亟待解決；相應(yīng)地，已有模型并未充分考慮意圖嵌入表示信息，導(dǎo)致意圖識(shí)別指導(dǎo)槽位填充任務(wù)能力有限；就數(shù)據(jù)而言，該領(lǐng)域公開可用的語料仍處于空白，直接增加了識(shí)別農(nóng)業(yè)病蟲害意圖和語義槽的成本和難度。

因此，為了能更好地解決農(nóng)業(yè)病蟲害領(lǐng)域的意圖識(shí)別與槽位填充問題，本文首先在領(lǐng)域?qū)＜抑笇?dǎo)下收集并標(biāo)注首個(gè)面向農(nóng)業(yè)病蟲害的意圖識(shí)別與槽位填充數(shù)據(jù)集，然后針對現(xiàn)有模型存在的問題提出一種基于意圖嵌入表示和門控機(jī)制的意圖識(shí)別與槽位填充聯(lián)合模型AgIG-IDSF。

1 領(lǐng)域語料收集與構(gòu)建

1.1 類別設(shè)置

由于本文研究包含意圖識(shí)別和槽位填充兩個(gè)子任務(wù)，因此需要預(yù)先確定意圖和槽位兩種標(biāo)簽類型。對于槽位，在已有工作基礎(chǔ)[25-26]上初步確定了蟲害、病害、作物、藥劑、病原、周期/時(shí)期、部位和品種等8種槽位類型。另外，為了確保完整性，本文還額外添加了“癥狀”和“其他”，最終確定了10種槽位類別；對于意圖，本文在對收集語料進(jìn)行分析基礎(chǔ)上，結(jié)合文獻(xiàn)[27]確定了病害、蟲害、危害作物等21種常用意圖。此外，考慮到數(shù)據(jù)集的完備性，本文同樣設(shè)置了“其他”類別，用于表示與農(nóng)業(yè)病蟲害相關(guān)的其他未知意圖，以便進(jìn)一步細(xì)分。最終得到如表1所示的22種意圖類別。

表1 意圖類別Tab.1 Details of intent categories

1.2 語料收集與標(biāo)注

本文所需語料主要來源于中國農(nóng)技推廣信息平臺(tái)(http:∥njtg.nercita.org.cn/user/index.shtml)。由于用戶來自全國各地，因此形成的問答語料更具普遍性和廣泛性，更加適用于實(shí)際應(yīng)用場景。鑒于此，本文在該平臺(tái)上爬取了2019年4月21日至2021年5月15日之間的農(nóng)業(yè)病蟲害相關(guān)問答數(shù)據(jù)作為原始語料，通過解析、篩選和去噪等操作對語料進(jìn)行了預(yù)處理，最終得到11 976條原始樣本。

語料詳細(xì)標(biāo)注過程如圖1所示。由圖1可知，給定原始語料，標(biāo)注對象包含槽位與意圖兩方面：前者表示參與問答的實(shí)體(即槽位)，為了加快標(biāo)注速度，對于所有待標(biāo)注樣本，本文首先采用文獻(xiàn)[25]所提CNNs-BiLSTM-Attention模型預(yù)測每個(gè)字符的標(biāo)簽，然后通過人工校驗(yàn)和修正，得到最終的槽位標(biāo)注序列；本文主要通過人工方式對每條樣本的意圖類別進(jìn)行標(biāo)注。最終得到完整標(biāo)注結(jié)果。最終得到包含10個(gè)槽位類型、22個(gè)意圖類別和11 976條訓(xùn)練樣本的中文農(nóng)業(yè)病蟲害意圖識(shí)別與槽位填充標(biāo)注數(shù)據(jù)集(Intent selection and slot filling corpus for agricultural diseases and pests, AGIS)。為了使數(shù)據(jù)集的標(biāo)簽分布盡可能均勻，本文按照比例8∶1∶1采用分層抽樣法對數(shù)據(jù)集進(jìn)行劃分，其中訓(xùn)練集、驗(yàn)證集、測試集樣本數(shù)分別為9 576、1 199、1 199條。部分樣本如表2所示。數(shù)據(jù)集各類意圖與槽位數(shù)據(jù)分布如圖2所示。

圖1 意圖識(shí)別與槽位填充語料標(biāo)注過程Fig.1 Labeling process of corpus for intent detection and slot filling

表2 中文農(nóng)業(yè)病蟲害意圖識(shí)別與槽位填充數(shù)據(jù)集樣例Tab.2 Samples of intent detection and slot filling for Chinese agricultural diseases and pests

圖2 AGIS數(shù)據(jù)集意圖與槽位數(shù)據(jù)分布圖Fig.2 Data distributions for intents and slots in AGIS

2 AgIG-IDSF模型

本節(jié)首先給出意圖識(shí)別與槽位填充的形式化定義，然后描述本文所提模型AgIG-IDSF的實(shí)現(xiàn)細(xì)節(jié)。如圖3所示，本文所提模型主要由共享編碼模塊、意圖識(shí)別模塊、意圖-槽位交互模塊以及槽位填充模塊構(gòu)成。

圖3 AgIG-IDSF模型整體架構(gòu)圖Fig.3 Overall framework of AgIG-IDSF model

2.1 問題定義

2.2 共享編碼模塊

(1)

采用權(quán)重矩陣WQ、WK、WV∈Rn×d分別將嵌入表示E映射為維度為d的Q、K和V。然后基于

C=[H;A]

(2)

得到自注意力機(jī)制模塊的輸出A∈Rn×2d。

最后，通過級聯(lián)操作將雙向時(shí)序特征表示H和注意力上下文表示A在特征維度上進(jìn)行拼接，得到最終的共享上下文語義C=[c1c2…cn]∈Rn×2d。

2.3 意圖識(shí)別模塊

意圖識(shí)別模塊旨在將長度可變的嵌入表示序列C聚合為大小固定的意圖上下文向量cI。因?yàn)樽⒁饬C(jī)制能夠動(dòng)態(tài)調(diào)整每個(gè)字符級向量的權(quán)重，進(jìn)而實(shí)現(xiàn)動(dòng)態(tài)聚合，緩解語義損失問題，因此本文選用注意力機(jī)制聚合文本序列的共享上下文語義C，其計(jì)算過程為

αi=softmax(Wci+b)

(3)

(4)

其中

式中W——可訓(xùn)練權(quán)重

ci——第i個(gè)字符的共享上下文語義

b——偏置

αi——第i個(gè)字符歸一化權(quán)重，取0～1

cI——意圖上下文語義表示向量，為n個(gè)字符的上下文語義表示的加權(quán)和

所有意圖標(biāo)簽相對于問句X的概率分布為

pI=σ(WIcI+bI)

(5)

式中WI——可訓(xùn)練權(quán)重

bI——偏置m——意圖標(biāo)簽數(shù)量

σ——激活函數(shù)，本文采用softmax

本文選擇最大概率對應(yīng)的意圖標(biāo)簽作為最終預(yù)測的意圖類別，即

(6)

采用交叉損失函數(shù)計(jì)算意圖識(shí)別的損失LI，公式為

(7)

2.4 意圖-槽位交互模塊

該模型主要用于對意圖與槽位的相關(guān)性進(jìn)行建模，使得槽位上下文表示中能夠融合意圖信息，從而實(shí)現(xiàn)意圖信息指導(dǎo)槽位填充任務(wù)。與文獻(xiàn)[18,22]采用意圖上下文向量cI作為輸入不同，本文從另一個(gè)角度出發(fā)，通過引入意圖嵌入表示矩陣EI∈Rm×dI，采用意圖標(biāo)簽概率分布中最大概率對應(yīng)的意圖嵌入表示向量eI∈RdI作為該模塊的輸入，其優(yōu)點(diǎn)在于該向量中包含豐富的意圖特征，這有助于提高意圖指導(dǎo)槽位填充任務(wù)的能力，進(jìn)而提高模型的性能。

相應(yīng)地，為了充分利用意圖嵌入表示向量和字符級上下文語義特征，對意圖和槽位之間的關(guān)系進(jìn)行建模，本文采用意圖嵌入表示向量eI和共享上下文表示C作為門控機(jī)制的輸入，用于生成聯(lián)合權(quán)重向量g。g越大，說明意圖與槽位的相關(guān)性越高，在槽位填充任務(wù)中越重要。g的計(jì)算公式為

g=∑vtanh(ci+WeI)

(8)

其中

v∈R2dW∈RdI×2d

式中v——可訓(xùn)練權(quán)重

2.5 槽位填充模塊

本文采用條件隨機(jī)場(CRF)[23-24]對相鄰字符之間的槽位標(biāo)簽依賴進(jìn)行建模，即

C′s=C+Cg

(9)

首先采用聯(lián)合權(quán)重向量g對字符級上下文表示C進(jìn)行加權(quán)求和，得到融合意圖信息的槽位上下文語義C′s，最后采用全連接層進(jìn)行兩次變換，即

ps=Ws2(tanh(Ws1C′s+bs1))+bs2

(10)

其中Ws1∈R2d×dWs2∈Rd×tbs1∈Rdbs2∈Rt

式中Ws1、Ws2——可訓(xùn)練權(quán)重

bs1、bs2——偏置

得到最終的槽位上下文語義表示ps∈Rn×t。

(11)

則標(biāo)簽序列Os的條件概率為

(12)

本文通過最小化負(fù)似然對數(shù)來計(jì)算損失值。最后，本文采用維特比(Viterbi)算法對得分最高的標(biāo)簽序列進(jìn)行解碼，得到最終的預(yù)測標(biāo)簽

(13)

最后，對兩任務(wù)進(jìn)行聯(lián)合優(yōu)化，最終的目標(biāo)函數(shù)定義為兩損失函數(shù)的加權(quán)和

Loss=φLI+(1-φ)Ls

(14)

φ為加權(quán)因子，介于0～1之間，根據(jù)文獻(xiàn)[19]，本文將其設(shè)置為0.5。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)環(huán)境與參數(shù)設(shè)置

本文選擇第1節(jié)所構(gòu)建的AGIS數(shù)據(jù)集作為基準(zhǔn)數(shù)據(jù)集，以評價(jià)本文所提模型對農(nóng)業(yè)病蟲害意圖識(shí)別與槽位填充任務(wù)的識(shí)別效果，同時(shí)在公共數(shù)據(jù)集ATIS和SNIPS上進(jìn)行實(shí)驗(yàn)，以驗(yàn)證該模型的泛化性。其中，ATIS主要包含了航班、城市等6種航空旅行信息、21種意圖類別、120種槽位類別和5 871條樣本；而SNIPS涵蓋了天氣、餐廳和娛樂等多個(gè)領(lǐng)域，共包含7個(gè)意圖類別、72個(gè)槽位類別和15 884條樣本。根據(jù)文獻(xiàn)[29]，環(huán)境配置如表3所示。在超參數(shù)設(shè)置方面，根據(jù)模型調(diào)試結(jié)果，AGIS和SNIPS數(shù)據(jù)集上無需設(shè)置Dropout，而在ATIS數(shù)據(jù)集上對應(yīng)的Dropout設(shè)置為0.1，以緩解過擬合問題。其他超參數(shù)設(shè)置如表4所示。除第3.3.5節(jié)外，對于中文數(shù)據(jù)集，所有模型均采用維度為300的預(yù)訓(xùn)練向量[30]作為初始的字符級嵌入表示；英文數(shù)據(jù)集則采用斯坦福大學(xué)(https:∥github.com/stanfordnlp/GloVe)預(yù)訓(xùn)練的詞嵌入向量。

表3 實(shí)驗(yàn)環(huán)境配置Tab.3 Experimental configuration

表4 超參數(shù)設(shè)置Tab.4 Settings for hyper-parameters

3.2 評價(jià)指標(biāo)及對比模型

為了定量評價(jià)本文所提模型的有效性，本文采用F1分?jǐn)?shù)評價(jià)模型的槽位填充性能，采用準(zhǔn)確率(Accuracy, Acc)評價(jià)模型的意圖識(shí)別性能，同時(shí)采用句子級準(zhǔn)確率評價(jià)模型整體識(shí)別性能，即意圖和槽位標(biāo)簽均識(shí)別正確的問句占總樣本的百分比。

為了充分說明本文所提模型的有效性，本文采用以下5種主流模型進(jìn)行對比實(shí)驗(yàn)：①Slot-Gated[18]、②StackPropagation[19]、③SF-ID[23]、④DCA-NET[24]、⑤BiAss-Gate[22]。其中，①和②屬于單向關(guān)聯(lián)模型，③、④和⑤屬于雙向關(guān)聯(lián)模型。此外，本文還引入了JointBERT[17]、JointIDSF[20]，以深入探究本文所提模型在采用BERT預(yù)訓(xùn)練模型時(shí)的性能。

3.3 實(shí)驗(yàn)結(jié)果及分析

3.3.1實(shí)驗(yàn)結(jié)果

圖4給出了各模型在AGIS數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果。與其他對比模型相比，本文所提模型無論在槽位填充和意圖識(shí)別單任務(wù)上還是在整體識(shí)別精度上均得到較大提升，這一方面是因?yàn)锳gIG-IDSF模型采用注意力機(jī)制有助于豐富上下文語義特征，另一方面是因?yàn)樗胍鈭D嵌入表示包含豐富的意圖信息，有助于提高指導(dǎo)槽位填充任務(wù)的能力(詳情可參考3.3.3節(jié))。雖然Slot-Gated模型同樣利用門控機(jī)制指導(dǎo)槽位填充任務(wù)，但由于對意圖嵌入表示信息的獲取能力有限，導(dǎo)致在AGIS數(shù)據(jù)集上的性能不如其他模型。雖然StackPropagation采用字符級意圖標(biāo)簽投票機(jī)制在一定程度上緩解了錯(cuò)誤傳播問題，但同樣無法充分利用意圖嵌入表示信息，導(dǎo)致對槽位填充任務(wù)的指導(dǎo)能力有限，因此限制了模型性能。SF-ID雖然能夠在一定程度上利用意圖識(shí)別與槽位填充兩任務(wù)之間的互作關(guān)系，但需考慮建模順序，導(dǎo)致上述模型的識(shí)別結(jié)果稍低。主要表現(xiàn)為該模型的整體識(shí)別精度與AgIG-IDSF模型相差1.84個(gè)百分點(diǎn)。而BiAss-Gate進(jìn)一步改進(jìn)了Slot-Gated模型，具備雙向關(guān)聯(lián)能力，使得整體識(shí)別精度進(jìn)一步提高，達(dá)到87.82%。DCA-NET是近幾年提出的較先進(jìn)的雙向關(guān)聯(lián)模型，該模型所提的協(xié)同Transformer包含兩個(gè)彼此交互的注意力機(jī)制，打破了交互順序限制，顯式地建立了彼此的雙向關(guān)聯(lián)。因此在AGIS集上取得優(yōu)于其他對比模型的識(shí)別結(jié)果。而本文所提模型槽位填充F1值和全局識(shí)別精度更高，相較于DCA-NET分別提高0.24、0.16個(gè)百分點(diǎn)。因此，上述實(shí)驗(yàn)結(jié)果不僅表明了本文所提模型在農(nóng)業(yè)病蟲害意圖識(shí)別與槽位填充任務(wù)上的有效性，而且其性能優(yōu)于雙向關(guān)聯(lián)模型。

圖4 各模型在AGIS數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果Fig.4 Experimental results for each model on AGIS

為了進(jìn)一步說明本文所提模型的識(shí)別細(xì)節(jié)，如圖5所示，本文以AGIS數(shù)據(jù)集為例，分別統(tǒng)計(jì)了AgIG-IDSF、DCA-NET、BiAss-Gate、StackPropagation、SF-ID和Slot-Gated對該數(shù)據(jù)集各類意圖和槽位的識(shí)別詳情。由圖5a可知，對每類意圖，所有模型在防治方法、病害和防治藥劑等意圖類別上的識(shí)別精度普遍較高，這是因?yàn)樯鲜鲆鈭D類別樣本占比較大，訓(xùn)練相對充分。而由于簡介、分布區(qū)域和別名等意圖類別樣本量少，導(dǎo)致各模型在上述意圖上的識(shí)別精度普遍偏低。此外，通過對預(yù)測結(jié)果進(jìn)行統(tǒng)計(jì)后發(fā)現(xiàn)，諸如“危害時(shí)期”意圖與“蟲態(tài)/周期”意圖容易在上下文語義上混淆，因此降低了彼此的識(shí)別精度。而本文所提模型不僅能夠有效識(shí)別那些較易識(shí)別的意圖，而且進(jìn)一步提高了別名、簡介和防治時(shí)期等較難識(shí)別意圖的精度。例如，相較于基準(zhǔn)模型DAC-NET，本文所提模型針對上述意圖的準(zhǔn)確率分別提高9.09、24.24、5.79個(gè)百分點(diǎn)。對每類槽位，如圖5b所示，本文所提模型不僅能夠有效識(shí)別病害、作物和藥劑等常見槽位類型，而且對癥狀等難以識(shí)別槽位類型仍保持有較高的識(shí)別性能，例如相較于DCA-NET，其F1值提高7.5個(gè)百分點(diǎn)，這得益于本文所提的融合意圖嵌入表示的門控機(jī)制能夠使槽位上下文語義表示充分融合意圖信息進(jìn)而提高模型的槽位填充性能。

圖5 各模型對AGIS各類意圖和槽位識(shí)別細(xì)節(jié)Fig.5 Detailed results of intents and slots on AGIS

其次，如圖6所示，本文同樣以AGIS數(shù)據(jù)集為例，可視化了AgIG-IDSF、DCA-NET、BiAss-Gate、StackPropagation、SF-ID和Slot-Gated模型的意圖分類混淆矩陣。由圖可知，大多數(shù)預(yù)測意圖分布于對角線上，表現(xiàn)出對各類意圖識(shí)別的有效性。此外，部分模型將“其他”意圖歸類為危害時(shí)期、防治時(shí)期和防治藥劑等，對預(yù)測結(jié)果進(jìn)行分析后認(rèn)為包含“其他”意圖的問句語義容易與包含上述意圖的樣本語義混淆，導(dǎo)致識(shí)別錯(cuò)誤；相反，各模型在屬科、別名和發(fā)病規(guī)律/條件等意圖類別上錯(cuò)誤預(yù)測數(shù)量較少，這是因?yàn)榘鲜鲆鈭D的問句具有明顯的語義特征。比如問句“小麥赤霉病的發(fā)病規(guī)律是什么？小麥赤霉病還有其他名稱嗎？”，模型很容易將其意圖分別識(shí)別為“發(fā)病規(guī)律/條件”和“別稱”。而與大多數(shù)模型相比，本文所提模型在多數(shù)意圖類別上取得較高的識(shí)別精度，雖然略遜于DCA-NET模型，但由圖4可知，本文所提模型的整體識(shí)別精度優(yōu)于DCA-NET模型。

圖6 各模型對AGIS意圖識(shí)別混淆矩陣Fig.6 Confusion matrixes for each model on AGIS

3.3.2泛化性分析

為了進(jìn)一步探究本文所提模型的泛化性，將AgIG-IDSF模型及對比模型在ATIS和SNIPS兩種公共數(shù)據(jù)集上進(jìn)行了對比實(shí)驗(yàn)。如表5所示，本文所提模型在ATIS和SNIPS數(shù)據(jù)集上取得最大整體識(shí)別精度，分別為87.57%和90.43%，高出BiAss-Gate模型0.34、0.14個(gè)百分點(diǎn)，表現(xiàn)出最優(yōu)性能。而其他模型性能則呈現(xiàn)出不同程度的差異性。比如在SNIPS數(shù)據(jù)集上，Slot-Gated模型的槽位填充F1分?jǐn)?shù)、意圖識(shí)別準(zhǔn)確度和整體識(shí)別精度分別與AgIG-IDSF模型的相應(yīng)值相差1.41、5.11、8.23個(gè)百分點(diǎn)，可能的原因有：中英文不同語言本身差異性；垂直領(lǐng)域語料的專業(yè)性；由于缺乏充足的意圖嵌入表示信息，槽位上下文語義融合意圖信息存在限制。雖然StackPropagation模型的意圖標(biāo)簽投票機(jī)制在一定程度上緩解了上述問題，但仍然存在意圖特征缺失問題[24，31]，其識(shí)別精確度比AgIG-IDSF略低。另外，由實(shí)驗(yàn)結(jié)果可知AgIG-IDSF在兩種數(shù)據(jù)集上的性能明顯優(yōu)于雙向關(guān)聯(lián)模型DCA-NET。因此，上述實(shí)驗(yàn)結(jié)果不僅再次表明了該模型優(yōu)于雙向關(guān)聯(lián)模型，而且還驗(yàn)證了該模型還具有一定泛化能力和穩(wěn)定性。

表5 各模型在ATIS和SNIPS數(shù)據(jù)集上的識(shí)別結(jié)果Tab.5 Experimental results for each model on ATIS and SNIPS %

3.3.3消融實(shí)驗(yàn)

為驗(yàn)證本文所提模型各模塊的有效性，本文以AgIG-IDSF為基準(zhǔn)模型設(shè)置了4個(gè)對照組，分別以AGIS、ATIS和SNIPS數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，結(jié)果如表6所示。如實(shí)驗(yàn)1，當(dāng)AgIG-IDSF模型采用注意力機(jī)制時(shí)，該模型在3種數(shù)據(jù)集上的整體識(shí)別精度高于實(shí)驗(yàn)2不采用注意力機(jī)制的AgIG-IDSF模型的相應(yīng)值，分別提高0.91、0.34、0.29個(gè)百分點(diǎn)，這在一定程度上說明了在共享編碼模塊采用注意力機(jī)制的有效性。實(shí)驗(yàn)3直接采用式(4)所得意圖上下文語義作為門控機(jī)制的輸入，雖然在SNIPS數(shù)據(jù)集上取得88.43%的整體識(shí)別精度，但在AGIS和ATIS數(shù)據(jù)集上的整體識(shí)別精度明顯偏低，僅為46.29%和28.56%，泛化性表現(xiàn)較差，同時(shí)反映了本文所提模型引入意圖嵌入表示的合理性和必要性。相應(yīng)地，與實(shí)驗(yàn)4采用級聯(lián)槽位代替門控機(jī)制相比，本文所提AgIG-IDSF模型在3種數(shù)據(jù)集上的整體識(shí)別精度更優(yōu)，表明了門控機(jī)制的有效性。

表6 AgIG-IDSF在3種數(shù)據(jù)集上的消融實(shí)驗(yàn)結(jié)果Tab.6 Ablation experiments for AgIG-IDSF on three datasets %

3.3.4意圖識(shí)別與槽位填充

為了探究意圖識(shí)別和槽位填充任務(wù)對全局識(shí)別精度的影響程度，如圖7所示，以AGIS數(shù)據(jù)集為例，采用混淆矩陣可視化了兩任務(wù)句子級識(shí)別結(jié)果。其中，橫坐標(biāo)表示意圖標(biāo)簽樣本數(shù)，縱坐標(biāo)表示槽位標(biāo)簽樣本數(shù)，均分為正確和錯(cuò)誤識(shí)別兩類。通過分析圖7可得如下結(jié)論：各模型可識(shí)別出大部分樣本對應(yīng)的意圖與槽位標(biāo)簽，均正確識(shí)別數(shù)超過1 000條；意圖識(shí)別或槽位填充單任務(wù)預(yù)測錯(cuò)誤標(biāo)簽數(shù)較多，例如在圖7b中，意圖標(biāo)簽識(shí)別正確但槽位標(biāo)簽識(shí)別錯(cuò)誤的樣本數(shù)為79條，而槽位標(biāo)簽識(shí)別正確但意圖標(biāo)簽識(shí)別錯(cuò)誤的樣本數(shù)為53條，說明在給定樣本中單任務(wù)識(shí)別錯(cuò)誤率對模型整體識(shí)別性能影響較大；并且與意圖識(shí)別相比，槽位填充任務(wù)對模型整體識(shí)別精度影響更大，因?yàn)樵谝鈭D正確識(shí)別情況下，上述模型的槽位填充錯(cuò)誤率更高。而與其他模型相比，本文所提模型不僅提高了同時(shí)識(shí)別正確樣本的數(shù)量，而且也降低了同時(shí)錯(cuò)誤樣本數(shù)量，分別為1 056條和13條，因此提高了模型的整體識(shí)別精度。由上述可知，相對于意圖識(shí)別任務(wù)，槽位填充任務(wù)對模型整體識(shí)別性能的影響更大。

圖7 句子級意圖識(shí)別與槽位填充混淆矩陣Fig.7 Sentence-level confusion matrix of intent detection and slot filling for AGIS dataset

3.3.5BERT有效性

以上研究均采用基于傳統(tǒng)word2vec或glove預(yù)訓(xùn)練的詞嵌入，但此類詞嵌入是靜態(tài)的，無法根據(jù)動(dòng)態(tài)生成上下文相關(guān)的高質(zhì)量文本表示。近年來，BERT等預(yù)訓(xùn)練模型的提出極大促進(jìn)了各項(xiàng)NLP任務(wù)的性能。因此，為探究本文所提模型在采用預(yù)訓(xùn)練模型條件下的有效性，采用BERT動(dòng)態(tài)生成包含豐富語義的文本表示，并與JointBERT和JointIDSF在3種數(shù)據(jù)集上進(jìn)行了對比實(shí)驗(yàn)，結(jié)果如表7所示。JointBERT在3種基準(zhǔn)數(shù)據(jù)集上的整體識(shí)別準(zhǔn)確率分別為88.82%、87.34%和88.90%，顯然優(yōu)于圖4和表5所示多數(shù)模型的相應(yīng)值，說明BERT有助于提高模型的意圖識(shí)別與槽位填充性能。基于此，JointIDSF模型在3種數(shù)據(jù)集上的識(shí)別結(jié)果略有上升，這是因?yàn)樵撃Ｐ鸵胍鈭D槽位注意力機(jī)制，能夠使意圖根據(jù)其重要性與句子中的每個(gè)字符動(dòng)態(tài)融合，進(jìn)而促使意圖信息指導(dǎo)槽位填充任務(wù)。然而，由于該模型所提意圖槽位注意力機(jī)制強(qiáng)依賴于預(yù)測的意圖概率矩陣，未引入意圖嵌入信息，因此對整體識(shí)別性能提升能力有限。而本文所提AgIG-IDSF模型在3種數(shù)據(jù)集上均取得最優(yōu)整體識(shí)別準(zhǔn)確率，分別為89.15%、87.57%和92.29%，比JointIDSF模型分別提升0.09、0.22、2.29個(gè)百分點(diǎn)?？傊?，上述結(jié)果說明了BERT的有效性，還表明了AgIG-IDSF模型在采用BERT情況下能夠進(jìn)一步提高農(nóng)業(yè)病蟲害意圖識(shí)別與槽位填充性能。

表7 基于BERT的模型在各數(shù)據(jù)集上的識(shí)別結(jié)果Tab.7 Experimental results for BERT-based models on three datasets %

4 結(jié)束語

本文主要針對農(nóng)業(yè)病蟲害領(lǐng)域意圖識(shí)別與槽位填充存在的語料有限、現(xiàn)有模型未充分利用意圖嵌入表示信息等問題，構(gòu)建了首個(gè)農(nóng)業(yè)病蟲害領(lǐng)域的意圖識(shí)別與槽位填充數(shù)據(jù)集，并提出了面向該領(lǐng)域的基于意圖嵌入信息和門控機(jī)制的意圖識(shí)別與槽位填充聯(lián)合模型AgIG-IDSF。該模型在采用注意力機(jī)制進(jìn)一步豐富上下文語義基礎(chǔ)上，引入了意圖嵌入表示信息，并采用門控機(jī)制對上述向量進(jìn)行融合，從而生成了包含豐富意圖信息的槽位上下文語義。實(shí)驗(yàn)結(jié)果表明，本文所提AgIG-IDSF模型能夠更好地利用意圖信息指導(dǎo)槽位填充任務(wù)，與其他模型相比在農(nóng)業(yè)病蟲害的意圖識(shí)別與槽位填充任務(wù)上性能更優(yōu)，且具有一定的泛化性和穩(wěn)定性，為構(gòu)建基于知識(shí)圖譜的農(nóng)業(yè)病蟲害問答系統(tǒng)提供了技術(shù)支撐。