摘 要：隱式情感分析作為情感分析任務(wù)的挑戰(zhàn)性分支，面臨著缺乏明確情感特征、文本語義復(fù)雜等問題。受到思維鏈（chain of thought，CoT）的啟發(fā)，提出了一種融合大語言模型的三級(jí)聯(lián)合提示隱式情感分析方法（three-level joint prompt-tuning implicit sentiment analysis method incorporating LLMs，TPISA），將大語言模型與本地預(yù)訓(xùn)練模型相結(jié)合，使用多級(jí)推理的方式逐級(jí)得出目標(biāo)的方面、潛在觀點(diǎn)，使模型能夠更輕松地推理出最終的情感極性。前兩級(jí)提示利用大型語言模型豐富的世界知識(shí)，豐富情感語句的情感信息；然后，將前兩級(jí)提示得到的方面和潛在意見與上下文連接起來，作為第三級(jí)提示的輸入。同時(shí)構(gòu)建情感標(biāo)簽詞，使預(yù)訓(xùn)練的模型能夠從標(biāo)簽詞匯中獲得豐富的語義知識(shí)，增強(qiáng)模型的學(xué)習(xí)能力。實(shí)驗(yàn)證明，提出的模型在SemEval14 Laptop和Restaurant數(shù)據(jù)集上對(duì)比當(dāng)前主流的隱式情感分析模型，取得了5.65和6.72百分點(diǎn)的提升，驗(yàn)證了該方法的先進(jìn)性。

關(guān)鍵詞：隱式情感分析；提示調(diào)優(yōu)；大語言模型；多級(jí)推理

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2024）10-003-2900-06

doi：10.19734/j.issn.1001-3695.2024.01.0021

Three-level joint prompt-tuning implicit sentiment analysis method incorporating LLMs

Zhang Xiaoyan， Yan Zhuang

（School of Computer Science & Technology， Xi’an University of Science & Technology， Xi’an 710600， China）

Abstract：Implicit sentiment analysis as a challenging branch of sentiment analysis tasks faces issues such as lacking explicit sentiment cues and complex text semantics. Inspired by CoT， this paper proposed the TPISA. This method combined large language models with local pre-trained models， employing multi-level reasoning to extract sentiment elements such as aspects and potential opinions， which enables to more easily infer the final sentiment polarity. In the first two levels， it leveraged the extensive world knowledge embedded in LLMs to augment the sentiment information of sentiment sentences. Subsequently， the aspects and potential opinions acquired from these initial levels are interconnected with the context， forming inputs for the third level prompt. Concurrently， it constructed sentiment label words to empower the pre-trained model to assimilate profound semantic insights from the labeled vocabulary， thereby enhancing the model’s learning capacity. The experimental results demonstrate that the proposed model achieves improvements of 5.65 and 6.72 percentage points on the SemEval14 Laptop and Restaurant datasets， respectively， compared to the state-of-the-art models， verifying the progressiveness of this method.

Key words：implicit sentiment analysis; prompt tuning; large language models; multi-level reasoning

0 引言

情感分析長期以來一直是自然語言處理領(lǐng)域的熱門研究任務(wù)［1～3］，廣泛應(yīng)用于輿情監(jiān)控等領(lǐng)域。該任務(wù)面臨的主要挑戰(zhàn)包括分析需求的多樣性和文本語義的復(fù)雜性以及輿情信息的時(shí)效性。經(jīng)過十多年的高速發(fā)展，情感分析領(lǐng)域產(chǎn)生了多種類型的子任務(wù)和主題。到現(xiàn)在，情感分析模型已經(jīng)可以相當(dāng)準(zhǔn)確地基于給定的情感特征詞進(jìn)行顯式情感分析（explicit sentiment analysis，ESA），但由于隱藏的意見特征，隱式情感分析（implicit sentiment analysis，ISA）仍然十分棘手［4，5］。與ESA不同，ISA的研究更具挑戰(zhàn)性，因?yàn)樵贗SA任務(wù)中，輸入文本只包含幾乎類似于“中性的”事實(shí)描述，沒有直接給出明確的觀點(diǎn)態(tài)度表達(dá)。例如，給定一個(gè)句子“快去嘗嘗那個(gè)新品吧！”，句子中不會(huì)出現(xiàn)任何顯式的情感線索詞。然而對(duì)于這種隱式情感場(chǎng)景，由于不包含任何顯式的情感特征詞，在ESA任務(wù)中取得過優(yōu)異性能表現(xiàn)的RGAT［6］、BERT-ADA［7］和TransEncAsp+SCAPT［8］等模型都無法取得令人滿意的表現(xiàn)［9］。這是因?yàn)槟壳皫缀跛械那楦蟹治瞿Ｐ偷墓ぷ髟砘径际敲嫦蛱卣髟~的預(yù)測(cè)，即必須要找準(zhǔn)情感特征詞才能準(zhǔn)確得到預(yù)測(cè)。因此，如何挖掘出情感語句中隱藏的情感元素，共同構(gòu)建出一個(gè)完整的情感圖譜，以此降低隱式情感分析的難度成為了本文研究的方向。

隨著對(duì)人類推理過程研究的深入，Wei等人在2022年首次提出了CoT的概念，通過一系列中間的推理步驟，使模型在生成推理結(jié)果之前先構(gòu)建出任務(wù)的思維邏輯，使模型學(xué)會(huì)一步一步地輸出推理步驟，直至獲得最終答案。圖1展示了CoT prompting與標(biāo)準(zhǔn)的prompting在ISA任務(wù)上的設(shè)計(jì)流程示例。受此啟發(fā)，本文認(rèn)為隱式情感的推理應(yīng)該是一個(gè)漸進(jìn)的過程，逐步推斷情感元素，最終以從容易到難的方式理解情感的極性。

綜合上述研究，本文基于prompt的微調(diào)方法，設(shè)計(jì)了一種三級(jí)聯(lián)合提示推理方法（TLJP），從而使模型實(shí)現(xiàn)對(duì)情感語句的聯(lián)合推理，在每一級(jí)推理過程中分別推斷出給定目標(biāo)的細(xì)粒度方面、對(duì)該方面的潛在觀點(diǎn)，以上最終的極性。通過這種從簡(jiǎn)單到困難的層級(jí)推理，可以逐步引導(dǎo)出整體情感的隱藏上下文，從而更容易地實(shí)現(xiàn)對(duì)最終極性的預(yù)測(cè)。為了實(shí)現(xiàn)三級(jí)聯(lián)合提示推理方法，豐富的常識(shí)知識(shí)和強(qiáng)大的分步多級(jí)推理的能力是必不可少的。然而，現(xiàn)有的模型并不具備這樣的能力，直接將三級(jí)聯(lián)合提示推理方法應(yīng)用于隱式情感分析任務(wù)很可能無法滿足性能上的要求。幸運(yùn)的是，隨著自然語言處理領(lǐng)域的預(yù)訓(xùn)練模型的發(fā)展，通用大語言模型 （large language models，LLMs） 開始展現(xiàn)出卓越的性能［10］。LLMs擁有非常豐富的世界知識(shí)，在常識(shí)理解方面表現(xiàn)出非凡的能力［11，12］。在此基礎(chǔ)上，本文使用大語言模型實(shí)現(xiàn)了TLJP中的前兩級(jí)提示調(diào)優(yōu)，為情感語句標(biāo)注方面和潛在觀點(diǎn)信息，構(gòu)建了一種融合LLM的兩級(jí)提示標(biāo)注架構(gòu)，有效地減輕了隱式情感分析任務(wù)的困難。為了控制模型的搜索空間，實(shí)現(xiàn)標(biāo)簽詞與情感極性的準(zhǔn)確映射，本文的第三級(jí)提示采用了一種融合情感知識(shí)的情感分析模型進(jìn)行最終的情感極性分析，該模型設(shè)計(jì)了由覆蓋范圍廣泛的同義詞組成的標(biāo)簽映射詞表，使模型充分利用標(biāo)簽詞表中豐富的語義特征，從而提升模型的性能［13］。綜上所述，本文提出了一個(gè)融合大語言模型的三級(jí)聯(lián)合提示隱式情感分析方法（TPISA），該方法的主要貢獻(xiàn)有以下三點(diǎn)：

a）本文提出的TLJP為隱式情感分析提供了一種分步多級(jí)推理情感極性的解決方案，使用類人腦思維鏈的方式逐級(jí)獲取語句三個(gè)關(guān)鍵的情感元素，彌補(bǔ)了隱式情感語句情感特征不足的問題。

b）本文充分利用了大語言模型豐富的世界知識(shí)和強(qiáng)大的推理能力，以此來推理情感語句的方面和潛在觀點(diǎn)，從而增強(qiáng)了模型對(duì)多標(biāo)簽情感語句的理解。

c）本文使用prompt-tuning并利用可訓(xùn)練的連續(xù)模板微調(diào)情感分析任務(wù)，同時(shí)提出了一種設(shè)計(jì)方法，通過建立一個(gè)包含廣泛同義詞的標(biāo)簽映射詞典，使模型能夠更有效地運(yùn)用這些標(biāo)簽中的豐富語義特征，實(shí)現(xiàn)標(biāo)簽詞與情感極性的準(zhǔn)確映射，進(jìn)而提高其性能表現(xiàn)。

1 相關(guān)工作

在情感分析領(lǐng)域，根據(jù)是否有明確的情感特征詞，可以將情感分析任務(wù)劃分為顯示情感分析和隱式情感分析。在情感分析任務(wù)的實(shí)際應(yīng)用中，顯示情感分析仍然是日常生活中主流的分析場(chǎng)景，其中情感相關(guān)的表述詞在文本中是明確存在的。而在社交媒體平臺(tái)上，網(wǎng)民的語言表達(dá)十分含蓄、不直觀，有著大量的隱式情感表達(dá)。根據(jù)相關(guān)研究表明，文本類語句中的隱式情感語句在情感表達(dá)中的比例已經(jīng)超過了30%，是情感表達(dá)中十分重要的組成部分［1］。這意味著對(duì)ISA研究有著明確且廣泛的應(yīng)用場(chǎng)景，如網(wǎng)絡(luò)輿情分析、電子商務(wù)評(píng)論和網(wǎng)絡(luò)防詐騙等。

針對(duì)ISA中缺少情感特征詞而造成情感分析難度大的問題，研究人員利用注意力機(jī)制、圖神經(jīng)網(wǎng)絡(luò)和知識(shí)增強(qiáng)等方法進(jìn)行了大量的研究和嘗試。Balahur等人［14］基于常識(shí)知識(shí)庫和上下文信息進(jìn)行隱式情感分析。Shutova等人［15］通過聚類詞來識(shí)別相應(yīng)的隱式情感，在此基礎(chǔ)上，采用弱監(jiān)督和無監(jiān)督的方法來學(xué)習(xí)隱喻的分布信息，從而識(shí)別句子中的隱喻表達(dá)。Deng等人［16］應(yīng)用循環(huán)信念傳播在實(shí)體之間傳播情感，并引入了四個(gè)規(guī)則方案來揭示情感約束。2019年Xiang等人［17］提出了一種基于注意力的神經(jīng)網(wǎng)絡(luò)模型，從多個(gè)方面來識(shí)別隱式極性，而不是傳統(tǒng)的注意力機(jī)制那樣只關(guān)注句子的一個(gè)特定方面。Wei等人［18］提出了一個(gè)具有多極性正交注意的BiLSTM模型來捕捉單詞與情緒極性之間的差異，并設(shè)計(jì)了正交限制來保持優(yōu)化過程中的差異。Zuo等人［19］結(jié)合隱式情感語句的完整語境提出了一種特定語境的異構(gòu)化圖卷積網(wǎng)絡(luò)框架，通過上下文語義信息來提高隱式情感語句分析的準(zhǔn)確性。Li等人［4］引入了大規(guī)模的外部知識(shí)來研究基于方面的隱式情感分析任務(wù)。

作為情感分析的一個(gè)關(guān)鍵分支，隱式情感分析已經(jīng)得到了充分的探索，如上述提到的研究方法，在特定類型的隱式情感分析問題上有著一定的效果提升，但仍然存在著如分類精度低等缺陷，無法實(shí)際應(yīng)用于所有的隱式情感語句。與顯示情感分析任務(wù)相比，實(shí)際的性能表現(xiàn)也不盡人意。與這些方法不同的是，本文提出了融合大語言模型的三級(jí)聯(lián)合提示隱式情感分析方法（TPISA），將大語言模型與本地預(yù)訓(xùn)練模型相結(jié)合，使用多級(jí)推理的方式逐級(jí)得出情感語句中隱含的情感元素，從而增強(qiáng)語句中的情感特征，使模型能夠更輕松地推理出最終的情感極性，提高隱式情感分析的性能。

2 模型

通過對(duì)人腦思維過程的研究分析，本文產(chǎn)生了這樣的思考：對(duì)于例如“這個(gè)新手機(jī)可以直接放到我的口袋里?！边@樣的句子，如果情感分析模型能像人類一樣，將推斷情感極性的過程分解，首先分析出語句可能描述的情感方面“便攜性”，然后判斷其潛在觀點(diǎn)是“好的”，那樣最終語句“積極”的極性也可以輕松預(yù)測(cè)了。根據(jù)這樣的推理思想，本文設(shè)計(jì)了三級(jí)聯(lián)合提示推理方法。該方法為情感分析模型處理隱式情感分析任務(wù)提供了新思路，以此為基礎(chǔ)，本文提出了一種融合大語言模型的三級(jí)聯(lián)合提示隱式情感分析模型。如圖1所示，該模型的框架主要包括融合了大語言模型的用于獲取情感元素的第一級(jí)提示和第二級(jí)提示，以及使用了預(yù)訓(xùn)練模型進(jìn)行情感極性分析的第三級(jí)提示。在本文中，情感分析任務(wù)的定義如下：給定一個(gè)句子S，它包含具有給定的目標(biāo)tT。本文模型的目的是預(yù)測(cè)目標(biāo)t在句子S中的情感極性y，即積極的、消極的和中性的（positive， negative and neutral）。

2.1 三級(jí)聯(lián)合提示設(shè)計(jì)流程

受到人類思維推理過程和思維鏈?zhǔn)教崾荆–oT-style prompt）［20，21］的多步推理方法的啟發(fā)，本文提出了三級(jí)聯(lián)合提示推理方法來逐級(jí)推斷出情感語句潛在方面、觀點(diǎn)和最終的情感極性，圖2中展示了該方法的示例。

在本文中，基于prompt機(jī)制，每一級(jí)提示都會(huì)融入前一級(jí)的情感知識(shí)。這樣構(gòu)造的提示文本不僅增強(qiáng)了模型理解上下文和方面詞的能力，而且還實(shí)現(xiàn)了情感分析上下游任務(wù)的統(tǒng)一，并最大限度地發(fā)揮掩碼語言模型（masked language model，MLM）的性能。因此本文研究的核心在于在語義上設(shè)計(jì)一個(gè)與情感分析緊密相關(guān)的提示模板。具體地，本文首先定義了情感語句可能的方面a和潛在的意見表達(dá)式o。詳細(xì)的三級(jí)聯(lián)合提示文本構(gòu)造如下：

a）第一級(jí)。這一級(jí)的目標(biāo)是得到語句S中給定目標(biāo)t可能的細(xì)粒度方面a，將原始輸入句子S的上下文語義信息和給定的目標(biāo)t作為情感知識(shí)，根據(jù)情感知識(shí)構(gòu)造提示文本。第一級(jí)提示的文本模板設(shè)計(jì)流程如圖3所示。

C1是第一級(jí)提示的上下文，xp1是根據(jù)第一級(jí)的情感知識(shí)構(gòu)造的提示文本。這一步可以用式（1）表示。

A=argmax p（a|S，t）（1）

b）第二級(jí)?；贑1和第一級(jí)提示得到的可能的方面a，繼續(xù)構(gòu)造模板，得到語句S中關(guān)于目標(biāo)t的潛在觀點(diǎn)o。具體的文本模板設(shè)計(jì)流程如圖4所示。

C2是連接S、t和a的第二級(jí)提示的上下文，xp2是根據(jù)第二級(jí)的情感知識(shí)構(gòu)造的提示文本。通過這一步可以得到語句S中屬于方面a的目標(biāo)t的潛在觀點(diǎn)o。這一步可以公式化為

O=argmax p（o|S，t，a）（2）

c）第三級(jí)。以完整的情感框架（S、t、a和o）作為上下文，構(gòu)造提示模板，利用模型推斷出極性t的最終答案，第三級(jí)提示的文本模板設(shè)計(jì)流程如圖5所示。

圖5 第三級(jí)提示文本模板設(shè)計(jì)流程

Fig.5 Design process of third-level prompt text template

C3是第三級(jí)提示的上下文，xp3是根據(jù)第三級(jí)的情感知識(shí)構(gòu)造的提示文本。這一步驟可以表示為

=argmax p（y|S，t，a，o）（3）

從三級(jí)聯(lián)合提示的文本模板的設(shè)計(jì)流程可以看出，針對(duì)不同領(lǐng)域數(shù)據(jù)集，提示文本會(huì)設(shè)計(jì)為不同的組成形式，表1中展示了針對(duì)SemEval2014 Restaurant數(shù)據(jù)集的三級(jí)聯(lián)合提示文本模板的部分設(shè)計(jì)示例。

2.2 融合大語言模型的兩級(jí)情感元素推理

在任務(wù)實(shí)現(xiàn)過程中，使用提示微調(diào)的模型進(jìn)行三級(jí)聯(lián)合提示的方案并沒有帶來模型性能上的提升，反而有了明顯的下降。這可能是三級(jí)聯(lián)合提示使模型變得過于龐雜，同時(shí)情感語句經(jīng)過多次構(gòu)建提示模板變得更為復(fù)雜，模型難以理解。而三級(jí)聯(lián)合提示又需要強(qiáng)有力的常識(shí)推理和多級(jí)分步推理的能力。針對(duì)上述問題，本文將前兩級(jí)提示推理過程與第三級(jí)提示推理過程分離開來，借助大語言模型LLMs的卓越性能實(shí)現(xiàn)對(duì)給定情感語句的推理。圖6展示了融合大語言模型的前兩級(jí)情感元素推理結(jié)構(gòu)。

2.2.1 構(gòu)建大語言模型的提示模版

在融合了LLMs的情況下，本文通過對(duì)原三級(jí)聯(lián)合提示模板的改造，構(gòu)建了新的適應(yīng)于大語言模型的提示模板，從而相當(dāng)于為第三級(jí)模型構(gòu)建一個(gè)初始的注釋數(shù)據(jù)集。具體的兩級(jí)提示模板設(shè)計(jì)流程如下：

第一級(jí)。構(gòu)造提示模板，直接詢問LLMs語句S中提及的目標(biāo)t的方面a是什么：

C1［S］. Which specific aspect of t is possibly mentioned？

第二級(jí)?；赟、t和a，構(gòu)造如下模板，向LLMs詢問由第1級(jí)提示得到的關(guān)于方面a的潛在觀點(diǎn)：

C2［C1， A］. Based on the common sense， what is the implicit opinion towards the mentioned aspect of t？

2.2.2 情感元素的推理增強(qiáng)

一個(gè)問題越需要深思熟慮的思考和分析，則通往最終答案的推理路徑的多樣性就越大［22］。而本文研究的隱式情感分析需要的就是復(fù)雜的思考和分析過程，因此，隱式情感分析的推理路徑應(yīng)是多樣的，而非單一的。本文在模型中引用了Wang等人［23］提出的自一致性機(jī)制來保障大語言模型推理的正確性。首先，從模型的解碼器中采樣，生成不同的推理路徑。每個(gè)推理路徑都可能給出方面a和觀點(diǎn)o的不同預(yù)測(cè)，保留其中置信度高的答案。最后將其應(yīng)用到下一步的文本輸入之中。

2.3 融合情感知識(shí)的第三級(jí)提示模型

第三級(jí)提示是三級(jí)聯(lián)合提示隱式情感分析方法的最后一步，目標(biāo)是根據(jù)前兩級(jí)提示得到的情感知識(shí)，通過構(gòu)造相應(yīng)的提示模板，將獲得的方面詞、潛在觀點(diǎn)和提示文本等語義信息進(jìn)行融合，增強(qiáng)預(yù)訓(xùn)練語言模型對(duì)輸入語句的情感信息的理解，最后經(jīng)過情感標(biāo)簽詞的映射，得出最終的情感極性。盡管大語言模型已經(jīng)在數(shù)據(jù)標(biāo)注、特征提取和嘗試推理等領(lǐng)域展現(xiàn)出了強(qiáng)大的性能。但是，大語言模型高昂的運(yùn)算成本對(duì)大規(guī)模的文本內(nèi)容分析構(gòu)成了巨大的阻礙。同時(shí)，本地的預(yù)訓(xùn)練語言模型在處理輿情分析等敏感和涉密領(lǐng)域的任務(wù)上有著不可替代的優(yōu)勢(shì)。因此，本文在第三級(jí)提示中，選擇使用預(yù)訓(xùn)練語言模型進(jìn)行情感極性的推理。圖7展示了第三級(jí)提示的模型結(jié)構(gòu)。

深度學(xué)習(xí)模型與外部知識(shí)的結(jié)合越來越緊密，利用外部知識(shí)可以提高深度學(xué)習(xí)模型的效果［24］。在第三級(jí)提示中，首先基于prompt機(jī)制構(gòu)造提示文本，將它與前兩級(jí)提示獲得的情感元素和情感語句進(jìn)行融合，然后通過預(yù)訓(xùn)練模型獲得輸入序列的文本向量表示，再經(jīng)過情感標(biāo)簽詞映射層進(jìn)行情感極性的映射，獲得最終的情感分類結(jié)果。

在輸入中添加提示文本，提升模型對(duì)下游任務(wù)的感知能力，可充分激發(fā)預(yù)訓(xùn)練模型的潛力［13］。因此，結(jié)合本文提出的三級(jí)聯(lián)合提示的推理流程，本文中亟待解決的問題就是設(shè)計(jì)一個(gè)在語義上能夠滿足隱式情感分析任務(wù)要求的提示模板。按照?qǐng)D5的第三級(jí)提示文本設(shè)計(jì)流程，本文為SemEval14 Laptop和Restaurant數(shù)據(jù)集［25］設(shè)計(jì)了如表1所示的提示文本模板。例如原始句子S=“Go and taste that new pro-duct”，則在本模塊中經(jīng)過模型處理后的語句為C3= “Go and taste that new pro-duct”， food， good， it was ［MASK］。其中［MASK］位置對(duì)應(yīng)方面詞“food”及其潛在觀點(diǎn)“good”的情感極性標(biāo)簽詞。

在進(jìn)行情感分析任務(wù)時(shí)，常用的預(yù)訓(xùn)練模型有 ELMo［26］、BERT［27］、XLNet［28］、ALBERT［29］、CGBERT［30］等。特別是 BERT 模型，因其基于雙向Transformer［31］結(jié)構(gòu)，能動(dòng)態(tài)地表征文本向量并捕獲句子中的雙向語義關(guān)系，因此在情感分析任務(wù)中的表現(xiàn)更為突出。鑒于此，本文方法選用了 BERT 預(yù)訓(xùn)練模型來處理輸入文本的詞嵌入表示。

為了更好地實(shí)現(xiàn)標(biāo)簽詞到情感極性的映射，本文設(shè)計(jì)情感標(biāo)簽詞表v，根據(jù)詞表與情感極性標(biāo)簽的映射關(guān)系進(jìn)行情感極性預(yù)測(cè)。此前，Schick等人［32］提出過一種人工構(gòu)建一一對(duì)應(yīng)的詞表映射器的方法，但該方法限制了標(biāo)簽詞的覆蓋范圍，具有較大的局限性。為了解決上述問題，本文受一種基于情感知識(shí)的標(biāo)簽映射詞表構(gòu)造方法［24］的啟發(fā)，為積極、校級(jí)、中性三種情感極性分別構(gòu)建了由不同粒度的同義詞組成的情感標(biāo)簽詞集，每一種情感極性對(duì)應(yīng)多個(gè)表達(dá)相關(guān)情感傾向的標(biāo)簽詞，如“bad”“chagrin”“regret”都對(duì)應(yīng)“negative”。當(dāng)預(yù)訓(xùn)練語言模型預(yù)測(cè)［MASK］部分在標(biāo)簽詞集上的概率分布時(shí)，將標(biāo)簽詞集v中的單詞概率映射為原始標(biāo)簽集合的概率［33］，其中某個(gè)標(biāo)簽的概率可由式（4）表示。

P（v|C3）=g（P（［MASK］=v|C3）|v∈vy）（4）

其中：g表示將標(biāo)簽詞集中每個(gè)單詞在［MASK］位置的預(yù)測(cè)概率轉(zhuǎn)換為原始標(biāo)簽預(yù)測(cè)概率的函數(shù)；vy表示原始標(biāo)簽集合中某個(gè)特定類別標(biāo)簽y所對(duì)應(yīng)的詞集。然后使用softmax函數(shù)對(duì)其作歸一化，獲得每個(gè)候選標(biāo)簽詞的概率P=（［MASK］=vi|xP），其中vi代表標(biāo)簽候選詞集v的第i個(gè)詞。最后，將候選標(biāo)簽詞的概率通過求和置信度分?jǐn)?shù)的方式映射到情感極性上，具體公式如下：

P（y|x）=∑i∈vyλiP（［MASK］=vi|C3）（5）

其中：λi表示候選標(biāo)簽詞是vi的概率的置信度；vy表示候選標(biāo)簽詞中屬于情感極性y的所有詞的集合。本文的損失函數(shù)使用交叉熵，通過最小化交叉熵誤差訓(xùn)練模型，具體公式如下：

Loss=－∑j∈|X| ∑i∈|Y|yiP（yi|x）（6）

其中：|X|表示樣本數(shù)量；|Y|表示情感極性數(shù)量。

3 實(shí)驗(yàn)

為了驗(yàn)證本文提出的融合大語言模型的三級(jí)聯(lián)合提示隱式情感分析方法的有效性，本文根據(jù)Li等人［4］的研究，將基準(zhǔn)的SemEval14 Laptop和Restaurant數(shù)據(jù)集的所有實(shí)例分為顯式和隱式情感，表2展示了數(shù)據(jù)集劃分的詳細(xì)信息。同時(shí)，得益于 Fan 等人［34］的工作，本文選擇的數(shù)據(jù)集包含了為目標(biāo)方面注釋的意見詞。本實(shí)驗(yàn)通過將TLJP模型與目前最先進(jìn)的模型進(jìn)行對(duì)比，以驗(yàn)證該模型的情感分析能力。

3.1 實(shí)驗(yàn)配置

本文實(shí)驗(yàn)使用了Python 3.8的深度學(xué)習(xí)庫Torch 1.11.1+CUDA113實(shí)現(xiàn)。實(shí)驗(yàn)使用了ChatGPT［35］作為主干LLM，并通過提示的方式調(diào)用API來進(jìn)行實(shí)驗(yàn)測(cè)試。為了驗(yàn)證本文提出的方法在隱式情感分類任務(wù)上的性能表現(xiàn)，本文采用宏平均值（macro F1）和準(zhǔn)確率（accuracy，Acc）作為實(shí)驗(yàn)的評(píng)價(jià)指標(biāo)；對(duì)比模型參考了隱式情感分析領(lǐng)域的相關(guān)文獻(xiàn)，選取了其中基于注意力機(jī)制的模型、基于圖神經(jīng)網(wǎng)絡(luò)的模型、基于知識(shí)增強(qiáng)的模型、基于大規(guī)模語料庫的預(yù)訓(xùn)練模型、其他基于大語言模型的情感分析五類模型中的一些公開的基礎(chǔ)模型以及常用的基線模型進(jìn)行對(duì)比實(shí)驗(yàn)，它們包括RGAT［6］、ASGCN［36］、BERT+PT［37］、CapsNet+ BERT［38］、BERT+SPC［27］、BERT+ADA［27］、BERT+RGAT［6］、TransEncAsp+ SCAPT［8］、BERTAsp+SCAPT［8］和Flan-T5［39］。

3.2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證TPISA模型在隱式情感分析任務(wù)上的效果，本文在SemEval14 Laptop和Restaurant數(shù)據(jù)集上進(jìn)行了詳細(xì)的對(duì)比實(shí)驗(yàn)，表3中展示了具體的實(shí)驗(yàn)數(shù)據(jù)和結(jié)果。

從表3中的實(shí)驗(yàn)數(shù)據(jù)分析可以得出，在所有比較模型中，多個(gè)基于圖神經(jīng)網(wǎng)絡(luò)的模型（RGAT、ASGCN）與基于知識(shí)增強(qiáng)的模型（BERT+PT、CapsNet+BERT、BERT+SPC、BERT+ADA、BERT+RGAT）的性能均要低于最優(yōu)性能基線BERTAsp+SCAPT。BERTAsp+SCAPT對(duì)大規(guī)模的情感方面語料庫進(jìn)行了重新預(yù)訓(xùn)練，因此對(duì)情感分析表現(xiàn)出了較強(qiáng)的能力。而TPISA模型在SemEval14 Laptop和Restaurant數(shù)據(jù)集的隱性情感分析任務(wù)上，準(zhǔn)確率分別達(dá)到了77.93%和82.31%，與當(dāng)前最先進(jìn)的模型BERTAsp+SCAPT相比，提高了5.65和6.72百分點(diǎn)，這是因?yàn)楸疚哪Ｐ屯ㄟ^分級(jí)推理添加提示文本的方式，由易到難地挖掘輸入語句的情感信息，并充分利用了大語言模型豐富的世界知識(shí)和強(qiáng)大的推理能力，有效地減輕了隱式情感分析任務(wù)的困難。此外，在飲食情感分析任務(wù)上，F(xiàn)lan-T5模型表現(xiàn)也十分出色，但仍略遜于本文提出的TPISA，這表明，本文使用GPT獲取情感元素的選擇是正確的。上述實(shí)驗(yàn)結(jié)果驗(yàn)證了經(jīng)過三級(jí)提示增強(qiáng)的預(yù)訓(xùn)練模型在隱式情感分析任務(wù)上的效果表現(xiàn)更加優(yōu)異，證明了融合大語言模型的方法能降低模型捕獲情感信息的難度，說明了本文提出的TPISA方法的有效性。

3.3 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出的三級(jí)聯(lián)合提示推理方法和融合了大語言模型來獲取情感元素的有效性，本文進(jìn)行了消融實(shí)驗(yàn)，實(shí)驗(yàn)的具體結(jié)果如表4所示。其中，TLJP表示模型中不使用LLMs，僅將三級(jí)聯(lián)合提示推理方法運(yùn)用到基礎(chǔ)的基于prompt的預(yù)訓(xùn)練模型中；TPISA-TLJP表示不使用三級(jí)聯(lián)合提示推理方法的模型；TLJP+Aspect表示僅保留第一級(jí)和第三級(jí)的兩級(jí)聯(lián)合提示推理方法的模型；TPISA-SV表示在TPISA模型的基礎(chǔ)上，去除掉情感標(biāo)簽詞映射（sentiment verbalizer，SV）模塊。從表4中可以看出，在不使用三級(jí)聯(lián)合提示方法的模型基礎(chǔ)上僅增加一級(jí)針對(duì)方面的提示推理模型，在最終性能表現(xiàn)有了一定的提高，分別為72.89%和73.94 %，這證明本文通過提示推理增加情感語句的思路是有效的。而僅使用了TLJP，不融合大語言模型的方法在性能上的表現(xiàn)僅為65.06%和6748%，甚至低于只有一級(jí)提示的基于prompt的預(yù)訓(xùn)練模型TPISA-TLJP的65.27%和69.74%。這可能是因?yàn)槎嗉?jí)的提示增強(qiáng)雖然增加了情感語句的特征信息，同時(shí)也增加了語句結(jié)構(gòu)的復(fù)雜度，反而增加了基礎(chǔ)模型在情感分析任務(wù)上的難度，所以整體上的效果與當(dāng)前的情感分析模型相比有著明顯的下降。因此，本文模型利用大語言模型豐富的常識(shí)知識(shí)和強(qiáng)大的推理能力進(jìn)行模型的前兩級(jí)提示，某種程度上簡(jiǎn)化了模型整體的復(fù)雜性。TPISA-SV的實(shí)驗(yàn)結(jié)果表明，在去除了SV模塊后，模型的性能表現(xiàn)略有下降，這證明了SV模塊的有效性。通過多個(gè)模塊的消融實(shí)驗(yàn)，證明了本文方法和模型在隱式情感分析任務(wù)上能夠有效提升模型的性能，在隱式情感分析任務(wù)中有著一定的優(yōu)勢(shì)。

3.4 實(shí)例分析

為了進(jìn)一步分析本文提出的融合大語言模型的三級(jí)聯(lián)合提示隱式情感分析方法在隱式情感分析任務(wù)上的有效性，本文在對(duì)比模型未正確分析出極性的情感語句中分別選取了情感為積極、消極和中性的六條樣例，并對(duì)它們?cè)赥PISA中的分析過程進(jìn)行實(shí)例分析，具體的對(duì)比結(jié)果如表5所示。

從表5中可以看出，選取的例句都是缺少直接的情感特征詞的語句，這也是它們沒有被其他對(duì)比模型準(zhǔn)確分析出情感極性的重要因素。例如表5中的例句“When asked， we had to ask more detailed questions so that we knew what the specials were.”，TPISA充分利用了大語言模型豐富的世界常識(shí)和強(qiáng)大的推理能力，可以十分容易地獲取到例句的可能方面“service”和潛在觀點(diǎn)“unsatisfactory”，這兩點(diǎn)情感元素與原語句形成了帶有明顯情感特征詞的新的情感語句，達(dá)到了引入情感知識(shí)的效果。進(jìn)一步到第三級(jí)提示中，模型就可以很輕松地分析出情感語句最終“negative”的情感極性了。

通過以上實(shí)例分析可以清晰地看到，本文提出的TPISA方法，將語句進(jìn)行分步分析、逐級(jí)挖掘出其中的可能方面和潛在觀點(diǎn)，從而豐富情感實(shí)例的情感元素，降低最后一級(jí)模型處理隱式情感分析任務(wù)的難度，最終得到正確的情感極性，在隱式情感分析任務(wù)上有著可靠且有效的性能表現(xiàn)。

4 結(jié)束語

本文提出了一種融合大語言模型的三級(jí)聯(lián)合提示隱式情感分析方法。該方法旨在通過多級(jí)推理的方式，由易到難地逐級(jí)推理，并最終得出情感極性。首先利用大語言模型強(qiáng)大的推理能力，通過構(gòu)建兩級(jí)提示分兩步獲得輸入語句的方面詞和潛在觀點(diǎn)；然后構(gòu)建第三級(jí)提示文本，并將其與前兩步中獲得的情感元素進(jìn)行拼接，構(gòu)成新的融合了情感知識(shí)的輸入，將該語句輸入到預(yù)訓(xùn)練模型，最終分析得出情感極性，完成隱式情感分析任務(wù)。

為了驗(yàn)證該方法的有效性，本文在SemEval14 Laptop和Restaurant數(shù)據(jù)集上進(jìn)行了充分的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，TPISA比現(xiàn)有的最佳性能基線表現(xiàn)出了更令人印象深刻的性能。總的來說，本文的TPISA為隱式情感分析提供了一種優(yōu)秀的解決方案。通過精心設(shè)計(jì)的三級(jí)聯(lián)合提示推理過程，TPISA方法能夠更全面、更準(zhǔn)確地理解文本中的情感傾向。實(shí)驗(yàn)結(jié)果也充分證明了本文方法在隱式情感分析任務(wù)中的有效性，為未來的情感分析研究提供了新的思路和方法。

參考文獻(xiàn)：

［1］Pang Bo， Lee L. Opinion mining and sentiment analysis ［J］. Foundations and Trends in Information Retrieval， 2008，2（1-2）：1-135.

［2］Dong Li， Wei Furu， Tan Chuanqi，et al. Adaptive recursive neural network for target-dependent twitter sentiment classification ［C］// Proc of the 52nd Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics，2014： 49-54.

［3］Shi Wenxuan， Li Fei， Li Jingye，et al. Effective token graph modeling using a novel labeling strategy for structured sentiment analysis ［C］// Proc of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2022： 4232-4241.

［4］Li Zhengyan， Zou Yicheng， Zhang Chong，et al. Learning implicit sentiment in aspect-based sentiment analysis with supervised contrastive pre-training ［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2021： 246-256.

［5］Wang Siyin， Zhou Jie， Sun Changzhi，et al. Causal intervention improves implicit sentiment analysis ［C］// Proc of the 29th International Conference on Computational Linguistics. ［S.l.］： International Committee on Computational Linguistics， 2022： 6966-6977.

［6］Wang Kai， Shen Weizhou， Yang Yunyi，et al. Relational graph attention network for aspect-based sentiment analysis ［C］// Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 3229-3238.

［7］Rietzler A， Stabinger S， Opitz P，et al. Adapt or get left behind： domain adaptation through BERT language model finetuning for aspect-target sentiment classification ［C］// Proc of the 12th Language Resources and Evaluation Conference. ［S.l.］： European Language Resources Association， 2020： 4933-4941.

［8］SCAPT-ABSA ［EB/OL］. （2022-02-03）. https：//github.com/tribleave/scapt-absa.

［9］王昱婷， 劉一伊， 張儒清， 等. 基于提示學(xué)習(xí)的文本隱式情感分類 ［J］. 山西大學(xué)學(xué)報(bào)， 2023， 46（3）： 509-517. （Wang Yuting， Liu Yiyi， Zhang Ruqing，et al. Learning implicit sentiment via prompt tuning ［J］. Journal of Shanxi University：Natural Science Edition， 2023， 46（3）： 509-517.）

［10］Ye Junjie， Chen Xuangting， Xu Nuo，et al. A comprehensive capabi-lity analysis of GPT-3 and GPT-3. 5 series models ［EB/OL］. （2023-03-18） ［2024-03-19］. https：//doi.org/10.48550/arXiv.2303.10420.

［11］Paranjape B， Michael J， Ghazvininejad M，et al. Prompting contrastive explanations for commonsense reasoning tasks ［C］// Findings of the Association for Computational Linguistics： ACL-IJCNLP 2021. Stroudsburg， PA： Association for Computational Linguistics， 2021： 4179-4192.

［12］Liu Jiacheng， Liu Alisa， Lu Ximing，et al. Generated knowledge prompting for commonsense reasoning ［C］// Proc of the 60th Annual Meeting of the Association for Computational Linguistics. 2022： 3154-3169.

［13］張心月， 劉 蓉， 魏馳宇， 等. 融合提示知識(shí)的方面級(jí)情感分析方法 ［J］. 計(jì)算機(jī)應(yīng)用， 2023， 43（9）： 2753-2759. （Zhang Xinyue， Liu Rong， Wei Chiyu，et al. Aspect-based sentiment analysis method with integrating prompt knowledge ［J］. Journal of Computer Applications， 2023 （9）： 2753-2759.）

［14］Balahur A， Hermida J M， Montoyo A. Detecting implicit expressions of emotion in text： a comparative analysis［J］. Decision Support Systems， 2021， 53（4）： 742-753.

［15］Shutova E， Teufel S， Korhonen A. Statistical metaphor processing ［J］. Computational Linguistics， 2013， 39（2）： 301-353.

［16］Deng Lingjia， Wiebe J. Sentiment propagation via implicature constraints ［C］// Proc of the 14th Conference of the European Chapter of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2014： 377-385.

［17］Xiang Chunli， Ren Yafeng， Ji Donghong. Identifying implicit polarity of events by using an attention-based neural network model ［J］. IEEE Access， 2019， 7： 133170-133177.

［18］Wei J， Liao J， Yang Z， et al. BiLSTM with multi-polarity orthogonal attention for implicit sentiment analysis ［J］. Neurocomputing， 2020， 383： 165-173.

［19］Zuo Enguang， Zhao Hui， Chen Bo，et al. Context-specific heterogeneous graph convolutional network for implicit sentiment analysis ［J］. IEEE Access， 2020， 8： 37967-37975.

［20］Wei J， Wang Xuezhi， Schuurmans D，et al. Chain-of-thought promp-ting elicits reasoning in large language models ［J］. Advances in Neural Information Processing Systems， 2022， 35： 24824-24837.

［21］Fu Yao， Peng Hao， Sabharwal A，et al. Complexity-based prompting for multi-step reasoning ［EB/OL］. （2023-01-30） ［2024-03-19］. https：//doi.org/10.48550/arXiv.2210.00720.

［22］Evans J S B T. Intuition and reasoning： a dual-process perspective ［J］. Psychological Inquiry， 2010， 21（4）： 313-326.

［23］Wang Xuezhi， Wei J， Schuurmans D，et al. Self-consistency improves chain of thought reasoning in language models ［C］ // Proc of International Conference on Learning Representations. 2023.

［24］Bengio Y， Others. From system 1 deep learning to system 2 deep learning［EB/OL］.（2019）. https：//neurips.cc/virtual/2019/invited-talk/15488.

［25］Pontiki M， Galanis D， Pavlopoulos J，et al. SemEval-2014 task 4： aspect based sentiment analysis ［C］// Proc of the 8th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2014： 27-35.

［26］Peters M E， Neumann M， Iyyer M，et al. Deep contextualized word representations ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2018： 2227-2237.

［27］Devlin J， Chang M W， Lee K，et al. BERT： pre-training of deep bidirectional transformers for language understanding ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4171-4186.

［28］Yang Zhilin， Dai Zihang， Yang Yiming，et al. XLNet： generalized autoregressive pretraining for language understanding ［EB/OL］. （2019）［2024-03-19］. https：//doi.org/10.48550/arXiv.1906.08237.

［29］Lan Zhenzhong， Chen Mingda， Goodman S，et al. ALBERT： a lite BERT for self-supervised learning of language representations ［EB/OL］. （2019） ［2024-03-19］. https：//doi.org/10.48550/arXiv.1909.11942.

［30］Wu Zhengxuan， Ong D C. Context-guided BERT for targeted aspect-based sentiment analysis［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2021： 14094-14102.

［31］Vaswani A， Shazeer N， Parmar N，et al. Attention is all you need ［C］// Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：6000-6010.

［32］Schick T， Schütze H. Exploiting cloze-questions for few-shot text classification and natural lbzWXur5oeHnabt1+uuWwCA==anguage inference ［C］// Proc of the 16th Conference of the European Chapter of the Association for Computational Linguistics： Main Volume. Stroudsburg， PA： Association for Computational Linguistics， 2021： 255-269.

［33］Hu Shengding， Ding Ning， Wang Huadong，et al. Knowledgeable prompt-tuning： incorporating knowledge into prompt verbalizer for text classification ［EB/OL］.（ 2021） ［2024-03-19］. https：//doi.org/10.48550/arXiv.2108.02035.

［34］Fan Zhifang， Wu Zhen， Dai Xinyu，et al. Target-oriented opinion words extraction with target-fused neural sequence labeling ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2019： 2509-2518.

［35］Ouyang Long， Wu J， Jiang Xu，et al. Training language models to follow instructions with human feedback ［J］. Advances in Neural Information Processing Systems， 2022， 35： 27730-27744.

［36］Zhang Chen， Li Qiuchi， Song Dawei. Aspect-based sentiment classification with aspect-specific graph convolutional networks ［C］// Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4567-4577.

［37］Xu Hu， Liu Bing， Shu Lei，et al. BERT post-training for review rea-ding comprehension and aspect-based sentiment analysis ［C］// Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2019： 2324-2335.

［38］Jiang Qingnan， Chen Lei， Xu Ruifeng，et al. A challenge dataset and effective models for aspect-based sentiment analysis ［C］// Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Proces-sing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 6280-6285.

［39］Chung H W， Hou Le， Longpre S，et al. Scaling instruction-finetuned language models ［EB/OL］. （2022） ［2024-03-19］. https：//doi.org/10.18653/arXiv.2210.11416.