摘 要:隨著互聯(lián)網(wǎng)的不斷發(fā)展,人們廣泛使用微博、推特等社交媒體平臺,導(dǎo)致每日涌現(xiàn)出巨量的用戶生成內(nèi)容。針對熱點/關(guān)注話題,分析這些內(nèi)容背后用戶的態(tài)度具有重要意義,可以幫助相關(guān)人員決策,因此立場檢測任務(wù)的目標(biāo)是根據(jù)指定的目標(biāo)和給定的文本,確定用戶對目標(biāo)的立場(支持/反對/中立)。針對立場檢測方面的研究闡述了立場檢測任務(wù)、應(yīng)用、相關(guān)數(shù)據(jù)資源和相關(guān)方法。在任務(wù)方面,除了常規(guī)的單/多/跨目標(biāo)立場檢測任務(wù),還梳理了零/少樣本立場檢測的相關(guān)工作;在數(shù)據(jù)資源方面,對近年來公開的數(shù)據(jù)資源進(jìn)行了詳細(xì)梳理介紹;在方法方面,除了傳統(tǒng)機(jī)器學(xué)習(xí)方法、神經(jīng)網(wǎng)絡(luò)等方法,還梳理了基于預(yù)訓(xùn)練模型的方法。最后對立場檢測的發(fā)展現(xiàn)狀進(jìn)行了總結(jié)闡述,并展望了接下來可能的研究熱點。
關(guān)鍵詞:目標(biāo);立場;立場檢測;零/少樣本立場檢測;預(yù)訓(xùn)練模型
中圖分類號:TP391.1 文獻(xiàn)標(biāo)志碼:A 文章編號:1001-3695(2024)11-001-3201-14
doi:10.19734/j.issn.1001-3695.2024.01.0043
Review of research on stance detection in social media
Zhao Xiaobinga,b,c, Yin Zhaoninga,b,c, Wang Zihaoa,b,c, Zhang Yuanshuoa,b,c, Chen Boa,b,c?
(a. Dept. of Information Engineering, b. National Language Resource Monitoring amp; Research Center of Minority Languages, c. Language Information Security Research Center Institute of National Security MUC, Minzu University of China, Beijing 100081, China)
Abstract:With the continuous development of the Internet, people widely use social media platforms such as Weibo and Twitter, resulting in a huge amount of user generated content every day. It is important to analyze the user’s attitude based on the user generated content for hot/focused topics as it can help relevant stakeholders make informed decisions. Therefore, the goal of the stance detection task is to determine the user’s stance (favor/against/neutral) on the target according to the specified target and the given content. This paper described the stance detection tasks, applications, related data resources and related works. For stance detection tasks, in addition to the previous single/multiple/cross target stance detection tasks, this paper also organized the works related to zero/small sample stance detection. For data resources, this paper gave a detailed introduction to the data resources published in recent years. For stance detection methods, in addition to traditional machine learning methods, neural networks and other methods, this paper also sorted out the methods based on the pre training model. Finally, it summarized the development status of stance detection, and looked forward to the possible research hotspots in the future.
Key words:target; stance; stance detection; zero/few-shot stance detection; pre-trained model
0 引言
近年來互聯(lián)網(wǎng)得到了快速的發(fā)展,微博、推特、論壇以及INS等社交媒體平臺也隨著出現(xiàn)。這些平臺中每天會產(chǎn)生大量的用戶生成內(nèi)容,如用戶發(fā)布的微博評論、推特評論、論壇評論等,這些內(nèi)容往往與一些熱點話題,如熱點事件、熱門商品、新政策、公眾人物等相關(guān)。對這些用戶生成內(nèi)容進(jìn)行挖掘分析,可以獲得用戶對話題的一些反饋看法,進(jìn)而可以獲得公眾的意見和態(tài)度,從而幫助相關(guān)人員決策。
立場檢測任務(wù)是根據(jù)給定的目標(biāo)或話題,基于用戶生成內(nèi)容判定用戶的立場,一般地,立場有支持、反對和中立三個類別。李洋等人[1]指出,支持的立場表現(xiàn)不僅包括發(fā)表直接或間接對某人或某事的行為進(jìn)行支持的評論,還包括少數(shù)用戶的評論內(nèi)容如果對目標(biāo)相反的某人或某事進(jìn)行了反對批評、贊同了他人對目標(biāo)支持的評論。反對的立場包括直接或間接對某人或某事的行為進(jìn)行反對,和對目標(biāo)相反的某人或某事進(jìn)行贊同附和或內(nèi)容贊同了他人對目標(biāo)反對的言論。例如,針對政策法規(guī)“深圳禁摩限電”,有用戶發(fā)表自己的見解:“講道理禁摩禁電好啊”(評論1),就表現(xiàn)出對該政策的支持立場;針對新興產(chǎn)品“iPhone SE”,用戶使用后發(fā)表感想“se雖然性價比高,但是5s外觀沒法裝了,還是等七吧”(評論2),表達(dá)出對該產(chǎn)品反對的立場;對于事件“俄羅斯在敘利亞的反恐行動”,用戶給出了“出動架次和戰(zhàn)果很不成比例,應(yīng)該繼續(xù)增派飛機(jī)增加轟炸密度,再不速戰(zhàn)速決后果很嚴(yán)重”(評論3)的評論,表現(xiàn)出對于該事件的支持立場。
立場檢測任務(wù)與情感分析任務(wù)有緊密聯(lián)系,立場檢測由情感分析衍生,但兩者是不同的任務(wù)。情感分析任務(wù)是判斷用戶生成內(nèi)容透露出積極情緒還是消極情緒;立場檢測任務(wù)是基于用戶生成內(nèi)容判定用戶對于特定的話題所表達(dá)的主觀立場。例如前文中的評論3雖然透露出用戶消極的情緒,但對給定的話題表現(xiàn)了支持的立場。
立場檢測在早期任務(wù)設(shè)定中是分析在線論壇上的辯論和新聞文章文本,最早出現(xiàn)的立場檢測任務(wù)是對2005年美國國會發(fā)言辯論記錄[2]進(jìn)行支持或反對立場的辨認(rèn)。近年來由于立場檢測任務(wù)引起了廣泛關(guān)注,相關(guān)研究也逐漸增多,特別是SemEval 2016 task 6和NLPCC 2016 task 4的發(fā)布,使得更多的研究者開始關(guān)注立場檢測方向。同時,立場檢測技術(shù)也獲得了廣泛應(yīng)用,例如社交媒體監(jiān)測、政治選舉分析、品牌聲譽(yù)管理、新聞報道等。
社交平臺的出現(xiàn),促使立場檢測分析的對象由辯論文章轉(zhuǎn)向短文本,任務(wù)目標(biāo)也由單目標(biāo)逐步發(fā)展出多目標(biāo)、跨目標(biāo)、零/少樣本等多種任務(wù),數(shù)據(jù)資源也由較早針對單目標(biāo)任務(wù)的SemEval 2016 task 6和NLPCC 2016 task 4數(shù)據(jù)集逐步發(fā)展出了適應(yīng)多目標(biāo)任務(wù)的數(shù)據(jù)集、適應(yīng)跨目標(biāo)任務(wù)的P-stance,WT-WT和適應(yīng)零/少樣本任務(wù)的VAST。早期解決立場檢測任務(wù)依賴基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法,但神經(jīng)網(wǎng)絡(luò)的興起彌補(bǔ)了傳統(tǒng)機(jī)器學(xué)習(xí)方法的不足,減少了對人工構(gòu)造特征的依賴,可自動學(xué)習(xí)到更好的特征。隨后立場檢測方法得到進(jìn)一步發(fā)展,可以借力于圖神經(jīng)網(wǎng)絡(luò)方法、遷移學(xué)習(xí)方法和預(yù)訓(xùn)練模型方法等。
本文對立場檢測任務(wù)進(jìn)行綜述,首先介紹立場檢測的任務(wù);然后從立場檢測應(yīng)用場景和研究現(xiàn)狀對立場檢測的相關(guān)工作進(jìn)行了整理,并對不同方法的優(yōu)缺點進(jìn)行了對比;接著對立場檢測的公開數(shù)據(jù)資源從早期經(jīng)典資源和現(xiàn)有常用資源兩個角度進(jìn)行了歸納;最后對當(dāng)前立場檢測的方法進(jìn)行了總結(jié),并展望了立場檢測研究的未來趨勢。
1 立場檢測任務(wù)
立場檢測任務(wù)按照目標(biāo)數(shù)量、目標(biāo)關(guān)聯(lián)性以及學(xué)習(xí)樣本數(shù)量等方面的不同一般可劃分為四類:單目標(biāo)立場檢測、多目標(biāo)立場檢測、跨目標(biāo)立場檢測和零/少樣本立場檢測。各類的示例如表1所示。
1.1 單目標(biāo)立場檢測
單目標(biāo)立場檢測任務(wù)[3,4],又稱特定目標(biāo)立場檢測,其目標(biāo)是給定一個目標(biāo)t和一段文本d,利用文本信息分析出對指定目標(biāo)的態(tài)度是持支持/中立/反對(favor/neutral/against),即
D={d1,d2,…,dn}
Si=f(di,t)∈{favor/neutral/against}
i=1,2,…,n
單目標(biāo)立場檢測任務(wù)是目前最常見的任務(wù),自SemEval 2016 task 6和NLPCC 2016 task 4這兩項單目標(biāo)立場檢測任務(wù)發(fā)布以來,引起了大批學(xué)者對立場檢測問題的關(guān)注,并且以前的研究工作大多是圍繞著這兩項任務(wù)數(shù)據(jù)集展開的。面向單目標(biāo)立場檢測任務(wù)的模型往往具有較差的泛化能力,在Sem-Eval和NLPCC會議的數(shù)據(jù)集中,每個數(shù)據(jù)集包含多個目標(biāo)主題、但每個模型往往只能適用于一個目標(biāo),這歸因于模型對于每個目標(biāo)都用該目標(biāo)的語料單獨訓(xùn)練模型,若換一個目標(biāo),模型的性能就明顯下降。
單目標(biāo)立場檢測任務(wù)的難點之一是在文本中準(zhǔn)確地確定作者對特定目標(biāo)的立場。有時,目標(biāo)可能沒有在文本中明確提到,而是隱含在語境中,需要捕捉與目標(biāo)相關(guān)的信息,增加了任務(wù)的難度;在實際應(yīng)用中,不同立場的樣本數(shù)量可能不平衡,導(dǎo)致模型在訓(xùn)練過程中對于某些類別的學(xué)習(xí)不足,處理不平衡數(shù)據(jù)分布也是一個挑戰(zhàn);此外還面臨上下文依賴性、多義性和歧義性、語義復(fù)雜性和領(lǐng)域適應(yīng)等難點。
1.2 多目標(biāo)立場檢測
單目標(biāo)立場檢測模型往往獨立地針對分析某個特定目標(biāo),而Sobhani等人[5]發(fā)現(xiàn)目標(biāo)之間可能會存在聯(lián)系,因此提出了多目標(biāo)立場檢測任務(wù),其目標(biāo)是給定一段文本d和多個目標(biāo)t1,t2,…,tn,利用文本信息同時判定針對指定的兩個或多個目標(biāo)的立場,多個目標(biāo)之間可能會存在潛在的聯(lián)系,即
D={d1,d2,…,dn}
Sij=f(di,tj)∈{favor/neutral/against}
i, j=1,2,…,n
多目標(biāo)立場檢測任務(wù)多數(shù)被應(yīng)用于分析政治候選人之間的關(guān)系或被用于分析客戶對多個品牌的同一類產(chǎn)品的所表達(dá)的立場,例如針對美國總統(tǒng)大選的文本,如果一條推文對特朗普當(dāng)選表示了支持態(tài)度,那么對他的對手就表達(dá)了反對的態(tài)度。Li等人[6]針對多目標(biāo)立場檢測任務(wù)提出了一種方法:利用所有目標(biāo)的數(shù)據(jù)訓(xùn)練單個模型,而不是針對每個目標(biāo)訓(xùn)練一個模型,這種方法可以通過利用所有目標(biāo)的數(shù)據(jù)來提升模型對于不同目標(biāo)的泛化能力。
多目標(biāo)立場檢測任務(wù)相比于單目標(biāo)立場檢測任務(wù),面臨了更多的挑戰(zhàn)和復(fù)雜性。對于一個文本片段,可能與多個目標(biāo)相關(guān)聯(lián),而且這些關(guān)聯(lián)可能是隱含的。模型需要確定文本片段與哪些目標(biāo)相關(guān),以正確地分配立場;多目標(biāo)任務(wù)可能需要處理比單目標(biāo)任務(wù)更大規(guī)模的數(shù)據(jù),而且數(shù)據(jù)集中目標(biāo)的數(shù)量可能變化較大。這對于模型的訓(xùn)練和處理階段都提出了挑戰(zhàn);在多目標(biāo)場景下,標(biāo)記樣本的標(biāo)簽也可能更加復(fù)雜和不確定。作者可能會表達(dá)模糊或模棱兩可的立場,導(dǎo)致標(biāo)簽的噪聲和不確定性;此外還需要克服目標(biāo)識別與關(guān)系建模、計算復(fù)雜性和領(lǐng)域適應(yīng)復(fù)雜性等問題。
1.3 跨目標(biāo)立場檢測
跨目標(biāo)立場檢測[7]利用了遷移學(xué)習(xí)的思想,其任務(wù)是利用基于源目標(biāo)K的語料對模型進(jìn)行訓(xùn)練,使其學(xué)習(xí)其中的規(guī)律,然后對基于新目標(biāo)O的文本中檢測立場,源目標(biāo)和新目標(biāo)一般屬于同一領(lǐng)域B,如:在P-Stance[8]數(shù)據(jù)集中,模型在“特朗普”這個目標(biāo)上進(jìn)行訓(xùn)練,在另一個目標(biāo)“拜登”上進(jìn)行測試,定義為
D={d1,d2,…,dn}
Sio=f(di,tk)∈{favor/neutral/against}
i=1,2,…,n;k=1,2,…,n;o=1,2,…,n
K∩O≠K, K∩O≠O,K∈B,O∈B
單目標(biāo)立場檢測通常關(guān)注一個確定的目標(biāo),多目標(biāo)立場檢測涉及多個目標(biāo)但通常是獨立處理的,跨目標(biāo)任務(wù)則需要考慮不同目標(biāo)之間的差異,因為作者可能對不同目標(biāo)有不同的觀點??缒繕?biāo)任務(wù)目前面臨的困難包括:數(shù)據(jù)稀疏性,即在跨目標(biāo)情境中,每個目標(biāo)的標(biāo)記數(shù)據(jù)可能相對有限,導(dǎo)致數(shù)據(jù)稀疏性,模型需要在有限的標(biāo)記數(shù)據(jù)上有效學(xué)習(xí)并泛化到多個目標(biāo);一致性與變化,作者可能在不同目標(biāo)上保持一致的立場,也可能在不同目標(biāo)上表達(dá)出差異;目標(biāo)動態(tài)性,在跨目標(biāo)任務(wù)中目標(biāo)可能是動態(tài)變化的,新的目標(biāo)可能隨著時間的推移出現(xiàn)。模型需要能夠適應(yīng)新目標(biāo)的加入和舊目標(biāo)的變化;領(lǐng)域適應(yīng),單目標(biāo)或多目標(biāo)立場檢測任務(wù)通常在相對穩(wěn)定的領(lǐng)域中進(jìn)行,而跨目標(biāo)任務(wù)可能涉及多個領(lǐng)域或主題,要求模型具有更強(qiáng)的領(lǐng)域適應(yīng)能力。
雖然跨目標(biāo)立場檢測任務(wù)旨在建模模型的泛化能力,但是當(dāng)涉及到不同領(lǐng)域的目標(biāo)和大量的目標(biāo)時,模型仍然難以具有很好的泛化性,進(jìn)而衍生了新的立場檢測任務(wù)——零/少樣本立場檢測。
1.4 零/少樣本立場檢測
訓(xùn)練特定目標(biāo)立場檢測模型時需要大量人工標(biāo)注的訓(xùn)練語料,但是當(dāng)目標(biāo)數(shù)量過多時,人工標(biāo)注數(shù)據(jù)的代價昂貴且耗時多,這使得立場檢測難以實用化??缒繕?biāo)立場檢測雖然能減少對新目標(biāo)訓(xùn)練數(shù)據(jù)的需求,但目前基于遷移學(xué)習(xí)的模型,首先需要源目標(biāo)與新目標(biāo)之間具有聯(lián)系,進(jìn)而需要將從源目標(biāo)數(shù)據(jù)中學(xué)習(xí)到的規(guī)律遷移到任一新的目標(biāo),這使得跨目標(biāo)立場檢測的效果并不理想。為此,Allaway等人[9]提出了零/少樣本立場檢測,其中零樣本立場檢測是讓模型在大量全新未見的目標(biāo)上進(jìn)行效果評估,少樣本立場檢測是基于少量的訓(xùn)練樣例訓(xùn)練模型,再讓模型在大量目標(biāo)上進(jìn)行效果評估,這兩種任務(wù)設(shè)定都不需要新目標(biāo)O與源目標(biāo)K之間的知識,定義為
D={d1,d2,…,dn}
Sio=f(di,tk)∈{favor/neutral/against}
i=1,2,…,n;k=1,2,…,n;o=1,2,…,nK∩O≠K,K∩O≠O,K∈B,OB
零樣本立場檢測具有更好的應(yīng)用場景。
零/少樣本立場檢測目前也仍面臨許多挑戰(zhàn):由于缺乏大量標(biāo)記數(shù)據(jù),模型需要更好地學(xué)習(xí)能夠泛化到新任務(wù)或目標(biāo)的表示。這就要求設(shè)計有效的特征表示學(xué)習(xí)方法;零/少樣本任務(wù)中的元學(xué)習(xí)方法被廣泛應(yīng)用,但如何設(shè)計更加適應(yīng)立場檢測任務(wù)的元學(xué)習(xí)算法,以提高模型對少量樣本的學(xué)習(xí)能力,仍然是一個研究問題。
立場檢測任務(wù)可劃分為四類,除去不同挑戰(zhàn),還包含共性挑戰(zhàn),通過深入研究這些任務(wù)之間的異同,能夠更全面地理解立場檢測領(lǐng)域的復(fù)雜性,并為解決這些挑戰(zhàn)提供深刻的見解,即立場檢測模型可能在不同領(lǐng)域、主題或文體中性能不穩(wěn)定。領(lǐng)域適應(yīng)是一個需要關(guān)注的問題,以確保模型在多樣化的文本數(shù)據(jù)上表現(xiàn)良好;由于社交媒體文本的特殊性,包括縮寫、非正式語言和表達(dá)形式的多樣性,模型需要能夠有效處理這些挑戰(zhàn)。
2 立場檢測的應(yīng)用
立場檢測在當(dāng)前用戶生成內(nèi)容爆炸式增長的時代具有廣闊的應(yīng)用情境,主要的應(yīng)用情境有:謠言驗證、觀點調(diào)研和輿情分析,其詳細(xì)介紹如下。
2.1 謠言驗證
隨著社交平臺的快速發(fā)展,互聯(lián)網(wǎng)每天會產(chǎn)生海量信息和新聞,人們能從社交平臺快速獲得自己關(guān)注的信息,因此人們對此類平臺的依賴程度不斷上升。然而,網(wǎng)絡(luò)環(huán)境魚龍混雜,各類平臺都充斥著各種虛假謠言,網(wǎng)絡(luò)信息的可靠性也因此逐步引起了人們的關(guān)注,進(jìn)而催生了謠言驗證[10]的任務(wù)。
Li等人[11]利用多任務(wù)學(xué)習(xí)的方法進(jìn)行謠言和立場的聯(lián)合識別。Baly等人[12]提出了支持文本、立場檢測、謠言驗證之間的相互依賴關(guān)系的阿拉伯語語料庫,通過在語料庫上實驗,證明統(tǒng)一的標(biāo)注對于立場檢測與謠言驗證的效果均有提升。Yu等人[13]使用序列的局部和全局表征并增強(qiáng)立場和謠言任務(wù)之間的交互,改進(jìn)了共享層堆疊特定任務(wù)層的多任務(wù)學(xué)習(xí)框架,使得謠言判別性能得到提高。
謠言驗證和立場檢測之間存在差異,但兩者可以共同增強(qiáng)[14]。如,通過交叉檢查相關(guān)帖子中表達(dá)的立場可以驗證謠言,而立場也會受到謠言的性質(zhì)影響。謠言驗證任務(wù)主要包含兩方面任務(wù),即謠言檢測[15]和假新聞檢測[16],謠言檢測的現(xiàn)用文本大多是微博或推特等平臺的短文本,這類文本具有信息語法規(guī)范性差、口語化、新詞匯層出不窮和文本噪聲等特點,假新聞檢測和新聞網(wǎng)站的新聞相比,文本平均長度也較短,可使用的上下文信息也比較有限,因此使得謠言檢測和假新聞檢測任務(wù)具有難點。
2.2 觀點調(diào)研
立場檢測可用于觀點調(diào)研[1],企業(yè)在市場營銷的過程中首先要對自身品牌營銷出良好的口碑,才能吸引更多地顧客購買自己的產(chǎn)品,因此多數(shù)企業(yè)可以通過立場檢測技術(shù),對群眾在微博等社交媒體平臺上發(fā)布的與企業(yè)本身相關(guān)的評論進(jìn)行分析,進(jìn)而對企業(yè)的營銷和部門結(jié)構(gòu)進(jìn)行相應(yīng)的優(yōu)化;企業(yè)售出新一代產(chǎn)品后,也可通過立場檢測技術(shù)快速分辨出顧客對產(chǎn)品的不滿評論,針對評論中不滿的點,企業(yè)可以快速了解到顧客的需求,尋找到下一代產(chǎn)品的革新方向[17],Amiri等人[18]通過立場檢測技術(shù)發(fā)現(xiàn)了品牌客戶流失的現(xiàn)象。此外,立場檢測可基于社交用戶的信息對用戶進(jìn)行畫像分析,可以協(xié)助進(jìn)行客戶的個性化推薦[19]。在醫(yī)療健康領(lǐng)域,隨著在線問診的普及,通過收集分析病患對醫(yī)生的評價,利用立場檢測技術(shù),可以快速了解病患對醫(yī)生的服務(wù)態(tài)度和專業(yè)程度的評價等[17]。Luo等人[20]對全球氣候變暖話題收集分析了群眾的看法。
2.3 輿情分析
隨著人們社會生活和觀念的變化和發(fā)展,政府會頒布或修改一些政策法規(guī),促進(jìn)社會的長久發(fā)展,比如在國內(nèi)引發(fā)熱議的“三胎政策”“離婚冷靜期”等,可利用立場檢測技術(shù)快速分辨民眾對這類政策的立場分布[21]。又如在美國政治大選[2]中,可利用立場檢測技術(shù)對推特等社交平臺的文本進(jìn)行分析,從而協(xié)助研究者分析民眾對不同候選人之間的態(tài)度,來預(yù)測政治大選的結(jié)果。
Lai等人[22]分析了英國脫歐后,用戶發(fā)表在推特上評論的立場。Xi等人[23]通過分析Facebook上用戶發(fā)的文字和圖片分析其政治傾向。Giovanni等人[24]分析了民眾發(fā)表在推特上有關(guān)意大利憲法公投事件評論的立場。朱玉[25]采集了新浪微博上關(guān)于“新型肺炎”的相關(guān)話題評論數(shù)據(jù),分別包括疫情防控、復(fù)工復(fù)產(chǎn)、居家隔離和支援武漢四個話題,分析了群眾的立場。以上工作表明,模型判定評論立場時,除文本信息外,也借助了圖片信息,實際場景的需求逐漸需要多模態(tài)方法解決;社交平臺的功能不斷迭代,有學(xué)者也利用了社交平臺的用戶關(guān)聯(lián)[26]協(xié)助立場分析,進(jìn)一步有效地分析利用社交平臺的功能分析立場也逐漸成為熱門方向。
3 相關(guān)數(shù)據(jù)資源及評價指標(biāo)
立場檢測作為自然語言處理領(lǐng)域中的重要任務(wù),近年來受到了國內(nèi)外越來越多的學(xué)者的關(guān)注,目前已有多份公開發(fā)布的數(shù)據(jù)資源,代表性的資源主要包括英文的SemEval 2016 task 6、中文的NLPCC 2016 task 4和FNC-I等。這些數(shù)據(jù)資源一般包含人工標(biāo)注出的幾千到幾萬條不等的文本數(shù)據(jù),其中每個文本數(shù)據(jù)都有一個與之相關(guān)的目標(biāo)或話題,以及需要識別的該文本的作者或說話者對該目標(biāo)或話題的立場。數(shù)據(jù)集中的文本通常來自新聞文文本、博客文章、社交媒體或其他在線文本資源。在研究中被使用最多的數(shù)據(jù)集是英文數(shù)據(jù)資源,受到英文研究的啟發(fā),中文的數(shù)據(jù)資源也得到了很好的發(fā)展,小語種的研究也在逐步建立起來。接下來詳細(xì)介紹主要的數(shù)據(jù)資源,歸納各數(shù)據(jù)資源的特點,并介紹分析立場檢測任務(wù)的評價指標(biāo)。
3.1 經(jīng)典數(shù)據(jù)資源
3.1.1 SemEval 2016 task 6
SemEval 2016 task 6[3]首次提出了一個與推特短文本相關(guān)的檢測立場共享任務(wù),其目標(biāo)是給出一條推特、文本和一個目標(biāo)(主要是實體,如個人、組織等),判定作者針對目標(biāo)的立場(支持/反對/中立)。task 6包含2項任務(wù):有監(jiān)督立場檢測任務(wù)A和無監(jiān)督立場檢測任務(wù)B,任務(wù)A得分最高的隊伍MTTRE[27]F1值為67.82%,任務(wù)B得分最高的隊伍pkudblab[28]的F1值為56.28%。
3.1.2 NLPCC 2016 task 4
NLPCC 2016 task 4[4]旨在評估中文微博文本的立場檢測技術(shù),有監(jiān)督/半監(jiān)督任務(wù)A和無監(jiān)督任務(wù)B的輸出都是用戶的目標(biāo)立場(支持/中立/反對)。SemEval 2016 task 6和NLPCC 2016 task 4適用于短文本和社交媒體領(lǐng)域的立場檢測任務(wù),但其目標(biāo)特定,通用性相對較低,因此可能使模型在未見目標(biāo)上表現(xiàn)較差,難以泛化到其他目標(biāo)。SemEval 2016 task 6中包含的任務(wù)目標(biāo)關(guān)聯(lián)性比NLPCC 2016 task 4強(qiáng),例如“女權(quán)運動”與“墮胎合法化”,因此SemEval 2016 task 6不僅可用于單目標(biāo)立場檢測任務(wù)還可用于要求目標(biāo)相關(guān)的跨目標(biāo)場景中。
3.1.3 IberEval-2017/IberEval-2018
IberEval(evaluation of human language technologies for Iberian languages)[29]在2017年提供了有關(guān)目標(biāo)“加泰羅尼亞獨立”的4 319條西班牙語和4 319條加泰羅尼亞語推文數(shù)據(jù),全部作為測試數(shù)據(jù),IberEval-2017任務(wù)同樣要求輸出三個分類的立場(支持/中立/反對)。評測結(jié)果中西班牙語的最高得分是iTACOS.1隊伍,F(xiàn)1值為0.488 8;加泰羅尼亞語的最高得分是iTACOS.2隊伍,F(xiàn)1值為0.490 1。IberEval-2018的MultiStanceCat數(shù)據(jù)集在IberEval-2017的基礎(chǔ)上進(jìn)一步進(jìn)行了擴(kuò)展延伸,將西班牙語的數(shù)據(jù)增加到5 545條,加泰羅尼亞語數(shù)據(jù)增加到5 853條,并增加了圖像信息、上下文信息和推文鏈接信息等,對立場檢測任務(wù)引入了多模態(tài)元素。IberEval-2017和IberEval-2018適用于在西班牙語和加泰羅尼亞語的政治場景,且IberEval-2018進(jìn)一步提供了多模態(tài)信息,但僅關(guān)注了特定的地區(qū)語種和事件,難以泛化到其他語種及語境。
3.1.4 FNC-I
FNC-I(fake-news-challenge I)[30]任務(wù)的目標(biāo)和前面三種公開數(shù)據(jù)的目標(biāo)不同,后者公開數(shù)據(jù)資源的文本都是推特文本,而FNC-I是分析基于整篇文章判定對文章標(biāo)題(目標(biāo))的立場(支持/中立/反對),并首次將對文章的立場檢測任務(wù)當(dāng)做虛假新聞檢測任務(wù)的子任務(wù)。與前述數(shù)據(jù)資源相比,Sem-Eval和NLPCC關(guān)注特定目標(biāo)和話題,IberEval集中在小語種上,F(xiàn)NC-I雖然將目標(biāo)由短文本轉(zhuǎn)向了長文本,覆蓋了更廣泛大量的新聞文本,可以進(jìn)一步協(xié)助模型學(xué)到更多的知識,但依然集中在特定虛假新聞領(lǐng)域,泛化能力有待進(jìn)一步提升。
3.1.5 其他
Sobhani等人[5]提出了一個英文推特文本的多目標(biāo)立場檢測的數(shù)據(jù)集;Simaki等人[31]提供了基于“2016年英國脫歐事件公投”博客文章數(shù)據(jù)集;SemEval2019[32]提供了一個英文有關(guān)各種事件的謠言檢測數(shù)據(jù)集;此外還有一些小語種的數(shù)據(jù)集,主要包括土耳其語[33]、阿拉伯語[34]、意大利語[35]、俄語[36]等。
3.2 最新數(shù)據(jù)資源
3.2.1 COVID-19-Stance
由于新冠肺炎在全球流行,引起了全世界人們的廣泛關(guān)注,社交媒體用戶常用推特分享他們對與新冠疫情大流行相關(guān)的各種問題的看法,COVID-19-Stance是由Glandt等人[37]整理收集的有關(guān)新冠疫情的推特立場檢測數(shù)據(jù)資源用于單目標(biāo)立場檢測任務(wù)。COVID-19-Stance數(shù)據(jù)集適用于新冠疫情話題,與早期經(jīng)典數(shù)據(jù)資源相比具有實時性,其評論中的流行語和網(wǎng)絡(luò)新詞新穎,更貼近當(dāng)前時代表達(dá)方式。然而其數(shù)據(jù)規(guī)模仍相對較小且領(lǐng)域特定,盡管涵蓋了新冠疫情的不同方面,但話題廣度相對有限,可能無法覆蓋所有新冠疫情相關(guān)話題。
3.2.2 WT-WT
WT-WT(Will-They-Won’t-They)是由Conforti等人[38]2020年提出的金融領(lǐng)域的第一個英文謠言檢測數(shù)據(jù)資源,用于金融領(lǐng)域立場檢測任務(wù)。金融領(lǐng)域是一個復(fù)雜而動態(tài)的領(lǐng)域,與社交話題相比,涉及到更多復(fù)雜的信息,如實時的市場變化、公司動態(tài)等。WT-WT數(shù)據(jù)集為模型提供了在更復(fù)雜場景中培訓(xùn)和測試的機(jī)會。數(shù)據(jù)集中包括醫(yī)療保健和娛樂領(lǐng)域的公司合并收購,可進(jìn)一步實現(xiàn)金融領(lǐng)域內(nèi)的跨域方面的研究。WT-WT要求給出四分類的立場(支持-support,反對-refute,評論-comment,不相關(guān)-unrelated)。
3.2.3 P-stance
政治人物通常受到相當(dāng)大的關(guān)注并參與大量政治事件,是研究立場檢測的一大目標(biāo)。P-stance是由Li等人[8]2021年提出的一個政治領(lǐng)域的大型立場檢測數(shù)據(jù)集。P-Stance與WT-WT數(shù)據(jù)集相比,P-stance數(shù)據(jù)集的文本長度更長,句子中沒有淺層的、明顯的目標(biāo)和立場詞匯線索,因而更具有挑戰(zhàn)性;其三個目標(biāo)之間存在緊密的政治聯(lián)系因此可同時用于單目標(biāo)和跨目標(biāo)立場檢測任務(wù);數(shù)據(jù)標(biāo)注量大,對于深度學(xué)習(xí)模型的訓(xùn)練和評估是一個優(yōu)勢。P-stance雖然是政治領(lǐng)域的數(shù)據(jù)集,但數(shù)據(jù)集中關(guān)注的是特定政治人物,而不涵蓋廣泛的政治話題。這使得模型在處理其他政治話題時可能會遇到較大的局限,需要更多的領(lǐng)域適應(yīng)。
3.2.4 VAST
VAST(varied stance topics)是由Allaway等人[9]2020年提出的首個零/少樣本立場檢測數(shù)據(jù)集,在零/少樣本領(lǐng)域具有先導(dǎo)性,提供了全新的數(shù)據(jù)構(gòu)建思路。話題種類多、標(biāo)注數(shù)據(jù)多的特點不僅為零/少樣本立場檢測任務(wù)提供了很好的數(shù)據(jù)基礎(chǔ),還可以更真實的模擬真實世界的挑戰(zhàn),提升模型的泛化能力,全面地驗證模型在不同領(lǐng)域的優(yōu)勢和不足。
3.2.5 C-STANCE
與專注于英文的VAST數(shù)據(jù)集不同,C-STANCE[39]是首個中文零樣本立場檢測數(shù)據(jù)集,其數(shù)據(jù)集共48 126條,可用于基于目標(biāo)和基于域的零樣本檢測任務(wù)。且從數(shù)據(jù)規(guī)模來看,C-STANCE比VAST大2.5倍以上,可以更全面地補(bǔ)充真實世界的知識;但目前為止,零/少樣本的數(shù)據(jù)集只有中文和英文數(shù)據(jù)集,其他語種的數(shù)據(jù)集還有待開發(fā)。
3.2.6 其他
Giovanni等人[24]收集整理了有關(guān)“意大利憲法公投”的120萬條意大利文推文數(shù)據(jù)集;Kaushal等人[40]在WT-WT的基礎(chǔ)上,提出了新的tWT-WT數(shù)據(jù)集,規(guī)避了情緒-立場潛在虛假相關(guān)性的影響;Mascarell等人[41]提出了有關(guān)德語新聞文章的CHeeSE數(shù)據(jù)集;Stab等人[42]提供了標(biāo)注的、包含8個主題,共25 492個論據(jù)句子的UKP數(shù)據(jù)集;Khouja[43]提供了一個阿拉伯新聞立場(ANS)語料庫;Luo等人[20]提出了一個有關(guān)“全球氣候變暖”的立場檢測數(shù)據(jù)集GWSD。Conforti等人[44]收集整理了部分股市信息,驗證了將文本特征和來自股票市場價格的高頻日內(nèi)時間序列特征融合后在金融領(lǐng)域進(jìn)行立場檢測的效果。Kaffee等人[45]提出了適用于多任務(wù)、跨語言對齊和低資源場景的三種語言(英語、德語和土耳其語)立場數(shù)據(jù)集。Zhao等人[46]提出了首個用于目標(biāo)無關(guān)的立場檢測和對話摘要的中文數(shù)據(jù)集ORCHID(oral Chinese debater)。以上數(shù)據(jù)集提供了不同語言、領(lǐng)域和主題的數(shù)據(jù),有助于全面地理解立場檢測問題。然而,立場檢測領(lǐng)域仍然面臨缺乏涵蓋廣泛領(lǐng)域的大規(guī)模數(shù)據(jù)集的挑戰(zhàn),以及對跨語言和跨文化研究的數(shù)據(jù)需求。
3.2.7 數(shù)據(jù)資源歸納
對以上介紹的主要數(shù)據(jù)集在目標(biāo)類型、目標(biāo)數(shù)量、話題、數(shù)據(jù)規(guī)模和數(shù)據(jù)來源共五方面進(jìn)行了詳細(xì)特點歸納,結(jié)果如表2所示。
3.3 立場檢測評價指標(biāo)
評估立場檢測模型的性能通常使用精確率(precision,P),召回率(recall,R)和F1值,F(xiàn)1值是一種綜合考慮模型的精確率P和召回率R的評價指標(biāo),特別在處理不平衡類別的情況下,因此最常用的指標(biāo)是F1值。計算公式如下:
F1=2×P×R/(P+R)""" (1)
在觀點調(diào)研和輿情分析領(lǐng)域中,往往只采用F1值就足以對當(dāng)前的模型結(jié)果進(jìn)行綜合評價,而在謠言檢測領(lǐng)域中,通常會同時觀察P值、R值和F1值的效果,原因是在謠言檢測任務(wù)中,既需要確保較高的準(zhǔn)確性(降低誤報率,提高precision),又需要捕捉盡可能多的真實謠言(提高recall)。F1值的使用能夠在這兩者之間找到一個平衡點,確保模型在不同方面的性能都相對較好。
4 立場檢測方法歸納總結(jié)
立場檢測任務(wù)一直以來吸引了廣泛的關(guān)注,技術(shù)層面也得到了長足的發(fā)展,與自然語言處理中的其他任務(wù)類似,方法上也按照依賴于手動設(shè)計的特征的基于傳統(tǒng)機(jī)器學(xué)習(xí)方法;到面向短文本,關(guān)注文本序列表征學(xué)習(xí)的基于神經(jīng)網(wǎng)絡(luò)方法;到適用于長本文或多文本,基于文本間關(guān)系節(jié)點的圖神經(jīng)網(wǎng)絡(luò)方法;到面向零樣本/少樣本情境利用其他領(lǐng)域數(shù)據(jù)訓(xùn)練的基于遷移學(xué)習(xí)方法,到基于大規(guī)模預(yù)訓(xùn)練語言模型的方法的經(jīng)典發(fā)展脈絡(luò)而發(fā)展。接下來將詳細(xì)描述上述幾類方法,并進(jìn)行歸納和對比。
4.1 基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法
立場檢測屬于分類問題,因此傳統(tǒng)機(jī)器學(xué)習(xí)中的經(jīng)典算法,如支持向量機(jī)(SVM)、樸素貝葉斯、邏輯回歸、決策樹等都可用于立場檢測任務(wù)。這些方法主要面向單目標(biāo)和多目標(biāo)立場檢測,依賴于手工定義特征,常用的特征包括文本特征、情感特征和混合特征等。各類特征的含義如表3所示。
文本特征:Xu等人[47]抽取了推特文本中的不同語義特征,例如:para2vec、LDA、LSA等特征,然后使用不同的機(jī)器學(xué)習(xí)的方法的分類器:隨機(jī)森林(random-forest,RF)、基于線性核函數(shù)的支持向量機(jī)(support vector machine-linear,SVM-linear)等學(xué)習(xí)上述特征來獲得立場檢測分類的結(jié)果。Liu等人[48]抽取了一元詞法、詞嵌入等特征,并利用梯度提升決策樹等分類器實現(xiàn)立場分類。
情感特征:Ebrahimi等人[49]將立場目標(biāo)、立場標(biāo)簽和文本情感之間相互作用用無向圖模型進(jìn)行建模,提出了情感-目標(biāo)-立場聯(lián)合模型,驗證了聯(lián)合情感信息有助于提升立場檢測結(jié)果的準(zhǔn)確率。
混合特征:奠雨潔等人[50]發(fā)現(xiàn)混合特征有助于提升中文立場檢測效果,根據(jù)微博文本的特點,選取了四類不同的特征:詞袋特征、基于同義詞典的詞袋特征、考慮話題主題詞和立場標(biāo)簽共現(xiàn)關(guān)系的特征以及從word2vec中提取的詞和字向量特征。分類器部分采用支持向量機(jī),隨機(jī)森林和梯度提升決策樹進(jìn)行立場分類。在NLPCC2016的中文微博立場檢測任務(wù)中,該方法獲得了最好的效果。
其他特征:Anand等人[51]使用樸素貝葉斯和基于規(guī)則的算法進(jìn)行立場檢測,由于有效地引入了上下文特征,使得立場檢測效果大幅提升。Zhang等人[52]除了使用了上述提到過的傳統(tǒng)語言學(xué)特征、情感詞匯特征及詞嵌入,還使用了話題相關(guān)性特征、主題特征、表情符特征,將上述特征進(jìn)行組合后,立場檢測的效果得到提升。Castelo等人[53]基于主題無關(guān)的特征,并提出了TAG(主題無關(guān)特征的分類器),在假新聞檢測任務(wù)上,實驗結(jié)果表明主題無關(guān)的特征可以有效辨別新聞?wù)婕佟?/p>
4.2 基于神經(jīng)網(wǎng)絡(luò)的方法
隨著深度神經(jīng)網(wǎng)絡(luò)方法在自然語言處理領(lǐng)域取得成功,各類神經(jīng)網(wǎng)絡(luò)方法都在立場檢測任務(wù)上得到運用,大部分都面向單目標(biāo)和多目標(biāo)立場檢測。
4.2.1 基于卷積神經(jīng)網(wǎng)絡(luò)的方法
卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)在文本分類等任務(wù)取得了很好的效果,因此也得以在立場檢測中被廣泛使用。
Taul等人[54]在針對“加泰羅尼亞公投”推文的立場檢測中使用CNN對文本、上下文以及圖片三類信息進(jìn)行了多模態(tài)建模,得到了更準(zhǔn)確的立場檢測效果。Lozano等人[55]提出了將CNN、自動規(guī)則挖掘和手動編寫規(guī)則相結(jié)合的集成立場分析方法。Ma等人[14]提出基于神經(jīng)多任務(wù)學(xué)習(xí)模型,并將模型應(yīng)用于謠言檢測任務(wù)和立場分類任務(wù),通過統(tǒng)一架構(gòu)中的相互反饋來加強(qiáng)謠言檢測和立場分類。
4.2.2 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法
由于CNN是基于滑動窗口提取局部特征,無法捕捉到全局的詞序信息和語法結(jié)構(gòu),所以催生了循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN),RNN采用循環(huán)的結(jié)構(gòu),使得信息能夠在網(wǎng)絡(luò)中進(jìn)行傳遞和沿時間步展開,從而捕捉序列中的上下文和依賴關(guān)系,大量工作證實這些語法結(jié)構(gòu)信息對于立場檢測是至關(guān)重要的。
Zarrella等人[27]將語法和句法信息融合到RNN中,再學(xué)習(xí)輸入文本的向量表示,可以有效提升推特文本的立場檢測效果。Bhatt等人[56]通過深度遞歸模型計算神經(jīng)嵌入、n-gram加權(quán)計算統(tǒng)計特征和特征工程啟發(fā)式算法手工構(gòu)造外部特征,再將上述的特征進(jìn)行組合,在虛假新聞檢測任務(wù)上獲得了良好的效果。
RNN存在梯度消失或爆炸的問題,從而催生了長短時記憶網(wǎng)絡(luò)(long short-term memory,LSTM)。LSTM是一種RNN的改進(jìn)型結(jié)構(gòu),通過門控機(jī)制允許網(wǎng)絡(luò)有選擇性地保留、遺忘和更新信息,使其能夠更好地處理長距離依賴關(guān)系,并且減輕了梯度消失和爆炸問題。
Augenstein等人[57]提出了基于雙向LSTM(BiLSTM)編碼模型,模型中包含兩個LSTM,可以對上下文更好的編碼。Du等人[58]在LSTM中引入了注意力(attention)機(jī)制,提出了基于目標(biāo)主題增強(qiáng)的注意力模型。岳天馳等人[59]在Du等人的基礎(chǔ)上提出了基于2階段注意力機(jī)制的模型,并應(yīng)用于目標(biāo)為“中國政府在新疆反恐行動”的立場檢測任務(wù)中。顏瑤[60]使用條件編碼的方式分別對目標(biāo)信息和文本信息進(jìn)行編碼,使用單向LSTM對目標(biāo)進(jìn)行編碼,使用雙向LSTM模型對文本進(jìn)行編碼,并在解碼階段以注意力的方式引入主題目標(biāo)信息,實驗結(jié)果表明基于注意力機(jī)制和條件編碼的文本方法可以有效對立場進(jìn)行分類判定。
LSTM也常與CNN相結(jié)合用于立場檢測任務(wù)中。白靜等人[61]將CNN和雙向LSTM網(wǎng)絡(luò)相結(jié)合,利用CNN獲得隱含語義表示和卷積特征,通過BiLSTM獲得隱含文本表示,隱含文本表示可用于卷積特征注意力的加權(quán)。張翠肖等人[62]基于CNN獲取文本局部語義信息,利用雙向LSTM可以獲取句子的長距離依賴信息。
4.2.3 基于深層記憶網(wǎng)絡(luò)的方法
與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比,記憶神經(jīng)網(wǎng)絡(luò)能夠存儲、讀取和更新信息,從而更好地處理多次交互和多輪問答等任務(wù)。它在語言處理、推薦系統(tǒng)等領(lǐng)域有著廣泛的應(yīng)用。文本的相關(guān)部分(段落或文字片段)可以表明文本對于事件的態(tài)度,因此確定長文本的立場需要模型具備長期記憶的能力。記憶網(wǎng)絡(luò)旨在記住過去的信息,由于可以在其記憶組件中使用各種推理策略,所以在立場檢測任務(wù)中得到了廣泛應(yīng)用。
Mohtarami等人[63]提出了基于端到端的記憶網(wǎng)絡(luò)模型,該模型在記憶網(wǎng)絡(luò)中集成了CNN、循環(huán)神經(jīng)網(wǎng)絡(luò),隨后引入相似矩陣,可以更準(zhǔn)確地提取與文本相關(guān)的知識要素,有效提高了分類準(zhǔn)確度,在fake-news-challenge I數(shù)據(jù)集中應(yīng)用后取得了良好的效果。魏琪康[64]基于Mohtarami等人的研究提出了基于深層記憶網(wǎng)絡(luò)的社交媒體文本立場分析方法,該方法同時引入了記憶機(jī)制、記憶力機(jī)制和主題目標(biāo)的重要程度,在SemEval 2016 task 6和NLPCC 2016 task 4中都取得了良好的效果。
4.2.4 其他神經(jīng)網(wǎng)絡(luò)方法
Stefanov等人[65]認(rèn)為目前網(wǎng)絡(luò)媒體和熱門用戶的政治傾向和對有爭議的話題發(fā)表的看法中包含的立場對社會統(tǒng)計學(xué)家和政策制定者很重要,但手動標(biāo)注數(shù)據(jù)集的代價昂貴。因此提出了一種預(yù)測媒體和熱門推特用戶立場傾向的級聯(lián)方法,該方法使用無監(jiān)督學(xué)習(xí),利用Twitter用戶的轉(zhuǎn)發(fā)行為(如果用戶在他們的推文中包含指向某篇文章的鏈接,他們更有可能同意或認(rèn)可該文章的信息。同樣,當(dāng)用戶逐字轉(zhuǎn)發(fā)推文而不添加任何評論時,他們也是有更高的概率同意該推文)來確定Twitter用戶對于話題的立場;然后使用基于用戶標(biāo)簽的監(jiān)督學(xué)習(xí)來表示網(wǎng)絡(luò)媒體和熱門推特用戶的總體政治傾向,以及他們對兩極分化話題的立場,該方法在包含八個美國兩極分化話題的數(shù)據(jù)集上準(zhǔn)確率達(dá)到82.6%。何孝霆等人[66]提出了一種Transformer和門控注意力結(jié)合的方法,首先利用WordPiece[67]將原始文本拆分為詞片序列,隨后將詞片序列輸入Transfomer進(jìn)行編碼,門控注意力主要用于識別與給定對象相關(guān)的重要單詞。此外,附加的情感預(yù)測輔助任務(wù)也協(xié)助提升了立場檢測的準(zhǔn)確率。
4.3 基于圖神經(jīng)網(wǎng)絡(luò)的方法
由于自然語言文本本身含有結(jié)構(gòu)信息,基于圖模型的方法能有效建模圖結(jié)構(gòu)信息,所以在自然語言處理的多個任務(wù)上,基于圖模型的方法都得以成功運用。基于圖模型的方法通過將扁平文本轉(zhuǎn)換為圖結(jié)構(gòu),然后基于圖模型算法對圖中的節(jié)點和邊進(jìn)行表示學(xué)習(xí),與前述基于神經(jīng)網(wǎng)絡(luò)的方法相比,在長文本或多文本任務(wù)中,可以更好地建模文本之間的語義關(guān)系和知識結(jié)構(gòu),常用的圖模型主要是圖卷積網(wǎng)絡(luò)(graph convolutional network,GCN)在立場檢測中,GCN可以用于處理文本中的語義關(guān)系和依存關(guān)系,提高立場檢測的性能。
楊順成等人[68]提出了基于GCN和Bi-LSTM的微博立場檢測方法,該方法首先利用Bi-LSTM捕獲句子的特征,再基于句子的句法關(guān)系和詞語的依賴關(guān)系,根據(jù)依存句法樹建立圖結(jié)構(gòu),再運用GCN,最后將建立在話題上的注意力機(jī)制所得出的注意力分?jǐn)?shù)通過softmax層得出立場分類結(jié)果。劉臣等人[69]在構(gòu)建模型時,根據(jù)社交平臺的特點,采用門控神經(jīng)網(wǎng)絡(luò)將相關(guān)評論之間的網(wǎng)絡(luò)結(jié)構(gòu)捕獲,通過WordNet將評論中的關(guān)鍵詞語信息進(jìn)行提取,作為實體構(gòu)建圖結(jié)構(gòu),然后利用關(guān)系圖卷積網(wǎng)絡(luò)(relational graph convolutional network)獲取推文的文本表征,將評論之間的網(wǎng)絡(luò)結(jié)構(gòu)及相應(yīng)的表征向量輸入到門控神經(jīng)網(wǎng)絡(luò)中獲取立場信息,最后將特征向量輸入到softmax層進(jìn)行立場分類。Zhang等人[70]提出了一種用于跨域目標(biāo)檢測的語義情感知識轉(zhuǎn)移模型,該模型利用外部知識作為源目標(biāo)和目標(biāo)目標(biāo)之間的橋梁,利用來自外部的語義和情感詞典信息構(gòu)建語義-情感異質(zhì)圖,并使用GCN來學(xué)習(xí)語義圖表示,然后通過向LSTM單元添加額外的知識感知記憶單元來擴(kuò)展標(biāo)準(zhǔn)雙向LSTM分類器以實現(xiàn)集成外部知識,具體過程如下:首先通過語義相關(guān)和與情感相關(guān)的詞典構(gòu)建SE-graph,其中GCN用于學(xué)習(xí)圖表示,該圖表示通過多跳連接捕獲單詞或情感標(biāo)簽之間的語義連接。然后對BiLSTM分類器進(jìn)行擴(kuò)展,通過在LSTM單元中添加一種新穎的知識感知記憶單元(KAMU)來完全集成SE-graph。SEKT模型的優(yōu)點是能夠綜合語義情感知識和文本上下文,更準(zhǔn)確地識別立場。注意力機(jī)制使模型對關(guān)鍵詞匯更敏感,提高了模型的解釋性。然而,模型依賴于外部知識庫的質(zhì)量和覆蓋面,可能在知識庫不足或者不準(zhǔn)確時效果受限。適用于需要考慮文本情感的立場檢測任務(wù)。Liang等人[71]發(fā)現(xiàn)未知目標(biāo)的立場信息可以從目標(biāo)感知的角度根據(jù)已知目標(biāo)來表示,其主要思想是基于目標(biāo)感知原型圖執(zhí)行面向邊的圖對比學(xué)習(xí)策略,以便在已知目標(biāo)和未知目標(biāo)之間共享圖形結(jié)構(gòu),從而實現(xiàn)對未知目標(biāo)的立場進(jìn)行判定。
4.4 基于遷移學(xué)習(xí)的方法
基于遷移學(xué)習(xí)的立場檢測方法是將已經(jīng)訓(xùn)練好的模型和數(shù)據(jù)中的知識,遷移到新場景下的立場檢測任務(wù)中,從而減少對新場景的數(shù)據(jù)標(biāo)注的依賴,主要面向跨目標(biāo)立場檢測和零/少樣本立場檢測。一般來說,基于遷移學(xué)習(xí)的立場檢測方法可以分為基于跨域遷移學(xué)習(xí)的方法和基于預(yù)訓(xùn)練模型的遷移學(xué)習(xí)的方法兩種類型。
基于跨域遷移學(xué)習(xí)的方法利用在不同領(lǐng)域上訓(xùn)練的模型,在新的領(lǐng)域的立場檢測任務(wù)中進(jìn)行遷移。這種方法可以通過利用已有領(lǐng)域數(shù)據(jù)中的共同點和差異點,學(xué)習(xí)到與領(lǐng)域無關(guān)的知識,從而提高模型的領(lǐng)域泛化能力。常見的跨域遷移學(xué)習(xí)方法包括遷移學(xué)習(xí)、領(lǐng)域自適應(yīng)等。
岳重陽[72]提出了基于跨領(lǐng)域遷移學(xué)習(xí)的新話題評論預(yù)測方法。Allaway等人[73]提出了一種面向Twitter零樣本立場檢測模型,該模型使用對抗性學(xué)習(xí)來進(jìn)行跨目標(biāo)泛化。Liu等人[74]認(rèn)為立場檢測作為面向目標(biāo)的任務(wù),半監(jiān)督/少樣本立場檢測的核心思想是更好地利用來自標(biāo)記和未標(biāo)記數(shù)據(jù)中的目標(biāo)相關(guān)信息,并提出了一個目標(biāo)感知的半監(jiān)督學(xué)習(xí)框架:即提出了一個目標(biāo)感知對比學(xué)習(xí)目標(biāo)函數(shù)以學(xué)習(xí)更多不同目標(biāo)的可區(qū)分表征;此外,為了充分利用未標(biāo)記的數(shù)據(jù)并促進(jìn)模型學(xué)習(xí)文本內(nèi)容中的目標(biāo)相關(guān)立場特征,提出了一種簡單但有效的目標(biāo)感知一致性正則化與自我訓(xùn)練策略相結(jié)合的方法。
4.5 基于預(yù)訓(xùn)練語言模型的方法
預(yù)訓(xùn)練語言模型(pretrained language model)是指使用無標(biāo)簽(或半監(jiān)督)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的能夠捕捉豐富文本信息的神經(jīng)網(wǎng)絡(luò)模型。近年來,預(yù)訓(xùn)練語言模型得到了快速發(fā)展,成為了自然語言處理領(lǐng)域的研究熱點。預(yù)訓(xùn)練語言模型可以從大規(guī)模的無標(biāo)注語料中學(xué)習(xí)到豐富且高層次的語言知識,能很好地運用于下游任務(wù),并具有一定的泛化能力。常用于立場檢測的預(yù)訓(xùn)練語言模型包括BERT[75]、GPT[76]等。
基于預(yù)訓(xùn)練模型的遷移學(xué)習(xí)利用已經(jīng)訓(xùn)練好的模型,在新的立場檢測任務(wù)中進(jìn)行微調(diào)。常用的預(yù)訓(xùn)練模型包括ELMo[77]、BERT[75]等。通過在大規(guī)模的文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練,這些模型可以有效捕捉到文本中的上下文語義信息和結(jié)構(gòu)信息,從而在立場檢測任務(wù)中具有良好的表現(xiàn)。
Hanawa等人[78]引入了維基百科無標(biāo)注數(shù)據(jù)集以便獲得話題的額外信息。Zarrella等人[27]引入了通過標(biāo)簽預(yù)測方式在兩個無標(biāo)簽數(shù)據(jù)集中學(xué)到的特征知識。Wei等人[79]針對跨目標(biāo)立場檢測任務(wù),通過學(xué)習(xí)源目標(biāo)的相關(guān)知識提高模型的適應(yīng)性。Xu等人[7]提取與目標(biāo)無關(guān)的信息對提出的新的自注意神經(jīng)模型進(jìn)行擴(kuò)展。
基于預(yù)訓(xùn)練模型的遷移學(xué)習(xí)方法通常適用于立場檢測任務(wù)中的相似領(lǐng)域。而基于跨域遷移學(xué)習(xí)的方法則適用于在不同領(lǐng)域之間進(jìn)行遷移。這些方法都可以提高立場檢測的性能,同時還可以減少訓(xùn)練時間和數(shù)據(jù)需求,節(jié)省資源成本。
其他基于預(yù)訓(xùn)練的方法還包括以下工作:Rao[80]將ULMFiT(universal language model fine-tuning)[81]和GPT運用于英文推文立場檢測任務(wù)中,通過對比實驗發(fā)現(xiàn),預(yù)訓(xùn)練語言模型的方法可以顯著提升立場檢測的準(zhǔn)確率,同時GPT在實驗中的效果優(yōu)于ULMFiT。王安君等人[82]提出了基于BERT-condition-CNN的立場檢測模型,其中BERT預(yù)訓(xùn)練模型主要用于得到文本句向量,condition層用于體現(xiàn)兩個文本序列的關(guān)系特征,最后CNN用于對condition層進(jìn)行特征提取,最后對文本立場進(jìn)行分類。Hosseinia等人[83]提出了一種利用BERT表示與情緒或情緒信息進(jìn)行立場檢測的模型,將情緒和情感信息與文本的BERT表示融合。實驗結(jié)果突出了情緒和情感在立場預(yù)測中的作用。Prakash等人[84]提出了將基于計數(shù)的特征與預(yù)訓(xùn)練模型(RoBERTa)結(jié)合的方法,實驗結(jié)果表明,通過將TF-IDF特征與RoBERTa組合來描述表達(dá)意見的詞語類型的特征,立場檢測的效果可以得到提升。Li等人[85]以BERTweet為基礎(chǔ),并進(jìn)行微調(diào),首先在不同領(lǐng)域的每個數(shù)據(jù)集上訓(xùn)練一個模型,用來評估多目標(biāo)和多數(shù)據(jù)集訓(xùn)練的效果,實驗表明模型可以學(xué)習(xí)到對目標(biāo)的通用表達(dá)方式,并提出了自適應(yīng)知識蒸餾方法,將知識從教師模型蒸餾到學(xué)生模型,也有助于提升立場檢測效果。Yang等人[86]提出了Tribrid(triplet BERT-based inconsistency detection)方法,其主要思想是將自動生成的否定觀點“注入”到基于BERT的模型中,以過濾掉可疑的預(yù)測,從而提高整體準(zhǔn)確性。耿源羚等人[87]提出基于卷積注意力的情感增強(qiáng)微博立場檢測模型,該模型首先獲得文本與話題相關(guān)特征的卷積注意力權(quán)重,然后在情感增強(qiáng)模塊中增強(qiáng)挖掘文本的局部和整體情感特征,針對話題的情感表示向量由局部情感特征與卷積注意力權(quán)重交互得到,再將針對話題的情感表示向量與整體情感特征拼接得到最終的句向量,最后通過多層感知機(jī)和softmax得到立場分類。Hardalov等人[88]提出了一種結(jié)合域自適應(yīng)和標(biāo)簽嵌入的方法,用于學(xué)習(xí)異構(gòu)目標(biāo)標(biāo)簽,在16個數(shù)據(jù)集上取得了顯著的性能提升。陳子瀟等人[89]首先將說話者的立場表達(dá)劃分為兩種類型:a)說話者面向不同的主題和討論目標(biāo)時表達(dá)相同的立場態(tài)度,稱為目標(biāo)無關(guān)的表達(dá);b)說話者面向特定主題和討論目標(biāo)時才表達(dá)相應(yīng)的立場態(tài)度,稱為目標(biāo)依賴的表達(dá)。同時提出了表達(dá)類別判定方法:通過主題詞的保留和掩蓋,以提示學(xué)習(xí)來自動學(xué)習(xí)立場表達(dá)是否依賴目標(biāo);進(jìn)而將目標(biāo)無關(guān)的立場表達(dá)特征用于未知目標(biāo)的立場檢測任務(wù)。Kaffee等人[45]提出多任務(wù)設(shè)置將社交平臺的內(nèi)容審核政策標(biāo)準(zhǔn)與立場檢測信息結(jié)合輸入預(yù)訓(xùn)練模型中,最終同時輸出內(nèi)容審核是否刪除和立場的結(jié)果;但該方法具有局限性,并非所有評論內(nèi)容都會涉及到政策,這會使得此類評論效果較差。Zhang等人[90]基于PLM提出了基于雙知識蒸餾框架的跨語言跨目標(biāo)立場檢測模型,首先在源語言數(shù)據(jù)上訓(xùn)練跨語言教師和跨目標(biāo)目標(biāo)教師模型,然后將學(xué)習(xí)到的知識提煉到用未標(biāo)記數(shù)據(jù)訓(xùn)練的學(xué)生模型中??缯Z言教師是一種多語言預(yù)訓(xùn)練語言模型,它使用跨語言模板和一致性約束進(jìn)行提示調(diào)整,以僅使用源語言數(shù)據(jù)增強(qiáng)跨語言能力。為了彌補(bǔ)目標(biāo)不一致的差距,跨目標(biāo)教師模型采用目標(biāo)表征學(xué)習(xí)和細(xì)化來挖掘類別信息,并通過面向類別的對比學(xué)習(xí)將其推廣到未見過的目標(biāo);該方法在知識蒸餾過程能夠使學(xué)生模型學(xué)習(xí)到更加豐富和細(xì)致的知識,從而提高模型的性能,同時利用未標(biāo)記的數(shù)據(jù)訓(xùn)練學(xué)生模型,并從教師模型中蒸餾知識,這樣能夠在一定程度上減少對昂貴和難以獲得的標(biāo)注數(shù)據(jù)的依賴,但知識蒸餾過程可能不總是高效的,尤其是當(dāng)教師模型與學(xué)生模型之間存在較大差異時,蒸餾過程的效率和效果可能會受到影響,且建立兩個教師模型需要昂貴的成本。Upadhyaya等人[91]提出了多任務(wù)處理模型TWISTED,該模型首先提取隱藏在推文中的情緒價值性(valence)、情緒喚醒度(arousal)和情緒優(yōu)勢度(dominance),將提取情感注入嵌入文本中,然后通過使用推文中存在的毒性、道德和言語行為的共同特征來正確檢測推文的立場。Zhang等人[92]針對跨語言立場檢測研究忽略了語言之間目標(biāo)的出現(xiàn)次數(shù)和分布不一致,降低了低資源語言立場檢測的性能的問題,提出了一種細(xì)粒度的面向目標(biāo)的關(guān)系對齊(TaRA)方法,即利用目標(biāo)關(guān)系圖來學(xué)習(xí)語言和跨語言目標(biāo)關(guān)聯(lián),使用關(guān)系對齊策略以實現(xiàn)跨語言語義相關(guān)目標(biāo)之間的知識轉(zhuǎn)移。在探索目標(biāo)關(guān)系計算中的參數(shù)K時三個參數(shù)應(yīng)該同時使用網(wǎng)格迭代搜索,但模型中多次使用了圖結(jié)構(gòu)導(dǎo)致時間和空間資源受限,目前只能實現(xiàn)了使用兩個參數(shù)控制另一個參數(shù)。
Clark等人[93]對基于Transformer的預(yù)訓(xùn)練模型進(jìn)行與立場相關(guān)的知識探測,實驗結(jié)果顯示了這些模型對部分真實世界知識和上下文的敏感性,此外首次在這類模型中引入結(jié)構(gòu)化知識圖補(bǔ)充大型預(yù)訓(xùn)練語言模型的語言能力和潛在知識。
面向零/少樣本任務(wù)的預(yù)訓(xùn)練模型方法:Allaway等人[9]基于BERT和attention機(jī)制開發(fā)了topic-grouped attention (TGA)模型,該模型通過上下文聚類獲得的廣義主題表示來利用有關(guān)主題相似性的信息。He等人[94]利用維基百科中關(guān)于目標(biāo)的背景知識來增強(qiáng)立場檢測,提出了具有兩種變體的WS-BERT來編碼此類知識,一種用于處理正式文檔的WS-BERT-single,另一種用于處理非正式文檔的WS-BERT-dual。由于維基百科所涵蓋的主題列表十分全面且不斷增長,這可以有效確保了該方法能夠適應(yīng)新出現(xiàn)的目標(biāo),極大地提升了模型的目標(biāo)泛化能力。Liu等人[95]認(rèn)為立場檢測任務(wù)中以往的大多數(shù)方法局限于基于標(biāo)注數(shù)據(jù)的監(jiān)督學(xué)習(xí),因此提出了零樣本和少樣本場景。此外,用戶的立場有時用隱式方式表達(dá),主題并不總是顯式出現(xiàn)在文檔中,這導(dǎo)致了主題和文檔之間難以建立聯(lián)系,于是提出一種融合外部知識的方法:首先從ConceptNet中提取關(guān)系知識圖譜,以促進(jìn)文檔與主題之間的關(guān)系信息的傳遞和相應(yīng)立場的推斷,從而進(jìn)一步減少對標(biāo)注數(shù)據(jù)的依賴,主題和文檔之間的聯(lián)系,在從外部知識圖構(gòu)造關(guān)系子圖的過程中進(jìn)行加強(qiáng)。Luo等人[96]認(rèn)為之前的工作中所用的知識,如Allaway等人[9]使用的人類基本原理;Liu等人[95]使用的常識知識,具有一定的局限性,不足以建立未見主題和文檔之間的聯(lián)系。因此,Luo等人[96]的模型采用了文檔和主題的相關(guān)概念,并使用預(yù)訓(xùn)練的圖自動編碼器來獲取常識知識,這是首次嘗試將情感和常識知識整合到零/少樣本立場檢測模型中并分析它們,再一次獲得了更好的效果。Hanley等人[97]提出的TATA模型結(jié)合了主題感知和主題無關(guān)的嵌入層來執(zhí)行零樣本和少樣本立場檢測。該模型由主題感知嵌入層、主題不可知嵌入層、兩個注意力層使用主題感知嵌入層的輸出和主題不可知嵌入層組成,最后是一個兩層前饋神經(jīng)網(wǎng)絡(luò)用于立場分類。Wen等人[98]提出了一個基于生成的零/少樣本立場檢測框架,該框架從預(yù)定義的模板生成立場標(biāo)簽。隨后聯(lián)合目標(biāo)預(yù)測的輔助任務(wù),采用立場標(biāo)簽和輸入文本來生成目標(biāo),并對手動構(gòu)建的錯誤生成輸出進(jìn)行無似然訓(xùn)練。結(jié)合目標(biāo)維基百科知識,模型在VAST上實現(xiàn)了最先進(jìn)的性能。
4.6 其他相關(guān)工作
除上述歸納的外,還有一些工作同樣值得關(guān)注。對這些工作的歸納和介紹如下:
a)數(shù)據(jù)增強(qiáng)的方法。立場檢測任務(wù)的關(guān)鍵挑戰(zhàn)之一是標(biāo)注數(shù)據(jù)稀缺,一些學(xué)者從數(shù)據(jù)增強(qiáng)的角度來緩解此問題。Li等人[99]將立場檢測的數(shù)據(jù)增強(qiáng)制定為條件掩碼語言建模任務(wù),并通過根據(jù)包含目標(biāo)標(biāo)簽信息的上下文和輔助句子預(yù)測掩碼詞來對數(shù)據(jù)集進(jìn)行了增強(qiáng),此外還提出了另一種更為簡單有效的數(shù)據(jù)增強(qiáng)方法,即通過替換句子中的目標(biāo)提及來生成目標(biāo)感知句子。蘇致中等人[100]提出一種基于層次注意力的數(shù)據(jù)混合增強(qiáng)方法。該方法首先針對粗粒度段句篩選決定立場判斷的關(guān)鍵信息,然后進(jìn)行細(xì)粒度詞語變換,即進(jìn)行詞級的隨機(jī)同義替換和低隨機(jī)性交換順序操作。Zhang等人[101]針對零樣本和少樣本立場檢測任務(wù)在數(shù)據(jù)增強(qiáng)方面提出了基于共指解析的自監(jiān)督數(shù)據(jù)增強(qiáng)方法。該方法可以減少類內(nèi)和類間的方差,以實現(xiàn)有效性和魯棒性之間的平衡,同時針對文本提出了一種與目標(biāo)相關(guān)片段提取框架,可以增強(qiáng)對目標(biāo)相關(guān)片段的關(guān)注并減少其他片段的噪聲。實驗表明,所提出的方法在零樣本和少樣本立場檢測方面再一次取得了更好的性能。Liu等人[102]嘗試探究了大模型在數(shù)據(jù)標(biāo)注方面的天賦,實驗結(jié)果顯示雖然大型語言模型作為人類注釋器的替代品顯示出強(qiáng)大的潛力,但它們對特定任務(wù)指令的敏感和內(nèi)在偏見給機(jī)器注釋也帶來了挑戰(zhàn),為了迎接上述挑戰(zhàn),引入了多標(biāo)簽、多目標(biāo)采樣策略,最終成功地提升了數(shù)據(jù)標(biāo)注的準(zhǔn)確性,但目前仍需面臨人類立場上的偏見和跨語言的挑戰(zhàn)。
b)融合額外知識的方法。判定說話者的立場需要考慮多方面的因素,充分利用各類知識有助于提升立場判定的準(zhǔn)確率,早期的政治辯論文本只融合了文本特征,隨著社交平臺的發(fā)展,學(xué)者們也開始利用社交的特征協(xié)助判斷用戶立場。方冰等人[103]認(rèn)為社交媒體中用戶的立場會同時受到外界環(huán)境和用戶先驗立場的影響,因此在判定社交媒體用戶的立場時,先對社區(qū)進(jìn)行了劃分,提取用戶的社交網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),作為外界環(huán)境影響因素;再從文本中分析用戶的先驗立場,最后融合兩方面的知識進(jìn)行立場判定。李子儀等人[26]也注意到用戶及其喜好信息能夠獲得許多潛在信息特征,因此提出了基于用戶關(guān)聯(lián)的立場檢測模型,通過利用圖網(wǎng)絡(luò)構(gòu)建用戶關(guān)聯(lián)結(jié)構(gòu),利用卷積操作挖掘同一用戶針對話題目標(biāo)發(fā)表的相關(guān)文本立場信息,從全局的角度構(gòu)建立場檢測模型。Li等人[104]提出了知識增強(qiáng)立場檢測框架 (KASD),在社交媒體立場檢測任務(wù)中引入了情景知識和話語知識,并利用ChatGPT對上述兩種知識進(jìn)行提取和標(biāo)注,實驗結(jié)果表明在KASD微調(diào)模型和大型語言模型上,性能都有顯著提高。
c)驗證類的方法。一些學(xué)者圍繞立場檢測任務(wù)進(jìn)行了一系列的探針實驗。Jayaram等人[67]基于帖子之間的響應(yīng)關(guān)系提出了一個新的研究問題:立場極性和強(qiáng)度預(yù)測,它預(yù)測在線帖子對另一帖子的立場極性和強(qiáng)度值。該問題包含了立場檢測,并增加了檢測文本中強(qiáng)度細(xì)微差異的額外難度。實驗結(jié)果表明檢測立場強(qiáng)度的額外困難不以犧牲檢測立場極性為代價的,同時該工作也是首次同時預(yù)測在線帖子的立場極性和強(qiáng)度。Kobbe等人[67]提出了一種基于后果論點的立場檢測方法,基于以下假設(shè):當(dāng)文本對目標(biāo)的立場是支持態(tài)度時,文本會突出目標(biāo)帶來的理想后果,或強(qiáng)調(diào)目標(biāo)沒有實現(xiàn)的負(fù)面后果。該方法利用語法依賴和詞典來識別效果詞及其影響,最終其實驗結(jié)果與基于BERT的模型相當(dāng),且該方法更具健壯性。Joseph等人[105]主要為了解人類對社交媒體數(shù)據(jù)中表達(dá)的立場的注釋在多大程度上與注釋者和民意調(diào)查一致,最后得出以下結(jié)論:導(dǎo)致文本和說話者立場脫節(jié)的三個因素為時間上的不一致、結(jié)構(gòu)上的差異以及調(diào)查受訪者和注釋者的測量誤差。Jayaram等人[67]希望確保模型以符合人類推理的方式得出預(yù)測,故在小部分訓(xùn)練數(shù)據(jù)基礎(chǔ)上使用眾包標(biāo)注,將類似人類的合理化賦予立場檢測模型,在模擬數(shù)據(jù)稀缺的情況下,歸因先驗使用這些標(biāo)注改進(jìn)了模型基本原理,使得模型具有與人類一致的推理方式。Cignarella等人[106]驗證了依賴關(guān)系是否對立場檢測有幫助?實驗建立在六種不同的語言上,證明了形態(tài)句法線索與經(jīng)典機(jī)器學(xué)習(xí)算法中的特征結(jié)合得很好,但在多語言立場檢測的案例研究中,它們對基于mBERT[75]的模型沒有提升效果,因此得出結(jié)論:立場更多依賴于語義而不是句法模式或結(jié)構(gòu)。Yuan等人[107]發(fā)現(xiàn)立場檢測任務(wù)中的數(shù)據(jù)集偏差允許模型在不使用目標(biāo)相關(guān)信息的情況下實現(xiàn)卓越的立場檢測結(jié)果,并提出將立場推理過程作為任務(wù)知識來幫助學(xué)習(xí)真正的特征并減少對偏差特征的依賴。Soler等人[108]認(rèn)為人們在表達(dá)立場時,使用單詞的方式受到他們自己意見的影響。于是研究這種現(xiàn)象是否反映在語境化的詞嵌入中,如“贊成廢除動物園的人和不贊成廢除動物園的人對‘動物’的表述是否不同?”實驗表明BERT詞表征對句子中表達(dá)的觀點很敏感,在一致立場和沖突立場之間發(fā)現(xiàn)了很小的相似性差異,但這種差異很重要;差異最大的詞往往是主題的中心,他們提出的方法可以用來識別關(guān)于目標(biāo)的差異點。Liu等人[109]通過顯示表征和隱式對象的關(guān)系和標(biāo)簽,首次嘗試擴(kuò)展語言框架“立場三角形”以提高立場檢測效果。實驗表明使用框架來豐富單域語料庫的注釋,有效的提高了域外和跨目標(biāo)泛化性能。但該模型仍會受到跨語言和人類立場偏見的影響。
4.7 小結(jié)
本文從代表性工作、任務(wù)目標(biāo)、利用的特征/信息、方法和數(shù)據(jù)集這些角度對各類方法的歸納總結(jié)并按照任務(wù)目標(biāo)類型進(jìn)行排序,如表4所示。對比表4中的工作,可以歸納出以下結(jié)論。
基于傳統(tǒng)機(jī)器學(xué)習(xí)的立場檢測方法需要結(jié)合許多手工構(gòu)造的特征,這往往需要消耗大量的人力和物力,但通過學(xué)習(xí)手工構(gòu)造的特征,傳統(tǒng)機(jī)器學(xué)習(xí)算法的模型在立場檢測任務(wù)中取得了較好的效果,并且特征的選擇與提取對最終結(jié)果至關(guān)重要。此外機(jī)器學(xué)習(xí)算法方法也存在著特征稀疏、維度災(zāi)難等問題。
基于神經(jīng)網(wǎng)絡(luò)的立場檢測方法通過自動抽取最優(yōu)的特征表示,可以很好地彌補(bǔ)傳統(tǒng)機(jī)器學(xué)習(xí)方法的缺陷。自動特征提取不僅可以發(fā)現(xiàn)更多的潛在的特征表示,還可以有效地降低手工提取特征的工作量,并且抽取出的連續(xù)向量可以解決特征稀疏的問題。但基于神經(jīng)網(wǎng)絡(luò)的方法也面臨著模型大,訓(xùn)練時間長,對標(biāo)注數(shù)據(jù)依賴大等問題,基于神經(jīng)網(wǎng)絡(luò)的模型類似黑盒,這類模型的可解釋性也有待探究。
基于圖神經(jīng)網(wǎng)絡(luò)的方法主要是通過圖中節(jié)點之間的關(guān)系來進(jìn)行信息推理和預(yù)測。與基于神經(jīng)網(wǎng)絡(luò)方法相比,圖神經(jīng)網(wǎng)絡(luò)的可解釋性更強(qiáng),更適用于捕捉文本之間的復(fù)雜關(guān)聯(lián),通過觀察圖中各個節(jié)點之間的聯(lián)系,可以更好地理解模型的預(yù)測結(jié)果,特別是在長文本或多文本任務(wù)中。然而,基于圖神經(jīng)網(wǎng)絡(luò)的方法也存在一些問題,如:模型復(fù)雜度更高,由于需要對圖中節(jié)點之間的連接關(guān)系進(jìn)行建模,需要更多的計算資源和時間。
基于遷移學(xué)習(xí)的方法通過在源域上訓(xùn)練模型,并在目標(biāo)域上進(jìn)行微調(diào)來提高目標(biāo)任務(wù)的預(yù)測效果。遷移學(xué)習(xí)方法可用于小樣本問題。另外,通過利用源域數(shù)據(jù)訓(xùn)練的模型來初始化目標(biāo)域的模型,能夠有效提高學(xué)習(xí)效率,節(jié)省訓(xùn)練時間和計算資源。然而,基于遷移學(xué)習(xí)的方法也存在一些問題,如:模型依賴于源域數(shù)據(jù)的質(zhì)量;如何選擇合適的源域數(shù)據(jù)和模型參數(shù)來進(jìn)行遷移學(xué)習(xí)是一個關(guān)鍵問題,這需要專家知識;另外,遷移效果不穩(wěn)定,在不同的領(lǐng)域、任務(wù)和數(shù)據(jù)集上,遷移學(xué)習(xí)的效果會受到諸多因素的影響,導(dǎo)致遷移泛化性能不穩(wěn)定。
基于預(yù)訓(xùn)練語言模型的方法主要是將具有很強(qiáng)語言理解能力的大規(guī)模預(yù)訓(xùn)練語言模型在立場檢測任務(wù)上進(jìn)行微調(diào)。這類方法的主要優(yōu)勢:大規(guī)模語言模型本身已學(xué)習(xí)到豐富的語言知識,且具有很好的泛化能力,立場檢測任務(wù)本質(zhì)上是分類問題,大規(guī)模語言模型能夠輕易地遷移到立場檢測任務(wù)。這類方法的問題主要是:模型的最終效果很大程度上取決于預(yù)訓(xùn)練語言模型本身,一方面使用預(yù)訓(xùn)練語言模型對硬件有所要求,另一方面通用的預(yù)訓(xùn)練語言模型并不一定能很好地適應(yīng)特定的立場檢測場景。
第4.3~4.6節(jié)中許多方法都使用了模型融合與集成學(xué)習(xí)的思想例如:劉臣等人[69]提出的方法結(jié)合了兩種不同類型的神經(jīng)網(wǎng)絡(luò),門控神經(jīng)網(wǎng)絡(luò)和關(guān)系圖卷積網(wǎng)絡(luò);Zhang等人[70]的方法中使用了外部知識構(gòu)建語義-情感異質(zhì)圖,并結(jié)合了無監(jiān)督學(xué)習(xí)的方式來學(xué)習(xí)語義圖表示,早期僅僅將神經(jīng)網(wǎng)絡(luò)模型進(jìn)行融合然后與無監(jiān)督學(xué)習(xí)方式融合;逐漸地,王安君等人[82]、Prakash等人[84]、Hardalov等人[88]開始將早期的機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等模型與預(yù)訓(xùn)練模型進(jìn)行了融合;直到近期的Hanawa等人[78]、Zarrella等人[27]、Liu等人[95]與其他學(xué)者的方法開始將無監(jiān)督學(xué)習(xí)與基于預(yù)訓(xùn)練的語言模型融合,通過分析這些工作,筆者發(fā)現(xiàn):無監(jiān)督學(xué)習(xí)方法與預(yù)訓(xùn)練語言模型方法結(jié)合使用節(jié)省了人力標(biāo)注成本和計算資源。
5 結(jié)束語
在自然語言處理領(lǐng)域,涵蓋了許多任務(wù),例如機(jī)器閱讀理解[110]、情感分析[111]、實體關(guān)系抽取[112]。這些任務(wù)涉及處理和理解文本信息的各個方面,從詞法分析到語義理解,以及文本生成等。在這個廣泛的領(lǐng)域中,立場檢測任務(wù)已經(jīng)成為一個備受關(guān)注的焦點。為了進(jìn)一步推動領(lǐng)域的發(fā)展,筆者對立場檢測進(jìn)行了全面的梳理和總結(jié),對現(xiàn)有的工作進(jìn)行了深入分析和歸納,圍繞立場檢測的任務(wù)、數(shù)據(jù)資源和相關(guān)方法三個方面進(jìn)行了重點闡述。
雖然立場檢測已取得了顯著的研究進(jìn)展,但仍存在一些亟需進(jìn)一步研究的問題。通過跟進(jìn)該領(lǐng)域的最新進(jìn)展,評估現(xiàn)有模型和方法的優(yōu)點與不足,并結(jié)合相關(guān)研究,筆者提出了下一步的四個研究熱點,希望這些研究點能夠為其他研究者提供啟發(fā),并推動文本立場檢測領(lǐng)域的研究進(jìn)展和在實際場景中的應(yīng)用。
1)零/少樣本立場檢測
在立場檢測任務(wù)方面,已有大量單目標(biāo)、多目標(biāo)和跨目標(biāo)立場檢測相關(guān)的研究成果,零/少樣本任務(wù)剛剛出現(xiàn),仍有探索空間。與單、多和跨目標(biāo)立場檢測任務(wù)相比,零/少樣本立場檢測任務(wù)的難度更大,建模更為復(fù)雜。在模型方面可以嘗試探究如何簡化模型或提出全新更為有效的模型,如探索讓模型既學(xué)習(xí)與主題無關(guān)的立場判定規(guī)律,也利用與目標(biāo)主題類似的主題的立場判定依據(jù)。另外,零/少樣本模型面對實際應(yīng)用情境時的效果也需要進(jìn)一步驗證。VAST是目前唯一與零/少樣本立場檢測任務(wù)相關(guān)的英文數(shù)據(jù)集,其語料來自“紐約空間”的辯論板塊,屬于正式規(guī)范文本,微博、推特等社交平臺的文本具有長度較短、不完整等特性,因此零/少樣本立場檢測的模型在推特、微博等短文本上中進(jìn)行立場檢測的效果也有待探究。C-STANCE中文零樣本立場檢測數(shù)據(jù)集的出現(xiàn),雖然暫時驗證部分零樣本立場檢測的模型在微博短文本中立場檢測的效果,但模型的效果仍有提升空間,且大部分語種的語料仍缺失,可以考慮利用上述數(shù)據(jù)集進(jìn)行跨語言零/少樣本立場檢測研究。
2)跨語言立場檢測
盡管跨語種自然語言處理已經(jīng)取得了很大的進(jìn)展,但現(xiàn)有立場檢測的工作大多基于單一語種內(nèi)容,如英語辯論、英文推特和中文微博文本,而實際應(yīng)用中,存在很多引發(fā)全球討論的主題,如何針對同一個主題,對不同語種的內(nèi)容進(jìn)行立場判定仍然有待探索。未來的研究方向可以集中于開發(fā)更有效的跨語言模型,并考慮如何將它們應(yīng)用于實際應(yīng)用中。此外,如何將多語言信息整合和處理,或?qū)⒏哔Y源語言中的知識遷移至低資源語言中,以提高跨語言模型的性能,也是未來研究可以探究的點。
3)目標(biāo)-立場提取
現(xiàn)有的工作在立場檢測任務(wù)上已經(jīng)取得了較成熟的成果,這些任務(wù)都是在假設(shè)目標(biāo)提前已知的情況下工作,來自社交媒體平臺的文本,由于社交平臺文本中往往會采用隱式提及的方式,目標(biāo)信息通常是未知的,并且大規(guī)模手動目標(biāo)注釋終究是有限的。目前Li等人[113]提出了一種新的任務(wù):目標(biāo)-立場(TSE)提取,但該方法目前仍受限較大,即映射模塊需要預(yù)定義的目標(biāo)列表和映射過程后如何快速評估。筆者認(rèn)為該方面的可進(jìn)一步探索。
4)面向立場檢測的預(yù)訓(xùn)練模型
在立場檢測的相關(guān)方法方面,具有良好泛化能力的預(yù)訓(xùn)練模型的出現(xiàn)有效解決了模型中需要大量標(biāo)注數(shù)據(jù)的問題。而現(xiàn)有的預(yù)訓(xùn)練模型是面向所有NLP任務(wù)的,對立場檢測的作用有限,啟發(fā)于訓(xùn)練任務(wù)專有的預(yù)訓(xùn)練模型的相關(guān)工作,筆者認(rèn)為:針對立場檢測任務(wù),如何設(shè)計預(yù)訓(xùn)練任務(wù)并收集大規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)訓(xùn)練專有的預(yù)訓(xùn)練模型,也是值得探索的點。
5)有限范圍、統(tǒng)一的大模型
隨著大一統(tǒng)的大模型的問世,如ChatGPT,整個NLP領(lǐng)域都發(fā)生了翻天覆地的變化,很多任務(wù)都將圍繞大模型來開展研究??紤]到:立場檢測任務(wù)與情感分析、謠言檢測等任務(wù)密不可分,將不同任務(wù)緊密結(jié)合具有任務(wù)相互促進(jìn)的作用。本文認(rèn)為:在資源有限的情況下,以立場檢測、情感分析、謠言檢測等為一個垂直領(lǐng)域,建立面向該領(lǐng)域的、小范圍的、統(tǒng)一的大模型值得探究。
參考文獻(xiàn):
[1]李洋, 孫宇晴, 景維鵬. 文本立場檢測綜述 [J]. 計算機(jī)研究與發(fā)展, 2021, 58(11): 2538-2557. (Li Yang, Sun Yuqing, Jing Weipeng. A review of text standpoint detection [J]. Journal of Computer Research and Development, 2021, 58(11): 2538-2557.)
[2]Thomas M, Pang Bo, Lee L. Get out the vote: determining support or opposition from congressional floor-debate transcripts [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2006: 327-335.
[3]Mohammad S, Kiritchenko S, Sobhani P, et al. SemEval-2016 task 6: detecting stance in Tweets [C]// Proc of SemEval. Stroudsburg, PA: ACL Press, 2016: 31-41.
[4]Xu Ruifeng, Zhou Yu, Wu Dongyi, et al. Overview of NLPCC shared task 4: stance detection in Chinese microblogs [C]// Proc of ICCPOL. Berlin: Springer, 2016: 907-916.
[5]Sobhani P, Inkpen D, Zhu Xiaodan. A dataset for multitarget stance detection [C]// Proc of the 15th Conference of EACL. Stroudsburg, PA: ACL Press, 2017: 551-557.
[6]Li Yingjie, Caragea C. A multi-task learning framework for multi-target stance detection [C]// Proc of JCNLP. Stroudsburg, PA: ACL Press, 2021: 2320-2326.
[7]Xu Chang, Paris C, Nepal S, et al. Cross target stance classification with self-attention networks [C]// Proc of the 56th ACL. Stroudsburg, PA: ACL Press, 2018: 778-783.
[8]Li Yingjie, Sosea T, Sawant A, et al. P-Stance: a large dataset for stance detection in political domain [C]// Proc of ACL-IJCNLP. Stroudsburg, PA: ACL Press, 2021: 2355-2365.
[9]Allaway E, Mckeown K. Zero-Shot stance detection: a dataset and model using generalized topic representations [C]// Proc of Confe-rence on EMNLP. Stroudsburg, PA: ACL Press, 2020: 8913-8931.
[10]Wang Zhaoxu, Dong Weixiang, Zhang Wenyi, et al. Rumor source detection with multiple observations [C]//Proc of International Conference on Measurement and Modeling of Computer Systems. New York: ACM Press, 2014:1-13.
[11]Li Quanzhi, Zhang Qiong, Si Luo. Rumor detection by exploiting user credibility information, attention and multi-task learning [C]// Proc of the 57th Annual Meeting of the ACL Press. Stroudsburg, PA: ACL Press, 2019: 1173-1179.
[12]Baly R, Mohtarami M, Glass J, et al. Integrating stance detection and fact checking in a unified corpus [C]// Proc of NAACL-HLT. Stroudsburg, PA: ACL Press, 2020: 21-27.
[13]Yu Jianfei, Jiang Jing, Khoo L M S, et al. Coupled hierarchical transformer for stance-aware rumor verification in social media conversations [C]// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL Press, 2020: 1392-1401.
[14]Ma Jing, Gao Wei, Wong K F. Detect rumor and stance jointly by neural multi-task learning [C]// Proc of Web Conference. New York: ACM Press, 2018: 585-593.
[15]Fuchs M, Yu Peiduo. Rumor source detection for rumor spreading on random increasing trees [J]. Electronic Communications in Pro-bability, 2015, 20: 1-112.
[16]Conroy K N, Rubin L V, Chen Yimin. Automatic deception detection: methods for finding fake news [C]// Proc of the Association for Information Science and Technology. Hoboken: Wiley, 2015, 52 (1): 1-4.
[17]李然, 林政, 林海倫, 等. 文本情緒分析綜述 [J]. 計算機(jī)研究與發(fā)展, 2018, 55(1): 30-52. (Li Ran, Lin Zheng, Lin Hailun, et al. A review of text sentiment analysis [J]. Computer Research and Development, 2018, 55(1): 30-52.)
[18]Amiri H, Daume H Ⅲ. Short text representation for detecting churn in microblogs [C]// Proc of Association for Advancement of Artificial Intelligence. Palo Alto, CA: AAAI Press, 2016: 2566-2572.
[19]高茹月. 社交媒體用戶畫像構(gòu)建方法研究與系統(tǒng)實現(xiàn) [D]. 武漢: 中南財經(jīng)政法大學(xué), 2022. (Gao Ruyue. Research and system implementation of social media user profile construction method [D]. Wuhan: Zhongnan University of Economics and Law, 2022.)
[20]Luo Yiwei, Card D, Jurafsky D. Detecting stance in media on global warming [C]// Proc of EMNLP. Stroudsburg, PA: ACL Press, 2020: 3296-3315.
[21]劉高勇, 黃靖釗, 艾丹祥. 融合立場檢測和主題挖掘的突發(fā)公共事件網(wǎng)絡(luò)輿情演化研究 [J]. 廣東工業(yè)大學(xué)學(xué)報, 2022, 39(3): 32-40, 48. (Liu Gaoyong, Huang Jingzhao, Ai Danxiang. Research on the evolution of network public opinion in sudden public incidents by integrating stance detection and topic mining [J]. Journal of Guangdong University of Technology, 2022, 39(3): 32-40, 48.)
[22]Lai M, Cignarella A T, Hernández Farías D I, et al. Multilingual stance detection in social media political debates [J]. Computer Speech amp; Language, 2020, 63: 101075.
[23]Xi Nan, Ma Di, Liou M, et al. Understanding the political ideology of legislators from social media images [C]// Proc of Association for the Advancement of Artificial Intelligence. Palo Alto, CA: AAAI Press, 2020: 726-737.
[24]Giovanni M D, Brambilla M. Content-based stance classification of Tweets about the 2020 Italian constitutional referendum [C]// Proc of the 9th International Workshop on Natural Language Processing for Social Media. Stroudsburg, PA: ACL Press, 2021: 14-23.
[25]朱玉. 面向熱點話題評論的立場傾向性及其演化分析方法研究 [D]. 石家莊: 河北科技大學(xué), 2020. (Zhu Yu. Research on stance orientation and evolutionary analysis methods for hotspot topic comments [D]. Shijiazhuang: Hebei University of Science and Technology, 2020.)
[26]李子儀, 周夏冰, 王中卿, 等. 基于用戶關(guān)聯(lián)的立場檢測 [J]. 計算機(jī)科學(xué), 2022, 49(5): 221-226. (Li Ziyi, Zhou Xiabing, Wang Zhongqing, et al. Standpoint detection based on user association [J]. Computer Science, 2022, 49(5): 221-226.)
[27]Zarrella G, Marsh A. MITRE at SemEval-2016 task 6: transfer lear-ning for stance detection [C]// Proc of SemEval2016. Stroudsburg, PA: ACL Press, 2016: 458-463.
[28]Wei Wan, Zhang Xiao, Liu Xuqin, et al. Pkudblab at SemEval-2016 task 6: a specific convolutional neural network system for effective stance detection [C]// Proc of SemEval. Stroudsburg, PA: ACL Press, 2016: 384-388.
[29]Taule M, Marti M A, Rangel F, et al. Overview of the task on stance and gender detection in tweets on Catalan independence at IberEval 2017 [C]// Proc of the 2nd Workshop on Representation Learning for NLP. Stroudsburg, PA: ACL Press, 2017: 17-26.
[30]Dean P, Delip R. Fake news challenge stage 1 (FNC-I): stance detection [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2020: 2371-2391.
[31]Simaki V, Carita P, Maria S, et al. Annotating speaker stance in discourse: the Brexit blog corpus [J]. Corpus Linguistics amp; Linguistic Theory, 2017, 16(2): 215-248.
[32]Gorrell G, Kochkina E, Liakata M, et al. SemEval-2019 task 7: RumourEval, determining rumour veracity and support for rumours [C]// Proc of the 13th International Workshop on Semantic Evaluation. Stroudsburg, PA: ACL Press, 2019: 845-854.
[33]Kicuk D. Stance detection in Turkish tweets [C]// Proc of Workshops Proceedings and Tutorials of the 28th ACM Conference on Hypertext and Social Media.New York:ACM Press, 2017.
[34]Darwish K, Magdy W, Zanouda T. Improved stance prediction in a user similarity feature space [C]// Proc of IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining. New York: ACM Press, 2017: 145-148.
[35]Lai M, Patti V, Ruffo G, et al. Stance evolution and Twitter interactions in an Italian political debate [C]// Proc of the 23rd International Conference on Natural Language and Information Systems. Berlin: Springer, 2018: 15-27.
[36]Lozhnikov N, Derczynski L, Mazzara M. Stance prediction for Russian: data and analysis [C]// Proc of the 6th International Conference in Software Engineering for Defence Applications. 2018: 176-186.
[37]Glandt K, Khanal S, Li Yingjie, et al. Stance detection in COVID-19 tweets [C]// Proc of the 59th ACL and the 11th International Joint Conference on Natural Language Processing. Stroudsburg, PA: ACL Press, 2021: 1596-1611.
[38]Conforti C, Berndt J, Pilehvar M T, et al. Will-They-Won’t-They: a very large dataset for stance detection on Twitter [C]// Proc of the 58th ACL. Stroudsburg, PA: ACL Press, 2020: 1715-1724.
[39]Zhao Chenye, Li Yingjie, Caragea C. C-STANCE: a large dataset for Chinese Zero-Shot stance detection [C]// Proc of the 61st Annual Meeting of ACL. Stroudsburg, PA: ACL Press, 2020, 2023: 13369-13385.
[40]Kaushal A, Saha A, Ganguly N. tWT-WT: a dataset to assert the role of target entities for detecting stance of Tweets [C]// Proc of the 2021 Conference of NAACL: Human Language Technologies. Stroudsburg, PA: ACL Press, 2021: 3879-3889.
[41]Mascarell L, Ruzsics T, Schneebeli C, et al. Stance detection in German news articles [C]// Proc of the 4th Workshop on Fact Extraction and Verification. 2021: 66-77.
[42]Reuver M, Verberne S, Morante R, et al. Is stance detection topic-independent and cross-topic generalizable?-A reproduction study [C]// Proc of the 8th Workshop on Argument Mining. 2021: 46-56.
[43]Khouja J. Stance Prediction and claim verification: an Arabic perspective [C]//Proc of the 3rd Workshop on Fact Extraction and Verification. 2020: 8-17.
[44]Conforti C, Berndt J, Pilehvar M T, et al. Incorporating stock market signals for Twitter stance detection [C]// Proc of the 60th Annual Meeting of ACL. Stroudsburg, PA: ACL Press, 2022: 4074-4091.
[45]Kaffee L, Arora A, Augenstein I. 2023. Why should this article be deleted?Transparent stance detection in multilingual Wikipedia editor discussions [C]// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL Press, 2023: 5891-5909.
[46]Zhao Xiutian, Wang Ke, Peng Wei. ORCHID: a Chinese debate corpus for target-independent stance detection and argumentative dialogue summarization [C]// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL Press, 2023: 9358-9375.
[47]Xu Jiaming, Zheng Suncong, Shi Jing. Ensemble of feature sets and classification methods for stance detection [C]// Proc of Natural Language Understanding and International Intelligent Applications. Berlin: Springer, 2016: 679-688.
[48]Liu Can, Li Wen, Kubler S. IUCL at SemEval 2016 task 6: an ensemble model for stance detection in Twitter [C]// Proc of the 10th International Workshop on Semantic Evaluation. Stroudsburg, PA: ACL Press, 2016: 394-400.
[49]Ebrahimi J, Dou Dejing, Lowd D. A joint sentiment-target stance model for stance classification in tweets [C]// Proc of COLING. Stroudsburg, PA: ACL Press, 2016: 2656-2665.
[50]奠雨潔, 金琴, 吳慧敏. 基于多文本特征融合的中文微博的立場檢測 [J]. 計算機(jī)工程與應(yīng)用, 2017, 53(21): 77-84. (Dian Yujie, Jin Qin, Wu Huimin. Chinese microblog stance detection based on multi-text feature fusion [J]. Computer Engineering and Application, 2017, 53(21): 77-84.)
[51]Anand P, Walker M, Abbott R, et al. Cats rule and dogs drool?。?Classifying stance in online debate [C]// Proc of the 2nd Workshop on Computational Approaches to Subjectivity and Sentiment Analysis. Stroudsburg, PA: ACL Press, 2011: 1-9.
[52]Zhang Zhihua, Lan Man. Relevant or not?Supportive or not?A two step learning system for automatic detecting stance in tweets [C]// Proc of the 10th International Workshop on Semantic Evaluation. Stroudsburg, PA: ACL Press, 2016: 451-457.
[53]Castelo S, Almeida T, Elghafari A. A topic agnostic approach for identifying fake news pages [C]// Proc of World Wide Web Confe-rence. New York: ACM Press, 2019: 975-980.
[54]Taule M, Pardo F M R, Marti M A, et al. Overview of the task on multimodal stance detection in tweets on Catalan #1Oct referendum [C]// Proc of the 23rd International Conference on Natural Language and Information Systems. 2018: 31-44.
[55]Lozano M G, Lilja H, Tjornhammar E. Mama Edha at SemEval-2017 task 8: stance classification with CNN and rules [C]// Proc of the 11th International Workshop on Semantic Evaluation. Stroudsburg, PA: ACL Press, 2017: 481-485.
[56]Bhatt G, Sharma A, Sharma S. Combining neural, statistical and external features for fake news stance identification [C]// Proc of Web Conference. New York: ACM Press, 2018: 1353-1357.
[57]Augenstein I, Rocktaschel T, Vlachos A, et al. Stance detection with bidirectional conditional encoding [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2016: 876-885.
[58]Du Jiachen, Xu Ruifeng, He Yulan, et al. Stance classification with target-specific neural attention networks [C]// Proc of the 26th IJCAI. 2017: 3988-3994.
[59]岳天馳, 張邵武, 楊亮, 等. 基于兩階段注意力機(jī)制的立場檢測方法 [J]. 廣西師范大學(xué)學(xué)報:自然科學(xué)版, 2019, 37(1): 46-53. (Yue Tianchi, Zhang Shaowu, Yang Liang, et al. A standpoint detection method based on a two-stage attention mechanism [J]. Journal of Guangxi Normal University: Natural Science Edition, 2019, 37(1): 46-53.)
[60]顏瑤. 結(jié)合主題目標(biāo)信息的社交媒體文本立場分析 [D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2018. (Yan Yao. Social media text stance analysis based on thematic target information [D]. Harbin: Harbin Institute of Technology, 2018.)
[61]白靜, 李霏, 姬東鴻. 基于注意力的BiLSTM-CNN中文微博立場檢測模型 [J]. 計算機(jī)應(yīng)用與軟件, 2018, 35(3): 266-274. (Bai Jing, Li Fei, Ji Donghong. Attention-based BiLSTM-CNN Chinese microblog stance detection model[J]. Computer Application and Software, 2018, 35(3): 266-274.)
[62]張翠肖, 郝杰輝, 劉星宇, 等. 基于CNN-BiLSTM的中文微博立場分析研究 [J]. 計算機(jī)技術(shù)與發(fā)展, 2020, 30(7): 154-159. (Zhang Cuixiao, Hao Jiehui, Liu Xingyu, et al. Research on the stance analysis of Chinese microblog based on CNN-BiLSTM [J]. Computer Technology and Development, 2020, 30(7): 154-159.)
[63]Mohtarami M, Baly R, Glass J. Automatic stance detection using end to end memory networks [C]// Proc of Conference of NAACL: Human Language Technologies. Stroudsburg, PA: ACL Press, 2018: 767-776.
[64]魏琪康. 基于深度學(xué)習(xí)的社交媒體文本立場分析研究 [D]. 哈爾濱: 哈爾濱工業(yè)大學(xué), 2017. (Wei Qikang. Research on social media text stance analysis based on deep learning [D]. Harbin: Harbin Institute of Technology, 2017.)
[65]Stefanov P, Darwish K, Atanasov A, et al. Predicting the topical stance and political leaning of media using Tweets [C]// Proc of the 58th ACL. Stroudsburg, PA: ACL Press, 2020: 527-537.
[66]何孝霆, 董航, 杜義華. Transformer及門控注意力模型在特定對象立場檢測中的應(yīng)用 [J]. 計算機(jī)系統(tǒng)應(yīng)用, 2020, 29(11): 232-236. (He Xiaoting, Dong Hang, Du Yihua. Application of Transformer and gated attention model in specific object standpoint detection [J]. Computer System Application, 2020, 29(11): 232-236.)
[67]Jayaram S, Allaway E. Human rationales as attribution priors for explainable stance detection [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2021: 5540-5554.
[68]楊順成, 李彥, 趙其峰. 基于GCN和Bi-LSTM的微博立場檢測方法 [J]. 重慶理工大學(xué)學(xué)報:自然科學(xué), 2020, 34(6): 167-173. (Yang Shuncheng, Li Yan, Zhao Qifeng. Microblog stance detection method based on GCN and Bi-LSTM [J]. Journal of Chongqing University of Technology:Natural Science, 2020, 34(6): 167-173.)
[69]劉臣, 周珂馨, 周立欣, 等. 引入外部知識的社交平臺立場檢測模型 [J]. 軟件導(dǎo)刊, 2022, 21(8): 20-26. (Liu Chen, Zhou Kexin, Zhou Lixi, et al. A social platform stance detection model that introduces external knowledge [J]. Software Guide, 2022, 21(8): 20-26.)
[70]Zhang Bowen, Yang Min, Li Xutao, et al. Enhancing cross-target stance detection with transferable semantic-emotion knowledge [C]// Proc of the 58th ACL. Stroudsburg, PA: ACL Press, 2020: 3188-3197.
[71]Liang Bin, Zhu Qinglin, Li Xiang, et al. JointCL: a joint contrastive learning framework for zero-shot stance detection [C]// Proc of the 60th ACL. Stroudsburg, PA: ACL Press, 2022: 81-91.
[72]岳重陽. 面向中文微博話題評論文本的立場傾向性分析方法研究 [D]. 石家莊: 河北科技大學(xué), 2019. (Yue Chongyang. Research on stance tendency analysis method for Chinese Weibo topic comment text [D]. Shijiazhuang: Hebei University of Science and Technology, 2019)
[73]Allaway E, Srikanth M, McKeown K. Adversarial learning for Zero-Shot stance detection on social media [C]// Proc of Conference of NAACL: Human Language Technologies. Stroudsburg, PA: ACL Press, 2021: 4756-4767.
[74]Liu Rui, Lin Zheng, Ji Huishan, et al. Target really matters: target-aware contrastive learning and consistency regularization for few-shot stance detection [C]// Proc of the 29th COLING. 2022: 6944-6954.
[75]Devlin J, Chang M W, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language understanding [C]// Proc of NAACL-HLT. Stroudsburg, PA: ACL Press, 2019: 4171-4186.
[76]Radford A, Narasimhan K, Salimans T, et al. Improving language understanding by generative pre-training[EB/OL]. (2018). https://paperswithcode.com/paper/improving-language-understanding-by.
[77]Peters M, Neumann M, Iyyer M, et al. Deep contextualized word representations [EB/OL]. (2018). https://arxiv.org/abs/1802.05365.
[78]Hanawa K, Sasaki A, Okazaki N, et al. Stance detection attending external knowledge from Wikipedia [J]. Journal of Information Processing, 2019, 27: 499-506.
[79]Wei Penghui, Mao Wenji. Modeling transferable topics for cross-target stance detection [C]// Proc of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York: ACM Press, 2019: 1173-1176.
[80]Rao P. Transfer learning in NLP for Tweet stance classification [C]// Proc of World Wide Web Conference. 2019: 575-589.
[81]Howard J, Ruder S. Universal language model fine-tuning for text classification [C]//Proc of Information Technology and Computer Science. Stroudsburg, PA: ACL Press, 2018: 328-339.
[82]王安君, 黃凱凱, 陸黎明. 基于BERT-Condition-CNN的中文微博立場檢測 [J]. 計算機(jī)系統(tǒng)應(yīng)用, 2019, 28(11): 45-53. (Wang Anjun, Huang Kaikai, Lu Liming. Chinese Weibo stance detection based on BERT-Condition-CNN [J]. Computer System Application, 2019, 28(11): 45-53.)
[83]Hosseinia M, Dragut E, Mukherjee A. Stance prediction for contemporary issues: data and experiments [C]// Proc of the 8th International Workshop on Natural Language Processing for Social Media. Stroudsburg, PA: ACL Press, 2020: 32-40.
[84]Prakash A, Madabushi H T. Incorporating count-based features into pre-trained models for improved stance detection [C]// Proc of the 3rd NLP4IF Workshop on NLP for International Internet Freedom. 2020: 22-32.
[85]Li Yingjie, Zhao Chenye, Caragea C. Improving stance detection with multi-dataset learning and knowledge distillation [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2021: 6332-6345.
[86]Yang Song, Urbani J. Tribrid: stance classification with neural inconsistency detection [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2021: 6831-6843.
[87]耿源羚, 張紹武, 張益嘉, 等. 基于卷積注意力的情感增強(qiáng)微博立場檢測 [J]. 山西大學(xué)學(xué)報:自然科學(xué)版, 2022, 45(2): 302-312. (Geng Yuanling, Zhang Shaowu, Zhang Yijia, et al. Emotio-nally enhanced microblog stance detection based on convolutional attention [J]. Journal of Shanxi University:Natural Science Edition, 2022, 45(2): 302-312.)
[88]Hardalov M, Arora A, Nakov P, et al. Cross-domain label-adaptive stance detection [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2021: 9011-9028.
[89]陳子瀟, 梁斌, 徐睿峰. 基于主題提示學(xué)習(xí)的零樣本立場檢測方法 [C]// 第二十一屆中國計算語言大會. 2022: 535-544. (Chen Zixiao, Liang Bin, Xu Ruifeng. A topic-based prompt learning method for zero-shot stance detection [C]// Proc of the 21st CCL. 2022: 535-544.)
[90]Zhang Ruike, Yang Hanxuan, Mao Wenji. Cross-lingual cross-target stance detection with dual knowledge distillation framework [C]// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL Press, 2023: 10804-10819.
[91]Upadhyaya A, Fisichella M, Nejdl W. Toxicity, morality, and speech act guided stance detection [C]// Proc of EMNLP. Stroudsburg, PA: ACL Press, 2023: 4464-4478.
[92]Zhang Ruike, Xu Nan, Yang Hanxuan, et al. Target-oriented relation alignment for cross-lingual stance detection [C]// Proc of ACL. Stroudsburg, PA: ACL Press, 2023: 6391-6404.
[93]Clark T, Conforti C, Liu Fangyu, et al. International integrating transformers and knowledge graphs for Twitter stance detection [C]// Proc of the 7th Workshop on Noisy User-generated Text. Stroudsburg, PA: ACL Press, 2021: 304-312.
[94]He Zihao, Mokhberian N, Lerman K. Infusing knowledge from Wikipedia to enhance stance detection [C]// Proc of the 12th Workshop on Computational Approaches to Subjectivity, Sentiment amp; Social Media Analysis. Stroudsburg, PA: ACL Press, 2022: 71-77.
[95]Liu Rui, Lin Zheng, Tan Yutong, et al. Enhancing zero-shot and few-shot stance detection with commonsense knowledge graph [C]// Proc of ACL-IJCNLP. Stroudsburg, PA: ACL Press, 2021: 3152-3157.
[96]Luo Yun, Liu Zihan, Shi Yuefeng, et al. Exploiting sentiment and common sense for zero-shot stance detection [C]// Proc of the 29th COLING. [S. l. ]: International Committee on Computational Linguistics, 2022: 7112-7123.
[97]Hanley H, Durumeric Z. TATA: stance detection via topic-agnostic and topic-aware embeddings [C]// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL Press, 2023: 11280-11294.
[98]Wen Haoyang, Hauptmann A. Zero-shot and few-shot stance detection on varied topics via conditional generation [C]// Proc of the 61st Annual Meeting of ACL (Volume 2: Short Papers). Stroudsburg, PA: ACL Press, 2023: 1491-1499.
[99]Li Yingjie, Caragea C. Target-aware data augmentation for stance detection [C]// Proc of Conference of NAACL: Human Language Technologies. Stroudsburg, PA: ACL Press, 2021: 1850-1860.
[100]蘇致中, 席耀一, 陳宇飛, 等. 面向社交媒體立場檢測的數(shù)據(jù)增強(qiáng)方法 [J]. 信息工程大學(xué)學(xué)報, 2022, 23(1): 58-65. (Su Zhizhong, Xi Yaoyi, Chen Yufei, et al. Data augmentation method for social media standpoint detection [J]. Journal of Information Engineering University, 2022, 23(1): 58-65.)
[101]Zhang Jiarui, Wu Shaojuan, Zhang Xiaowang, et al. Task-specific data augmentation for zero-shot and few-shot stance detection [C]// Proc of ACM Web Conference. New York: ACM Press, 2023: 160-163.
[102]Liu Zhengyuan, Chieu H L, Chen N. Multi-label and multi-target sampling of machine annotation for computational stance detection [C]// Proc of EMNLP. Stroudsburg, PA: ACL Press, 2023: 2641-2649.
[103]方冰, 尚義博, 劉笑影. 基于文本和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的用戶立場檢測算法 [J]. 計算機(jī)與數(shù)字工程, 2021, 49(8): 1599-1603, 1723. (Fang Bing, Shang Yibo, Liu Xiaoying. User standpoint detection algorithm based on text and network topology [J]. Computer and Digital Engineering, 2021, 49(8): 1599-1603, 1723.)
[104]Li Ang, Liang Bin, Zhao Jingqian, et al. Stance detection on social media with background knowledge [C]// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg, PA: ACL Press, 2023: 15703-15717.
[105]Kobbe J, Hulpu? I, Stuckenschmidt H. Unsupervised stance detection for arguments from consequences [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2020: 50-60.
[106]Joseph K, Shugars S, Gallagher R, et al. (Mis) alignment between stance expressed in social media data and public opinion surveys [C]// Proc of Conference on EMNLP. Stroudsburg, PA: ACL Press, 2021: 312-324.
[107]Cignarella A T, Bosco C, Rosso P. Do dependency relations help in the task of stance detection? [C]// Proc of the 3rd Workshop on Insights from Negative Results in NLP. Stroudsburg, PA: ACL Press, 2022: 10-17.
[108]Yuan Jianhua, Zhao Yanyan, Lu Yanyue, et al. SSR: utilizing simplified stance reasoning process for robust stance detection [C]// Proc of the 29th COLING. 2022: 6846-6858.
[109]Soler A G, Labeau M, Clavel C. One word, two sides: traces of stance in contextualized word representations [C]// Proc of the 29th COLING. 2022: 3950-3959.
[110]Liu Zhengyuan, Yap Y K, Chieu H L, et al. Guiding computational stance detection with expanded stance triangle framework [C]// Proc of the 61st Annual Meeting of the ACL Press. Stroudsburg, PA: ACL Press, 2023: 3987-4001.
[111]賀吉飛, 徐行健, 孟繁軍. 選擇式機(jī)器閱讀理解綜述 [J]. 計算機(jī)應(yīng)用研究, 2022, 39(6): 1622-1632. (He Jifei, Xu Xingjian, Meng Fanjun. Review of multi-choice machine reading comprehension [J]. Application Research of Computers, 2022, 39(6): 1622-1632.)
[112]張合橋, 茍剛, 陳青梅. 基于圖神經(jīng)網(wǎng)絡(luò)的方面級情感分析 [J]. 計算機(jī)應(yīng)用研究, 2021, 38(12): 3574-3580, 3585. (Zhang Heqiao, Gou Gang, Chen Qingmei. Aspect-based sentiment analysis based on graph neural network [J]. Application Research of Computers, 2021, 38(12): 3574-3580, 3585.)
[113]王勇超, 穆華嶺, 周靈智, 等. 基于指針網(wǎng)絡(luò)的實體與關(guān)系聯(lián)合抽取方法 [J]. 計算機(jī)應(yīng)用研究, 2021, 38(4): 1004-1007, 1021. (Wang Yongchao, Mu Hualing, Zhou Lingzhi, et al. Joint extraction method of entity and relationship based on pointer network [J]. Application Research of Computers, 2021, 38(4): 1004-1007, 1021.)
[114]Li Yingjie, Garg K, Caragea C. A new direction in stance detection: target-stance extraction in the wild [C]// Proc of the 61st Annual Meeting of ACL. Stroudsburg, PA: ACL Press, 2023: 10071-10085.