楊陽蕊,朱亞萍,陳思思,劉雪梅,2,李慧敏
(1.華北水利水電大學 信息工程學院,河南 鄭州 450000;2.黃河流域水資源高效利用省部共建協(xié)同創(chuàng)新中心,河南 鄭州 450000;3.華北水利水電大學 水利學院,河南 鄭州 450000)
精準高效完成防汛搶險工作對維護水利工程項目安全運行、保障國家水安全至關重要[1]。在大壩防汛搶險工作中涉及到的知識包括防汛實體(如風險事件、發(fā)生部位、搶護方法等)和實體間關系[2](如存在風險、采取方法、功能相似等)。這些知識廣泛存在于水利工程文本中,將非結構化工程文本中散亂分布的防汛搶險實體與關系表示為知識圖譜結構化形式,為防汛搶險工作提供有力知識支撐,對推進防汛搶險工作數(shù)字化、智能化發(fā)展意義重大[3-4]。
目前水利工程文本大多以非結構化文檔形式存儲,內(nèi)容關聯(lián)性弱,且實體關系語句分布不集中。由于文本的非結構化特性,文本中豐富的防汛搶險知識不易被有效利用,提高該知識可訪問性的現(xiàn)有方法是從可利用文本中直接抽取防汛實體間關系?,F(xiàn)有方法有基于總結句型的方法[5-6],以及利用標注實體關系標簽的句子訓練或微調(diào)模型[7-9]的監(jiān)督或半監(jiān)督方法。這些方法[10-12]可在一定程度上提高防汛實體關系知識的可訪問性,但存在兩方面局限:(1)可利用工程文本數(shù)量過少,即公開可利用的工程文本有限,可能無法充分涵蓋各種防汛實體間關系,此外,句型描述多變使得總結句型需要大量人力成本;(2)文本質(zhì)量偏低,主要表現(xiàn)為文本中表達防汛實體間關系的語句分布散亂,現(xiàn)有方法只能從當前輸入句子中抽取明確陳述的防汛實體間關系[13-15],但實際中多數(shù)防汛實體間關系不是在一個句子中找到的,而是分散在可以組合的句子中通過推理得出兩實體間關系,例如通過組合“發(fā)生超標準洪水時,應增大水庫蓄洪能力”與“在壩頂搶筑子埝,利用大壩超高蓄洪”兩條語句,可推理出超標準洪水與壩頂搶筑子埝之間的“采取方法”關系,進而得到<超標準洪水,采取方法,壩頂搶筑子埝>三元組知識。此外輸入文本極易因非規(guī)范描述產(chǎn)生語義模糊現(xiàn)象,且多數(shù)復雜句包含代詞指稱和冗余描述,而現(xiàn)有方法對高質(zhì)量輸入文本的強依賴性決定了其從復雜語句中抽取領域知識的能力有限。
為了克服這些限制,與從現(xiàn)有文本中進行知識抽取的方法不同,本文采取一種截然不同的思想,即通過大型語言模型LLM(Large Language Model,如GPT-3.5[16],GPT-4)進行大壩防汛搶險知識推理(Flood Control and Rescue Knowledge Inference,F(xiàn)CRKI)。與抽取不同,推理的方法不要求輸入語句中具有明確的防汛實體間關系,而是通過LLM分別挖掘出防汛實體相關描述,將相關語句組合,進而根據(jù)這些組合語句分析推理出防汛實體間關系。LLM經(jīng)過整個互聯(lián)網(wǎng)中語料的預訓練[17],是擁有世界知識的人工智能AI(Artificial Intelligence)引擎,被稱為基礎模型[18],通過LLM挖掘防汛實體相關知識,可利用整個互聯(lián)網(wǎng)作為知識庫,不依賴有限的文本源,從而避免可利用工程文本數(shù)量過少的限制。LLM學習到互聯(lián)網(wǎng)中多樣的語言表達模式,且其上下文學習能力支持組合不同語句進行關系推理而不依賴于特定的文本輸入,因此可避免輸入文本質(zhì)量偏低的限制。然而若直接使用LLM查詢防汛實體間關系,其很可能由于無法深入理解領域知識產(chǎn)生無效響應。為了避免直接查詢生成無效回答,受任務分解[19]與提示鏈接[20]等研究的啟發(fā),本文設計一種大壩防汛搶險知識推理新范式,這種范式將總體推理任務分解為子任務,為各個子任務設計任務提示,按特定結構將任務提示鏈接形成“AI鏈”,以驅動LLM根據(jù)AI鏈中任務提示逐步完成各個推理子任務,最終解決防汛實體間關系推理問題。具體來說,將防汛搶險實體間關系推理整體流程詳細分解為三個步驟,依次為防汛實體抽取、實體相關知識挖掘與實體間關系推斷,針對三個步驟設計三個模塊與LLM進行實時交互,分別是防汛實體抽取器(Entity Extractor,Eer)、防汛實體知識解析器(Knowledge Parser,KPer)和防汛實體間關系決策器(Relation Decider,RDer),在三個模塊中通過設計一系列提示,逐步引導LLM根據(jù)提示從知識庫中對目標知識進行抽取、挖掘與推理。為了提高防汛實體間關系推理的可靠性,本文設計了一種群體智能策略[21],即由RDer以三種不同方式(開放式提問、限制性判斷、限制性選擇)對該實體對間關系做出三次決策,采用多數(shù)投票決定最終結果,從而完成防汛實體間關系推理。FCRKI主要利用LLM豐富的語言知識及上下文學習能力進行防汛實體間關系推理,打破了可利用工程文本數(shù)量過少和防汛實體關系語句分布散亂的局限。這一新范式給水利領域各種信息抽取任務提供了新的解決思路,將使研究人員更高效率地完成不僅限于大壩防汛搶險知識推理等水利信息化任務中任何一種需要AI參與的任務。
2.1 關系類型描述大壩防汛搶險工作涉及的關系類型眾多,以5種關系類型為例介紹防汛搶險知識推理方法,關系類型分別是:存在風險、連帶險情、采取方法、功能相似、功能對比[12]。其中“存在風險”關系,即某一工程部位會出現(xiàn)某種風險事件;“連帶險情”關系,即某一工程險情可能會連帶另一種工程險情的發(fā)生;“采取方法”關系,即出現(xiàn)某種險情時需要采取某種方法搶護;“功能相似”關系,即不同物料之間的可替代;“功能對比”關系,即物料之間的效率對比。
2.2 總體任務分解現(xiàn)有的基于監(jiān)督或半監(jiān)督學習的方法,需要大量人力成本對數(shù)據(jù)進行收集、清理和標記[22],從而完成模型訓練、評估和優(yōu)化。與之不同,本文提出的知識推理方法利用LLM的強大語言處理能力以無監(jiān)督學習方法進行防汛實體間關系推理。為完成知識推理總任務,該方法模仿人類思維,將推理流程分解為三個串行子任務,分別是抽取防汛實體并配對、挖掘防汛實體相關知識并組合、基于組合知識推理出防汛實體間關系。同時,針對三個子任務設計了三個子模塊,分別是防汛實體抽取器Eer、防汛實體知識解析器KPer和防汛實體間關系決策器RDer,總體框架如圖1(圖中黑體為突出重點,下同)。在知識推理過程中,首先,Eer旨在引導LLM從輸入文本中提取大壩防汛實體,將實體兩兩配對,這里Eer只做實體抽取,不考慮實體間關系,不受當前輸入文本語義復雜度的影響。隨后KPer基于LLM的龐大知識庫挖掘與防汛實體對相關的語句描述,并對語句進行合并處理,最后RDer基于此組合語句推理總結出防汛實體間關系,各子模塊通過串行方式完成推理工作。
圖1 FCRKI總體框架
2.3 子模塊分解為了更好的解決子任務,進一步將每個子模塊分解為責任單一的兩個子問題,針對各模塊中單一子問題設計功能單元,分別是AI單元與非AI單元,如圖2所示。AI單元是指基于LLM(AI知識庫)進行推理的單元,非AI單元是指遵循客觀規(guī)則或邏輯的單元。
圖2 功能單元圖
防汛實體知識解析器分解為一個AI單元(防汛實體知識挖掘)和一個非AI單元(實體知識組合)。即給定一個實體對,該模塊中AI單元通過LLM挖掘實體對中每個實體的相關知識,再由非AI單元將兩條知識合并為一組完整的、綜合的段落??紤]到該模塊需要推理5種類型的關系,為每種關系類型設計單獨的知識解析器,5個知識解析器通過并行方式完成相關知識挖掘工作。
防汛實體間關系決策器分解為三個AI單元(防汛實體間關系決策1、防汛實體間關系決策2、防汛實體間關系決策3)和一個非AI單元(結果組合)。即給定一個實體對及與實體對相關的完整知識段落,該模塊的三個AI單元將從不同角度和風格(直接提問、判斷聲明正誤、制定選項),獨立地評估實體間關系,再由非AI單元將三個AI單元的輸出匯總,通過多數(shù)投票最終確認實體間關系。此外,為了提高FCRKI的魯棒性,將為每種防汛實體間關系類型設計單獨的關系決策器,各個決策器并行操作。
2.4 AI單元的有效提示設計充分利用LLM的上下文學習能力,通過AI單元中的有效任務提示和案例來激活LLM執(zhí)行特定任務的能力。上下文學習方式無需梯度更新[23-24],只需一個任務提示和很少的案例,就可以使LLM適應新任務[25]。此外,一項實驗研究[26]表明,任務提示和相關案例對語境學習十分重要。為了使提示設計更加標準,通過一系列研究[27-29]的啟發(fā)開發(fā)一個模板,如圖3所示,該模板包括任務提示(例如:從輸入文本中抽取防汛實體)和相關輸入輸出案例。其中任務提示用于指導LLM完成指定任務,輸入輸出案例則使LLM學習到任務相關語境特征。為了確保FCRKI的準確性不受相同風格句式的影響,以非連續(xù)實體、嵌套實體、非常規(guī)縮略語、長難句、并列排比句5個不同風格特征為選取標準,選取了5個代表性案例以供LLM完成語境學習,5個特征對應的輸入輸出案例依次為:(1)輸入:細顆粒被帶走,使壩體或地基產(chǎn)生較大沉陷;輸出:壩體沉陷、地基沉陷;(2)輸入:壩頂漫溢常因原設計標準偏低或暴雨集中;輸出:壩頂、壩頂漫溢;(3)輸入:當口門溜勢稍緩,即應抓緊推枕拋石盤筑裹頭;輸出:口門、盤筑裹頭;(4)輸入:設有事故檢修閘門門槽而無檢修閘門時,將臨時調(diào)用的鋼(木)疊梁逐條放入門槽;輸出:檢修閘門門槽、鋼(木)疊梁;(5)輸入:土壩裂縫包括龜狀裂縫、橫向裂縫、縱向裂縫;輸出:龜狀裂縫、橫向裂縫、縱向裂縫。這5個案例有不同的文本長度和實體特征。
圖3 防汛實體抽取器
2.4.1 防汛實體抽取器中的AI單元 Eer包含一個AI單元(防汛實體提取)。該單元提供給LLM的任務提示為“從輸入文本中抽取防汛實體”。具體工作為AI單元根據(jù)任務提示提取輸入文本中的實體并將其輸出,非AI單元接收AI單元的輸出實體作為輸入,并根據(jù)客觀規(guī)則和邏輯將其配對。抽取案例及其對應的輸出如圖3所示。
2.4.2 防汛實體知識解析器中的AI單元 為每種關系關聯(lián)的實體設置獨立的防汛實體知識解析器(KPer)。每個KPer都有一個AI單元(防汛實體知識挖掘),每個AI單元對應一種關系,該AI單元的重點是挖掘防汛搶險實體的相關知識。LLM是擁有世界知識的AI知識庫,其不局限于有限的現(xiàn)存文本,可根據(jù)有效提示挖掘相關知識并將知識返回。由于使用5種關系類型測試,因此設計5組有效提示引導LLM挖掘防汛實體相關知識。提示設計如表1所示。
表1 知識挖掘的提示設計
KPer中AI單元的任務提示為“回答實體相關問題”,以“存在風險”關系為例,AI單元根據(jù)提示生成相關知識,隨后,非AI單元根據(jù)規(guī)則將知識組合。實例輸入及輸出如圖4所示。
課堂教學模式的優(yōu)化需要一個具體的過程,并不是一兩節(jié)課就能夠解決的。它需要我們化學教師扎扎實實地進行工作,認認真真地分析自己在教學中的問題,并仔仔細細地思考其中的緣由和解決措施,從而摸索出一條具有自身教學特色的課堂優(yōu)化之路,提升教學的質(zhì)量。
圖4 防汛實體知識解析器
2.4.3 防汛實體間關系決策器中的AI單元 為了確保關系推理的可靠性,為每種關系都設置獨立的防汛實體間關系決策器(RDer),通過分裂-投票-合并的方式實現(xiàn)群體智能策略。具體來講,將RDer分裂出三個子決策,每個子決策設置一個獨立AI單元,分別是防汛實體間關系決策1、防汛實體間關系決策2和防汛實體間關系決策3,三個AI單元并行工作,根據(jù)LLM生成的知識通過直接提問、判斷聲明正誤和限制性選擇答案三種方式做出三次回答,最后將答案進行合并得到一個更全面、更合理的結果從而完成關系推理。決策1和決策2中有效提示需根據(jù)每種關系類型量身定制,由于中文中一詞多義性,單一詞語可能造成歧義,導致LLM生成無效的回答。例如:“實體_1和實體_2之間是否具有存在風險關系”,由于存在風險在不同領域中關聯(lián)到知識不同,LLM會生成“它們之間具有一定的關系”這種模糊的無效回答,而不是做出“是”或“否”的直接判斷。為此,本文在提示中將每種關系替換為該關系的描述,防汛實體間關系決策1中各關系類型提示如下:
存在風險:基于上述知識回答,{實體_1}和{實體_2}是否具有“某一工程部位會出現(xiàn)某種風險事件”這種關系?
連帶險情:基于上述知識回答,{實體_1}和{實體_2}是否具有“某一工程險情可能會連帶另一種工程險情的發(fā)生”這種關系?
采取方法:基于上述知識回答,{實體_1}和{實體_2}是否具有“出現(xiàn)某種險情時需要采取某種方法搶護”這種關系?
功能相似:基于上述知識回答,{實體_1}和{實體_2}是否具有“不同物料之間可替代”這種關系?
功能對比:基于上述知識回答,{實體_1}和{實體_2}是否具有“物料之間的效率對比”這種關系?
防汛實體間關系決策2中通過判斷聲明正誤,再次對實體間關系類型進行決策,各關系類型聲明如下:
存在風險:基于上述知識判斷,{實體_1}和{實體_2}具有“某一工程部位會出現(xiàn)某種風險事件”這種關系。
連帶險情:基于上述知識判斷,{實體_1}和{實體_2}具有“某一工程險情可能會連帶另一種工程險情的發(fā)生”這種關系。
采取方法:基于上述知識判斷,{實體_1}和{實體_2}具有“出現(xiàn)某種險情時需要采取某種方法搶護”這種關系。
功能相似:基于上述知識判斷,{實體_1}和{實體_2}具有“不同物料之間可替代”這種關系。
功能對比:基于上述知識判斷,{實體_1}和{實體_2}具有“物料之間的效率對比”這種關系。
防汛實體間關系決策3中,將5種關系視為5個選項作為提示,引導LLM做第三次決策,如圖5-Ⅰ中決策3所示。
圖5 防汛實體間關系決策器
以存在風險關系推理為例,RDer將KPer挖掘并組合的實體相關知識以固定格式輸入到LLM中。防汛實體間關系決策1通過開放式提問得到“是”或“否”的準確回答。防汛實體間關系決策2通過判斷所設聲明的正誤得到“正確”或“不正確”的回答。防汛實體間關系決策3通過限制性選擇答案,從5個給定選項中選擇一項關系,如果無法確定,則選擇“未知”。如圖5-Ⅰ所示。為提高關系推理的準確性,最終結果采用群體智能策略確定,即三個決策中有2個及以上對“實體對之間存在該種關系”表示肯定,則認為此關系成立并輸出最終三元組。群體智能策略實現(xiàn)如圖5-Ⅱ所示。
3.1 文本預處理本文主要以防洪搶險應急預案文檔、防汛條例、防汛搶險知識文本作為主要案例源。在獲得相關文本后,對文本進行段落篩選,過濾掉與防汛知識無關的描述,利用自然語言處理工具PyLTP(Python Language Technology Platform)[30]對篩選后的段落以句號為分隔符進行分句處理,最終獲得3104條文本,將3104條文本輸入到防汛搶險實體抽取器中,獲得5601個實體對。以此5601個實體對為基礎測試數(shù)據(jù),通過實驗檢驗防汛搶險知識推理方法的有效性。
3.2 基準實驗設置
3.2.1 子模塊中AI單元的有效性檢驗 采用抽樣方法[31]檢驗AI單元準確性。對于防汛實體抽取單元的檢驗將從初始3104條文本中隨機抽取310條文本進行評估;對于防汛實體間關系決策單元的檢驗,將從5601個實體對中隨機抽取560個進行評估;對于防汛實體知識挖掘單元,該單元主要用來挖掘防汛搶險實體相關知識,此單元所返回的答案是利用LLM從廣泛的世界知識中抽取并生成的,所涉及知識并無標準答案,故允許防汛實體知識挖掘單元存在噪聲。因此本文不對該單元進行評估,只要該單元能提取到相關的、正確的防汛搶險知識,即認為KPer模塊可靠。
針對防汛實體抽取單元,對該單元抽取所得實體進行判斷,判斷其是否屬于防汛搶險實體。針對防汛實體間關系決策單元,通過判斷最終推理所得結果的準確率來評估該單元的可靠程度。
3.2.2 防汛知識推理有效性驗證 將FCRKI與實體關系聯(lián)合抽取框架WRERJE[12]進行比較,驗證FCRKI在防汛實體關系三元組知識推理任務中的可靠性。將3.2.1節(jié)中得到的310條初始文本作為輸入,分別使用WRERJE 和FCRKI提取防汛實體關系三元組。此外,為了驗證文本特征對FCRKI的影響,將310條樣本分為簡單文本和復雜文本,如果1條文本中含有兩個以上的防汛搶險實體且模式復雜,即劃定為復雜文本,否則為簡單文本,最終得到156條簡單文本和154條復雜文本。分別測試FCRKI方法對復雜文本和簡單文本的推理性能。
3.2.3 AI鏈和群體智能策略有效性檢驗 為了驗證本文所提AI鏈的有效性,設計2種方法:(1)FCRKIw/oAI,其不使用AI鏈思想,采取直接詢問實體間關系的方式,如圖6中FCRKIw/oAI,輸入為1條工程文本,輸出為LLM根據(jù)自身邏輯推理出的該條語句中表達的關系;(2)FCRKIAI-CoT,其使用AI鏈思想,但不進行子模塊和功能單元的劃分,只在1個文本塊中描述所有步驟,LLM通過任務步驟來完成防汛實體間關系推理,如圖6中所示,輸入為1條工程文本,輸出為LLM根據(jù)步驟推理得到的文本中表達關系。采用初始310條工程文本進行上述兩種方法的測試。
為了評估群體智能策略對FCRKI魯棒性的影響,設計了4種方法,第1種方法為FCRKIw/OMV,該方法省略多數(shù)投票環(huán)節(jié),在3個決策單元的輸出結果中,只要有一個輸出為正,該結果就為正,該方法主要驗證多數(shù)投票的有效性。其余3種方法則是針對防汛實體間關系決策單元設計了3種獨立變體,分別是只回答開放式問題的決策1(RDer_1)、只判斷聲明正誤的決策2(RDer_2)、只做限制性選擇的決策3(RDer_3),每種方法都將其對應的獨立決策單元的輸出作為最終結果,3種獨立變體用于驗證群體智能策略的有效性。
4.1 子模塊中AI單元有效性檢驗結果對于子模塊和AI單元的準確性檢驗結果如表2所示。防汛實體抽取器的準確率取決于該子模塊內(nèi)進行實體抽取的AI單元準確率,實體抽取AI單元對初始的310條文本進行抽取,共抽取出525個實體,通過人工對525個實體進行注釋,其中正確的有457個,準確率為87%。防汛實體間關系決策器從3.2.1中得到的560個實體對中推理出769條關系三元組,通過人工對769條關系三元組進行注釋,正確數(shù)量為661,準確率為86%。在769條關系三元組中,通過開放式提問方式進行決策的決策1回答正確個數(shù)為630,準確率為82%;通過限制性判斷聲明正誤方式進行決策的決策2判斷正確個數(shù)為607,準確率為79%。通過限制性選擇方式進行決策的決策3選擇正確個數(shù)為592,準確率為77%。
實體抽取錯誤主要表現(xiàn)為無效實體與文本中不存在實體,具體案例如表3。從第1條文本中抽取出的“土?!睂嶓w,與從第2條文本中抽取出的“填筑”實體,其在日常生活和各個領域中被廣泛使用,這類實體屬于通用實體,對于大壩防汛搶險任務缺乏針對性,本文注釋時將該類實體視為無效實體。從第1條文本中抽取的“堤壩”實體,雖屬于該領域內(nèi)特定實體,但并不存在于文本中,這是由于LLM有時可能會根據(jù)語義生成與當前文本語義較相似,但實際不存在于文本中的實體,本文中注釋時將該實體視為錯誤實體。關系推斷不正確主要由于進行實體相關知識挖掘時,LLM生成的防汛實體相關知識可能存在噪聲,因為此模塊所返回的答案是利用LLM從廣泛的世界知識中挖掘并生成的,所涉及知識并無標準答案,而本文設計的群體智能策略可以緩解噪聲帶來的挑戰(zhàn),提高關系推理結果的可靠性??傮w來看,AI單元表現(xiàn)出的高準確率,證實了融合群體智能策略的AI鏈能夠有效地連接AI單元完成大壩防汛搶險知識推理任務。
表3 實體抽取錯誤案例
4.2 防汛知識推理有效性檢驗結果FCRKI和WRERJE的對比結果如表4。FCRKI和WRERJE分別從隨機抽取的310條初始工程文本中推理得到335條和274條防汛實體關系三元組。對于簡單文本,F(xiàn)CRKI能夠正確推理出192條防汛實體關系三元組,高于WRERJE提取的169條,對于復雜文本,F(xiàn)CRKI正確推理出143條防汛實體關系三元組,多于WRERJE提取的105條關系三元組。因為簡單文本的語義復雜度較低,對方法推理能力要求不高。復雜文本的語義復雜度較高,涉及到很多從句和代詞指稱,使得WREEJE提取關系較為困難,因為WRERJE僅從輸入文本中提取表意明確關系三元組,推理能力弱。而FCRKI利用LLM具備的世界知識和強大的生成能力來推理出防汛實體間關系,不受文本來源和語義復雜度的限制,因此,F(xiàn)CRKI可以更好的地處理復雜文本中的實體與實體間關系。
表4 FCRKI和WRERJE的驗證結果
4.3 AI鏈和群體智能策略有效性檢驗結果6種方法的結果如表5所示。從表中得知FCRKIw/oAI準確預測180條關系三元組,少于FCRKI的335條,這表明即便LLM學習到海量互聯(lián)網(wǎng)知識,但沒有明確的任務提示,也很難直接推理出二者關系。FCRKIAI-CoT準確預測198條關系三元組,這表明在單個文本塊中進行全部步驟的描述,LLM很難將各部分的輸入輸出緊密聯(lián)系起來,這兩種方法驗證了AI鏈思想和子模塊以及功能單元設計對FCRKI魯棒性的影響。FCRKIw/OMV準確預測361個關系,雖高于FCRKI的335個,但其準確率遠低于FCRKI,驗證了多數(shù)投票的有效性。而對于獨立的防汛實體間關系決策單元(RDer_1,RDer_2,RDer_3),表4結果表明,RDer_1的準確率為3個獨立決策單元中最高,但也遠遠低于FCRKI,這驗證了引入群體智能策略可以提高FCRKI的魯棒性。此外,獨立的防汛實體間關系決策單元結果也表明,在3種提示風格(開放式問題風格、限制性判斷風格、限制性選擇風格)中開放式風格對防汛實體間關系推理是最有效的。與直接向LLM查詢防汛知識相比,通過設計一系列提示組成AI鏈在實體抽取、知識挖掘和關系推理多個步驟中與LLM逐步進行交互可以有效提高LLM響應的可靠性。群體智能策略可以緩解設計完美提示帶來的挑戰(zhàn),進一步提高防汛知識推理的魯棒性。
表5 AI鏈和群體智能策略有效性檢驗結果
將采用FCRKI方法推理得到的防汛三元組知識存儲進圖數(shù)據(jù)庫Neo4j以構建防汛知識圖譜,其中部分實體關系三元組如圖7所示。
圖7 部分防汛搶險實體關系知識
本文提出使用LLM作為AI知識庫進行大壩防汛知識推理的思路。FCRKI通過將任務分解為單步的執(zhí)行流程,并設計有效提示來提高LLM響應的可靠性。所總結3個任務分析原則:(1)模塊化任務分解,即將總任務分解為子問題,設計子模塊,并進一步設計功能單元;(2)子模塊鏈接,即以特定結構鏈接各子模塊;(3)AI單元與非AI單元組合,即編程邏輯清晰,規(guī)則定義明確的作為非AI單元,設計提示引導LLM作用于AI單元。
與現(xiàn)有方法相比,F(xiàn)CRKI有3個主要優(yōu)點:(1)利用LLM豐富世界知識,打破了可利用文本數(shù)量過少和文本質(zhì)量偏低的局限;(2)使用無監(jiān)督學習方法,省去了傳統(tǒng)監(jiān)督或半監(jiān)督學習方法中由于人工標注大規(guī)模數(shù)據(jù)帶來的勞動開銷;(3)上下文學習能力,可通過上下文學習有效捕捉到復雜長難句中實體之間的關系。此外為了降低LLM響應錯誤的潛在風險,采用AI鏈思想,分解任務步驟、設計有效提示以及群體智能策略,大大提高了FCRKI的可靠性和魯棒性,實驗結果表明,F(xiàn)CRKI可以高效率地推理不同類型的防汛實體間關系。
FCRKI在防汛知識推理任務上取得了較好的效果,但仍存在問題,由于本文使用5種關系類型進行測試,但大壩防汛領域還存在其他關系類型,后續(xù)工作中需要進一步探索不同關系類型中不同風格的提示對FCRKI推理性能的影響,并嘗試將這一新范式應用到各種水利工程文本中領域知識的智能推理任務上,以推進新階段水利工程文本處理數(shù)字化、智能化發(fā)展。