關(guān)鍵詞：大語言模型；金融制度合規(guī)；系統(tǒng)響應(yīng)時間

中圖分類號：TP391 文獻標識碼：A

文章編號：1009-3044（2024）25-0008-03

近年來，隨著人工智能、大數(shù)據(jù)、5G等先進技術(shù)的迅速發(fā)展，金融制度合規(guī)系統(tǒng)的智能化發(fā)展速度也越來越快，新興技術(shù)在金融機構(gòu)內(nèi)部管理和業(yè)務(wù)開展中的重要作用日益凸顯。大語言模型憑借其強大的自然語言處理能力[1]，在金融合規(guī)領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力。大語言模型能夠理解復(fù)雜的金融法規(guī)和內(nèi)部規(guī)范，并自動完成文本生成、信息提取等任務(wù)，為金融合規(guī)業(yè)務(wù)的智能化轉(zhuǎn)型提供了技術(shù)支撐。

1 系統(tǒng)設(shè)計與實現(xiàn)的難點分析

在數(shù)字經(jīng)濟背景下，提升金融合規(guī)系統(tǒng)的監(jiān)管效率、降低監(jiān)管成本至關(guān)重要。將大語言模型應(yīng)用于金融合規(guī)系統(tǒng)，能夠打造智能助手，協(xié)助合規(guī)人員處理制度撰寫、材料審核、規(guī)范答疑等事務(wù)，有效減少人員日常工作量。然而，大語言模型自身的局限性也為金融合規(guī)系統(tǒng)的應(yīng)用帶來了一些挑戰(zhàn)。一方面，金融合規(guī)系統(tǒng)涉及的文檔通常篇幅較長，超過了大語言模型的上下文限制。因此，系統(tǒng)設(shè)計需要引入合適的框架對長文檔進行拆分處理。另一方面，金融合規(guī)業(yè)務(wù)的提示詞往往較為復(fù)雜，導(dǎo)致大語言模型的響應(yīng)時間較長。因此，需要對系統(tǒng)響應(yīng)時間進行優(yōu)化，以保證系統(tǒng)的流暢性。

2 系統(tǒng)設(shè)計的整體方案

基于大語言模型所設(shè)計的金融合規(guī)系統(tǒng)從整體上看主要分為業(yè)務(wù)層、依賴服務(wù)、底層存儲這三個部分（如圖1所示）。其中，大語言模型在業(yè)務(wù)層的重點應(yīng)用主要體現(xiàn)在合規(guī)問答、材料審核、制度起草這三種功能上。

對于合規(guī)問答而言，該功能主要基于檢索增強的文本生成技術(shù)（RAG，Retrieval Augmented Generation） 來實現(xiàn)[2]?；驹硎歉鶕?jù)用戶問題智能檢索制度文檔集合中相關(guān)的條款，以這些條款作為參考信息來請求大語言模型，進而在系統(tǒng)中由大語言模型反饋回相應(yīng)的問答結(jié)果。制度起草與合規(guī)問答類似，也是以用戶檢索的相關(guān)制度信息作為參考，請求大語言模型進行制度文本的撰寫、續(xù)寫或者重新改寫等。材料審核則是通過將輸入系統(tǒng)的長文檔切分為短文檔，進而完成審核要點的提取及審核結(jié)果生成等子任務(wù)。

業(yè)務(wù)支撐層主要為業(yè)務(wù)層的各類智能功能提供基礎(chǔ)和保障，主要包括大語言模型服務(wù)及合規(guī)知識庫兩部分。其中，合規(guī)知識庫是一個由原始金融合規(guī)制度文檔加工而成的信息集合，通過對原始制度按照條款進行切分并構(gòu)建索引，以便提供給業(yè)務(wù)層作為用戶檢索時的參考信息使用。底層存儲層在設(shè)計上主要引入了對象存儲、關(guān)系數(shù)據(jù)庫及向量數(shù)據(jù)庫這三種持久化工具。對象存儲主要用于存儲形成合規(guī)知識庫所需的原始合規(guī)規(guī)則、制度等文檔，關(guān)系數(shù)據(jù)庫用于記錄用戶檢索歷史、用戶信息等關(guān)系型數(shù)據(jù)，而向量數(shù)據(jù)庫主要能夠構(gòu)建金融規(guī)章制度的文檔切片索引，以實現(xiàn)語義檢索功能[3]。

3 系統(tǒng)的詳細設(shè)計

由于大語言模型在金融合規(guī)體系中的應(yīng)用主要集中在業(yè)務(wù)系統(tǒng)中，本文將重點對業(yè)務(wù)系統(tǒng)中合規(guī)問答、材料審核及制度起草這三種智能應(yīng)用的詳細設(shè)計展開分析。

3.1 合規(guī)問答系統(tǒng)設(shè)計

合規(guī)問答系統(tǒng)的設(shè)計原理是以現(xiàn)有的金融合規(guī)制度、規(guī)則作為參考知識庫，通過智能客服的形式解答用戶提出的合規(guī)相關(guān)問題，主要包括線下知識庫構(gòu)建與線上合規(guī)問答兩部分，其主要通過檢索增強的文本生成技術(shù)（RAG） 來實現(xiàn)。

首先，線下知識庫構(gòu)建方面，主要將業(yè)務(wù)支撐層中的合規(guī)知識庫進行信息加工，加工成大語言模型可以識別的切片索引，每個制度切片均包含若干完整的條款及相關(guān)章節(jié)標題，以確保信息的完整性。其次，線上合規(guī)問答的設(shè)計包括問題增強、參考信息召回與排序及答案生成。問題增強主要通過大語言模型對用戶所提問題進行擴展，如問題概述、提取關(guān)鍵詞、模擬答案等，以提高檢索參考信息的召回率。參考信息召回主要通過用戶提問及問題增強生成的相關(guān)問題從所構(gòu)建的線下知識庫進行檢索，并獲取知識庫中的相關(guān)制度、規(guī)則信息。與此同時，使用RRF（Recipro?cal Rank Fusion） 等算法對所獲取的相關(guān)信息進行優(yōu)先級排序[4]。最終根據(jù)相關(guān)性最高的制度、規(guī)則信息生成提示詞來請求大語言模型，進而形成用戶問題的答案。

3.2 制度起草系統(tǒng)設(shè)計

制度起草是基于大語言模型功能完成金融合規(guī)制度的智能撰寫，包括合規(guī)制度的目錄大綱、各分章節(jié)具體內(nèi)容等。其中，目錄大綱的撰寫主要依據(jù)合規(guī)知識庫中原始的金融合規(guī)制度大綱范式進行撰寫，各章節(jié)具體內(nèi)容則是通過相應(yīng)的章節(jié)標題來檢索合規(guī)知識庫，基于檢索出的相關(guān)制度片段作為參考進行撰寫。這樣設(shè)計的合理性在于，它基于已有的金融合規(guī)制度、規(guī)則文檔，模擬了人類制度起草時由整體到局部的思考邏輯。但是該方案存在系統(tǒng)響應(yīng)時間長的問題，因為大語言模型輸出復(fù)雜內(nèi)容一般需要5～20 秒的時間，耗時較長。由于制度撰寫整個過程的實現(xiàn)涉及多次大語言模型交互與參考信息的檢索，完成時間預(yù)計會超過5分鐘，用戶體驗較差。為此，本文提出以下兩種解決方案：一是采用大語言模型服務(wù)提供的流式輸出方案。大語言模型可以通過服務(wù)端事件協(xié)議（Server Side Events， SSE） 對外提供流式輸出，頁面能夠顯示類似打字機的輸出效果。經(jīng)過測試，該種方案可以在5秒以內(nèi)輸出響應(yīng)內(nèi)容。二是采用并發(fā)調(diào)用大語言模型服務(wù)的方案。雖然該方案無法獲取流式輸出效果，但可顯著縮短在制度起草完成后全文輸出的時間。經(jīng)過測試，該種方案輸出制度全文的平均響應(yīng)時間約為30秒。

3.3 材料審核系統(tǒng)設(shè)計

基于大語言模型的金融合規(guī)業(yè)務(wù)中材料審核系統(tǒng)主要包括審核點抽取及審核結(jié)果獲取兩個模塊。審核點抽取是從合規(guī)知識庫中總結(jié)提取若干審核點，并提交審核結(jié)果獲取模塊進行智能審核處理。審核結(jié)果獲取模塊會根據(jù)審核點對用戶提交的被審核材料進行智能閱讀，并輸出審核結(jié)果及改進意見。

智能閱讀與問答和撰寫類似，也是一種大語言模型的應(yīng)用形式，其主要用于解決輸入文檔過長的問題，其在系統(tǒng)設(shè)計中主要借鑒了大數(shù)據(jù)技術(shù)中的MapReduce計算框架[5]。該框架分為Map與Reduce兩個階段，Map 階段主要處理拆分后的文檔切片，Re?duce階段則負責將上述處理結(jié)果進行匯總。這樣設(shè)計可以審核和處理遠超單次請求大語言模型提示詞長度上限的制度、規(guī)則文檔，并可以高效完成相應(yīng)的材料審核任務(wù)（圖2） 。例如在金融合規(guī)制度或規(guī)則文檔的翻譯任務(wù)中，Map階段主要進行文本翻譯，而Re?duce階段則合并翻譯結(jié)果。

4 系統(tǒng)測試結(jié)果分析

基于大語言模型所設(shè)計的金融合規(guī)系統(tǒng)的響應(yīng)時間主要由大語言模型服務(wù)的首Token響應(yīng)時間決定，而響應(yīng)時間的長短將直接影響用戶的使用體驗。為此，在保證系統(tǒng)功能的前提下，對系統(tǒng)設(shè)計中所使用的文心一言系列[6] 的3 個模型（erniebot-4.0-8k、erniebot-3.5-8k 與erniebot-speed-8k） 的響應(yīng)時間進行測試與對比，重點關(guān)注各類大語言模型單次請求的提示詞Token數(shù)與接收到首個Token所耗時之間的關(guān)系，具體測試結(jié)果如圖3所示。由于這三個模型在性能上依次減弱，根據(jù)測算結(jié)果，在相同的輸入長度前提下，效果越好的大語言模型其響應(yīng)速度越慢。這是因為效果越好的大語言模型其模型參數(shù)與相應(yīng)的計算資源也越多，請求所需要的時間就越長。因此，在系統(tǒng)設(shè)計中選擇大語言模型時，需要根據(jù)自身業(yè)務(wù)特點在模型性能與響應(yīng)時間之間做出平衡。

同時，根據(jù)以上測試結(jié)果，這三種大語言模型首Token延遲隨著提示詞Token量的增加而整體呈上升趨勢。這是因為大語言模型，如GPT-3和BERT，通常使用Transformer架構(gòu)[1]。該架構(gòu)在處理輸入時，需要對每個Token與其他所有Token的關(guān)系進行計算，輸入Token的數(shù)量會直接影響模型的計算復(fù)雜度。如果輸入的Token數(shù)量增加一倍，模型需要處理的Token 對（Token pairs） 的數(shù)量會變?yōu)樵瓉淼乃谋?，?dǎo)致模型的響應(yīng)時間明顯增加。因此，在基于大語言模型的金融合規(guī)系統(tǒng)設(shè)計中，還需要在用戶輸入問題復(fù)雜度和模型響應(yīng)時間之間做出平衡。例如，可以根據(jù)上述曲線對用戶輸入問題的提示詞長度進行截段，或者在進行問答時減少參考信息的條數(shù)，從而減少輸入提示詞長度，進而達到較為理想的響應(yīng)時間，提升用戶對系統(tǒng)的使用體驗。

5 結(jié)束語

基于大語言模型應(yīng)用成本低、操作靈活性強等優(yōu)勢，本文設(shè)計了一套集合規(guī)問答、制度起草、材料審核等智能化功能于一體的金融合規(guī)系統(tǒng)。同時，本文通過合規(guī)系統(tǒng)中提示詞長度與不同類型大語言模型響應(yīng)時間關(guān)系的模擬與測算，為智能金融合規(guī)系統(tǒng)中大語言模型響應(yīng)時間的合理優(yōu)化與控制提供了解決方案和相應(yīng)策略。