[摘要]現(xiàn)階段,基于大模型的生成式人工智能服務(wù)在各個行業(yè)的應(yīng)用越來越廣泛。本文基于百度的文心大模型,探索生成式人工智能服務(wù)在審計工作中的應(yīng)用,并總結(jié)大模型和生成式人工智能在審計領(lǐng)域應(yīng)用的風(fēng)險,提出如何規(guī)避風(fēng)險的建議,最后對構(gòu)建審計行業(yè)大模型的可行性進行探討。
[關(guān)鍵詞]生成式人工智能 " 大模型 " 審計
年來,人工智能大模型和生成式人工智能引
發(fā)了全球范圍內(nèi)的關(guān)注,其代表ChatGPT更是被應(yīng)用于多個行業(yè)及領(lǐng)域。國內(nèi)與ChatGPT功能相似的人工智能服務(wù)有百度的“文心一言”、阿里的“通義千問”、科大訊飛的“星火”等。以上應(yīng)用服務(wù)均是企業(yè)基于各自已建立的通用語言類大模型,運用自然語言處理和機器學(xué)習(xí)等技術(shù)識別人類語言,并根據(jù)用戶的輸入進行智能響應(yīng),為用戶提供自然流暢的語言交互體驗的技術(shù)。這項技術(shù)以其強大的自然語言處理能力和深度學(xué)習(xí)能力,正在改變許多行業(yè)的運營方式,審計領(lǐng)域也不例外。本文將探討生成式人工智能服務(wù)在審計領(lǐng)域的應(yīng)用,并對構(gòu)建審計行業(yè)大模型的可行性進行探討。
一、基于“文心一言”在審計領(lǐng)域的應(yīng)用實例
根據(jù)2023年12月SuperCLUE最新發(fā)布的全球大模型基準測評排行榜,百度的文心大模型較之國內(nèi)其他語言類通用大模型表現(xiàn)最為優(yōu)秀。本部分參考《A Demonstration of How ChatGPT Can be Used in the Internal Auditing Process》一文中提到的ChatGPT在審計過程中的應(yīng)用方法,進行了審計實例測試。本文采用基于百度文心大模型3.5版本的文心一言,展示了生成式人工智能服務(wù)在部分審計場景中的使用表現(xiàn)。表1中的“提問”是輸入文心一言的問題,“文心一言反饋”是基于審計人員提供給文心一言的學(xué)習(xí)內(nèi)容和問題作出的回答。
(一)輔助制訂審計方案
審計人員對某個業(yè)務(wù)領(lǐng)域知識儲備不足時,可利用文心一言輔助進行審計方案制訂,以提高方案制訂的效率。
(二)輔助撰寫審計底稿
一是審計人員可以通過文心一言“閱覽文檔”插件上傳相關(guān)文檔供其學(xué)習(xí),文心一言會自動對文檔內(nèi)容進行總結(jié)歸納,以提高審計人員總結(jié)文檔材料的效率。例如,使用“閱覽文檔”插件功能令其學(xué)習(xí)機關(guān)食堂管理制度匯編,文心一言可以將該制度匯編中涉及審計關(guān)注的內(nèi)容進行初步總結(jié)后反饋。二是文心一言可以根據(jù)原始底稿文字描述生成圖表,以縮短撰寫底稿的時間,詳見表2。
(三)輔助查找審計線索
在完成對該機關(guān)食堂管理制度匯編的學(xué)習(xí)后,文心一言可對制度缺陷進行總結(jié)評價,輔助審計人員尋找線索,提高效率。對比現(xiàn)實審計結(jié)論,文心一言的反饋與實際審計發(fā)現(xiàn)問題高度吻合。另外,在需要通過編程查找審計線索時,文心一言也可根據(jù)審計要求編寫一段Python代碼用于執(zhí)行特定操作,審計人員通過審核和修改代碼即可快速達到查找目的,這一功能可以大大提高審計人員Python編程能力和效率,詳見表3。
(四)輔助生成確認書和審計報告
文心一言在學(xué)習(xí)審計底稿等資料后,可輔助審計人員撰寫確認書和審計報告,最后交由審計人員審核確認,詳見表4。
以上應(yīng)用實例并不全面,僅展示了審計人員利用生成式人工智能服務(wù)工作的部分審計場景,從而引導(dǎo)審計人員逐步接觸及使用人工智能技術(shù)及服務(wù)。除以上實例外,審計人員還可以嘗試利用生成式人工智能服務(wù)開展自主學(xué)習(xí)、數(shù)據(jù)分析、審計計劃制訂等工作。生成式人工智能服務(wù)可以將審計人員從繁重的文檔工作中解脫出來,從而有更多的時間來實施現(xiàn)場檢查。此外,內(nèi)部審計機構(gòu)如想在審計中有效地應(yīng)用生成式人工智能服務(wù),還需要對審計人員開展培訓(xùn),確定可公開的數(shù)據(jù)文檔及必要的IT技術(shù)支持等。然而,生成式人工智能服務(wù)雖然具有許多優(yōu)點,但其潛在的風(fēng)險也不容忽視。
二、生成式人工智能服務(wù)在審計領(lǐng)域的應(yīng)用風(fēng)險
(一)數(shù)據(jù)隱私和安全
生成式人工智能服務(wù)需要大量的數(shù)據(jù)進行訓(xùn)練和改進,這些數(shù)據(jù)可能包含敏感和涉密信息,如果不能得到妥善處理和保護,就可能導(dǎo)致數(shù)據(jù)泄露和濫用。因此,審計人員在使用文心一言等服務(wù)時,需要確保這些信息不會被泄露或濫用,要采取必要措施保護數(shù)據(jù)安全,如脫敏關(guān)鍵信息等。
(二)算法偏見和錯誤
人工智能算法偏見是指在運用算法決策時存在的偏差或偏見。這些問題可能源于算法中的數(shù)據(jù)偏差或缺失、研發(fā)人員的偏見及算法本身設(shè)計和參數(shù)設(shè)置的缺陷等。這些偏見和錯誤可能會導(dǎo)致相關(guān)審計反饋不準確,進而影響審計質(zhì)效。因此,在算法和技術(shù)趨于完善前,為了解決算法偏見問題,審計人員需對ChatGPT類生成式人工智能服務(wù)的反饋內(nèi)容進行人工審核確認。
(三)大模型的幻覺
模型幻覺是指大模型的生成結(jié)果中包含無根據(jù)或錯誤的內(nèi)容。例如,“自相矛盾”幻覺是指生成的摘要或翻譯與原文矛盾;“無中生有”幻覺是指摘要結(jié)果中出現(xiàn)原文沒有提及的陳述;某些對于人類來說可能沒有實際意義詞匯,對于模型來說卻是重要的特征,這些都可能會給用戶帶來“模型幻覺”。由于大模型的參數(shù)數(shù)量和計算量非常龐大,審計人員作為用戶很難完全理解和掌控其內(nèi)部的工作機制,因此可能會出現(xiàn)一些無法預(yù)料的結(jié)果或者現(xiàn)象,從而影響審計順利開展。為了解決大模型幻覺問題,在工程師不斷優(yōu)化大模型的訓(xùn)練方法和數(shù)據(jù)質(zhì)量的同時,審計人員還需對ChatGPT類生成式人工智能服務(wù)的反饋內(nèi)容加強評估和審核,確保其結(jié)果的準確性和可靠性。
(四)法律和合規(guī)風(fēng)險
不同國家、地區(qū)、行業(yè)對于數(shù)據(jù)保護的法律法規(guī)和制度有所不同。我國2023年8月15日正式實施的《生成式人工智能服務(wù)管理暫行辦法》,對生成式人工智能服務(wù)的適用范圍和原則、服務(wù)提供者、使用要求、用戶權(quán)益保障、監(jiān)督檢查和法律責(zé)任等作出說明。該辦法通過規(guī)范生成式人工智能的應(yīng)用,促進了其健康發(fā)展,同時也保護了用戶的合法權(quán)益和網(wǎng)絡(luò)安全。相關(guān)國家法律法規(guī)還有《中華人民共和國網(wǎng)絡(luò)安全法》《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》等。在使用ChatGPT類生成式人工智能技術(shù)的服務(wù)時,審計人員不僅要遵循人工智能相關(guān)的行業(yè)法律制度,還需遵守審計領(lǐng)域的相關(guān)法律制度。
(五)依賴性和風(fēng)險集中
首先,過度依賴生成式人工智能服務(wù)可能會導(dǎo)致審計工作的風(fēng)險集中。如果生成式人工智能服務(wù)出現(xiàn)故障或錯誤,就可能會影響整個審計工作的進程和質(zhì)量。其次,生成式人工智能服務(wù)的決策過程通常缺乏透明度和可解釋性,可能出現(xiàn)個別審計結(jié)果不被理解和確認的情況。此外,目前該服務(wù)提供的資料未有引用和出處說明,審計人員便無法追蹤結(jié)論來源。所以,即使ChatGPT類生成式人工智能服務(wù)功能很強大,也需要審計人員有扎實的審計基本功,并在必要時對ChatGPT類生成式人工智能服務(wù)的反饋進行正確評估。
三、構(gòu)建審計行業(yè)大模型的可行性
(一)行業(yè)大模型的發(fā)展
在國家相關(guān)政策引導(dǎo)下,全國各地大模型建設(shè)進程加快,截至2023年10月,我國10億參數(shù)以上的大模型設(shè)計廠商及高校院所共計254家。從大模型發(fā)展來看,通用大模型具有強大泛化能力,但缺乏行業(yè)深度,在專業(yè)及細分領(lǐng)域難以提供高價值服務(wù);而行業(yè)大模型能更深入特定業(yè)務(wù)及場景,更精確地滿足行業(yè)需要。截至2023年7月,國內(nèi)行業(yè)大模型已完成招標超60個。
(二)行業(yè)大模型的構(gòu)建方式
審計工作專業(yè)性及準確性要求較高,在通用大模型基礎(chǔ)上構(gòu)建行業(yè)大模型,可以更加深入地利用審計領(lǐng)域的專業(yè)知識和數(shù)據(jù),在處理特定審計任務(wù)時具有更高的準確性和可靠性。目前國內(nèi)已形成“基礎(chǔ)+行業(yè)+應(yīng)用”三層架構(gòu)的大模型商業(yè)模式,具體是以通用大模型AI服務(wù)為主的基礎(chǔ)層,以垂直行業(yè)領(lǐng)域AI為主的行業(yè)層,以大模型應(yīng)用服務(wù)為主的應(yīng)用層,三層相互促進,協(xié)同優(yōu)化,詳見圖1?;A(chǔ)層提供接口,為上層應(yīng)用提供安全、高效、低成本的模型使用和開發(fā)支持;行業(yè)層可以復(fù)用基礎(chǔ)層大模型的通用共識能力,開發(fā)深耕專業(yè)領(lǐng)域的專業(yè)大模型,強化大模型在行業(yè)細分領(lǐng)域的專項能力;應(yīng)用層是將基礎(chǔ)層和行業(yè)層提供的大模型與應(yīng)用服務(wù)相結(jié)合,提供更卓越的體驗。例如,基于文心大模型的電網(wǎng)分析及智能應(yīng)用平臺、基于華為盤古政務(wù)大模型在城市治理領(lǐng)域的應(yīng)用、基于旅游行業(yè)垂直大模型的“攜程問道”等。
(三)審計行業(yè)大模型的構(gòu)建
2021年6月印發(fā)的《“十四五”國家審計工作發(fā)展規(guī)劃》中提出“全面貫徹落實習(xí)近平總書記關(guān)于科技強審的要求,加強審計技術(shù)方法創(chuàng)新,充分運用現(xiàn)代信息技術(shù)開展審計,提高審計質(zhì)量和效率”。近年來,在數(shù)字化審計轉(zhuǎn)型工作不斷推進的背景下,內(nèi)外部審計機構(gòu)數(shù)字化建設(shè)已初見成效,各類審計信息化平臺中集合了大量審計工作數(shù)據(jù)。根據(jù)上文所述的“基礎(chǔ)+行業(yè)+應(yīng)用”三層架構(gòu),審計機構(gòu)可以利用審計信息化平臺中積累的數(shù)據(jù),在通用大模型AI服務(wù)為主的基礎(chǔ)層上,建立以審計行業(yè)AI為主的行業(yè)層,進而在此基礎(chǔ)上建立相應(yīng)的大模型應(yīng)用服務(wù),詳見圖2。以上方法的優(yōu)點是可以復(fù)用基礎(chǔ)層大模型的通用共識能力。對于審計機構(gòu)來說,上述方法能夠解決其自身數(shù)字開發(fā)能力有限和自建大模型成本過高的問題;能夠更加充分地利用已有審計數(shù)據(jù),構(gòu)建集中資源,深耕專業(yè)領(lǐng)域的專業(yè)大模型;將基礎(chǔ)層和行業(yè)層提供的大模型與應(yīng)用服務(wù)相結(jié)合,提供更卓越的體驗。應(yīng)用服務(wù)包括但不限于生成式人工智能服務(wù),應(yīng)包括輔助審計工作的各類AI服務(wù),例如,基于制度規(guī)范的問答助手、風(fēng)險點分布服務(wù)、審計咨詢服務(wù),審計報告生成服務(wù)、審計質(zhì)量評估服務(wù)等。對于內(nèi)部審計機構(gòu)來說,建立審計行業(yè)大模型不僅能克服使用通用大模型可能存在的準確度不高、數(shù)據(jù)安全等風(fēng)險,而且能將審計數(shù)字化工作帶入人工智能時代,做到更全面地評估風(fēng)險,更高效地實施審計,更準確地提供咨詢建議,更好地發(fā)揮審計在完善內(nèi)部治理中的作用。
(作者單位:中國人民銀行淮南市分行 中國人民銀行安徽省分行,郵政編碼:232007,電子郵箱:zffzoe@163.com)
主要參考文獻
[1]北京市科學(xué)技術(shù)委員會,中關(guān)村科技園管理委員會.北京市人工智能行業(yè)大模型創(chuàng)新應(yīng)用白皮書(2023年)[EB/OL].https://kw.beijing.gov.cn/art/2023/11/29/art_6382_724110.html, 2023
[2]李偉鑫,王曉麗.ChatGPT類生成式人工智能的倫理問題、原因分析與規(guī)制路徑[J].昆明理工大學(xué)學(xué)報(社會科學(xué)版), 2024,24(1):54-62
[3]趙月,何錦雯,朱申辰,等.大語言模型安全現(xiàn)狀與挑戰(zhàn)[J].計算機科學(xué), 2024,51(1):68-71
[4]Marc Eulerich,David A.Wood.A Demonstration of How ChatGPT Can be Used in the Internal Auditing Process.[EB/OL]https://www.theiia.org/en/search/?keyword=A+Demonstration+of+How+ChatGPT+Can+be+Used+in+the+Internal+Auditing+Process, 2023