鈄曉東

關鍵詞：生成式人工智能 ChatGPT? 數(shù)據(jù)安全 風險管控 數(shù)據(jù)治理 國家安全

一、問題的提出

近期，作為人工智能重大發(fā)展成果的ChatGPT橫空出世，再一次引發(fā)了學界對數(shù)據(jù)安全乃至國家安全的憂慮。ChatGPT是美國人工智能研究實驗室OpenAI推出的一種全新生成式人工智能模型，本質(zhì)上是一種“生成型預訓練語言轉(zhuǎn)換器”。它基于大量數(shù)據(jù)訓練，可以學習和理解人類的語言，并進行交流對話，甚至能完成撰寫郵件、制作視頻腳本、創(chuàng)作文案、翻譯、編寫代碼等任務，具有極強的“內(nèi)容創(chuàng)作”和“思考”能力，并呈現(xiàn)出由日常生活向?qū)I(yè)領域過渡的趨勢。ChatGPT已在智能辦公、智慧科研、智慧教育、智慧醫(yī)療及游戲、新聞等多個領域投入應用，域外亦有法官借助ChatGPT作出法庭裁決?？傊@一技術引發(fā)了未來科技發(fā)展和社會生產(chǎn)生活的本質(zhì)性變革，但也蘊涵著極大的安全風險。目前，ChatGPT不支持我國用戶注冊賬號，據(jù)報道，其原因可能涉及OpenAI和微軟的法務人員對于美國外貿(mào)管制法規(guī)或“國家安全”事務的解釋。換言之，OpenAI可通過限制ChatGPT應用范圍的方式對其本國的語言模型類技術和國家秘密加以保護。但ChatGPT研發(fā)及應用中其他主權國家的安全利益何以得到保障？ 從ChatGPT運行原理來看，其通過連接大量的語料庫來訓練模型，這一過程中語料庫數(shù)據(jù)的獲取、語言模型訓練、語料庫數(shù)據(jù)存儲等各個環(huán)節(jié)都涉及體量龐大的數(shù)據(jù)處理，ChatGPT的設計者可以惡意操控上述任意一個環(huán)節(jié)，損害其他主權國家的數(shù)據(jù)安全利益?？梢灶A見的是，生成式人工智能應用將迎來大規(guī)模普及。這也意味著，其帶來的潛在數(shù)據(jù)安全風險可能伴隨著大數(shù)據(jù)技術的發(fā)展而持續(xù)發(fā)酵，給國家安全帶來巨大的威脅和隱患。因此，作為新一輪技術革命成果的生成式人工智能，值得我們認真對待，在考慮擴充其使用范圍以便利生產(chǎn)生活的同時，也應認真審視其背后的國家安全問題，并對其中的數(shù)據(jù)安全風險及時進行治理。

為此，學界針對生成式人工智能中的數(shù)據(jù)安全問題進行了一定的研究，并提出了構建生成式人工智能數(shù)據(jù)安全風險治理的元規(guī)則，從回應型治理轉(zhuǎn)向數(shù)據(jù)安全的敏捷型應對，從制度和技術層面協(xié)同推進AIGC領域數(shù)據(jù)可信治理等一系列應對措施。然而，目前大部分學者只是在討論生成式人工智能技術風險時附帶提及數(shù)據(jù)安全問題，尚未有詳盡、專門的研究來深入闡述生成式人工智能數(shù)據(jù)安全問題的特殊性以及可能引致的其他國家安全層面的嚴重后果。這導致對該問題的研究顯得過于籠統(tǒng)，甚至脫離了生成式人工智能這一應用場景。還有一部分學者針對生成式人工智能的信息內(nèi)容風險及治理展開了大量研究，但從其治理措施來看卻忽視了信息內(nèi)容風險始終源于數(shù)據(jù)安全這一本質(zhì)性問題。鑒于此，本文擬在生成式人工智能應用各個環(huán)節(jié)中，對其數(shù)據(jù)安全風險進行詳細剖析，同時結合當下數(shù)字時代背景和生成式人工智能技術本身的特點，探討生成式人工智能數(shù)據(jù)安全風險治理的范式轉(zhuǎn)型，最后提出生成式人工智能應用中數(shù)據(jù)安全風險的回應型治理路徑，以期對該領域的數(shù)據(jù)安全問題作出更為深入的研究與分析。

二、生成式人工智能應用中的數(shù)據(jù)安全風險

生成式人工智能強大的學習能力離不開海量數(shù)據(jù)匯聚形成的語料庫，語料庫數(shù)據(jù)的輸入、運算、存儲與輸出均可能引致不同程度的數(shù)據(jù)安全風險，這些數(shù)據(jù)安全風險貫穿應用的全過程，兼具瞬時性和破壞性，直接或間接地挑戰(zhàn)著我國數(shù)據(jù)主權，成為影響國家安全的新型隱患。厘清生成式人工智能應用中的數(shù)據(jù)安全風險，是明確風險治理需求的基本前提。

（一）數(shù)據(jù)輸入端：語料庫非法獲取風險

生成式人工智能需要利用大量數(shù)據(jù)輸入訓練自然語言模型，這有助于模型獲取知識并構建語料庫，從而能夠準確理解自然語言并生成標準答案文本。顯然，生成式人工智能的存在基于海量數(shù)據(jù)信息形成的語料庫。在構建和更新語料庫的形式方面，可以將其分為被動和主動兩種類型。被動構建與更新的語料庫是大量用戶通過對話框自行輸入信息、系統(tǒng)自動將該類信息保存并納入的語料庫。主動的語料庫構建與更新則以數(shù)據(jù)爬蟲技術為典型，數(shù)據(jù)爬蟲技術可以通過程序自動收集互聯(lián)網(wǎng)上的大量數(shù)據(jù)，這種數(shù)據(jù)收集方式的優(yōu)點在于其能夠快速、高效地獲取大量的數(shù)據(jù)，使得模型的訓練和表現(xiàn)更加準確和可靠。

無論是被動的數(shù)據(jù)“輸入—收錄”還是主動的數(shù)據(jù)爬取，均可能引致語料庫的非法獲取。對于用戶自行輸入的數(shù)據(jù)信息，根據(jù)OpenAI用戶協(xié)議，盡管用戶在賬號注冊時作出了同意數(shù)據(jù)收集的意思表示， 但有關用戶個人身份信息的這部分內(nèi)容，OpenAI不得收集， 其仍負有從記錄中予以刪除的義務。問題在于，OpenAI用戶協(xié)議并未明確刪除方法及其具體行使，此類信息在實踐中仍可能被保留并用于模型訓練，會構成對個人知情同意權和刪除權等個人信息權益的侵害。對于數(shù)據(jù)爬蟲而言，鑒于數(shù)據(jù)自由流通在數(shù)字社會具有重要價值，國際規(guī)則和各國法律對正當?shù)臄?shù)據(jù)爬取予以認可。但數(shù)據(jù)爬取并非不受限制，數(shù)據(jù)爬取亦存在正當性邊界。根據(jù)我國數(shù)據(jù)安全法第32條規(guī)定，ChatGPT等生成式人工智能系統(tǒng)爬取我國境內(nèi)數(shù)據(jù)應嚴格遵守我國數(shù)據(jù)保護相關規(guī)定， 若爬取我國未公開數(shù)據(jù)、出于非法目的爬取我國數(shù)據(jù)或采取其他惡意手段爬取我國數(shù)據(jù)，則明顯超出正當性邊界，構成語料庫的非法獲取。意大利個人數(shù)據(jù)保護局（DPA）就曾因為OpenAI涉嫌非法爬取大量意大利用戶信息數(shù)據(jù)，宣布從2023年3月31日起禁止使用ChatGPT，同時對其隱私安全問題立案調(diào)查?？梢?，生成式人工智能中的數(shù)據(jù)爬蟲問題應當引起高度重視。同時，從其結果來看，由于非法爬取獲得的數(shù)據(jù)常常具有機密性、高密度性和保護性等特征，非法行為不僅侵害了個人的信息權益，而且也涉及國家的數(shù)據(jù)安全和數(shù)據(jù)主權問題。當生成式人工智能開發(fā)機構利用非法數(shù)據(jù)爬取技術成功爬取我國境內(nèi)數(shù)據(jù)并將其傳輸出境時，我國已失去對該部分數(shù)據(jù)出境的管理利益和對境外數(shù)據(jù)的自主控制利益，這意味著我國數(shù)據(jù)主權受到了挑戰(zhàn)。當前，生成式人工智能需要不斷擴充數(shù)據(jù)庫來提高回復文本的準確性，非法數(shù)據(jù)爬取作為數(shù)據(jù)獲取的霸權行為之一，日益成為威脅國家安全的重要隱患。

（二）數(shù)據(jù)運算端：訓練數(shù)據(jù)偏見風險

生成式人工智能文本生成由其自然語言模型所決定，而自然語言模型在本質(zhì)上取決于算法選擇以及用于模型訓練的龐大數(shù)據(jù)庫，這使得模型開發(fā)者能夠通過裁剪數(shù)據(jù)庫或操控算法的方式，將自己的偏好植入訓練數(shù)據(jù)，從而使輸出的文本呈現(xiàn)某種價值觀。

與其他語言模型一樣，ChatGPT并不是一個沒有偏見的工具。它對世界的“認識”取決于算法，或者說設計者所作的決定。例如，使用哪類數(shù)據(jù)進行文本訓練或使用何種生成方式進行內(nèi)容回復。這也可從ChatGPT運行原理中得到印證。為了確保ChatGPT9輸出信息的高度準確性，OpenAI9實施了一種“人類反饋強化學習”訓練方法：開發(fā)主體從GPT中選取樣本，對其進行人工標注，并利用評分結果來訓練反饋模型。通過對反饋模型和原模型進行對抗強化訓練，可以持續(xù)優(yōu)化原模型的輸出結果，最終得到一個符合人類語言習慣、偏好和價值觀的語言生成模型。此類模型生成機制可能造成以下隱患：生成式人工智能開發(fā)機構可能出于特定的政治目標或其他利益考量，使用帶有偏見的數(shù)據(jù)樣本進行語言模型訓練，使生成的回復文本完全符合其意識形態(tài)標準，從而“潛移默化”地影響用戶，使用戶思想或行為偏好向著有利于自身方向發(fā)展。因此，生成式人工智能中的數(shù)據(jù)偏見風險將可能帶來極為嚴重的安全后果。

在當今全球各種思潮、文化和價值觀念相互碰撞的背景下，人工智能技術面臨著被政治操縱、用作意識形態(tài)宣傳的風險，應當對此始終持謹慎態(tài)度。西方發(fā)達國家掌握大數(shù)據(jù)和人工智能核心技術，按照其自身價值觀制定全球政治秩序和規(guī)則，裁剪符合自身意識形態(tài)標準的數(shù)據(jù)庫，加劇了全球信息體系和政治秩序中的不平等和壟斷現(xiàn)象。在這種背景下，生成式人工智能的開發(fā)者可以通過操縱算法或裁剪數(shù)據(jù)庫的方式，在模型中植入某些價值觀。如果開發(fā)者持有歷史錯解、文化偏見或種族歧視的價值觀，這些觀念可能會通過模型與用戶的互動產(chǎn)生潛在的不利意識形態(tài)影響。在當今高度互聯(lián)的社會中，意識形態(tài)安全已經(jīng)不再是單純的意識形態(tài)問題，而是關系國家安全和穩(wěn)定的核心議題。近年來針對意識形態(tài)的滲透和干擾事件不斷發(fā)生，再一次給我們敲響了警鐘。

（三）數(shù)據(jù)存儲端：數(shù)據(jù)泄露風險

生成式人工智能需要從大量數(shù)據(jù)中學習和生成模型， 海量數(shù)據(jù)的處理無疑將擴大其攻擊面，相應地，數(shù)據(jù)泄露風險的發(fā)生概率和影響范圍也隨之增大。ChatGPT開發(fā)者OpenAI的首席技術官米拉·穆拉蒂率先表示，必須謹慎使用ChatGPT，切勿在其上上傳敏感信息或核心數(shù)據(jù)，以免信息泄露，導致?lián)p失。為此，微軟基于預防商業(yè)機密泄露的考慮，已宣布禁止公司員工向ChatGPT分享公司敏感數(shù)據(jù)。同樣地，亞馬遜的公司也警告員工“不要與ChatGPT分享任何亞馬遜的機密信息，因為他們有可能將其用于訓練未來的模型”。事實證明，這種擔心并非多余。就在GPT-4最新發(fā)布之際，ChatGPT出現(xiàn)了嚴重技術漏洞， 用戶在社交媒體上表示看到了其他人的歷史搜索記錄標題。OpenAI隨即立刻關閉了ChatGPT，當用戶再次打開該系統(tǒng)時，歷史聊天記錄側(cè)邊欄已被替換為“歷史記錄暫不可用，我們正在努力盡快恢復這一功能”。針對這一事件，OpenAI首席執(zhí)行官Sam#Altman在社交媒體發(fā)文，宣布修復程序已驗證完成，并對此“感覺十分糟糕”。

ChatGPT使用大規(guī)模的語言數(shù)據(jù)集進行訓練， 這些數(shù)據(jù)集都被處理成了標準的文本格式并存儲在高效的數(shù)據(jù)存儲系統(tǒng)中，泄露可能存在以下三方面原因：其一，主動泄漏，即ChatGPT開發(fā)機構直接向外界透露語料庫存儲系統(tǒng)中的數(shù)據(jù)。但根據(jù)ChatGPT自身的說法，作為一個語言模型，ChatGPT使用的是無人工干預的自動化訓練過程，主要依賴于大量公開的數(shù)據(jù)集進行學習，因此很難存在直接的數(shù)據(jù)泄露問題。此外，OpenAI表示將根據(jù)用戶隱私協(xié)議極力保障用戶數(shù)據(jù)安全，并采用了多層保護措施嚴格控制數(shù)據(jù)存儲系統(tǒng)的訪問。如此看來，語料庫數(shù)據(jù)直接泄露的可能性似乎較小。其二，隱含泄露，即將用作ChatGPT進一步迭代的訓練數(shù)據(jù)，在未來的版本作為輸出內(nèi)容。例如，在ChatGPT中輸入的文本可能包含用戶的個人信息、信用卡信息、密碼等敏感信息，而模型推斷輸出的結果可能會間接泄露這些信息。另外，如果模型訓練數(shù)據(jù)中包含了具有隱私敏感性的文本數(shù)據(jù)，例如醫(yī)療記錄、司法文書、個人通信記錄等，那么模型可能會學習這些信息并在未來版本中將其泄露出來。相較于直接泄露，語料庫數(shù)據(jù)間接泄露風險具有高頻性、漸進性的特點。其三，系統(tǒng)漏洞泄露，這也是語料庫數(shù)據(jù)泄露最大的風險源。生成式人工智能模型本身可能存在未知的安全漏洞，攻擊者可能通過這些漏洞進行攻擊，例如修改模型的輸出、篡改模型的訓練數(shù)據(jù)、竊取模型的參數(shù)等，這些攻擊可能會導致模型輸出的泄露。

在生成式人工智能中，由于訓練數(shù)據(jù)的規(guī)模直接影響模型的表現(xiàn)和性能，生成式人工智能通常具有相對較大的的數(shù)據(jù)體量。以ChatGPT為例，其擁有超過1750億的參數(shù)，龐大的數(shù)據(jù)體量決定了一旦發(fā)生數(shù)據(jù)泄露事件，將造成難以挽回的損害后果。具體而言，在生成式人工智能語料庫中，個人數(shù)據(jù)泄露可能導致大范圍的隱私和著作權侵權，企業(yè)數(shù)據(jù)泄露可能導致不正當競爭或商業(yè)秘密泄露，政府數(shù)據(jù)泄露則將帶來更為嚴重的損害后果，包括侵害“重要數(shù)據(jù)”安全和“國家秘密”安全等特別利益。

（四）數(shù)據(jù)輸出端：惡意內(nèi)容生成風險

生成式人工智能具有極高的泛化和生成能力，但從技術本質(zhì)看，其生成的內(nèi)容是基于對語料庫的學習和預測，是一種經(jīng)驗的再現(xiàn)，并非從語義和邏輯角度進行推理和判斷的產(chǎn)物。換言之，生成式人工智能為用戶提供的最終信息只是在海量信息篩選后給出的單一化且標準化的內(nèi)容。因此，對于生成內(nèi)容本身的真實性和準確性，生成式人工智能無法進行判斷。這一特點可能導致生成式人工智能產(chǎn)生大量虛假信息，甚至被利用生成惡意內(nèi)容，從而對人們的思維和行為產(chǎn)生誤導和負面影響。美國新聞可信度評估與研究機構NewsGurd對ChatGPT進行測試發(fā)現(xiàn)，ChatGPT能在幾秒鐘內(nèi)改變信息并產(chǎn)生大量令人信服卻無信源的內(nèi)容。這些內(nèi)容將對自身判斷能力不足的用戶產(chǎn)生極大的誤導性。如果惡意行為者或團體獲得了ChatGPT的訪問權限，他們可能會利用該技術生成虛假、不端或仇視性的信息，甚至從事創(chuàng)造暗網(wǎng)市場腳本，生成釣魚電子郵件，編寫惡意軟件等非法活動。這些活動將嚴重影響國家安全。當前，已經(jīng)出現(xiàn)了利用生成式人工智能實施犯罪的案例。2021年，一個黑客團伙使用了生成式人工智能技術，創(chuàng)建了一個名為“Deepfake：Wire”（深度偽造電線）的詐騙平臺。他們使用ChatGPT技術制作了一個虛假的客服機器人，并將其封裝為“虛擬角色”，利用該機器人進行詐騙活動?？梢灶A料的是，隨著生成式人工智能技術的日益成熟，這種類型的犯罪案例將越來越普遍。生成式人工智能技術可能被惡意利用來制造虛假的政治信息，破壞選舉、操縱政治輿論，以此干擾國家的政治穩(wěn)定。還可能被用于攻擊重要基礎設施，如金融、能源和交通系統(tǒng)，會對國家經(jīng)濟和社會發(fā)展造成巨大損失。最為危險的是，生成式人工智能可能被用于進行間諜活動或竊取關鍵機密信息，從而給國家安全帶來巨大的威脅。

三、生成式人工智能數(shù)據(jù)安全治理的范式轉(zhuǎn)型

從社會發(fā)展的歷程來看，生成式人工智能帶來的數(shù)據(jù)安全風險經(jīng)歷了從無到有、由輕及重的過程。與此同時，安全觀念也在不斷演變和發(fā)展，從最初關注傳統(tǒng)安全、網(wǎng)絡主權以及強調(diào)絕對安全，逐漸發(fā)展到關注總體安全、數(shù)據(jù)主權，并提倡相對安全。這種安全觀念演變直接影響了生成式人工智能數(shù)據(jù)安全風險治理模式的轉(zhuǎn)變。

（一）從單一安全轉(zhuǎn)向總體安全

大數(shù)據(jù)時代悄然而至，伴隨著數(shù)字技術帶來的各種機遇和挑戰(zhàn)，數(shù)據(jù)安全問題逐漸走進大眾視野，并日漸彰顯出對國家安全和社會公共利益的重大影響。2021年，全國人大常委會正式頒布數(shù)據(jù)安全法，明確提出“維護數(shù)據(jù)安全，應當堅持總體國家安全觀”，對數(shù)據(jù)安全進行了全方位、系統(tǒng)化的規(guī)定。

正是在數(shù)據(jù)安全備受矚目的時代背景下，生成式人工智能的出現(xiàn)進一步促進了大規(guī)模的數(shù)據(jù)交換和存儲，再一次將數(shù)據(jù)安全問題推向風口浪尖。生成式人工智能應用中的數(shù)據(jù)安全風險，尤其危及國家數(shù)據(jù)主權、國家意識形態(tài)安全、國家信息安全及網(wǎng)絡空間安全等問題。若說非傳統(tǒng)安全的興起促進了我國關于“國家安全”的思維轉(zhuǎn)變，則生成式人工智能的出現(xiàn)將對“國家安全”帶來更深一層的變革與重構，迫使“國家安全”理念基于現(xiàn)代科技的發(fā)展變得更為全面綜合。

（二）從網(wǎng)絡主權轉(zhuǎn)向數(shù)據(jù)主權

生成式人工智能數(shù)據(jù)安全治理的根本指針在于堅持數(shù)據(jù)主權，而要理解數(shù)據(jù)主權，則須從更為廣闊的范疇———“網(wǎng)絡主權”著手。 自美國棱鏡計劃曝光，各個主權國家的網(wǎng)絡主權意識被喚醒，開始就網(wǎng)絡主權斗爭達成共識。對中國而言，網(wǎng)絡主權更被提到空前高度。2015年我國國家安全法第25條首次以法律形式明確“網(wǎng)絡空間主權”。2016年網(wǎng)絡安全法第1條開宗明義申明了“維護網(wǎng)絡空間主權”的立法主旨。2017年我國發(fā)布《網(wǎng)絡空間國際合作戰(zhàn)略》，全面闡述網(wǎng)絡空間主權原則的基本涵義，同時呼吁國際社會共同維護和平、安全、開放、合作的網(wǎng)絡空間，共同推進網(wǎng)絡空間治理國際規(guī)則的制定。

根據(jù)網(wǎng)絡空間主權架構，網(wǎng)絡空間主權涉及網(wǎng)絡空間物理層、網(wǎng)絡空間邏輯層和網(wǎng)絡空間內(nèi)容層三個層次。區(qū)別于物理層（光纜、衛(wèi)星通信、能源、交通等基礎設施）和邏輯層（互聯(lián)網(wǎng)尋址、域名系統(tǒng)、路由協(xié)議等技術規(guī)則和標準）更多涉及技術問題，內(nèi)容層主要涉及信息管理和數(shù)據(jù)流動規(guī)制，是各國論戰(zhàn)的主要領域。隨著互聯(lián)網(wǎng)迅速發(fā)展和普及，信息技術在政治、經(jīng)濟和文化等領域應用逐漸成為國際安全格局發(fā)生重大變化的關鍵因素之一。在這一時期，信息攻擊、操縱和破壞以軟暴力的形式不斷威脅著社會穩(wěn)定和安全，成為全球面臨的共同挑戰(zhàn)之一。為此，各國政府開始采取行動，將信息安全作為一項緊急任務，與計算機和網(wǎng)絡緊密結合在一起，作為法律治理重點。

直到網(wǎng)絡發(fā)展進入大數(shù)據(jù)時代，數(shù)據(jù)作為基礎性戰(zhàn)略資源之一，逐漸被賦予更高的價值。信息安全問題也由此轉(zhuǎn)化為數(shù)據(jù)安全問題，并在國家層面引起越來越多關注。隨著各國開始爭奪數(shù)據(jù)主權，數(shù)據(jù)主權作為一種新興概念應運而生，其核心思想是國家對境內(nèi)數(shù)據(jù)擁有控制權和管理權，并且必須加強對數(shù)據(jù)的監(jiān)管和保護。在這種背景下，生成式人工智能作為一種新型的數(shù)據(jù)生成和分析技術，面臨著打破國家控制權和管理權的風險，似乎成為爭奪數(shù)據(jù)主權的一個關鍵武器。因此，生成式人工智能治理的重點不再是信息內(nèi)容，而是數(shù)據(jù)這一信息載體。唯有充分認識數(shù)據(jù)的價值和作用，才能精準把控生成式人工智能的風險要害，從而有針對性地進行治理。

（三）從絕對安全轉(zhuǎn)向相對安全

傳統(tǒng)的絕對安全觀念源于對安全問題的一種理想化思考，即安全風險可以通過完全預測、計算和控制，達到確定的安全狀態(tài)。這種思想在面對傳統(tǒng)安全風險如自然災害、恐怖襲擊等具有一定效果。但是，隨著社會的快速發(fā)展和安全環(huán)境的變化，風險呈現(xiàn)出越來越復雜、多樣化和不確定的趨勢，同時治理措施的成本也隨之增高。在這種情況下，絕對安全觀已不再合適。根據(jù)社會學家烏爾里希·貝克的觀點，現(xiàn)代化進程中科技和經(jīng)濟全球化的發(fā)展所帶來的各種風險難以預測和計算。這些風險不受時間、空間和社會界限的限制，無法完全消除，其絕對性不可避免。此外，現(xiàn)代社會的復雜性決定了風險之間必將相互滲透、相互影響，這是現(xiàn)代社會不可避免的趨勢。一旦人們對此形成了正確認識，“相對安全”便取代“絕對安全”，成為生成式人工智能風險治理的理性目標。作為一種新興的人工智能技術，生成式人工智能的出現(xiàn)雖然帶來了巨大的變革和創(chuàng)新，但也催生了多形態(tài)的社會風險。除網(wǎng)絡攻擊、黑客攻擊、數(shù)據(jù)泄露等典型的信息安全風險外，深度偽造、人類主體化等倫理和社會風險，以及傳統(tǒng)工作崗位消失帶來的社會和經(jīng)濟不平等、不穩(wěn)定問題也成為生成式人工智能應用的重大隱憂。這些風險本質(zhì)上是由技術本身的特點和應用環(huán)境等多方面因素綜合造成的，雖然可以通過加強技術開發(fā)以及制定相應的法規(guī)和政策來降低風險，但卻不能完全消除。

此外，總體國家安全觀辯證地認識了安全與發(fā)展的關系，強調(diào)“發(fā)展是安全的基礎，安全是發(fā)展的條件”，從而放棄追求絕對安全，保障相對安全。在數(shù)字化浪潮中，數(shù)據(jù)成為經(jīng)濟和社會發(fā)展的重要基石和創(chuàng)新驅(qū)動力。數(shù)據(jù)創(chuàng)新融合了人工智能、物聯(lián)網(wǎng)、區(qū)塊鏈等前沿技術，正在重構人類社會和產(chǎn)業(yè)形態(tài)。我國的網(wǎng)絡安全法和數(shù)據(jù)安全法均明確規(guī)定了數(shù)據(jù)開放和利用的政策支持，特別強調(diào)了匿名化數(shù)據(jù)的自由利用。這為企業(yè)拓展數(shù)字化業(yè)務和推動技術創(chuàng)新提供了重要機遇。生成式人工智能以數(shù)據(jù)為燃料，為人類提供了前所未有的創(chuàng)造力和生產(chǎn)力。因此，我們需要辯證看待其中的數(shù)據(jù)安全與發(fā)展問題，采取相應的安全措施，保障數(shù)據(jù)的隱私和安全，并利用好數(shù)據(jù)這一寶貴資源，推動社會和經(jīng)濟的可持續(xù)發(fā)展。

四、生成式人工智能數(shù)據(jù)安全風險的回應型治理

面對生成式人工智能正逐步呈現(xiàn)的彌散性擴張數(shù)據(jù)安全風險，構建全方面、多層次、重實效的生成式人工智能數(shù)據(jù)安全法治體系已刻不容緩。而這無疑也是當前國家高水平安全時勢訴求的內(nèi)在應有之義。

（一）輸入端：以風險管控為核心，強化數(shù)據(jù)安全風險應對機制

數(shù)據(jù)安全范式的核心要素是“可控性”，強調(diào)將數(shù)據(jù)的大規(guī)模流動、聚合和分析納入風險管控過程中的必要性。根據(jù)國際標準化組織（ISO）頒布的風險管理標準，一般認為存在以下四種風險管控策略：避免風險、接受風險、轉(zhuǎn)移風險、控制風險。鑒于絕對安全不可能存在，對待生成式人工智能帶來的數(shù)據(jù)安全風險，無需做到完全消除。適當接受殘留風險的存在，同時最大限度地進行風險控制，既能實現(xiàn)成本最小化，也有利于維持安全與發(fā)展的平衡，應當是最優(yōu)策略。

從風險產(chǎn)生的角度看，只有通過對高度敏感的“重要數(shù)據(jù)”進行關聯(lián)和分析，才可能挖掘出危害安全的重要情報。因此，實現(xiàn)對重要數(shù)據(jù)流動和聚合的有效控制，避免生成式人工智能對這些數(shù)據(jù)進行惡意整合和分析，可以大大減少數(shù)據(jù)惡意利用帶來的危害。從實現(xiàn)風險源頭的有效控制角度看，有以下兩點思路：一是在數(shù)據(jù)分類分級基礎上，加強數(shù)據(jù)的被動出境治理，避免重要數(shù)據(jù)被非法納入生成式人工智能語料庫，進而被不當披露和聚合分析；二是完善生成式人工智能的市場準入制度，從源頭降低該類應用的安全風險。

1.加強數(shù)據(jù)被動出境治理

針對以非法數(shù)據(jù)爬取為主的攻擊風險，我們需要采取主動防御措施，以預測、發(fā)現(xiàn)和防范潛在的安全威脅，實現(xiàn)數(shù)據(jù)被動出境的主動管理，從而有效降低生成式人工智能技術給我國帶來的安全威脅。具體來看，需要采取以下措施：

建立境外網(wǎng)絡攻擊監(jiān)控和調(diào)度平臺是實現(xiàn)主動防御的關鍵一步。平臺的建設可發(fā)揮以下三點作用：一是將不同領域的重要數(shù)據(jù)進行統(tǒng)一管理和監(jiān)測，從而最大限度地發(fā)揮大數(shù)據(jù)的優(yōu)勢，實現(xiàn)數(shù)據(jù)協(xié)同合作和安全防范的統(tǒng)一；二是可以結合信息技術實現(xiàn)數(shù)據(jù)動態(tài)的實時在線監(jiān)控，從而準確快速判斷網(wǎng)絡爬蟲、撞庫等網(wǎng)絡攻擊風險，為數(shù)據(jù)安全預警和應急處置提供信息；三是及時發(fā)布預警信息并輔助數(shù)據(jù)安全主管部門作出更為科學、準確的防御決策。總的來說，通過建立境外網(wǎng)絡攻擊監(jiān)控和調(diào)度平臺，可以在非法數(shù)據(jù)爬取等攻擊行為造成嚴重后果前，提前預警，以避免或降低生成式人工智能語料庫非法獲取帶來的不利影響。此外，由于私營部門作為數(shù)據(jù)業(yè)務直接參與者更能夠及時察覺和發(fā)現(xiàn)實踐層面的數(shù)據(jù)安全風險，為加強數(shù)據(jù)被動出境治理，還應建立政府和私營機構的共同防御體系。具體來說，可以從以下兩方面落實：一是適當借鑒美國“受控非密信息”的數(shù)據(jù)標識制度，采用電子標記的方式來實現(xiàn)數(shù)據(jù)泄露后的可追溯性。通過責任可溯，可以確保私營部門在對接境外生成式人工智能開發(fā)機構的過程中，不會對國家安全造成威脅。二是需要鼓勵私營部門參與數(shù)據(jù)安全威脅信息的共享。目前我國的數(shù)據(jù)安全監(jiān)測仍然處于單一主體監(jiān)控的階段，這限制了我們及時發(fā)現(xiàn)和應對數(shù)據(jù)安全威脅的能力。為此， 我們可以借鑒美國網(wǎng)絡安全信息共享法案的相關規(guī)定，對那些自愿共享網(wǎng)絡安全威脅信息的企業(yè)給予法律豁免，以激勵其積極參與數(shù)據(jù)出境安全的共建共享。

2.強化生成式人工智能市場準入規(guī)則

除了作好數(shù)據(jù)被動出境的預防，對待ChatGPT等國外開發(fā)的生成式人工智能主動進入我國市場，也應當持謹慎態(tài)度，可從安全評估、數(shù)據(jù)獲取、合規(guī)審查等方面進行制度強化，將可能存在的非法數(shù)據(jù)獲取行為阻擋在市場準入這一步。首先，生成式人工智能安全評估規(guī)則是關鍵之一。在歐盟最新通過的人工智能法案中，人工智能被劃分為最低風險、低風險、高風險、不可接受的風險四個等級。根據(jù)該法案，對于被劃入高風險等級的生成式人工智能系統(tǒng)，開發(fā)機構必須提交符合規(guī)定的評估報告，并需要在系統(tǒng)投放市場前接受相關機構的審查和批準。這一基于風險程度的人工智能系統(tǒng)準入機制，強調(diào)不同等級的風險監(jiān)管要求，突出了風險管理的重要性，對未來我國完善生成式人工智能應用準入規(guī)范應有啟發(fā)。其次，生成式人工智能語料庫數(shù)據(jù)獲取規(guī)則應當明確。ChatGPT既未公開其數(shù)據(jù)獲取方式，也未標明語料庫數(shù)據(jù)獲取來源，致使中文數(shù)據(jù)庫來源的合法性和數(shù)據(jù)爬取的合理性無從判別。為確保個人隱私和國家安全得到保障，生成式人工智能應用準入的另一關鍵是披露其語料庫數(shù)據(jù)獲取方式和數(shù)據(jù)來源。再次，生成式人工智能開發(fā)機構應當主動采取數(shù)據(jù)清洗和數(shù)據(jù)去標識化等技術。通過對采集的數(shù)據(jù)進行篩選、去噪、去重、標注等處理，保障數(shù)據(jù)的完整性和真實性，防止數(shù)據(jù)被篡改、刪除或者損毀，確保模型訓練的數(shù)據(jù)準確可靠。最后，生成式人工智能開發(fā)機構應當定期對其產(chǎn)品進行合規(guī)審查，幫助開發(fā)主體識別和解決潛在的法律和道德風險，以保障數(shù)據(jù)來源的合法性和避免潛在的風險。

此外， 用戶提高生成式人工智能數(shù)據(jù)安全風險防范意識亦有助于從數(shù)據(jù)輸入源頭降低風險，促進安全風險得到有效管控。首先，用戶應充分關注生成式人工智能《用戶使用協(xié)議》，對生成式人工智能應用中其個人數(shù)據(jù)的處理目的、處理方式、保存期限、可能面臨的風險、享有的權力等形成充分認識。例如，根據(jù)OpenAI0的《用戶使用協(xié)議》，用戶享有拒絕OpenAI將其自行輸入和輸出數(shù)據(jù)用于模型的訓練和改進的權利，并且可以在ChatGPT使用的任何時間段更改此選項；其次，用戶應避免在生成式人工智能上上傳敏感個人信息。對于民族、政治、宗教信仰、健康狀況等敏感個人信息，一經(jīng)泄露可能造成重大財產(chǎn)或精神損害，用戶應避免在生成式人工智能上上傳此類信息，以防被用于后續(xù)模型訓練或遭致數(shù)據(jù)泄露。

（二）運算端：以算法解釋為關鍵，完善算法運算透明原則

算法難以理解和非直覺性的特點為生成式人工智能輸出文本背后的價值判斷蒙上一層面紗，帶來了意識形態(tài)安全風險，而算法透明原則正是要揭下這層面紗，使算法露出真實面貌。算法透明原則是指通過公開和披露算法的設計原理、數(shù)據(jù)輸入輸出等要素，增強算法的可解釋性和可問責性，以達到保障算法公正性和可信性的目的。我國相關立法規(guī)定不同程度地強調(diào)了算法透明的重要性，但原則性規(guī)定終究較為抽象，其具體落實仍需具體規(guī)則的構建。

算法解釋權是算法透明原則最為關鍵的內(nèi)容。算法解釋權賦予相對人獲取算法解釋的權利，使其了解算法決策的依據(jù)和過程，并在必要時采取救濟措施，以消除算法開發(fā)者或使用者與相對人之間的地位差異，進而使形式化的用戶協(xié)議轉(zhuǎn)化為實質(zhì)上的平等。在《生成式人工智能服務管理暫行辦法》生效之前，我國并未規(guī)定算法解釋權或者類似規(guī)定，僅在人工智能相關規(guī)范和標準中提到“算法應當具有可解釋性”。直到《生成式人工智能服務管理暫行辦法》第19條首次作出了規(guī)定：“有關主管部門依據(jù)職責對生成式人工智能服務開展監(jiān)督檢查，提供者應當依法予以配合，按要求對訓練數(shù)據(jù)來源、規(guī)模、類型、標注規(guī)則、算法機制機理等予以說明，并提供必要的技術、數(shù)據(jù)等支持和協(xié)助?！痹擁椧?guī)定在人工智能算法安全風險應對方面無疑是巨大進步，但其中的局限性也十分明顯。首先，有權要求人工智能服務提供者就算法進行解釋說明的主體僅涉及監(jiān)管機構， 而未明確涵蓋其他相關方，這可能導致在實際執(zhí)行過程中，其他重要利益相關者，尤其是個人信息主體的權益無法得到保障。其次，該項規(guī)定在描述算法機制機理時過于籠統(tǒng)，缺乏明確指向，可能導致執(zhí)行上的困難，甚至使該規(guī)定難以實際落實。

歐盟地區(qū)和美國已經(jīng)較早踐行了算法透明原則并將算法解釋權法定化。其啟示意義在于生成式人工智能中算法透明原則的落實不能完全依賴于可解釋權，還應輔之以算法影響性評估等事后規(guī)制措施。此外，除了以算法透明原則的落實來回應惡意內(nèi)容生成風險，還應當作好事后應對與懲處，尤其是要求平臺建立辟謠和舉報機制，并對違法傳播虛假有害信息者采取停止傳輸?shù)认拗拼胧?/p>

（三）存儲端：以重要數(shù)據(jù)安全為中心，夯實數(shù)據(jù)管理保障機制

針對生成式人工智能數(shù)據(jù)存儲端的重要數(shù)據(jù)泄露風險，可從事前的數(shù)據(jù)保護與事后的應急處理兩方面入手，對生成式人工智能系統(tǒng)開發(fā)機構科以數(shù)據(jù)處理環(huán)境安全保障義務和數(shù)據(jù)安全突發(fā)事件應急義務，夯實生成式人工智能數(shù)據(jù)管理保障機制。

1.數(shù)據(jù)處理環(huán)境安全保護義務

生成式人工智能開發(fā)機構應構建起全面的數(shù)據(jù)處理環(huán)境安全防護體系，使其語料庫數(shù)據(jù)始終存儲于安全的環(huán)境中。由此展開的數(shù)據(jù)處理環(huán)境安全保護義務的構成包括以下三個方面：其一，數(shù)據(jù)分級保護義務。數(shù)據(jù)分類分級是生成式人工智能語料庫數(shù)據(jù)安全管理的前提，我國數(shù)據(jù)安全法已明確將數(shù)據(jù)分類為國家核心數(shù)據(jù)、重要數(shù)據(jù)、一般數(shù)據(jù)，進行輕重有別的差異化保護。《網(wǎng)絡數(shù)據(jù)安全管理條例（征求意見稿）》第9條亦規(guī)定“處理重要數(shù)據(jù)的系統(tǒng)原則上應當滿足三級以上網(wǎng)絡安全等級保護和關鍵信息基礎設施安全保護要求，處理核心數(shù)據(jù)的系統(tǒng)依照有關規(guī)定從嚴保護”。為此，生成式人工智能開發(fā)機構應依據(jù)數(shù)據(jù)的來源、價值、敏感程度和影響程度等對語料庫數(shù)據(jù)進行分類分級，制定等級化的數(shù)據(jù)保護規(guī)范制度，對語料庫中重要數(shù)據(jù)、核心數(shù)據(jù)采取更高等級的保護措施。同時，還應細化內(nèi)部規(guī)則對語料庫數(shù)據(jù)的分類、標記、評估等諸多方面進行規(guī)制；其二，數(shù)據(jù)風險監(jiān)測和評估義務。根據(jù)數(shù)據(jù)安全法第29、30條規(guī)定，生成式人工智能開發(fā)機構在我國境內(nèi)開展數(shù)據(jù)處理活動應當加強風險監(jiān)測，發(fā)現(xiàn)數(shù)據(jù)安全漏洞等風險時，應當立即采取補救措施；生成式人工智能開發(fā)機構還應當對其數(shù)據(jù)處理活動定期開展風險評估，并向有關主管部門報送風險評估報告；其三，設置數(shù)據(jù)安全負責人和管理機構的義務。歐盟通用數(shù)據(jù)保護條例第37條規(guī)定所有數(shù)據(jù)處理者都應當設立“數(shù)據(jù)保護官員”，負責數(shù)據(jù)保護相關工作。我國數(shù)據(jù)安全法也有類似規(guī)定，根據(jù)數(shù)據(jù)安全法第27條第2款，生成式人工智能開發(fā)機構處理重要數(shù)據(jù)應當明確數(shù)據(jù)安全負責人和管理機構， 落實數(shù)據(jù)安全保護責任。至于數(shù)據(jù)安全負責人和管理機構的具體職責，《網(wǎng)絡數(shù)據(jù)安全管理條例（征求意見稿）》第28條作出的具體規(guī)定可予以參照，其中包括數(shù)據(jù)安全重大決策提議、開展數(shù)據(jù)安全風險監(jiān)測、開展數(shù)據(jù)安全宣傳教育培訓等內(nèi)容。

2.數(shù)據(jù)安全突發(fā)事件應急義務

確立生成式人工智能開發(fā)機構數(shù)據(jù)處理環(huán)境安全保護義務可以提高其數(shù)據(jù)安全保護能力，并有助于建立全方位、多層次的語料庫數(shù)據(jù)管理體系。然而，即使如此，仍然不能完全避免數(shù)據(jù)泄露等安全事件的風險。因此，生成式人工智能開發(fā)機構需要建立健全應急預案，以及時響應、處置和報告數(shù)據(jù)安全突發(fā)事件，最大程度保障用戶數(shù)據(jù)的安全。應急預案的制定應當遵循數(shù)據(jù)安全法等法律法規(guī)要求，包括但不限于以下內(nèi)容：

其一， 生成式人工智能開發(fā)機構應當明確數(shù)據(jù)安全責任人和應急響應團隊成員的職責和任務。數(shù)據(jù)安全責任人應當具備足夠的技術和管理能力，負責組織制定、實施和維護應急預案，負責協(xié)調(diào)各部門的應急響應工作。應急響應團隊成員應當根據(jù)預案的要求履行職責，及時采取措施防止和應對數(shù)據(jù)安全事件。其二，應急預案還應當包括數(shù)據(jù)安全事件的分類和等級劃分標準。生成式人工智能開發(fā)機構應當將數(shù)據(jù)安全事件分為不同的等級，以便進行及時、準確的處理。例如，一級數(shù)據(jù)安全事件可能是由于黑客攻擊或自然災害造成的系統(tǒng)故障，而二級數(shù)據(jù)安全事件則可能是由于員工失誤或技術問題導致的數(shù)據(jù)泄露事件。生成式人工智能開發(fā)機構應當針對不同等級的數(shù)據(jù)安全事件制定相應的應急預案，并根據(jù)情況采取相應的措施。其三，生成式人工智能開發(fā)機構應當明確應急響應措施和流程。應急響應措施包括但不限于采取緊急措施、停止對外服務、隔離受影響的系統(tǒng)或網(wǎng)絡等。應急響應流程應當包括但不限于事件的報告、確認、處理、跟蹤、總結等環(huán)節(jié)。生成式人工智能開發(fā)機構應當在應急響應流程中規(guī)定各個環(huán)節(jié)的時限和責任人，以確保應急響應工作的及時性和有效性。其四，生成式人工智能開發(fā)機構應當定期組織應急演練，檢驗和完善應急預案。應急演練可以幫助生成式人工智能開發(fā)機構發(fā)現(xiàn)預案中存在的問題和不足，進一步完善和優(yōu)化應急預案。在應急演練中，生成式人工智能開發(fā)機構應當充分考慮不同類型的數(shù)據(jù)安全事件，針對性地進行演練。其五，應急預案的制定應當以實際情況為基礎，對不同類型的數(shù)據(jù)安全突發(fā)事件進行分類，制定不同的預案。例如，在面對數(shù)據(jù)泄露事件時，應急預案應當包括對受影響的數(shù)據(jù)進行封鎖、追溯、還原等應對措施；而在面對數(shù)據(jù)丟失事件時，應急預案則應當包括及時恢復備份數(shù)據(jù)、提升系統(tǒng)容錯能力等應對措施。其六，應急預案還應當明確責任人的職責和權限，以及應急處置流程和應急資源的調(diào)配方案。其七，在應急預案的制定和執(zhí)行中，生成式人工智能開發(fā)機構還應當遵守相關的法律法規(guī)要求，如網(wǎng)絡安全法、數(shù)據(jù)安全法等，確保應急處置的合法性和合規(guī)性。此外，還需要將應急預案不斷完善和優(yōu)化，通過定期演練和測試，提高應急響應的效率和能力，以應對不斷變化的數(shù)據(jù)安全威脅。

（四）輸出端：從技術、標準、法律三元層面，優(yōu)化生成內(nèi)容治理體系

惡意內(nèi)容生成風險廣泛存在于生成式人工智能數(shù)據(jù)輸出端，如同一種漸進式的毒瘤，對人工智能技術發(fā)展和社會穩(wěn)定、國家安全造成威脅。為此，需要從技術、標準和法律三元層面，優(yōu)化生成內(nèi)容治理體系。

其一，在技術層面，應當加強對生成式人工智能算法的研究，改進其生成機制，以確保其生成的數(shù)據(jù)符合道德和法律標準。生成式人工智能開發(fā)機構可以通過訓練和調(diào)整生成式人工智能模型，提高其識別和過濾惡意內(nèi)容的能力，從而降低惡意內(nèi)容生成的風險。具體而言，可以利用自然語言處理和機器學習等技術手段，通過對惡意內(nèi)容的檢測和屏蔽來防止其出現(xiàn)在生成的數(shù)據(jù)中。此外，建立黑名單機制，對已知的惡意內(nèi)容進行記錄和管理，從而可以更加有效地屏蔽其出現(xiàn)在生成的數(shù)據(jù)中。

其二，在標準層面，制定規(guī)范化的技術標準可以規(guī)范生成式人工智能的研究、開發(fā)、應用等環(huán)節(jié)，提高生成式人工智能技術的安全性和可靠性，從而確保輸出內(nèi)容符合公序良俗、法律法規(guī)的要求。目前，國際上已經(jīng)開始制定一些標準來規(guī)范人工智能技術的倫理和道德問題，其中部分內(nèi)容涉及惡意內(nèi)容的生成和傳播。如電氣和電子工程師協(xié)會（IEEE）制定的關于預防算法偏差的標準IEEE#P7003，該標準提供了惡意內(nèi)容生成的風險評估框架和流程，以及相應的預防和應對策略。然而，由于人工智能技術的快速發(fā)展和廣泛應用，標準制定一定程度上滯后于技術發(fā)展和應用，無法及時跟上技術和需求的變化，也影響了標準的實施和應用效果，標準完善的問題仍然需要進一步關注。一方面，由于惡意內(nèi)容生成風險是一個全球性的問題，因此需要制定統(tǒng)一的標準和規(guī)范，以便不同國家和地區(qū)之間進行協(xié)調(diào)和合作。國際標準化組織可以在這方面發(fā)揮重要作用，制定全球性的標準和規(guī)范，以確保生成式人工智能技術的安全和合法性；另一方面，標準和規(guī)范應當具有可操作性和可實施性，能夠為研究人員和從業(yè)者提供具體的指導和幫助。

其三，除了在技術和標準層面進行治理外，應針對惡意內(nèi)容生成風險加強相應的立法和監(jiān)管。例如，歐盟在2021年發(fā)布了《歐洲人工智能法規(guī)框架》，其中就對人工智能技術內(nèi)容生成進行了規(guī)范。該法規(guī)要求開發(fā)者和提供者對其技術的應用進行評估和風險管理， 確保其生成的內(nèi)容不包含任何具有欺騙性、誤導性、令人厭惡、令人不安等信息。我國《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》也為加強對惡意內(nèi)容生成風險的管理和治理提供了詳細和具體的法律依據(jù)。《生成式人工智能服務管理暫行辦法》更是通過多條規(guī)則對生成內(nèi)容的準確性、合法性、正當性以及違反規(guī)定應承擔的責任進行規(guī)定。這些規(guī)范將使開發(fā)者和提供者更加負責任地使用人工智能技術，避免生成有害或欺騙性內(nèi)容。未來，我們需要進一步加強對上述規(guī)定的執(zhí)行和監(jiān)督，推進以“‘風險預防規(guī)則和協(xié)同治理模式為核心的”“全過程治理”，以便促進生成式人工智能技術的健康發(fā)展。

雖然我國已經(jīng)出臺了一系列法律法規(guī)對人工智能技術進行規(guī)范， 但是對于生成式人工智能惡意內(nèi)容生成風險的規(guī)范還存在不足。一方面，由于人工智能技術的復雜性和隱蔽性，監(jiān)管部門和執(zhí)法機構在檢測和防范惡意內(nèi)容生成風險方面存在一定的難度，也存在一定的滯后性，很難實現(xiàn)對生成式人工智能技術的全面監(jiān)管和有效打擊；另一方面，對于人工智能技術惡意內(nèi)容生成風險的處罰措施較為單一，主要集中在罰款和停業(yè)整頓等行政處罰上，對于一些嚴重違法行為，如惡意傳播虛假信息、侵犯他人隱私等，缺乏更具震懾力的刑事處罰。針對上述問題，建議我國進一步完善相關法律法規(guī)，加強對生成式人工智能技術的監(jiān)管和執(zhí)法，同時加強對相關違法行為的懲罰力度，確保對惡意內(nèi)容生成風險的及時發(fā)現(xiàn)和有效打擊。此外，還需要加強與國際社會的合作，借鑒國際先進經(jīng)驗，共同推進生成式人工智能技術的安全發(fā)展和管理。