本課對象

廣大黨員干部和群眾。

本課時間

3小時（講課2小時，討論1小時）。

本課目的

廣大黨員干部和群眾通過對本課的學習，充分認識人工智能“火爆”背后的風險點，深入理解加快建立人工智能安全監(jiān)管制度的意義，準確把握加快建立人工智能安全監(jiān)管制度的著力點，進而不斷提高人工智能技術(shù)的可靠性和可控性，為中國式現(xiàn)代化提供堅實的安全保障。

習近平總書記指出：“人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量，將對全球經(jīng)濟社會發(fā)展和人類文明進步產(chǎn)生深遠影響。”黨的二十屆三中全會審議通過的《中共中央關(guān)于進一步全面深化改革、推進中國式現(xiàn)代化的決定》明確提出，“建立人工智能安全監(jiān)管制度”和“完善生成式人工智能發(fā)展和管理機制”，為推動人工智能領(lǐng)域的技術(shù)進步、產(chǎn)業(yè)發(fā)展與安全保障指明了前進方向。國家安全是安邦定國的重要基石，加快建立人工智能安全監(jiān)管制度對于維護國家安全至關(guān)重要。這不僅涉及技術(shù)層面的風險評估和管控，還關(guān)乎法律法規(guī)的制定和執(zhí)行，以及國際合作與交流等。新時代新征程，我們要充分發(fā)揮法律和政策的保障作用，有效防范化解人工智能發(fā)展帶來的各類安全風險，對人工智能進行分級分類監(jiān)管，逐步構(gòu)建起具有中國特色的人工智能安全監(jiān)管制度。

一、人工智能“火爆”背后的風險點

近年來，人工智能尤其是生成式人工智能的快速發(fā)展，對人類生產(chǎn)生活產(chǎn)生了深刻影響。生成式人工智能是指基于算法、模型、規(guī)則生成文本、圖片、聲音、視頻、代碼等內(nèi)容的技術(shù)。在海量數(shù)據(jù)和強大算力的支撐下，聽得懂、說得出、能互動的生成式人工智能快速迭代升級，呈現(xiàn)出良好互動性、高度通用性、智能生成性等特征，正與各行各業(yè)形成更加剛性、高頻、泛在、深度的聯(lián)結(jié)，但也存在一定潛在風險。

（一）數(shù)據(jù)安全與隱私保護方面的風險

為充分理解特定情境中的顯性和隱性信息，并精確識別人類的意圖，人工智能系統(tǒng)從單一的文本信息擴展到了包含文本、圖像和聲音在內(nèi)的多模態(tài)感知領(lǐng)域。雖然這種擴展增強了人工智能系統(tǒng)的決策力，但也可能帶來數(shù)據(jù)安全與隱私保護方面的風險。

一是數(shù)據(jù)質(zhì)量和可用性方面。人工智能大模型依靠海量數(shù)據(jù)進行訓練和推理，因此，數(shù)據(jù)的規(guī)模、數(shù)據(jù)結(jié)構(gòu)的均衡程度以及數(shù)據(jù)內(nèi)容的準確性都會直接影響人工智能大模型的安全性和輸出內(nèi)容的質(zhì)量。高質(zhì)量的數(shù)據(jù)能夠顯著提升模型的準確性和可靠性，反之則可能導致決策錯誤甚至人工智能系統(tǒng)失效。目前，生成式人工智能在實際操作中可能會輸出不真實的信息，這一問題被業(yè)界稱為人工智能的“幻覺”或“事實編造”。例如，一些醫(yī)療人工智能診斷系統(tǒng)因信息偏差，增加了醫(yī)療誤診風險。此外，數(shù)據(jù)的可用性問題也不容忽視，尤其在公共數(shù)據(jù)共享和跨境數(shù)據(jù)傳輸過程中，存在一定的技術(shù)障礙和安全隱患。

二是數(shù)據(jù)隱私與保護方面。數(shù)據(jù)隱私問題在人工智能的應(yīng)用中顯得尤為突出。隱私是自然人不愿為他人知曉的私密空間、私密活動、私密信息。自然人享有隱私權(quán)，任何組織和個人不得以刺探、侵擾、泄露、公開等方式侵害他人的隱私權(quán)。隱私權(quán)是人格權(quán)的核心要素，其核心訴求是不被公開。隨著大數(shù)據(jù)分析技術(shù)的廣泛應(yīng)用，收集和處理個人數(shù)據(jù)變得更加便捷。人工智能為了改善服務(wù)質(zhì)量，有時傾向于過度收集和使用個人信息，從而帶來隱私泄露的風險。例如，為改善用戶體驗，某些網(wǎng)絡(luò)個性化推薦系統(tǒng)會過度采集用戶數(shù)據(jù)，這些數(shù)據(jù)一旦被非法獲取或濫用，將對用戶隱私造成嚴重侵害。某些平臺利用個人信息進行“大數(shù)據(jù)殺熟”，實行“價格歧視”，使用戶承受不必要的損失。更有不法分子利用個人信息進行深度偽造，通過聲音仿真、AI換臉等手段，實施詐騙等違法犯罪行為。這說明，侵害隱私權(quán)不僅侵犯了公民的人格尊嚴，而且可能引發(fā)其他嚴重的社會后果。

（二）算法方面的風險

人工智能的內(nèi)在邏輯之一是算法。數(shù)字時代的機器設(shè)備在算法的驅(qū)動下實現(xiàn)智能化運行，正推動人類社會生產(chǎn)方式發(fā)生翻天覆地的變化。但是，算法可能帶來多種風險，這需要我們高度警惕。一方面，存在算法偏見風險。算法偏見是指由于人工智能系統(tǒng)訓練出的數(shù)據(jù)存在偏差，導致算法在進行決策時存在一定的不公平現(xiàn)象。研究表明，相關(guān)數(shù)據(jù)中存在的性別、種族、年齡等方面的偏差會反映到算法的結(jié)果中，導致特定群體受到不公平對待。另一方面，缺乏足夠的算法透明度與可解釋性。當前，算法的復雜性容易使人工智能的決策過程缺乏透明度和可解釋性。大語言模型越來越成為全知全能但難以掌控的機器，其在自主學習和自我編程的過程中可能會出現(xiàn)“算法黑箱”現(xiàn)象，這不僅增加了人工智能應(yīng)用的風險，也影響了用戶對人工智能系統(tǒng)的信任度。

（三）其他潛在的安全隱患

首先是極端言論與虛假信息傳播問題。生成式人工智能技術(shù)的開放性和便捷性使其容易成為極端言論和虛假信息的傳播工具。不法分子可能利用生成式人工智能生成虛假新聞、制造謠言，從而擾亂社會秩序。例如，一些深度偽造技術(shù)被用于制作虛假視頻和音頻，誤導公眾輿論。其次是真實與虛擬的界限容易模糊化。隨著虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）技術(shù)的發(fā)展，真實世界與虛擬世界的界限變得越來越模糊。雖然這些技術(shù)帶來了新的應(yīng)用場景和商業(yè)機會，但過度依賴虛擬現(xiàn)實可能導致人們出現(xiàn)社會隔離和心理健康問題。再次是人工智能大模型的“價值對齊”問題。人工智能的“價值對齊”是讓人工智能系統(tǒng)的行為符合人類的偏好或倫理原則。如果人工智能系統(tǒng)生成的信息與人類的真實目的、意圖、價值觀不一致，那么將會給人類造成災(zāi)難性后果。最后是數(shù)據(jù)污染與“投毒”攻擊。數(shù)據(jù)污染是指在數(shù)據(jù)中故意插入虛假或有害數(shù)據(jù)，從而破壞模型性能和完整性的行為?！巴抖尽惫魟t是利用數(shù)據(jù)“投毒”來誤導模型輸出錯誤結(jié)果。這種攻擊方式不僅影響模型的準確性，還可能引發(fā)重大安全風險。例如，在自動駕駛系統(tǒng)中，“投毒”攻擊可能導致交通事故。

二、加快建立人工智能安全監(jiān)管制度的意義

建立人工智能安全監(jiān)管制度的理論基礎(chǔ)涉及多個學科領(lǐng)域，包括計算機科學、倫理學、法學等。確保人工智能安全、可靠、可控，有利于人類文明進步，是我們推動人工智能發(fā)展必須解決的重要課題。因此，建立一套多層次、多維度的人工智能安全監(jiān)管制度十分重要。

（一）技術(shù)和應(yīng)用快速發(fā)展的需要

目前，我國雖然在人工智能領(lǐng)域取得顯著進展，但在安全監(jiān)管方面仍面臨諸多挑戰(zhàn)。比如，相關(guān)法律法規(guī)滯后于實踐發(fā)展，現(xiàn)行的法律體系未能全面解決人工智能帶來的新問題；技術(shù)標準和倫理規(guī)范尚不完善；個人隱私泄露事件時有發(fā)生。只有加快建立系統(tǒng)完備的人工智能安全監(jiān)管制度，才能確保人工智能技術(shù)可持續(xù)發(fā)展，從而維護社會的整體利益和安全。

（二）實現(xiàn)高質(zhì)量發(fā)展的必然要求

由于人工智能涉及的算法較為復雜，數(shù)據(jù)處理量較大，我國對人工智能的監(jiān)管存在一定缺位。如果監(jiān)管長期缺位，那么可能導致技術(shù)失控，甚至觸發(fā)社會倫理危機。人工智能作為推動高質(zhì)量發(fā)展的重要工具，其安全性直接影響著經(jīng)濟增長、社會進步和文化發(fā)展。我們必須汲取歷史經(jīng)驗和教訓，摒棄“先發(fā)展、后治理”的盲目思維，在推動技術(shù)創(chuàng)新的過程中防范人工智能無序發(fā)展帶來的安全隱患。為此，建設(shè)一套能夠?qū)崟r監(jiān)控技術(shù)進展、及時發(fā)現(xiàn)并解決安全問題的人工智能安全監(jiān)管體系，對于保障人工智能技術(shù)的健康發(fā)展至關(guān)重要。只有這樣，人工智能才能真正推動各項工作高質(zhì)量發(fā)展。

（三）人工智能進行國際競爭和合作的需要

近年來，世界各國紛紛意識到人工智能安全監(jiān)管工作的重要性，并在人工智能領(lǐng)域不斷加快戰(zhàn)略布局。然而，各國在人工智能監(jiān)管工作的理念和實踐上存在差異，這種差異可能導致國際合作出現(xiàn)數(shù)字壁壘和各國人工智能安全監(jiān)管相互矛盾甚至相互對立。此外，由于人工智能技術(shù)的傳播不受國界限制，人工智能模型一經(jīng)發(fā)布便無處不在，現(xiàn)有的監(jiān)管方式必然產(chǎn)生漏洞，因此，建立全球范圍的人工智能監(jiān)管框架勢在必行。我國作為全球最大的人工智能應(yīng)用市場，有責任也有能力在人工智能領(lǐng)域的全球治理中發(fā)揮積極作用，建立符合國際標準且具有中國特色的人工智能安全監(jiān)管制度，從而推進國際合作與交流。

三、加快建立人工智能安全監(jiān)管制度的著力點

面對人工智能技術(shù)帶來的風險隱患，從法律、技術(shù)、倫理、國際合作等多個方面綜合施策，建立一套有效的人工智能安全監(jiān)管制度，是我們當前的一項緊迫任務(wù)。

（一）完善法律法規(guī)

人工智能技術(shù)既關(guān)系數(shù)據(jù)安全、算法公正和算力保障等議題，又牽涉網(wǎng)絡(luò)謠言、網(wǎng)絡(luò)暴力和虛假信息的治理等?，F(xiàn)有的法律法規(guī)體系亟須從技術(shù)層面健全完善相關(guān)監(jiān)管體系。

一方面，要加快立法進程。面對人工智能發(fā)展的迅猛勢頭，加快立法進程至關(guān)重要。目前，我國已經(jīng)出臺《中華人民共和國網(wǎng)絡(luò)安全法》《中華人民共和國數(shù)據(jù)安全法》等基礎(chǔ)性法律，但針對人工智能的專門性法律尚未完善。2023年5月23日，國家互聯(lián)網(wǎng)信息辦公室2023年第12次室務(wù)會會議審議通過《生成式人工智能服務(wù)管理暫行辦法》。這是一個積極的信號，顯示出我國對人工智能安全監(jiān)管工作的重視。接下來，我們應(yīng)進一步細化相關(guān)法律法規(guī)，形成系統(tǒng)完備的法律體系。例如，要明確人工智能的研發(fā)、應(yīng)用、數(shù)據(jù)管理、算法公開等方面的法律責任和義務(wù)，為行業(yè)發(fā)展提供明確的法律指引。

另一方面，要建立完善的配套措施和執(zhí)行機制。為確保法律法規(guī)得到有效實施，必須建立完善的配套措施和執(zhí)行機制。這包括設(shè)置專門的監(jiān)管機構(gòu)或部門，讓其負責相關(guān)法律的執(zhí)行和監(jiān)督工作；建立舉報和申訴機制，為公眾和企業(yè)提供反饋渠道；設(shè)立定期審查機制，對法律法規(guī)進行動態(tài)調(diào)整。此外，應(yīng)加大執(zhí)法力度，確保各項規(guī)定得到嚴格執(zhí)行。例如，設(shè)立由行業(yè)專家、法律顧問和技術(shù)人員組成的人工智能安全監(jiān)管機構(gòu)，讓其定期對相關(guān)法律法規(guī)的執(zhí)行情況進行檢查和評估。

（二）優(yōu)化技術(shù)標準

人工智能技術(shù)在快速迭代升級的同時，引發(fā)了一系列問題。解決這些問題的重要思路就是完善技術(shù)手段，確?！爸悄芟蛏啤?。以人工智能侵犯隱私問題為例，在處理個人數(shù)據(jù)時，收集、保存、應(yīng)用等環(huán)節(jié)都可能引發(fā)個人隱私和數(shù)據(jù)安全等方面的問題。為在各個環(huán)節(jié)有效保護個人數(shù)據(jù)隱私，我們要采取有針對性的技術(shù)性措施。在個人數(shù)據(jù)的收集環(huán)節(jié)，要應(yīng)用和推廣匿名化技術(shù)。在收集個人數(shù)據(jù)時，要通過匿名化處理，使數(shù)據(jù)與個人身份“脫鉤”，從而有效避免人工智能侵犯個人隱私權(quán)。在個人數(shù)據(jù)的保存環(huán)節(jié)，要積極運用加密技術(shù)。目前，數(shù)據(jù)存儲主要依賴本地存儲和云存儲兩種形式。無論是外部攻擊竊取數(shù)據(jù)，還是內(nèi)部人員未經(jīng)授權(quán)進行訪問、使用或泄露數(shù)據(jù)，都是數(shù)據(jù)在保存過程中存在的主要風險。因此，必須采取有效的數(shù)據(jù)加密措施，嚴格控制數(shù)據(jù)的訪問權(quán)限。在個人數(shù)據(jù)的應(yīng)用環(huán)節(jié)，應(yīng)加強對非法使用個人數(shù)據(jù)行為的實時監(jiān)控、干預和阻斷，以加大對數(shù)據(jù)隱私權(quán)和個人數(shù)據(jù)安全的保護力度。

一方面，要建立標準化體系。技術(shù)標準是確保人工智能產(chǎn)品和服務(wù)質(zhì)量的關(guān)鍵。應(yīng)建立全面的標準化體系，涵蓋數(shù)據(jù)采集、數(shù)據(jù)處理、算法設(shè)計、系統(tǒng)開發(fā)等各個環(huán)節(jié)。可以參考有關(guān)人工智能管理體系要求、人工智能管理體系審核和認證機構(gòu)要求等方面的國際標準，并結(jié)合我國的實際情況，制定符合我國國情的標準規(guī)范。要制定關(guān)于人工智能算法透明度的相關(guān)指南，明確算法的開發(fā)流程、性能評估方法和透明度要求；出臺數(shù)據(jù)質(zhì)量管理的具體規(guī)范，確保數(shù)據(jù)收集的準確性和可靠性。

另一方面，要制定關(guān)鍵技術(shù)標準。現(xiàn)階段，關(guān)于人工智能特別是生成式人工智能的監(jiān)管模式，我們將監(jiān)管重點放在了監(jiān)管組織建設(shè)、責任分配和違法責任追究等方面，在數(shù)據(jù)版權(quán)、算法透明度和備案規(guī)則等方面仍存在一定欠缺。我們應(yīng)優(yōu)先制定關(guān)鍵技術(shù)標準，以保證人工智能技術(shù)安全可靠。例如，在自動駕駛領(lǐng)域，相關(guān)安全技術(shù)標準要涵蓋環(huán)境感知、決策控制、緊急處置等內(nèi)容；在醫(yī)療人工智能領(lǐng)域，相關(guān)安全標準要提升診斷、治療等環(huán)節(jié)的安全性和有效性。此外，應(yīng)制定區(qū)塊鏈技術(shù)在數(shù)據(jù)存證、版權(quán)保護方面的應(yīng)用標準，以增強數(shù)據(jù)的透明度和不可篡改性。

（三）遵循人工智能倫理

人工智能倫理是指在人工智能技術(shù)的設(shè)計、開發(fā)、應(yīng)用和管理過程中，相關(guān)人員應(yīng)遵循的道德規(guī)范和原則。這些倫理規(guī)范和原則旨在確保人工智能技術(shù)的應(yīng)用符合社會的公共利益。

一方面，要完善倫理準則。要規(guī)范人工智能技術(shù)的發(fā)展，就要持續(xù)完善并推廣人工智能倫理準則?？梢詤⒖紘倚乱淮斯ぶ悄苤卫韺I(yè)委員會制定的《新一代人工智能倫理規(guī)范》，明確人工智能在研發(fā)和應(yīng)用中的倫理要求。例如，制定人工智能研發(fā)人員應(yīng)遵守的職業(yè)道德規(guī)范，強調(diào)研發(fā)人員的技術(shù)責任和社會責任，指導企業(yè)在人工智能產(chǎn)品設(shè)計和應(yīng)用中遵循公平、透明和非歧視原則。

另一方面，要建立倫理審查機制。建立倫理審查機制是確保人工智能倫理規(guī)范落地見效的重要措施。要在高校、科研機構(gòu)、企業(yè)中設(shè)立倫理審查機構(gòu)，對人工智能項目進行全面審查。例如，成立由倫理學家、法律顧問和技術(shù)專家組成的審查小組，讓其對敏感項目進行評估；引入第三方評估機構(gòu)，讓其對人工智能產(chǎn)品進行定期檢查和評估，確保人工智能產(chǎn)品符合倫理規(guī)范和法律要求；鼓勵企業(yè)設(shè)立倫理專員崗位，加強企業(yè)內(nèi)部倫理事務(wù)的管理和培訓工作。

（四）加強國際合作與經(jīng)驗借鑒

人工智能作為一項全球性技術(shù)，其安全監(jiān)管涉及多個國家和地區(qū)，需要國際社會共同努力。通過國際合作，可以更好維護各國國家利益，共同防范人工智能可能帶來的安全風險。

一方面，要對標國際標準。在國際競爭日益激烈的背景下，對標國際標準尤為重要。我國應(yīng)積極參與制定關(guān)于人工智能技術(shù)的國際標準，借鑒和吸收國際先進經(jīng)驗。例如，積極參與ISO、IEC等國際標準化組織的相關(guān)工作，推動我國在人工智能優(yōu)勢領(lǐng)域的標準成為國際標準；引進國際領(lǐng)先的人工智能安全檢測認證體系，從而提升我國人工智能產(chǎn)品的國際競爭力。

另一方面，要加強跨國協(xié)作與信息共享。跨國協(xié)作與信息共享是應(yīng)對全球性人工智能風險挑戰(zhàn)的重要途徑。要通過簽訂雙邊或多邊合作協(xié)議，加強在技術(shù)研發(fā)、法規(guī)制定和執(zhí)法監(jiān)督等方面的協(xié)作；建立國際人工智能安全聯(lián)盟，定期召開會議，交流最新的研究成果和監(jiān)管經(jīng)驗；聯(lián)合推進研究項目，共同攻克技術(shù)難題；設(shè)立信息共享平臺，及時通報風險事件和應(yīng)對措施；舉辦人工智能領(lǐng)域的國際性論壇，促進全球范圍內(nèi)的信息交流與合作。