■文/李芳 劉鑫怡（中國(guó)科學(xué)技術(shù)信息研究所）

歐盟高度重視通過(guò)人工智能治理來(lái)加強(qiáng)新一輪人工智能競(jìng)爭(zhēng)規(guī)則的主導(dǎo)權(quán)。歐盟關(guān)于人工智能的最新立法提案基于風(fēng)險(xiǎn)比例的方法，將人工智能系統(tǒng)分為不可接受、高風(fēng)險(xiǎn)、有限風(fēng)險(xiǎn)、最小風(fēng)險(xiǎn)四個(gè)風(fēng)險(xiǎn)等級(jí)，根據(jù)可能產(chǎn)生的風(fēng)險(xiǎn)強(qiáng)度和范圍來(lái)調(diào)整規(guī)則的類型和內(nèi)容。盡管部分規(guī)則仍存在一定爭(zhēng)議，并且立法進(jìn)程可能耗費(fèi)數(shù)年時(shí)間，但在人工智能快速與經(jīng)濟(jì)社會(huì)融合帶來(lái)的一系列隱私、安全、公平等問(wèn)題下，相關(guān)條款可能在全球范圍內(nèi)引發(fā)“蝴蝶效應(yīng)”，中國(guó)應(yīng)加強(qiáng)對(duì)相關(guān)規(guī)則的研究，并積極尋求與相關(guān)人士交流更多的立法背景信息，并在中國(guó)的立法進(jìn)程中，重視安全與發(fā)展的平衡。

2021年4月21日，歐盟委員會(huì)公布了有關(guān)《人工智能法》及配套立法的最新提案。該提案是歐盟委員會(huì)主席馮·德萊恩在其《2019—2024年政治指導(dǎo)方針》（Political Guidelines For 2019—2024）宣布的“一個(gè)為追求更多目標(biāo)而奮斗的聯(lián)盟”的政治承諾之一：加強(qiáng)人工智能倫理規(guī)范與立法。該提案提出了歐盟統(tǒng)一的可信賴人工智能法律框架，使歐盟成為促進(jìn)人工智能安全、可信和道德的全球領(lǐng)導(dǎo)者。為此，該提案全面整合了歐盟現(xiàn)有的人工智能相關(guān)準(zhǔn)則、法規(guī)等，基于風(fēng)險(xiǎn)比例方法，為不同風(fēng)險(xiǎn)類型的人工智能系統(tǒng)引入一套符合比例性和有效性的約束規(guī)則。這些規(guī)則涉及人工智能系統(tǒng)風(fēng)險(xiǎn)類別的界定、創(chuàng)新支持措施、治理機(jī)制、數(shù)據(jù)質(zhì)量、市場(chǎng)監(jiān)管與信息共享、保密性和處罰條款等。該提案將提交歐洲議會(huì)和理事會(huì)進(jìn)行進(jìn)一步審議。

一、近年來(lái)歐盟人工智能治理的相關(guān)行動(dòng)

面對(duì)新一輪人工智能浪潮快速席卷全球以及美、中兩國(guó)在全球人工智能研發(fā)與應(yīng)用中日益突出的領(lǐng)先優(yōu)勢(shì)，歐盟尤其重視通過(guò)人工智能倫理、法律以及標(biāo)準(zhǔn)規(guī)范等治理方式，來(lái)加強(qiáng)全球人工智能治理的話語(yǔ)權(quán)與主導(dǎo)權(quán)。

歐盟《通用數(shù)據(jù)保護(hù)條例》(簡(jiǎn)稱GDPR)自2016年4月通過(guò)以來(lái)，已經(jīng)被越來(lái)越多的國(guó)家和國(guó)際組織采用。印度在2018年7月發(fā)布《2018年個(gè)人數(shù)據(jù)保護(hù)法案（草案）》，巴西2018年8月批準(zhǔn)了《通用數(shù)據(jù)保護(hù)法》，在域外管轄、數(shù)據(jù)保護(hù)原則、數(shù)據(jù)主體權(quán)利以及行政處罰等方面與GDPR相似；2019年8月，國(guó)際標(biāo)準(zhǔn)化組織和國(guó)際電工委員會(huì)發(fā)布的“ISO/IEC 27701隱私信息管理體系標(biāo)準(zhǔn)”就覆蓋了絕大部分GDPR的要求。

自GDPR生效以后，歐盟更是加快出臺(tái)針對(duì)人工智能的相關(guān)治理舉措。歐盟人工智能高級(jí)專家小組（High-Level Expert Group on Artificial Intelligence,AI HLEG）于2019年制定了《可信人工智能指南》，并于2020年制定了《可信人工智能評(píng)估清單》。2020年2月，歐盟委員會(huì)進(jìn)一步發(fā)布《人工智能白皮書(shū)》提出一系列人工智能研發(fā)和監(jiān)管的政策措施，以及“可信賴的人工智能框架”，旨在聯(lián)合歐洲各國(guó)的力量，促進(jìn)歐洲在人工智能領(lǐng)域的創(chuàng)新能力，推動(dòng)道德和可信賴人工智能的發(fā)展。

二、歐盟人工智能立法框架的主要內(nèi)容

在最新發(fā)布的歐盟人工智能立法框架中，歐盟將人工智能系統(tǒng)劃分為不可接受風(fēng)險(xiǎn)、高風(fēng)險(xiǎn)、有限風(fēng)險(xiǎn)和最小風(fēng)險(xiǎn)四個(gè)等級(jí)，并對(duì)不同風(fēng)險(xiǎn)級(jí)別施以不同的規(guī)制措施，主要內(nèi)容如下：

（一）基于風(fēng)險(xiǎn)比例的人工智能系統(tǒng)分類與規(guī)制方向

人工智能法律框架的適用范圍包括：將人工智能系統(tǒng)投放在歐盟市場(chǎng)交易或提供服務(wù)的供應(yīng)商；歐盟的人工智能系統(tǒng)用戶；人工智能系統(tǒng)的輸出在歐盟應(yīng)用的第三國(guó)供應(yīng)商和用戶。總體來(lái)看，該提案大部分內(nèi)容側(cè)重于為高風(fēng)險(xiǎn)的人工智能系統(tǒng)制定強(qiáng)制性要求和義務(wù)等規(guī)定。對(duì)于不可接受的風(fēng)險(xiǎn)，明確列示了禁止的人工智能活動(dòng)范圍；對(duì)于聊天機(jī)器人、深度偽造等有限風(fēng)險(xiǎn)的人工智能系統(tǒng)規(guī)定特定的透明度義務(wù)。此外，對(duì)于諸如電子游戲和垃圾郵件識(shí)別軟件等低風(fēng)險(xiǎn)或無(wú)風(fēng)險(xiǎn)的人工智能系統(tǒng)不加干預(yù)。對(duì)于非高風(fēng)險(xiǎn)的人工智能系統(tǒng)，提案鼓勵(lì)供應(yīng)商做出承諾，自愿應(yīng)用高風(fēng)險(xiǎn)人工智能系統(tǒng)的強(qiáng)制性要求，并協(xié)助制定與環(huán)境可持續(xù)性、殘疾人無(wú)障礙、利益相關(guān)者參與設(shè)計(jì)和開(kāi)發(fā)等有關(guān)的行為準(zhǔn)則。

（1）被禁止的四類人工智能活動(dòng)。禁止向市場(chǎng)投放或使用違背歐盟自由、平等、民主和法治的價(jià)值觀，或與基本權(quán)利（包括數(shù)據(jù)保護(hù)權(quán)、隱私權(quán)等）相抵觸的人工智能系統(tǒng)。具體包括以下四類：一是禁止投放和使用在人的意識(shí)之外部署閾下技術(shù)（subliminal techniques），造成個(gè)人行為嚴(yán)重扭曲，并可能對(duì)本人或其他人造成身體或心理傷害的人工智能系統(tǒng)。二是禁止投放和使用利用特定人群因年齡、身體或精神殘疾而存在的弱點(diǎn)，嚴(yán)重扭曲與該群體有關(guān)的個(gè)人行為，從而造成本人或其他人的身體或心理傷害的人工智能系統(tǒng)。三是禁止公共機(jī)構(gòu)或其代理投放或用于對(duì)自然人的可信度進(jìn)行評(píng)估或分類，導(dǎo)致歧視性結(jié)果的人工智能系統(tǒng)。四是禁止在公共場(chǎng)所為執(zhí)法目的使用“實(shí)時(shí)”遠(yuǎn)程生物識(shí)別系統(tǒng)，但用于以下三種目標(biāo)并且在遵循嚴(yán)格必要使用相關(guān)規(guī)則的前提下，可以有一定豁免，包括：尋找犯罪導(dǎo)致的特定潛在受害者；防止對(duì)自然人的生命或人身安全的具體、實(shí)質(zhì)性的緊迫威脅或恐怖襲擊；對(duì)特定刑事犯罪行為人或犯罪嫌疑人的偵查、定位、鑒定或起訴。

（2）針對(duì)高風(fēng)險(xiǎn)人工智能系統(tǒng)的相關(guān)規(guī)則。在界定高風(fēng)險(xiǎn)人工智能系統(tǒng)范圍基礎(chǔ)上，提案圍繞系統(tǒng)本身及其生命周期內(nèi)相關(guān)主體設(shè)定了一系列強(qiáng)制性要求和義務(wù)標(biāo)準(zhǔn)，確保在高風(fēng)險(xiǎn)人工智能系統(tǒng)的整個(gè)生命周期中保護(hù)人類基本權(quán)利和安全。高風(fēng)險(xiǎn)人工智能系統(tǒng)包括兩類：一是經(jīng)過(guò)第三方合格評(píng)估認(rèn)證，作為產(chǎn)品或者產(chǎn)品的安全組件的人工智能系統(tǒng)。二是提案附件三列出的八個(gè)領(lǐng)域的獨(dú)立人工智能系統(tǒng)，分別為：自然人的生物識(shí)別和分類，關(guān)鍵基礎(chǔ)設(shè)施的管理和運(yùn)作，教育和職業(yè)培訓(xùn)，就業(yè)，執(zhí)法，移民，庇護(hù)和邊境管制，以及司法和民主進(jìn)程。歐盟委員會(huì)可依據(jù)給定標(biāo)準(zhǔn)進(jìn)行風(fēng)險(xiǎn)評(píng)估，并據(jù)此決定是否增加附件三的高風(fēng)險(xiǎn)人工智能系統(tǒng)清單。

高風(fēng)險(xiǎn)人工智能系統(tǒng)必須滿足的七項(xiàng)要求。一是應(yīng)按步驟建立、實(shí)施、記錄和維護(hù)與高風(fēng)險(xiǎn)人工智能系統(tǒng)整個(gè)生命周期有關(guān)的風(fēng)險(xiǎn)管理系統(tǒng)。二是應(yīng)遵守適當(dāng)?shù)臄?shù)據(jù)治理和管理規(guī)范，為系統(tǒng)提供高質(zhì)量數(shù)據(jù)集，最大程度地降低風(fēng)險(xiǎn)和歧視。三是在高風(fēng)險(xiǎn)人工智能系統(tǒng)被投入市場(chǎng)或使用之前，按要求起草技術(shù)文檔，并保持最新?tīng)顟B(tài)，供主管部門評(píng)估其合規(guī)性。四是具備自動(dòng)記錄日志功能，確保人工智能系統(tǒng)功能在整個(gè)生命周期中可追溯。五是按規(guī)定標(biāo)準(zhǔn)保持透明度并向用戶提供信息。六是部署適當(dāng)?shù)谋O(jiān)督措施，保證人類監(jiān)督有效進(jìn)行。七是確保高水平的魯棒性、安全性和準(zhǔn)確性。上述義務(wù)與其他國(guó)際建議和原則保持一致，與歐盟國(guó)際貿(mào)易伙伴所采用的人工智能框架具有兼容性。

高風(fēng)險(xiǎn)人工智能系統(tǒng)提供者、用戶和其他方的義務(wù)。一是供應(yīng)商需確保滿足上述有關(guān)系統(tǒng)的要求并提供證明（如果不符，則需履行糾正和告知用戶義務(wù)），并按規(guī)定建立質(zhì)量管理體系、進(jìn)行使用前的合規(guī)評(píng)估、注冊(cè)、糾正措施、張貼CE標(biāo)識(shí)等。二是在大部分情形下，產(chǎn)品制造商、進(jìn)口商、用戶及其他第三方都同屬于供應(yīng)商的范疇，應(yīng)履行與供應(yīng)商同等條件的義務(wù)。三是用戶有義務(wù)按說(shuō)明使用并監(jiān)督系統(tǒng)，并確保輸入數(shù)據(jù)的相關(guān)性等。此外，法規(guī)還要求各成員國(guó)制定或建立公告機(jī)構(gòu)，進(jìn)行合格評(píng)估機(jī)構(gòu)的評(píng)估、公告和監(jiān)督，并對(duì)公告機(jī)構(gòu)、合格評(píng)估機(jī)構(gòu)的設(shè)立和工作程序等進(jìn)行了詳細(xì)規(guī)定。同時(shí)，還對(duì)統(tǒng)一標(biāo)準(zhǔn)、共同規(guī)范、合格評(píng)定及證書(shū)、CE合格標(biāo)識(shí)等設(shè)定了具體標(biāo)準(zhǔn)。

（3）具有透明度義務(wù)的三種人工智能系統(tǒng)。一是與人互動(dòng)的系統(tǒng)，供應(yīng)商應(yīng)確保將旨在與人類進(jìn)行交互的人工智能系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)方式告知自然人。二是情緒識(shí)別系統(tǒng)或生物特征分類系統(tǒng)的用戶應(yīng)將系統(tǒng)的運(yùn)行告知暴露在該系統(tǒng)下的自然人。三是如果使用人工智能系統(tǒng)生成或操縱與真實(shí)內(nèi)容非常相似的圖像、音頻或視頻內(nèi)容（深度偽造），系統(tǒng)使用者應(yīng)當(dāng)披露該內(nèi)容是通過(guò)自動(dòng)方式還是人為操縱方式生成的。

（二）創(chuàng)新支持措施、治理與監(jiān)管相關(guān)規(guī)則

圍繞人工智能系統(tǒng)開(kāi)發(fā)與應(yīng)用的外部環(huán)境，提案從創(chuàng)新支持措施、治理體系、市場(chǎng)監(jiān)管等方面，列明了相關(guān)規(guī)則。

（1）創(chuàng)新支持措施的相關(guān)規(guī)則。提案鼓勵(lì)建立國(guó)家或歐盟層面的監(jiān)管沙箱，為加快人工智能系統(tǒng)投入市場(chǎng)和使用提供受控環(huán)境，并規(guī)定此項(xiàng)工作應(yīng)在主管當(dāng)局的直接監(jiān)督和指導(dǎo)下進(jìn)行，以確保遵守本法規(guī)及其他成員國(guó)法規(guī)的要求。提案允許以公共利益為目的，在監(jiān)管沙盒中進(jìn)一步處理合法收集的個(gè)人數(shù)據(jù)，并為此設(shè)定了相關(guān)規(guī)則。此外，提案還設(shè)立相關(guān)程序，為中小企業(yè)和初創(chuàng)企業(yè)提供監(jiān)管沙盒數(shù)據(jù)優(yōu)先訪問(wèn)權(quán)，建立咨詢指導(dǎo)渠道，降低合格評(píng)定費(fèi)用，以減輕企業(yè)負(fù)擔(dān)。

（2）建立歐盟和成員國(guó)層面的治理體系。一是設(shè)立歐洲人工智能委員會(huì)，由歐盟委員會(huì)和成員國(guó)國(guó)家監(jiān)管機(jī)構(gòu)的相關(guān)人員組成，負(fù)責(zé)在成員國(guó)之間收集和分享最佳實(shí)踐，推進(jìn)成員國(guó)之間統(tǒng)一行政管理，向歐盟委員會(huì)提供建議等等。二是成員國(guó)應(yīng)設(shè)立或指定國(guó)家主管部門，以確保本法規(guī)的適用和實(shí)施。此外，提案還強(qiáng)調(diào)要通過(guò)歐盟委員會(huì)與成員國(guó)合作，建立獨(dú)立高風(fēng)險(xiǎn)人工智能系統(tǒng)數(shù)據(jù)庫(kù)。

（3）售后監(jiān)測(cè)、信息共享與市場(chǎng)監(jiān)管規(guī)則。一是高風(fēng)險(xiǎn)人工智能系統(tǒng)供應(yīng)商應(yīng)制定售后監(jiān)測(cè)計(jì)劃，并基于此建立售后監(jiān)控系統(tǒng)。積極收集、記錄、分析和評(píng)估系統(tǒng)生命周期內(nèi)的性能數(shù)據(jù)。二是供應(yīng)商應(yīng)及時(shí)將違反該法規(guī)義務(wù)的事件或嚴(yán)重故障的系統(tǒng)上報(bào)國(guó)家監(jiān)管機(jī)構(gòu)。三是國(guó)家監(jiān)管機(jī)構(gòu)應(yīng)定期向委員會(huì)報(bào)告有關(guān)市場(chǎng)監(jiān)管活動(dòng)的結(jié)果。四是市場(chǎng)監(jiān)管機(jī)構(gòu)應(yīng)在其職權(quán)范圍內(nèi)訪問(wèn)數(shù)據(jù)和文檔。此外，針對(duì)市場(chǎng)上可能存在風(fēng)險(xiǎn)的人工智能系統(tǒng)，提案還分別從國(guó)家、聯(lián)盟和供應(yīng)商層面規(guī)定了相關(guān)處理程序。

（4）對(duì)違規(guī)行為處以高額行政罰款。提案對(duì)各種類型的違規(guī)行為處以高額的行政罰款。程度最為嚴(yán)重的是對(duì)違反禁止性人工智能清單規(guī)定和高風(fēng)險(xiǎn)人工智能系統(tǒng)數(shù)據(jù)治理規(guī)定的情形，最高可處以3000萬(wàn)歐元的行政罰款；如果違規(guī)者是企業(yè)，則處以上一個(gè)財(cái)政年度全球年度總營(yíng)業(yè)額6%的行政罰款，以較高者為準(zhǔn)。這些嚴(yán)厲的處罰方式，增加了法規(guī)的強(qiáng)制約束性。

三、歐盟人工智能立法提案的可能影響與應(yīng)對(duì)

在一定程度上，該提案從法律層面確定了貫穿人工智能系統(tǒng)全生命周期的指導(dǎo)與約束規(guī)則，如獲通過(guò)，不僅將對(duì)歐盟成員國(guó)產(chǎn)生約束力，也將對(duì)歐盟內(nèi)外的人工智能治理產(chǎn)生重大影響。

（一）相關(guān)規(guī)則設(shè)置或?qū)⒁l(fā)“蝴蝶效應(yīng)”，應(yīng)加強(qiáng)相關(guān)內(nèi)容和規(guī)則研究

鑒于人工智能在與人類經(jīng)濟(jì)社會(huì)的快速融合中，對(duì)人類隱私、安全、公平等方面的影響已經(jīng)引發(fā)了社會(huì)各界的高度關(guān)注，甚至憂慮，加快人工智能倫理道德軟約束向立法的強(qiáng)約束轉(zhuǎn)變已經(jīng)勢(shì)在必行。歐盟率先從區(qū)域協(xié)調(diào)層面加快立法，為其他國(guó)家的立法探索提供了一定的參考，相關(guān)規(guī)則設(shè)置或?qū)a(chǎn)生“蝴蝶效應(yīng)”，對(duì)全球規(guī)則的塑造產(chǎn)生廣泛而深遠(yuǎn)的影響。對(duì)此，中國(guó)立法界人士應(yīng)當(dāng)加強(qiáng)對(duì)相關(guān)內(nèi)容與規(guī)則的研究，并考慮聯(lián)合人工智能相關(guān)領(lǐng)域從業(yè)人員及利益相關(guān)者就相關(guān)條款進(jìn)行廣泛的利益征集，據(jù)此提出與中國(guó)人工智能發(fā)展相適應(yīng)的規(guī)制條款。

（二）部分條款設(shè)置仍存在“模糊地帶”，中國(guó)應(yīng)加強(qiáng)與相關(guān)人士的交流

提案的部分條款或過(guò)于寬泛，或過(guò)于模糊，比如倫敦大學(xué)學(xué)院計(jì)算機(jī)科學(xué)榮譽(yù)副教授Julien Cornebise認(rèn)為，新法規(guī)對(duì)AI的定義十分寬泛；非政府組織“歐洲數(shù)字權(quán)利”高級(jí)政策顧問(wèn)Sarah Chander認(rèn)為，草案規(guī)定的可豁免的用途范圍過(guò)于寬泛。對(duì)此，中國(guó)應(yīng)當(dāng)通過(guò)多種渠道，尋求與提案制定或意見(jiàn)征詢中的相關(guān)人士增進(jìn)交流，獲取更多相關(guān)信息，以便在未來(lái)的國(guó)際治理合作中，尋求與歐盟方面的更多共識(shí)。

（三）法案整體通過(guò)尚存“不確定性”，中國(guó)應(yīng)重視安全與發(fā)展的平衡

盡管提案可能對(duì)全球人工智能立法產(chǎn)生廣泛影響，然而，根據(jù)歐盟的立法程序，人工智能立法提案將提交歐洲議會(huì)和理事會(huì)進(jìn)行進(jìn)一步審議，這可能需要耗費(fèi)數(shù)年時(shí)間，并且，最終通過(guò)的版本可能與提案版本存在較大差距。因此，中國(guó)在對(duì)歐盟人工智能立法動(dòng)向保持密切關(guān)注的同時(shí)，應(yīng)加強(qiáng)研究相關(guān)規(guī)則條款對(duì)人工智能發(fā)展的潛在影響，并且在中國(guó)立法規(guī)制進(jìn)程中，注重尋求安全與發(fā)展的平衡。