袁俊

2020年2月19日，歐盟委員會發(fā)布了人工智能白皮書《走向卓越與信任——?dú)W盟人工智能監(jiān)管新路徑》（On Artificial Intelligence - A European approach to excellence and trust），旨在打造以人為本的可信賴和安全的人工智能，確保歐洲成為數(shù)字化轉(zhuǎn)型的全球領(lǐng)導(dǎo)者。報(bào)告主要分為六大部分，首先概述了人工智能，進(jìn)而闡述了需要利用工業(yè)和專業(yè)優(yōu)勢，抓住下一波數(shù)據(jù)浪潮機(jī)遇。其次重點(diǎn)圍繞“卓越生態(tài)系統(tǒng)”與“信任生態(tài)系統(tǒng)”兩方面展開，著重構(gòu)建了可信賴與安全的人工智能監(jiān)管框架。最后，還發(fā)布了《關(guān)于人工智能、物聯(lián)網(wǎng)和機(jī)器人對安全和責(zé)任的影響的報(bào)告》和《歐洲數(shù)字戰(zhàn)略》兩份附件。本文著重介紹“卓越生態(tài)系統(tǒng)”與“信任生態(tài)系統(tǒng)”以及歐盟未來可信賴與安全的人工智能監(jiān)管路徑。

鑒于人工智能的飛速發(fā)展，歐洲可以將技術(shù)、產(chǎn)業(yè)優(yōu)勢和基于基本價值觀的監(jiān)管框架相結(jié)合，打造一整套人工智能生態(tài)系統(tǒng)，從而為歐洲社會和經(jīng)濟(jì)帶來技術(shù)福祉。其中關(guān)鍵在于，人工智能必須以歐洲價值觀和包括人類尊嚴(yán)、隱私保護(hù)等在內(nèi)的基本權(quán)利為基礎(chǔ)。

歐洲擁有眾多研究中心、創(chuàng)新型企業(yè)。在機(jī)器人、制造業(yè)、服務(wù)業(yè)等領(lǐng)域居于領(lǐng)先地位。歐盟可通過強(qiáng)化下一代技術(shù)、數(shù)字基礎(chǔ)設(shè)施以及數(shù)字能力的投資，增強(qiáng)歐洲在關(guān)鍵技術(shù)和基礎(chǔ)設(shè)施方面的技術(shù)主權(quán)，創(chuàng)建歐洲數(shù)據(jù)池，以打造可信人工智能。

一、“卓越生態(tài)系統(tǒng)”（ecosystem of excellence）

1.與成員國合作

歐盟委員會將根據(jù)白皮書的公眾咨詢結(jié)果，向成員國建議修訂2018年4月通過的人工智能戰(zhàn)略和12月提出的約70項(xiàng)聯(lián)合行動的協(xié)同計(jì)劃。

2. 聚焦研究投入和創(chuàng)新社群

歐洲需要一個集聚研究、創(chuàng)新和專業(yè)知識的“燈塔型”中心，借此吸引最優(yōu)秀的人才。因此將建立私營主體和監(jiān)管機(jī)構(gòu)合作的卓越和測試中心（excellenceand testing centres），創(chuàng)建從研究到創(chuàng)新的一整套價值鏈的卓越生態(tài)系統(tǒng)。同時專項(xiàng)撥款，用于支持?jǐn)?shù)字歐洲計(jì)劃下設(shè)在歐洲的世界參考測試中心（world reference testing centres），并且根據(jù)實(shí)際情況，作為2021至2027年多年期財(cái)務(wù)框架（MFF）的一部分納入歐洲地平線（Horizon Europe）的研究和創(chuàng)新計(jì)劃。

3. 能力方面

借助頂尖高等學(xué)府組成的“數(shù)字歐洲計(jì)劃”網(wǎng)絡(luò)，以吸引最優(yōu)秀的教授和科學(xué)家，并提供全球領(lǐng)先的人工智能課程。

4.聚焦中小企業(yè)

歐洲投資基金將在2020年第一季度啟動1億歐元的試點(diǎn)計(jì)劃，為人工智能的創(chuàng)新提供股權(quán)融資。歐盟委員會計(jì)劃從2021年起通過“投資歐洲”（InvestEU）項(xiàng)目，大范圍擴(kuò)展多年期財(cái)務(wù)框架的規(guī)模。

5. 與私營機(jī)構(gòu)建立伙伴關(guān)系

在歐洲地平線計(jì)劃的背景下，歐盟委員會將在人工智能、數(shù)據(jù)和機(jī)器人技術(shù)方面開展新的公私合作伙伴關(guān)系。

6. 推動公共部門采購人工智能

在公共行政、醫(yī)院、交通服務(wù)、金融監(jiān)管機(jī)構(gòu)等公共部門迅速部署人工智能產(chǎn)品和服務(wù)。

7.數(shù)據(jù)和計(jì)算基礎(chǔ)設(shè)施訪問

歐盟委員會已經(jīng)提出40多億歐元的“數(shù)字歐洲計(jì)劃”，以支持高性能計(jì)算和量子計(jì)算，包括邊緣計(jì)算和人工智能、數(shù)據(jù)和云基礎(chǔ)設(shè)施等。歐洲數(shù)據(jù)戰(zhàn)略進(jìn)一步闡釋了該優(yōu)先事項(xiàng)，認(rèn)為負(fù)責(zé)任的數(shù)據(jù)管理實(shí)踐將有助于建立信任，確保數(shù)據(jù)的可重用性。

圖1 你認(rèn)為誰應(yīng)該為使用大數(shù)據(jù)與人工智能技術(shù)帶來的道德問題承擔(dān)責(zé)任？

8. 國際方面

歐盟將密切關(guān)注其他國家限制數(shù)據(jù)流動的政策，并將在雙邊貿(mào)易談判中通過世界貿(mào)易組織范圍內(nèi)的行動解決相關(guān)不適當(dāng)?shù)南拗啤W盟確信，人工智能國際合作必須建立在尊重基本權(quán)利的基礎(chǔ)上，包括人的尊嚴(yán)、多元化、包容性、非歧視、保護(hù)隱私和個人數(shù)據(jù)。值得注意的是，發(fā)展負(fù)責(zé)任的人工智能也可以積極推動2030年可持續(xù)發(fā)展議程。

二、“信任生態(tài)系統(tǒng)”（ecosystem of trust）：人工智能監(jiān)管框架

在人工智能決策過程中，面對突顯的人機(jī)能力不對稱和系統(tǒng)信息不透明等問題，歐洲公民日益漸感自身權(quán)利的維護(hù)蒼白無力。此種缺乏堅(jiān)實(shí)的信任基礎(chǔ)是阻礙人工智能進(jìn)一步發(fā)展的核心困境。因此，構(gòu)建可信賴與安全的人工智能監(jiān)管框架就成為創(chuàng)建“信任生態(tài)系統(tǒng)”的當(dāng)務(wù)之急。

（一）潛在風(fēng)險(xiǎn)問題

1.基本權(quán)利面臨風(fēng)險(xiǎn)，尤其是個人數(shù)據(jù)隱私保護(hù)?，F(xiàn)實(shí)社會中的運(yùn)作機(jī)制將會全方位影響人工智能，人為產(chǎn)生新的偏見與歧視。此種偏見和歧視不來自于設(shè)計(jì)階段，而是依托于現(xiàn)實(shí)社會而逐漸浮現(xiàn)。人工智能固有的算法黑箱、復(fù)雜性、不可預(yù)測性和部分自主性行為等，恐產(chǎn)生些許回溯和去匿名化個人數(shù)據(jù)的風(fēng)險(xiǎn)。

2.安全責(zé)任制度的有效運(yùn)轉(zhuǎn)。嵌入到產(chǎn)品服務(wù)中的技術(shù)會引發(fā)安全風(fēng)險(xiǎn)。例如由于識別技術(shù)缺陷，致使自動駕駛汽車錯誤識別了道路上的障礙物，造成相應(yīng)的人身傷害和物質(zhì)損失。而目前缺乏應(yīng)對該風(fēng)險(xiǎn)的明確安全條款，此種法律不確定性會使得執(zhí)法機(jī)構(gòu)面臨困境，即在未被明確授權(quán)下是否可以執(zhí)法干預(yù)。

（二）當(dāng)前歐盟人工智能立法的主要問題

一是歐盟和國家立法難以有效適用和執(zhí)行。人工智能系統(tǒng)運(yùn)作缺乏透明度會增加違法行為的識別難度和舉證困難，包括基本權(quán)利保護(hù)的范圍、違法歸責(zé)的認(rèn)定和法定索賠要件的滿足等內(nèi)容。

二是既有法律規(guī)范的適用范圍受限。在相關(guān)歐盟產(chǎn)品安全立法中，當(dāng)軟件作為最終產(chǎn)品的組成部分時，必須遵守產(chǎn)品安全規(guī)則。但獨(dú)立軟件是否受歐盟產(chǎn)品安全法律規(guī)制實(shí)屬未解之難題。目前相關(guān)立法的規(guī)范客體僅限于產(chǎn)品而非服務(wù)，所以原則上也不得適用于人工智能服務(wù)，例如醫(yī)療服務(wù)、金融服務(wù)和運(yùn)輸服務(wù)等。

三是功能更新后的責(zé)任立法存在空白。在人工智能系統(tǒng)的漫長服務(wù)周期內(nèi)，需要不斷更新軟件、硬件和算法，尤其對需大數(shù)據(jù)頻繁喂養(yǎng)的機(jī)器學(xué)習(xí)來說更是如此。即使技術(shù)嵌入產(chǎn)品之際不存在缺陷，但事后更新會產(chǎn)生新的風(fēng)險(xiǎn)隱患。遺憾的是，既有產(chǎn)品安全法律只規(guī)制上市時存在風(fēng)險(xiǎn)的產(chǎn)品，致使現(xiàn)行立法一定范圍內(nèi)失靈，無法及時規(guī)制問題產(chǎn)品。

四是產(chǎn)品供應(yīng)鏈中不同運(yùn)營者之間的責(zé)任分配不明確。一般來說，歐盟產(chǎn)品安全立法將責(zé)任劃分給產(chǎn)品生產(chǎn)商，包括所有組件的生產(chǎn)者。但若人工智能產(chǎn)品安全事件是由生產(chǎn)者之外的第三方引起的，則需降低不同運(yùn)營者之間法律責(zé)任分配的不確定性。

五是舊有安全思維亟需轉(zhuǎn)換。人工智能恐引發(fā)立法目前沒有明確的諸多風(fēng)險(xiǎn)。例如源自于網(wǎng)絡(luò)威脅、個人安全隱患和失去連接而導(dǎo)致的風(fēng)險(xiǎn)等。此類風(fēng)險(xiǎn)可能是設(shè)計(jì)之初留存的，也可能是事后軟件升級造成的，亦或深度學(xué)習(xí)自我進(jìn)化產(chǎn)生的。歐盟應(yīng)秉持新的安全觀念，轉(zhuǎn)換舊有思維，充分借鑒包括網(wǎng)絡(luò)與信息安全局（ENISA）在內(nèi)的各種機(jī)構(gòu)的執(zhí)法經(jīng)驗(yàn)，以評估人工智能潛在的安全風(fēng)險(xiǎn)。

三、構(gòu)建可信賴與安全的人工智能監(jiān)管框架

未來人工智能監(jiān)管框架應(yīng)當(dāng)以“風(fēng)險(xiǎn)進(jìn)路”為核心，在達(dá)成既定目標(biāo)的同時避免不成比例的企業(yè)負(fù)擔(dān)。因此要從高風(fēng)險(xiǎn)的人工智能應(yīng)用與非高風(fēng)險(xiǎn)的人工智能應(yīng)用兩大方面予以類型化監(jiān)管。

人工智能應(yīng)用的高風(fēng)險(xiǎn)應(yīng)滿足：第一，在某一可能會發(fā)生重大風(fēng)險(xiǎn)的領(lǐng)域，在該領(lǐng)域中的人工智能應(yīng)用應(yīng)被認(rèn)為是高風(fēng)險(xiǎn)的。例如醫(yī)療保健、運(yùn)輸、能源和部分公共領(lǐng)域。第二，只有在相關(guān)領(lǐng)域不當(dāng)?shù)乩貌⑶耶a(chǎn)生了重大風(fēng)險(xiǎn)，該人工智能才會被認(rèn)為是高風(fēng)險(xiǎn)的。例如，醫(yī)療保健是人工智能應(yīng)用的高風(fēng)險(xiǎn)領(lǐng)域，但醫(yī)院預(yù)約系統(tǒng)的缺陷通常不會造成重大風(fēng)險(xiǎn)引起立法干預(yù)。

圖2 人工智能運(yùn)作路徑。來源：36大數(shù)據(jù)

為了有效應(yīng)對各種高風(fēng)險(xiǎn)的人工智能應(yīng)用，應(yīng)當(dāng)考慮如下幾項(xiàng)需求。

1.訓(xùn)練數(shù)據(jù)需安全度高、無歧視和保護(hù)隱私

安全度高：確保人工智能系統(tǒng)的訓(xùn)練數(shù)據(jù)在產(chǎn)品或服務(wù)的后續(xù)使用中持續(xù)安全。例如人工智能系統(tǒng)在足夠廣泛的數(shù)據(jù)集上進(jìn)行訓(xùn)練，涵蓋所有可能的應(yīng)用場景，包括突發(fā)狀態(tài)下危險(xiǎn)情形的避免等內(nèi)容。

無歧視：采取合理措施確保人工智能不生成歧視結(jié)果。例如廣泛采用具備足夠代表性的數(shù)據(jù)集，確保不同性別、種族和膚色等可能引發(fā)歧視的要素被涵蓋其中。

保護(hù)個人隱私：在人工智能產(chǎn)品和服務(wù)使用期間，切實(shí)遵守GDPR要求的個人數(shù)據(jù)和隱私保護(hù)。

2. 留存人工智能訓(xùn)練相關(guān)的數(shù)據(jù)集與測試文件

準(zhǔn)確記錄數(shù)據(jù)集和測試：鑒于人工智能系統(tǒng)的復(fù)雜性、內(nèi)部運(yùn)行的不透明以及難以快速驗(yàn)證是否合規(guī)等情況，要確保留存與算法、編程有關(guān)的測試記錄。準(zhǔn)確記錄特定情形下高風(fēng)險(xiǎn)人工智能應(yīng)用測試的數(shù)據(jù)集，詳細(xì)描述數(shù)據(jù)集的主要特征和選擇方式。

留存資料文件：留存有關(guān)建立、測試和驗(yàn)證人工智能系統(tǒng)的訓(xùn)練方法、使用流程和相關(guān)技術(shù)的資料文件，包括預(yù)先制定的安全措施和避免歧視偏見的應(yīng)對方案等。

3. 應(yīng)用高風(fēng)險(xiǎn)人工智能時提供必要信息

系統(tǒng)信息：為了提升人機(jī)信任，打造負(fù)責(zé)任的可信AI，需要人工智能系統(tǒng)及時、主動提供關(guān)于高風(fēng)險(xiǎn)人工智能應(yīng)用的必要信息。例如系統(tǒng)積極提供自身的應(yīng)用范圍、能力水平和設(shè)計(jì)局限，特別是涉及到系統(tǒng)的預(yù)設(shè)目的、預(yù)計(jì)發(fā)揮效用以及相應(yīng)的準(zhǔn)確程度等。

明確通知：當(dāng)個人在與人工智能系統(tǒng)而非與人交互時應(yīng)履行通知說明義務(wù)。系統(tǒng)可以根據(jù)不同場景提供客觀、簡明且易于理解的準(zhǔn)確信息。

4. 人工智能系統(tǒng)應(yīng)穩(wěn)定地、準(zhǔn)確地運(yùn)行

穩(wěn)定準(zhǔn)確：必須確保人工智能系統(tǒng)在整個產(chǎn)品或服務(wù)的生命周期中，技術(shù)成熟穩(wěn)定，準(zhǔn)確反映出相應(yīng)的運(yùn)行水平。

可再現(xiàn)：確保人工智能系統(tǒng)生成的結(jié)果事后可再現(xiàn)、可復(fù)盤。

抵御能力：在整個技術(shù)生命周期內(nèi)，人工智能需要有一定能力自行處理系統(tǒng)錯誤或下達(dá)的前后矛盾的指令。同時當(dāng)面對外部公然入侵的嚴(yán)峻態(tài)勢，或者精妙地操縱數(shù)據(jù)或算法的隱蔽情形，人工智能要具備一定程度的堅(jiān)韌的抵御能力，采取暫時性措施阻擋既有侵害。

5. 人為監(jiān)督

人為監(jiān)督有助于確保人工智能系統(tǒng)不會侵蝕人類的自主性。只有確保人工適當(dāng)參與到人工智能高風(fēng)險(xiǎn)應(yīng)用當(dāng)中，才能實(shí)現(xiàn)可信賴、合倫理和以人為核心的人工智能目標(biāo)。人為監(jiān)督人工智能系統(tǒng)可以采用如下形式。

其一，只有事前人為監(jiān)督且批準(zhǔn)后，人工智能系統(tǒng)輸出的結(jié)果才能生效。例如拒絕社會福利保障的申請這種關(guān)乎到弱勢群體切身利益的事項(xiàng)，只能人為操作。

其二，人工智能系統(tǒng)結(jié)果輸出立即生效，但事后需人工審查。譬如人工智能系統(tǒng)可自行拒絕信用卡的申請，但稍后必須進(jìn)行人工復(fù)查。

其三，人工智能系統(tǒng)運(yùn)行時隨時監(jiān)控，遇到突發(fā)事件及時干預(yù)。例如自動駕駛中駕駛員突覺操作系統(tǒng)不太安全，可當(dāng)即使用停止按鈕。

其四，在早期設(shè)計(jì)階段，預(yù)先對人工智能系統(tǒng)附加操作限制。比如當(dāng)室外能見度較低時，一旦無人駕駛汽車的傳感器不再靈敏或需保持安全車距，則駕駛系統(tǒng)自動停止。

6. 遠(yuǎn)程識別生物特征數(shù)據(jù)后收集和使用

目前，歐盟多國已經(jīng)廣泛在公共場所與商業(yè)場景中應(yīng)用人臉識別系統(tǒng)，通過遠(yuǎn)程識別人臉，對公民的生物特征數(shù)據(jù)進(jìn)行收集和使用。為了解決在公共場所大范圍使用人工智能引發(fā)的社會擔(dān)憂，并且防止歐洲單一數(shù)字經(jīng)濟(jì)市場碎片化，歐盟委員會將發(fā)起一場廣泛的公共辯論，討論此種情形下可能的合理的使用情形，以及采取何種措施確保相關(guān)行為合乎比例原則和必要原則。

7. 開展事前一致性評估

針對高風(fēng)險(xiǎn)人工智能應(yīng)用的事前一致性評估，需要納入未來的人工智能監(jiān)管框架機(jī)制中。而該一致性評估機(jī)制需考量如下因素。

第一，謹(jǐn)記并非所有事項(xiàng)都可事先進(jìn)行一致性評估。比如，應(yīng)用高風(fēng)險(xiǎn)人工智能時提供必要信息這一場景，就無法先前開展評估驗(yàn)證。

第二，考慮到部分人工智能系統(tǒng)會不斷進(jìn)化和深度學(xué)習(xí)。這將有必要反復(fù)地、定期地評估人工智能系統(tǒng)的生命周期、運(yùn)轉(zhuǎn)狀態(tài)。

第三，針對訓(xùn)練數(shù)據(jù)，以及用于測試人工智能系統(tǒng)的訓(xùn)練方法、使用流程和相關(guān)技術(shù)的資料文件，要客觀地、專業(yè)地開展一致性驗(yàn)證與核實(shí)工作。

第四，所有市場運(yùn)營者均需強(qiáng)制進(jìn)行一致性評估。為了減小中小企業(yè)的負(fù)擔(dān)，可以創(chuàng)建類似數(shù)字創(chuàng)新中心等機(jī)構(gòu)。