□ 文 葉曉亮 王麗穎 李曉婷

0 引言

當前我國面部識別、語音識別等人工智能（AI）創(chuàng)新應用已進入世界前列，世界AI大會最新發(fā)布的《2020年全球人工智能創(chuàng)新指數(shù)報告》列出，我國AI創(chuàng)新指數(shù)全球排名第二。但是，安全作為發(fā)展的前提，AI算法“黑盒”問題帶來的安全風險亟待高度重視。中科院、浙江大學等高校明確指出，由于算法不透明等因素，在醫(yī)療診斷、無人駕駛等領域存在各類安全風險重大隱患，針對算法“黑盒”相關研究及AI應用安全管控問題迫在眉睫。

1 AI算法“黑盒”存在四大安全風險

AI算法“黑盒”問題是指由于廣泛應用在AI產(chǎn)品上的深度學習等主流算法模型內(nèi)部結構復雜、運行過程自主性較強且人工無法干預等因素，在數(shù)據(jù)輸入、模型訓練、結果輸出等方面出現(xiàn)運行機制難以解釋，運行結果無法完全掌控等問題。在實際應用中，AI算法“黑盒”問題體現(xiàn)出四大安全風險：訓練數(shù)據(jù)缺乏導致安全缺陷難發(fā)現(xiàn)、模型運行自主性及不可解釋性導致運行過程難理解、安全測試標準不統(tǒng)一導致產(chǎn)品安全難掌控、技術手段探索不足導致安全監(jiān)管難以到位。

1.1 訓練數(shù)據(jù)缺乏導致安全缺陷難發(fā)現(xiàn)

目前深度學習作為AI技術的主要算法之一，其特點是通過大量的訓練數(shù)據(jù)對模型訓練，最終確保在特定輸入數(shù)據(jù)下通過“黑盒”運行，得到更加智能、精準的輸出結果。例如智能網(wǎng)聯(lián)汽車需要大量多樣化路況信息和場景訓練，才能確保其無人駕駛過程中能夠分場景判斷路況，并相應調(diào)整運行狀態(tài)。從技術機理上看，深度學習等算法的安全性與數(shù)據(jù)具有強耦合性，不同數(shù)據(jù)所觸發(fā)的神經(jīng)網(wǎng)絡節(jié)點并不相同，測試結果也不盡相同。針對“靜態(tài)”情況下的深度學習算法進行的安全測試僅能發(fā)現(xiàn)較少漏洞。另外，神經(jīng)網(wǎng)絡中往往包含著眾多的隱藏層，只有利用體量足夠大、類型足夠豐富的數(shù)據(jù)進行安全測試時，“激活”模型中各個部分，才能測試出更多的安全漏洞。浙江大學指出，由于歷史數(shù)據(jù)的偏差，曾發(fā)生過算法對肺炎患者診斷出錯等問題。從產(chǎn)業(yè)實踐上看，經(jīng)調(diào)研發(fā)現(xiàn)，目前各家科技公司僅利用本公司所搜集的有限數(shù)據(jù)進行測試，各公司宣稱“安全”的AI產(chǎn)品往往具有很多較難發(fā)現(xiàn)的安全漏洞。因此，一旦未經(jīng)充分安全測試的相關產(chǎn)品大范圍應用于交通、民生、醫(yī)療、甚至軍事等領域，將暗藏錯誤推理、錯誤決策等較大安全隱患。

1.2 模型運行自主性及不可解釋性導致運行過程難理解

深度學習等算法通常涉及特征提取、特征處理、多次迭代（即多次循壞）等過程。在特征提取階段，該過程往往是由深度學習算法自主選擇并進行處理，具有不可解釋性；在特征處理階段，經(jīng)提取后的特征需進行多次函數(shù)處理，目前業(yè)界仍無法解釋該過程的處理結果；在迭代階段，深度學習迭代次數(shù)及迭代數(shù)據(jù)巨大。例如工程上，深度學習算法模型訓練圖片時通常數(shù)據(jù)量是1萬張以上，因此對該過程進行實時跟蹤依舊無助于算法模型的解釋性工作，目前尚無有效技術手段了解內(nèi)部運行流程。中國科學院大學研究指出，由于算法的解釋性差等原因，通過神經(jīng)網(wǎng)絡嵌入惡意軟件可以使模型在性能未受影響或影響很小的情況下秘密傳播。

1.3 安全測試標準不統(tǒng)一導致產(chǎn)品安全難掌控

傳統(tǒng)軟件測試具備完善的測試體系，而目前監(jiān)管部門以及各大科技企業(yè)之間暫未形成統(tǒng)一的測試標準及測試流程，各個企業(yè)針對自身產(chǎn)品的安全性表述往往是“自說自話”，市場上AI產(chǎn)品安全性參差不齊。騰訊朱雀實驗室研究發(fā)現(xiàn)，通過模擬實戰(zhàn)中的黑客攻擊路徑，擺脫傳統(tǒng)利用“樣本投毒”等攻擊方式，直接控制AI算法模型的神經(jīng)元，為算法模型“植入后門”，可在幾乎“無感”的情況下，實現(xiàn)完整的攻擊驗證。從產(chǎn)業(yè)實踐上看，經(jīng)調(diào)研發(fā)現(xiàn)，產(chǎn)品上線前，大多數(shù)科技企業(yè)會針對產(chǎn)品進行大量測試。但是多家科技公司指出，由于針對AI產(chǎn)品缺乏統(tǒng)一的測試標準以及底線要求，隨著傳統(tǒng)網(wǎng)絡攻擊、數(shù)據(jù)投毒等攻擊手段的升級，AI算法“黑盒”本身以及其衍生的安全問題將更加突出，產(chǎn)品的安全性將更加難以控制，亟待根據(jù)安全風險變化，與時俱進完善產(chǎn)品測試標準以及安全測試公共服務環(huán)境。

1.4 技術手段探索不足導致安全監(jiān)管難發(fā)力

產(chǎn)業(yè)監(jiān)管通常包括備案式和主動檢查式兩種監(jiān)管模式。目前由于測試技術、測試手段不健全以及算法“黑盒”難題未解決等原因，即使科技企業(yè)將源代碼提交至監(jiān)管部門備案，或者交由第三方機構進行安全審查，監(jiān)管部門同樣面臨算法內(nèi)部運行機制不清晰，以及算法運行結果難解釋等問題，導致算法備案、第三方審查等監(jiān)管方式無法發(fā)揮真正的監(jiān)管作用。從產(chǎn)業(yè)實踐上看，經(jīng)調(diào)研發(fā)現(xiàn)，由于上述技術難題，監(jiān)管部門只能從算法外側進行初步的安全檢查，難以進行更有針對性的監(jiān)管?？梢灶A見，即使算法存在“后門”等安全缺陷，且現(xiàn)有監(jiān)管體系在AI發(fā)展過程中存在不足，容易遺漏產(chǎn)品的重大安全風險以及產(chǎn)品應用可能引發(fā)的次生風險。中國科學院大學發(fā)現(xiàn)，使用真實的惡意軟件替換AlexNet等AI算法模型中50%左右的神經(jīng)元，該模型的準確率仍保持在93.1%以上，同時該被“污染”的模型可成功規(guī)避防病毒引擎的安全掃描。

2 國外在AI算法監(jiān)管方面的實踐

2.1 “強問責”頂層規(guī)范算法安全使用

2.1.1 事前鼓勵算法備案。在算法正式應用前，多國政府要求平臺企業(yè)應根據(jù)不同算法的風險等級，進行自我備案或向監(jiān)管部門備案。美國、澳大利亞均要求對平臺企業(yè)采取的算法進行監(jiān)管，并披露算法細節(jié)。

2.1.2 事中加強算法安全性舉證責任。在監(jiān)管部門啟動有關算法調(diào)查和行政處罰中，平臺企業(yè)承擔著自證合規(guī)的舉證責任。臉書前產(chǎn)品經(jīng)理豪根在美國國會參議院聽證會上指責臉書算法的危險性，公開指出臉書產(chǎn)品存在危害兒童、放大偏見、鼓勵兩極化等問題，隨后公司高層被要求就算法等問題進行解釋。

2.1.3 事后強化算法追責。當企業(yè)自己主動提供隱私政策和承諾后，監(jiān)管部門有理由對其違背自身隱私政策的行為，以“欺騙性貿(mào)易”的名義進行處罰。美國聯(lián)邦貿(mào)易委員會曾因臉書違反自身于2012年作出的企業(yè)隱私政策，對臉書處以5億美元的罰款。

2.2 “分場景”設置風險安全管理規(guī)定

2.2.1 對高風險應用場景的算法進行嚴格監(jiān)管和限制。歐盟、美國、德國等主要地區(qū)均對高風險應用場景提出了特別規(guī)范要求，歐盟按照安全風險的高低，將AI應用場景分為“最低風險、有限風險、高風險、不可接受的風險”四個等級，等級越高的應用場景受到的限制越嚴格。其中“高風險”應用場景主要包括與生物識別、關鍵基礎設施、教育培訓、就業(yè)、執(zhí)法、移民、司法民主等領域內(nèi)的應用，這類功能在啟用前應履行嚴格義務，包括嚴格的風險評估、通過高質(zhì)量數(shù)據(jù)最大限度降低風險、增加必要的人工監(jiān)督等。美國對高風險算法也提出了特別的規(guī)制要求，制定關于“高風險自動決策系統(tǒng)”的評估規(guī)則。德國擬建立從不受監(jiān)督的無害AI系統(tǒng)到完全禁止的危險系統(tǒng)的五級監(jiān)管體系。

2.2.2 對大型科技企業(yè)的算法過程進行嚴格監(jiān)管。美國提出年收入超過5000萬美元或擁有超過100萬用戶的企業(yè)，應進行算法影響評估，衡量在開發(fā)、設計和訓練數(shù)據(jù)過程中，對算法準確性、公平性及對消費者隱私和安全的影響。法國要求平臺企業(yè)為用戶提供推薦排名的方式、影響排名因素等推薦系統(tǒng)的基本信息。

2.2.3 對涉及個人數(shù)據(jù)的算法進行嚴格監(jiān)管。歐盟為保障AI環(huán)境下的消費者利益，建立了嚴格的法律框架，如消費者權益保護法、個人數(shù)據(jù)保護法等。美國對學生入學資格篩選、個人簡歷篩選、信用卡申請等涉及個人數(shù)據(jù)的AI應用場景提出了嚴格監(jiān)管舉措，要求必須滿足透明度和數(shù)據(jù)安全方面的規(guī)定。

2.3 “爭先導”占領全球AI治理制高點

針對AI算法監(jiān)管問題，國際間安全治理的爭奪正逐漸白熱化。

2.3.1 國際組織和聯(lián)盟爭相推出AI原則，但體現(xiàn)的價值管理、規(guī)范方式及約束路徑不同。聯(lián)合國提出應對致命自主武器系統(tǒng)進行人類控制原則，并成立專門機構研究算法等治理問題；二十國集團提倡以人類為中心、負責任的態(tài)度開發(fā)AI；經(jīng)濟合作與發(fā)展組織提出AI發(fā)展應遵守法治、人權、民主價值觀和多樣性、公平公正等倫理原則；國際電氣和電子工程師協(xié)會倡導人權、福祉、數(shù)據(jù)自主性、有效性、透明、問責等原則；北約就AI武器化的規(guī)則制定進行協(xié)商，強調(diào)負責任的使用AI。

2.3.2 美歐等領先國家及地區(qū)爭奪AI治理先導權。美國提倡自下而上的治理原則，要求培養(yǎng)公眾對AI應用的信任和信心，并強調(diào)AI倫理對軍事和情報的作用，發(fā)布了全球首份軍用AI倫理原則；歐盟提倡自上而下的治理原則，強調(diào)建立一個可信的AI框架，并提出具體可操作的評估準則和清單，創(chuàng)建“信任生態(tài)系統(tǒng)”，強化對科技發(fā)展及應用的信心。

2.3.3 企業(yè)加強算法監(jiān)管，爭做產(chǎn)業(yè)健康發(fā)展先頭兵。谷歌、微軟、IBM、臉書、曠視、百度、騰訊等國內(nèi)外科技企業(yè)均提出了企業(yè)層面的AI價值觀，并設立了內(nèi)部管理機構，踐行AI倫理原則。其中谷歌、臉書等表示愿公開披露算法細節(jié)，提供更多透明度和控制權，接受嚴格監(jiān)管，不斷改進算法。

3 應對舉措

為應對AI算法“黑盒”安全風險，搶占規(guī)則制定的話語權，我國亟待抓緊完善算法披露及問責等頂層設計，改進現(xiàn)有監(jiān)管機制，提高算法透明度以及安全防護能力。

3.1 完善算法披露及問責等制度細則

一是明確算法輸出結果的底線要求。針對AI產(chǎn)品明確數(shù)據(jù)安全、網(wǎng)絡安全、倫理道德等方面的最低要求。二是在保障企業(yè)商業(yè)及技術秘密的情況下，明確科技企業(yè)對開發(fā)及使用的AI算法作最大限度的解釋性說明以及公開披露等強制性義務。三是完善算法問責與違法行為懲罰規(guī)定。針對科技企業(yè)等主體違反行業(yè)道德或相關法律法規(guī)時，除一定的經(jīng)濟處罰措施外，還應當采取從時間上或經(jīng)營范圍限制其進入市場，甚至剝奪其進入市場資格等懲罰措施。

3.2 建立適配當前技術發(fā)展現(xiàn)狀監(jiān)管機制

一是AI應用上線前，企業(yè)應向監(jiān)管機構提交算法代碼、企業(yè)內(nèi)部測試數(shù)據(jù)、測試環(huán)境、測試文檔等相關材料進行備案。監(jiān)管部門可聘請第三方機構結合備案材料以及監(jiān)管機構測試數(shù)據(jù)集進行安全檢測。二是借鑒歐盟的首部AI法案對我國應用實行分類分級管理，破解傳統(tǒng)“一刀切”管理弊端。對于軍事武器等對高危領域的AI應用實行嚴格管控，對于教育培訓、金融服務等中風險領域實行適度檢測，對于游戲等低風險領域營造較為寬松的監(jiān)管環(huán)境。三是建立公共測試數(shù)據(jù)環(huán)境支撐行業(yè)監(jiān)管。針對交通、教育、生產(chǎn)制造等重點領域，鼓勵公共服務機構聯(lián)合產(chǎn)業(yè)鏈上下游建立公共測試環(huán)境，測試數(shù)據(jù)集中的數(shù)據(jù)體量、種類應盡可能全面，尤其應包含在極端條件下的測試用例，例如自動駕駛汽車行駛過程中“行人突然出現(xiàn)”等突發(fā)情況。

3.3 提高算法透明度及安全防護能力

一是重點突破特征關聯(lián)度較大等情況下的算法不可解釋難題。當前可解釋性方法及工具尚處于起步階段，解釋效果較不理想，無法滿足現(xiàn)有需求，亟待建立可解釋性評價指標體系，提高深度學習等算法解釋準確性和實時性。二是鼓勵業(yè)界開展算法及應用相關風險產(chǎn)生機制、影響研究。鼓勵科研單位聯(lián)合企業(yè)界，加強輸入數(shù)據(jù)驗證、AI模型攻防對抗演練等能力建設，建立AI算法“黑盒”測試環(huán)境、技術產(chǎn)品和測試標準。三是針對工業(yè)、金融業(yè)等重點領域AI應用及風險案例，征集安全解決方案和風險應對預案，積極在產(chǎn)業(yè)界推廣應用。

4 結束語

在“新基建”等戰(zhàn)略背景下，AI對我國經(jīng)濟發(fā)展以及生產(chǎn)生活等各個方面的賦能作用將不斷凸顯，我國需借鑒國內(nèi)外優(yōu)秀經(jīng)驗，管控AI算法“黑盒”相關風險，積極探索AI可解釋性技術，推動我國AI安全可靠發(fā)展。