魏強 陸平

人工智能風險日漸顯現(xiàn)

近年來，人工智能發(fā)展迅猛，國外的Google、微軟、蘋果、特斯拉，我國的百度、騰訊、阿里巴巴等，這些企業(yè)都紛紛通過自主研發(fā)、收購兼并等途徑跨界進入人工智能領域。同時，隨著人工智能技術的大規(guī)模應用，其安全隱患和發(fā)展風險日漸顯現(xiàn)。大眾一般認為，新技術的研發(fā)是難度最大的，應用及監(jiān)管與研發(fā)相比難度就會低很多。但對于將深遠影響人類社會運營方式的人工智能來說，情況或許正好相反。那么人工智能存在哪些風險？監(jiān)管的難點又是什么？具體有以下三方面。

產品應用后果預判難

隨著計算能力的不斷攀升，人工智能可以計算大量的可能性，其選擇空間往往大于人類，它們能夠輕易地去嘗試那些人類以前從未考慮的解決方案。換言之，盡管人們設計了某人工智能產品，但受限于自身的認知能力，研發(fā)者無法預見其所研發(fā)的智能產品做出的決策以及產生的效果。如果其效果與人們利益保持一致，便不會引發(fā)人們的擔憂。然而，基于深度學習技術的新一代人工智能產品大都具備自學習能力和自適應能力，如果放任自流，難以保證其行為結果與大眾期望始終一致。

例如，美國一些法院使用犯罪風險評估算法COMPAS對犯罪人的再犯風險進行評估，非營利組織ProPublica研究發(fā)現(xiàn)，這一算法系統(tǒng)性地歧視了黑人，白人更多被錯誤地評估為具有低犯罪風險，而黑人則被錯誤地評估為具有高犯罪風險且?guī)茁适前兹说膬杀?。再如?016年3月，微軟公司的人工智能聊天機器人Tay上線不到24小時，就在一些網友的惡意引導和訓練下，發(fā)表了各種富有攻擊性和歧視性的言論。最近，據(jù)亞馬遜Echo智能音箱用戶反映，自家搭載亞馬遜智能語音助手的Alexa在回應某些命令時發(fā)出令人毛骨悚然的笑聲，對用戶造成不小的心理陰影。

事后確定責任歸屬難

人工智能產品一旦出現(xiàn)安全問題，劃分責任歸屬可能會異常復雜，主要有以下原因：一是由于人工智能系統(tǒng)通常借助虛擬社區(qū)（如Github開源平臺）進行協(xié)同研發(fā)，開發(fā)過程中可能會用到許多其他人開發(fā)的組件，數(shù)量眾多的潛在責任人給權責劃分帶來了困難。二是大多數(shù)人工智能產品的內部運作并不透明，多數(shù)企業(yè)尚未公開其智能產品的源代碼、訓練數(shù)據(jù)及測試信息等，從而增加了監(jiān)管部門確定責任歸屬的難度。例如，訓練人工智能模型時需要招募大量的人員（通常采用眾包模式）來對數(shù)據(jù)集進行標注，然而這些群體往往具有根深蒂固的偏見，從而導致人工智能產品攜帶了某特定群體的偏見。三是許多人工智能產品在設計之初，便包含了諸多不受控機制（如后天自學習、自適應能力），一旦出現(xiàn)事故，大量法律灰色地帶給企業(yè)推諉責任帶來了便利。

例如，2016年5月，在美國佛羅里達州，一輛特斯拉S型電動轎車在開啟Autopilot輔助駕駛模式下與一輛垂直橫穿高速的白色拖掛卡車發(fā)生撞車事故，車頂被削平，導致駕駛員不幸遇難，針對這起事故的責任判定存在嚴重分歧，特斯拉公司、用戶、傳感器Mobileye公司各執(zhí)一詞。再如，2017年7月，由Knightscope平臺制造的一款打擊犯罪的機器人在硅谷購物中心工作時出現(xiàn)自主決策失誤，將一名男孩判定為危險人物，撞倒并展開攻擊，導致該男孩受傷。事后，在責任判定與賠償時，當事人家屬、商場以及機器人設計公司發(fā)生了較大分歧。

安全風險源管控難

新一代人工智能的高度自主化特征可能造成人類難以預見的風險，加上人工智能產品研發(fā)過程較為分散和隱蔽，增加了事前監(jiān)管措施（比如，風險點監(jiān)測和預警）的難度。一是人工智能研發(fā)所需的物理設備較少，一些研發(fā)人員可以租用彈性計算服務來訓練人工智能產品，由于不具備物理可見性，監(jiān)管部門發(fā)現(xiàn)危險源的困難程度大大增加。二是研發(fā)主體極為分散。在當今開源編程逐漸興起的條件下，普通大眾借助個人電腦或智能手機與互聯(lián)網接入就能完成具有特定功能的人工智能產品開發(fā)，這意味著潛在危險源極為分散。

比如，有研究者認為人工智能系統(tǒng)的內部工作模式以及各個組件之間的互相配合，比起以往的任何科技，都更加的不透明。汽車曾被認為是最大的公共危險源之一，盡管汽車擁有接近30000個物理組件，但是汽車的設計者與生產者非常了解這些物理組件之間是如何工作的。但反觀人工智能，即使人工智能跟隨信息科技時代的發(fā)展大趨勢，它也不太可能獲得如汽車一般的透明度。復雜的人工智能系統(tǒng)在設計上存在的缺陷，不僅消費者們難以發(fā)現(xiàn)，就算是下游的生產商與銷售商同樣無法知曉，極易埋下安全風險隱患。

監(jiān)管體系促使人工智能發(fā)揮積極作用

目前，歐美一些國家針對人工智能存在的風險制定了相應的防范措施、戰(zhàn)略計劃，甚至列入法案。從歸責制度、道德約束等多方面監(jiān)管人工智能帶來的風險。

人工智能安全監(jiān)管升至戰(zhàn)略高度

2016年10月，英國科學和技術委員會發(fā)布了關于人工智能和機器人技術的報告，呼吁政府應介入對人工智能的監(jiān)管，通過建立監(jiān)管體系來保障人工智能技術更好地融入社會經濟，并產生符合人們預期的效果。英國政府試圖在監(jiān)管過程中引入人工智能技術，以增強監(jiān)管的適用性，從檢驗和確認、決策系統(tǒng)的透明化、偏見最小化、隱私與知情權、歸責制度與責任承擔等方面，加強對人工智能安全性的管控。2017年12月，美國國會提出兩黨法案—“人工智能未來法案”（FUTURE of Artificial Intelligence Act of 2017），“人工智能未來法案”旨在要求商務部設立聯(lián)邦人工智能發(fā)展與應用咨詢委員會（AI咨詢委員會），并闡明了發(fā)展人工智能的必要性，對人工智能相關概念進行了梳理，明確了AI咨詢委員會的職責、權力、人員構成、經費等內容?！叭斯ぶ悄芪磥矸ò浮弊鳛槊绹鴩鴷牲h的共識，其提出受到各界廣泛歡迎，該法案如經眾議院和參議院通過，將成為美國針對人工智能的第一個聯(lián)邦法案。

漸進創(chuàng)新方式確保監(jiān)管規(guī)則連續(xù)性

美國政府在自動駕駛領域采取漸進式監(jiān)管創(chuàng)新，在許可頒布、自動駕駛汽車設計、駕駛系統(tǒng)等方面都制定了過渡性監(jiān)管規(guī)則。例如，2014年10月，美國加州車輛管理局將29張自動駕駛汽車公共道路測試許可證，分別頒給了谷歌、戴姆勒、大眾三家公司，獲得許可的條件之一就是人要能夠隨時接管汽車。2015年12月，加州車輛管理局要求所有自動駕駛汽車的駕駛座上必須始終乘坐一名擁有駕照的人士，并要求汽車在設計方面必須具備方向盤、油門踏板、制動踏板等操控裝置，以便車主在自動駕駛汽車系統(tǒng)操控失誤時能夠隨時接管汽車。2017年9月，美國眾議院一致表決通過了一項加快自動駕駛汽車測試和部署的立法提案《自動駕駛法案（Self Drive Act）》，這標志著美國自動駕駛汽車上路監(jiān)管由各州分制的情形即將終結，全都服從于聯(lián)邦層面制定的自動駕駛汽車監(jiān)管法案，按照統(tǒng)一的標準被監(jiān)管。

“人工道德”約束人工智能產品

目前，Google、微軟等公司已在其內部設置了人工智能倫理委員會。太空探索技術公司（SpaceX）首席執(zhí)行官埃隆·馬斯克也于2015年底成立了人工智能非營利組織OpenAI，試圖通過開源、開放預防人工智能可能帶來的災難性影響，推動人工智能發(fā)揮積極作用。2016年12月，標準制定組織IEEE發(fā)布《合倫理設計：利用人工智能和自主系統(tǒng)（AI/AS）最大化人類福祉的愿景（第一版）》，旨在鼓勵科技人員在AI研發(fā)過程中，優(yōu)先考慮倫理問題。這份文件由專門負責研究人工智能和自主系統(tǒng)中的倫理問題的IEEE全球計劃下屬各委員會共同完成。這些委員會由人工智能、倫理學、政治學、法學、哲學等相關領域的100多位專家組成。2017年2月，馬斯克、霍金等人連同數(shù)百名研究人員、科技領袖和科學家聯(lián)名表示，支持人工智能應該在生產力、道德和安全領域遵守的23條基本原則，從而確保人工智能為人類利益服務。

自我終結機制防范系統(tǒng)性失控風險

人工智能最大的威脅是當前人類尚難以理解其決策行為，存在未來失控的風險，而一旦失控則后果嚴重。正如衰老機制是內嵌于所有生命體中的必然，人工智能應該也存在自我毀滅機制，其否定該機制等同于否定其自身存在。2016年，谷歌旗下DeepMind公司曾提出要給人工智能系統(tǒng)安裝“切斷開關（kill switch）”的想法，為的是阻止AI學會如何阻止人類對某項活動（比方說發(fā)射核武器）的干預，這種提法被稱作 “安全可中斷性”。據(jù)介紹，安全可中斷性可用于控制機器人可能導致不可逆后果的行為，相當于在其內部強制加入某種自我終結機制，一旦常規(guī)監(jiān)管手段失效，還能夠觸發(fā)其自我終結機制，從而使其始終處于人們監(jiān)管范圍之內，能夠防范系統(tǒng)性失控風險。

借鑒歐美經驗 推動我國人工智能發(fā)展

通過借鑒歐美國家人工智能風險監(jiān)管經驗，我國應結合自身人工智能發(fā)展現(xiàn)狀，建立安全責任體系，推動我國人工智能健康發(fā)展，具體建議如下。

對人工智能持包容態(tài)度，采取漸進式監(jiān)管創(chuàng)新。人工智能在對經濟社會形成巨大促進作用的同時，其存在的潛在風險不容小覷。在迎接人工智能時代到來時，采取漸進方式進行監(jiān)管創(chuàng)新，以確保監(jiān)管規(guī)則的連續(xù)性。對于自動駕駛汽車，采取包容的監(jiān)管態(tài)度，在試點示范中逐步探索規(guī)范相關領域產品、服務及安全標準，倡導企業(yè)自律和社會監(jiān)督。例如，英國政府提議將汽車強制險的適用范圍擴大到自動駕駛模式，在駕駛者將汽車控制權完全交給自動駕駛系統(tǒng)時能為其安全提供保障。而美國在自動駕駛汽車領域則逐步推動州層面的立法向聯(lián)邦層面的立法過渡，并在2017年9月經眾議院通過《自動駕駛法案》，為美國自動駕駛汽車上路監(jiān)管提供了統(tǒng)一的標準。

強制披露智能產品安全信息，建立安全責任體系。為了保障人工智能產品效果與設定的目標一致性，確保人工智能產品的安全可控，監(jiān)管部門對人工智能研發(fā)者應進行認證審批，強制要求其公布或提供與人工智能產品相關的安全信息，比如源代碼、訓練數(shù)據(jù)集、第三方測試結果等。在安全責任體系方面，可以從人工智能系統(tǒng)的開發(fā)者、生產者、銷售者、使用者等角度，進行責任體系的設計。例如，經過合法審批的開發(fā)者、生產者等將承擔有限責任，而未經過審批的開發(fā)者將承擔無限責任。用戶在使用人工智能產品時，應遵守用戶使用準則，如存在不當使用，用戶也將承擔一定責任。

根據(jù)學習與適應能力特征，實現(xiàn)監(jiān)管邊界動態(tài)化。由于人工智能產品通常都具備自主學習和適應能力，現(xiàn)有監(jiān)管方法難以適用于不斷進化的人工智能系統(tǒng)，監(jiān)管部門應當根據(jù)人工智能系統(tǒng)源代碼，以及人工智能在測試環(huán)境的表現(xiàn)，從學習力、適應力等角度，對人工智能系統(tǒng)進行定期界定，判斷其進化速度和所達到的程度，進而實現(xiàn)人工智能的監(jiān)管邊界動態(tài)化，使人工智能處于可控、安全的發(fā)展范圍之內。

掌握關鍵決策權，提升人們對智能產品的信任水平。為了提高人們對人工智能產品的信任度，限制其自主度和智能水平是有必要的，至少要讓人們在心理上認為其擁有對人工智能產品的主導控制能力。一些傳統(tǒng)裝備（如高鐵、飛機）雖然在速度上已經實現(xiàn)超越，但人們并不認為它是不安全的，因為這些裝備的自主決策度受到人們的限制，人們在關鍵決策上仍占據(jù)絕對地位。建議根據(jù)不同領域特點，定向發(fā)揮人工智能的某項特定優(yōu)勢或技能。比如，讓數(shù)據(jù)分析處理等能力成為人們輔助決策的工具，但最終的關鍵決策權仍需掌握在人們手中。這也是當前階段提升人們對人工智能產品信任度的關鍵。

當前，新一代人工智能正加速向經濟社會各個領域滲透，將對我們的生產方式、生活方式產生深刻影響。人類歷史的進程表明，科技發(fā)展對社會進步的積極意義不言而喻，但同時也是一把雙刃劍。我們在不斷享受人工智能帶來的巨大便利之時，也應未雨綢繆，及時預見它對社會秩序可能產生的沖擊。面對人工智能發(fā)展帶來的挑戰(zhàn)，我們不能放任自流，也不能因噎廢食，而應積極采取切實有效的監(jiān)管措施，最大限度發(fā)揮人工智能的優(yōu)勢，防范其可能產生的社會危害。