陳 鵬

提 要： 大數(shù)據(jù)的出現(xiàn)和人工智能深度學(xué)習(xí)算法的重大突破，推動著人工智能在國家治理中應(yīng)用場景的不斷拓展和應(yīng)用程度的日漸加深，國家治理形態(tài)發(fā)生著深刻的變革，人類正逐步進(jìn)入到以算法為核心的智能治理時代。算法在國家治理中的應(yīng)用，有利于降低國家治理成本、提升國家治理能力和改善國家治理績效。同時，由于算法自身的不完備性，算法在運行過程中也不同程度地存在算法黑箱、算法歧視、算法獨裁、算法戰(zhàn)爭的隱憂，人工智能可能取代人類成為國家和全球治理的主體。面對算法在國家治理中的應(yīng)用所產(chǎn)生的機(jī)遇和催生的風(fēng)險，我們在積極推動算法技術(shù)發(fā)展以不斷推進(jìn)國家治理現(xiàn)代化進(jìn)程的同時，也要加大對算法進(jìn)行治理的力度。明確算法作為治理手段而非治理主體的定位、增強(qiáng)算法的可解釋性和運行過程的透明性、設(shè)計算法倫理并將其嵌入算法設(shè)計和運行過程、構(gòu)建全球算法治理機(jī)制是智能治理時代有效規(guī)制算法的基本進(jìn)路。

大數(shù)據(jù)的出現(xiàn)、深度學(xué)習(xí)算法的重大突破和云計算技術(shù)的日漸成熟，使得人類的生產(chǎn)方式、生活方式和管理方式發(fā)生著深刻的變革，人類正步入到人工智能時代。人工智能技術(shù)的出現(xiàn)及其在國家治理中應(yīng)用場景的不斷拓展和應(yīng)用程度的不斷加深，推動著人類社會交往方式和現(xiàn)代國家治理格局發(fā)生著深刻的變革，國家治理正逐步向智能治理形態(tài)轉(zhuǎn)變。作為一種新型的治理形態(tài)，智能治理“是以擁有先進(jìn)算法和強(qiáng)大計算能力的智能技術(shù)平臺為支撐，通過對大數(shù)據(jù)的提取和分析，來自主完成特定治理任務(wù)的治理模式。其中，數(shù)據(jù)是智能治理的依據(jù)，算法是智能治理的核心，算力是智能治理的支撐”①陳鵬：《智能治理時代的政府：風(fēng)險防范和能力提升》，《寧夏社會科學(xué)》，2019年第1期。。算法作為智能治理的核心，在現(xiàn)代國家治理中應(yīng)用場景不斷拓展的同時，其應(yīng)用深度也日漸加深。算法在現(xiàn)代國家治理中的應(yīng)用，有利于降低國家治理的成本、提高國家治理的精準(zhǔn)性和改善國家治理的績效。同時，由于算法在設(shè)計、研發(fā)和運行過程中存在不可解釋性、缺乏透明性問題和核心算法被少數(shù)發(fā)達(dá)國家和少數(shù)企業(yè)掌握等問題，使得算法在應(yīng)用過程中存在算法黑箱、算法歧視、算法獨裁、算法戰(zhàn)爭等隱憂，人工智能存在取代人類成為國家治理主體的可能。

目前，學(xué)術(shù)界對于算法的研究主要集中在技術(shù)和應(yīng)用兩個層面。在技術(shù)層面的研究上，理工科的學(xué)者主要側(cè)重于對算法的內(nèi)涵、特征和技術(shù)發(fā)展進(jìn)行研究。如宋杰等人對MapReduce大數(shù)據(jù)處理平臺與算法技術(shù)的研究歷程進(jìn)行了論述①宋杰、孫宗哲、毛克明等：《MapReduce大數(shù)據(jù)處理平臺與算法研究進(jìn)展》，《軟件學(xué)報》，2017年第3期。。在應(yīng)用層面的研究上，哲學(xué)和人文社科類的學(xué)者已經(jīng)開始從某一個方面對算法的應(yīng)用及其產(chǎn)生的風(fēng)險進(jìn)行論述。例如，劉培等人對算法的倫理問題及其解決進(jìn)路進(jìn)行了探討②劉培、池忠軍：《算法的倫理問題及其解決進(jìn)路》，《東北大學(xué)學(xué)報》，2019年第2期。，張凌寒從法律層面對算法的規(guī)制進(jìn)行了研究③張凌寒：《算法規(guī)制的迭代與革新》，《法學(xué)論壇》，2019年第2期。，賈開從公共政策層面對算法技術(shù)及其應(yīng)用進(jìn)行了論述④賈開：《人工智能與算法治理的研究》，《中國行政管理》，2019年第1期。。從現(xiàn)有的理論研究成果來看，既有研究主要側(cè)重于算法的技術(shù)或者應(yīng)用研究的某一方面，缺乏對算法在現(xiàn)代國家治理應(yīng)用中產(chǎn)生的成效、存在的隱憂和應(yīng)采取的算法治理措施的系統(tǒng)論述。在智能治理時代，我們需要在算法技術(shù)的發(fā)展應(yīng)用與風(fēng)險防范之間尋求有效的平衡，在推動算法在國家治理中應(yīng)用場景持續(xù)拓展和應(yīng)用程度不斷加深的同時，人類也需要構(gòu)建起有效的算法治理機(jī)制以應(yīng)對算法應(yīng)用可能帶來的風(fēng)險甚至是危機(jī)，確保國家治理秩序的穩(wěn)定和全球治理秩序的有序。

一、國家治理中的算法

算法是人工智能的基石之一，是“一種有限、確定、有效并適合用計算機(jī)程序來實現(xiàn)的解決問題的方法，是計算機(jī)科學(xué)的基礎(chǔ)”⑤Robert Sedgewick、Kevin Wayne：《算法》（第四版），謝路云譯，北京：人民郵電出版社，2012年版，第6頁。。20世紀(jì)50年代初“圖靈測試”的提出，標(biāo)志著人工智能技術(shù)開始出現(xiàn)，人類通過設(shè)計特定的算法來驅(qū)動人工智能機(jī)器完成特定的行為和任務(wù)的愿景正逐漸變?yōu)楝F(xiàn)實。但是，由于這一時期的人工智能算法處于監(jiān)督學(xué)習(xí)階段，人工智能機(jī)器只能依據(jù)人類設(shè)計的程序和指令來完成特定的行為和任務(wù)，尚不具備自主學(xué)習(xí)并生成新的程序和指令的能力，這也在很大程度上制約了人工智能技術(shù)的發(fā)展。進(jìn)入到21世紀(jì)之后，伴隨具有自主學(xué)習(xí)能力的人工智能深度學(xué)習(xí)算法取得重大突破以及大數(shù)據(jù)時代的到來和云計算技術(shù)的日漸成熟，人工智能正由傳統(tǒng)的弱人工智能向強(qiáng)人工智能時代轉(zhuǎn)變，深度學(xué)習(xí)算法在現(xiàn)代國家治理中的應(yīng)用場景不斷拓展、應(yīng)用程度不斷加深，推動著國家治理成本的降低、國家治理能力的提升和國家治理績效的改善。

（一）降低國家治理成本

伴隨經(jīng)濟(jì)社會的快速發(fā)展，人類社會交往程度不斷加深，現(xiàn)代國家治理面臨的治理任務(wù)日漸增多，治理難度也隨之不斷增加，國家用于治理的人力、物力和財力的投入也隨之不斷增加。為了有效應(yīng)對日漸繁重的治理任務(wù)，治理主體利用先進(jìn)的治理技術(shù)手段來降低國家治理難度和成本成為現(xiàn)實的選擇，技術(shù)治理成為現(xiàn)代國家治理的重要手段。在傳統(tǒng)技術(shù)治理中，技術(shù)僅僅是治理主體利用來完成治理任務(wù)和維系治理秩序的工具，技術(shù)本身并不能自動實現(xiàn)治理任務(wù)完成和治理秩序維系的功能，人類依舊是國家治理的主體和中心。不同于一般的技術(shù)治理手段，深度學(xué)習(xí)算法的出現(xiàn)和快速發(fā)展，使得人工智能機(jī)器具有了自主學(xué)習(xí)的能力，進(jìn)而改變了傳統(tǒng)人類利用技術(shù)手段來實行治理的格局。通過不斷地自我強(qiáng)化訓(xùn)練和學(xué)習(xí)，具備深度學(xué)習(xí)算法的人工智能機(jī)器可以根據(jù)具體的應(yīng)用場景來生成相應(yīng)的治理方案并自動執(zhí)行治理方案，從而使得治理主體在很多原本需要投入巨大人力來保障的治理場域可以完全交給人工智能機(jī)器來完成，治理主體不僅實現(xiàn)了極大的解放，也在一定程度上降低了現(xiàn)代國家治理的成本。

（二）提升國家治理能力

國家治理是治理主體利用一定的治理手段來實現(xiàn)特定的治理任務(wù)和維系特定的治理秩序的活動和過程。面對日漸多元化的治理需求，不斷提升國家治理的精準(zhǔn)性是現(xiàn)代國家治理要解決的重大問題。由于國家用于治理的人力、物力和財力資源是有限的，特定的治理主體要想實現(xiàn)對治理對象的多元化、個性化的治理需求進(jìn)行及時且有效的回應(yīng)的目的，存在著治理資源、工作能力和工作時間等方面條件的約束。而大數(shù)據(jù)時代的到來和人工智能深度學(xué)習(xí)算法的突破，為國家治理精準(zhǔn)度的提升提供了難得的契機(jī)。借助于海量的大數(shù)據(jù)，深度學(xué)習(xí)算法在國家治理中的應(yīng)用可以在治理對象的治理需求識別、治理方案的設(shè)計和優(yōu)化、治理方案的執(zhí)行和監(jiān)控等方面發(fā)揮非常重要的作用，大大提高國家治理的精準(zhǔn)性。例如，在治理需求的精準(zhǔn)識別上，傳統(tǒng)的國家治理需要通過各種各樣的正式或非正式的渠道來收集公民、企業(yè)和社會組織的治理需求，且公民、企業(yè)和社會組織在表達(dá)自身的治理需求和偏好時還不同程度地受到主客觀條件的制約，使得治理主體獲取的治理需求信息存在一定程度的瑕疵，進(jìn)而影響到治理方案的設(shè)計和執(zhí)行。而在生產(chǎn)、生活和行為的數(shù)據(jù)化成為常態(tài)的大數(shù)據(jù)時代，深度學(xué)習(xí)算法通過自動提取和分析海量的大數(shù)據(jù)，“對這些數(shù)據(jù)進(jìn)行系統(tǒng)地加工并且正確地闡釋，使得人們可以通過這些數(shù)據(jù)對個人或者群體及其行為進(jìn)行深入的推斷”①羅納德·巴赫曼、吉多·肯珀等：《大數(shù)據(jù)時代下半場——數(shù)據(jù)治理、驅(qū)動與變現(xiàn)》，劉志則等譯，北京：北京聯(lián)合出版公司，2017年版，第9 頁。，從而可以快速、準(zhǔn)確地判斷出公民、企業(yè)和社會組織真實的治理需求和偏好，然后有針對性地設(shè)計出個性化的治理方案，使得國家治理的精準(zhǔn)性大大提高，治理對象的滿意度也不斷提升。

（三）改善國家治理績效

現(xiàn)代社會是一個風(fēng)險不斷集聚的社會，國家治理面臨的任務(wù)日漸繁重，治理難度也不斷增大。同時，人民群眾日益增長的美好生活需要，也對國家治理提出了更高的要求。面對風(fēng)險不斷集聚的社會環(huán)境和人民群眾日漸提高的治理需求，加快國家治理體系和治理能力現(xiàn)代化的步伐，不斷改善國家治理的績效是現(xiàn)代國家治理的必然趨勢和內(nèi)在要求。國家治理績效的改善，需要在國家治理體系的構(gòu)建和完善、國家治理能力的提升和強(qiáng)化等方面著手。人工智能深度學(xué)習(xí)算法的出現(xiàn)及其在現(xiàn)代國家治理中的深度應(yīng)用有利于不斷豐富和完善現(xiàn)代國家治理體系，提升和強(qiáng)化國家治理能力。首先，在國家治理體系的構(gòu)建和完善上，具有深度學(xué)習(xí)算法的人工智能系統(tǒng)正逐漸成為國家治理體系中的重要主體之一。例如，浙江省杭州市在城市交通治理中所使用的城市大腦系統(tǒng)，就是一款由阿里巴巴公司研發(fā)的擁有深度學(xué)習(xí)算法的人工智能系統(tǒng)，該系統(tǒng)通過對與其連接的交通信息系統(tǒng)提供的數(shù)據(jù)信息進(jìn)行快速的處理和分析，可以適時地調(diào)整和優(yōu)化杭州市各大路口的交通信號，使得城市交通通行狀況得以大幅提升。其次，在國家治理能力的提升和強(qiáng)化方面，傳統(tǒng)的國家主要依靠有限的決策信息和決策者的經(jīng)驗來制定和選擇政策方案，政策問題界定的些許偏差往往會直接影響到整個政策議程的成敗，受制于時間等因素的限制政策方案的試驗難以有效執(zhí)行。而深度學(xué)習(xí)算法在現(xiàn)代國家治理中的應(yīng)用，可以在政策問題的準(zhǔn)確界定、政策方案的科學(xué)設(shè)計和合理優(yōu)化、模擬政策執(zhí)行的過程與結(jié)果以有效規(guī)避政策執(zhí)行風(fēng)險等方面發(fā)揮重要的作用，使得國家治理能力得到切實有效的提升和強(qiáng)化，實現(xiàn)國家治理績效改善的目標(biāo)。

二、算法在國家治理中深度應(yīng)用帶來的隱憂

深度學(xué)習(xí)算法的出現(xiàn)和快速發(fā)展，不僅帶來了人工智能技術(shù)從弱人工智能時代向強(qiáng)人工智能時代的跨越，推動了人工智能應(yīng)用場景的不斷拓展和應(yīng)用程度的不斷加深，更對現(xiàn)代國家治理格局和國家治理秩序產(chǎn)生了深刻的影響，“人類正在進(jìn)入一切皆可計算的時代”①徐?。骸端惴ńy(tǒng)治世界——智能經(jīng)濟(jì)的隱形秩序》，北京：清華大學(xué)出版社，2017年版，第323頁。。先進(jìn)的治理技術(shù)是一把雙刃劍，“技術(shù)上最偉大的勝利與最大的災(zāi)難幾乎并列”②［瑞士］漢斯·昆：《世界倫理構(gòu)想》，周藝譯，北京：生活·讀書·新知三聯(lián)書店，2002年版，第16頁。。算法在國家治理中的深度應(yīng)用，在降低國家治理成本、提高國家治理能力和改善國家治理績效等方面呈現(xiàn)出積極成效的同時，也由于算法技術(shù)自身的不完備性③黃博文：《算法不完備性及其治理——以互聯(lián)網(wǎng)金融消費者保護(hù)為中心》，《西南金融》，2018年第8期。，使得我們可能將會面對算法黑箱、算法歧視、算法獨裁、算法戰(zhàn)爭等現(xiàn)實或潛在的隱憂，在未來的國家治理體系中人類也可能面臨被人工智能取代而漸趨邊緣化的風(fēng)險。

（一）算法黑箱

算法屬于計算機(jī)科學(xué)的概念范疇，作為人工智能的兩大基石之一，人工智能算法是特定的設(shè)計者和研發(fā)者設(shè)計出來用于完成特定任務(wù)的程序和指令的集合。弱人工智能與強(qiáng)人工智能的劃分標(biāo)準(zhǔn)，主要就取決于人工智能擁有的算法是否具備根據(jù)數(shù)據(jù)集自主生成作業(yè)指令的能力。人工智能技術(shù)在自20世紀(jì)50年代初出現(xiàn)之后的很長一段時期內(nèi)沒有太大的進(jìn)展，主要原因在于人工智能的算法始終停留在監(jiān)督學(xué)習(xí)算法階段，人工智能機(jī)器不具備自主學(xué)習(xí)和強(qiáng)化訓(xùn)練并自主生成行動指令的能力。深度學(xué)習(xí)算法的出現(xiàn)，使得人工智能機(jī)器具備了根據(jù)數(shù)據(jù)集來自主學(xué)習(xí)和強(qiáng)化訓(xùn)練的能力，可以依據(jù)特定的應(yīng)用場景的變化來自動生成作業(yè)指令。深度學(xué)習(xí)算法的出現(xiàn)，拓展了人工智能的應(yīng)用場景，但也因為深度學(xué)習(xí)算法的設(shè)計和應(yīng)用存在不可解釋性，使得算法在應(yīng)用過程中不同程度地存在算法黑箱的問題。算法黑箱的出現(xiàn)，主要源于算法設(shè)計的不可解釋性和算法自主生成指令的不可解釋性兩個方面。

首先，由于算法設(shè)計和研發(fā)過程存在不可解釋性，致使算法黑箱易于生成并引發(fā)諸多不確定性風(fēng)險?！坝嬎銠C(jī)系統(tǒng)隱含的偏見和利益取向多年前就已引起廣泛關(guān)注。多項研究均顯示，軟件產(chǎn)品具有隱蔽性的特征，特定的權(quán)力結(jié)構(gòu)、價值觀和意識形態(tài)已經(jīng)事先被嵌入其中。在軟件的遮蔽下，‘有限性、許可、特權(quán)和障礙’等限制不易被人察覺。”④張淑玲：《破解黑箱：智媒時代的算法權(quán)力規(guī)制與透明實現(xiàn)機(jī)制》，《中國出版》，2018年第7期。人工智能算法從本質(zhì)上來說是執(zhí)行特定任務(wù)的程序和指令的集合，算法的設(shè)計者和研發(fā)在設(shè)計和研發(fā)算法時，不可避免地會將自己的偏好和意圖植入到算法中去，使得算法在運行過程中能夠按照設(shè)計者預(yù)設(shè)的價值和意圖來不斷地生成新的指令，以完成特定的治理目標(biāo)。例如，在政治領(lǐng)域，“人工智能算法和大數(shù)據(jù)兩者結(jié)合可形成一種強(qiáng)有力的政治武器，可用于影響甚至是操控選民的輿論，進(jìn)而可能引發(fā)政治風(fēng)險”①魏強(qiáng)、陸平：《人工智能算法面臨倫理困境》，《互聯(lián)網(wǎng)經(jīng)濟(jì)》，2018年第5期。。如果算法具有可解釋性，其他主體可以很清晰地看出算法中植入的特定價值取向和利益企圖，進(jìn)而可以采取相應(yīng)的措施來有效規(guī)制，打開算法黑箱。但是，由于現(xiàn)有的絕大部分人工智能深度學(xué)習(xí)算法的設(shè)計和研發(fā)過程是處于不公開的狀態(tài)，沒有開源的算法指令缺乏可解釋性，從而導(dǎo)致算法在其技術(shù)外表之下潛藏著特定設(shè)計者和研發(fā)者的價值取向和利益企圖，算法設(shè)計者和研發(fā)者可以很輕松地以技術(shù)的外衣來掩蓋運作的黑箱，進(jìn)而實現(xiàn)自己特定的利益企圖。

其次，深度學(xué)習(xí)算法在具體的應(yīng)用過程中自主生成的算法指令存在不可解釋性，也會引發(fā)算法黑箱的生成。與人工智能的各種類型的監(jiān)督學(xué)習(xí)算法不同，深度學(xué)習(xí)算法具備在脫離人類的情況下自主完成學(xué)習(xí)和強(qiáng)化訓(xùn)練的功能，進(jìn)而形成根據(jù)具體的外部場景來自動生成新的算法指令來完成特定的行為或任務(wù)。如果說算法在設(shè)計和研發(fā)階段的不可解釋性所引發(fā)的算法黑箱問題，是因為算法的設(shè)計和研發(fā)環(huán)節(jié)的不透明導(dǎo)致的，通過引進(jìn)必要的算法研發(fā)透明機(jī)制是可克服和避免的，那算法在具體的應(yīng)用過程中產(chǎn)生的不可解釋性和算法黑箱問題就是由人工智能系統(tǒng)自身生成的，是在脫離人類控制的狀態(tài)下引發(fā)的，人類對其很難解釋和控制，這也正是最值得人類擔(dān)憂的算法黑箱類型。

（二）算法歧視

算法的設(shè)計和運行主要依據(jù)供算法訓(xùn)練的數(shù)據(jù)所表達(dá)的信息。數(shù)據(jù)是對既往發(fā)生的事件和行為等進(jìn)行的客觀記錄，特定的數(shù)據(jù)會給特定的國家、地區(qū)、人群、種族、民族、職業(yè)等賦予特定的特征，這些特征就成為算法在應(yīng)用過程中對這些國家、地區(qū)、人群、種族、民族、職業(yè)等進(jìn)行自動識別的依據(jù)并作出相應(yīng)的評判結(jié)果。因此，數(shù)據(jù)是算法進(jìn)行治理的重要依據(jù)，而要確保人工智能機(jī)器自動生成的算法及其運行過程是公平公正的，那首要前提就是確保數(shù)據(jù)的收集是真實且全面的，虛假的數(shù)據(jù)和來源不全面的數(shù)據(jù)是很難保證算法在國家治理中應(yīng)用的公平和公正的。同時，由于“算法及其決策程序是由它們的研發(fā)者塑造的，在細(xì)節(jié)上滲透著研發(fā)者的主觀特質(zhì)”②汝緒華：《算法政治:風(fēng)險、發(fā)生邏輯與治理》，《廈門大學(xué)學(xué)報》(哲學(xué)社會科學(xué)版)，2018年第6期。，從而使得算法歧視和算法偏見也很難避免。具體來看，算法歧視的產(chǎn)生主要源于以下三個方面。

首先，算法設(shè)計者和研發(fā)者的偏好和意圖會誘發(fā)算法歧視。算法是特定的設(shè)計者和研發(fā)者負(fù)責(zé)完成的，算法設(shè)計者和研發(fā)者的偏好和意圖會被植入到算法指令中去，進(jìn)而引發(fā)算法歧視的出現(xiàn)。例如，美國部分地區(qū)法院在利用犯罪風(fēng)險評估算法COMPAS來進(jìn)行犯罪風(fēng)險的預(yù)測和評估時發(fā)現(xiàn)，該算法判定的黑人犯罪的概率是白人的兩倍，從而造成對黑人的不公正的歧視。這一結(jié)果的出現(xiàn)，主要源于在美國既有的犯罪數(shù)據(jù)中黑人的犯罪率明顯高于白人，如果用一個群體數(shù)據(jù)所揭示的特征來推定該群體中的成員必然具有該類特征，對于該個體來說肯定是不公正的。

其次，數(shù)據(jù)系統(tǒng)的歧視會導(dǎo)致算法歧視。“數(shù)據(jù)在本質(zhì)上，是人類觀察世界的表征形式”，由于“人類文化是存在偏見的，作為與人類社會同構(gòu)的大數(shù)據(jù)，也必然包含著根深蒂固的偏見。而大數(shù)據(jù)算法僅僅是把這種歧視文化歸納出來而已”。③張玉宏、秦志光、肖樂：《大數(shù)據(jù)算法的歧視本質(zhì)》，《自然辯證法研究》，2017年第5期。大數(shù)據(jù)時代的到來，改變了傳統(tǒng)數(shù)據(jù)時代數(shù)據(jù)采集、存儲和處理成本高、難度大的不足，海量的大數(shù)據(jù)使得人類在判斷特定群體自身和與其相關(guān)聯(lián)的特定行為和事件時，不再受制于因果關(guān)系的約束，接近全樣本的大數(shù)據(jù)成為人類決策和行為的主要依據(jù)?！按髷?shù)據(jù)掌控者們借助越來越智能化的算法分析和利用著我們的數(shù)據(jù)，開發(fā)著靠數(shù)據(jù)化的人類經(jīng)驗喂養(yǎng)的人工智能產(chǎn)品，在為我們的生活提供越來越多便利的同時影響著我們的選擇和決策，并在此過程中積累起日益膨脹的財富、技術(shù)和人力資源。”①鄭戈：《算法的法律與法律的算法》，《中國法律評論》，2018年第2期。但是，我們也要注意到大數(shù)據(jù)的數(shù)量雖然多但畢竟不是全樣本，部分沒有被采集到的數(shù)據(jù)可能是對人類的決策和行為有重大影響的關(guān)鍵數(shù)據(jù)。同時，供人工智能算法訓(xùn)練并自動生成新的算法指令的數(shù)據(jù)庫的很多參數(shù)是受特定的主體控制的，這些控制數(shù)據(jù)的主體可以在數(shù)據(jù)的采集對象、采集范圍、采集標(biāo)準(zhǔn)和采集時間等參數(shù)上依據(jù)特定的偏好和意圖進(jìn)行設(shè)置，進(jìn)而影響算法運行的結(jié)果，體現(xiàn)特定主體意圖和偏好的數(shù)據(jù)采集使得算法運行的結(jié)果存在針對特定國家、地區(qū)、種族、民族、群體和職業(yè)等歧視和偏見的可能。

最后，數(shù)據(jù)鴻溝導(dǎo)致的算法歧視。在大數(shù)據(jù)時代，個體已經(jīng)成為被數(shù)據(jù)算法定義的數(shù)據(jù)人②馬長山：《智能互聯(lián)網(wǎng)時代的法律變革》，《法學(xué)研究》，2018年第4期。。但是，大數(shù)據(jù)時代的數(shù)據(jù)鴻溝問題也非常突出，還有少部分群體因為行為習(xí)慣的原因，其自身生產(chǎn)的數(shù)據(jù)非常有限，算法很難據(jù)此對其個體特征和行為偏好進(jìn)行判定，也可能會導(dǎo)致算法歧視和算法偏見的出現(xiàn)。例如，金融系統(tǒng)在利用算法來評估客戶的信用狀況并據(jù)此來判定授予多少信貸額度時，如果該客戶很少有金融交易行為產(chǎn)生，那么算法很有可能將該客戶判定為信用等級偏低致使該客戶失去貸款資格。據(jù)中國人民銀行的數(shù)據(jù)顯示，截止到2017年5月底，中國人民銀行的征信系統(tǒng)共收錄了9.26億自然人的信息，還有約4.6億自然人信息沒有收錄或者沒有相應(yīng)的交易信息。

（三）算法獨裁

深度學(xué)習(xí)算法的技術(shù)突破，使得人工智能的應(yīng)用場景大大拓展，智能時代的人類生產(chǎn)、生活、社會交往和國家治理都發(fā)生了深刻的變革，很多原本需要人類完成的繁重的勞動都可以交由人工智能機(jī)器來完成，人類離實現(xiàn)自由而全面發(fā)展的目標(biāo)又更近了一步，人類的解放和理想社會的實現(xiàn)變得可期③高奇琦：《人工智能、人的解放與理想社會的實現(xiàn)》，《上海師范大學(xué)學(xué)報》（哲學(xué)社會科學(xué)版），2018年第1期。。但是，在人工智能時代，伴隨算法應(yīng)用場景的不斷拓展和應(yīng)用程度的不斷加深，國家治理的主導(dǎo)權(quán)正逐步“從人手中轉(zhuǎn)移到算法手中”④［美］克里斯托弗·斯坦納：《算法帝國》，李筱瑩譯，北京：人民郵電出版社，2017年版，第197頁。，算法的權(quán)力屬性正逐漸呈現(xiàn)出來?！八惴?quán)力是一種人工智能技術(shù)平臺的研發(fā)者和控制者在人工智能應(yīng)用過程中，利用自身在數(shù)據(jù)處理和深度學(xué)習(xí)算法上的技術(shù)優(yōu)勢而生成的對政府、公民、社會組織等對象擁有的影響力和控制力。”⑤陳鵬：《算法的權(quán)力：應(yīng)用與規(guī)制》，《浙江社會科學(xué)》，2019年第4期。因此，我們在為人工智能算法取得重大突破感到欣喜之余，也要正視掌握核心算法設(shè)計和研發(fā)技術(shù)的主體可能會利用算法來推行技術(shù)霸權(quán)甚至是實現(xiàn)算法獨裁的可能?！八惴?quán)力從表象上看是一種技術(shù)權(quán)力，但其背后潛藏著控制算法設(shè)計和研發(fā)過程的資本的權(quán)力，而且在不遠(yuǎn)的將來，算法權(quán)力有可能會脫離人類的掌控并演化成人工智能對于人類的技術(shù)優(yōu)勢甚至是霸權(quán)。”⑥陳鵬：《算法的權(quán)力：應(yīng)用與規(guī)制》，《浙江社會科學(xué)》，2019年第4期。

在人工智能時代，數(shù)據(jù)和算法在經(jīng)濟(jì)發(fā)展和國家治理的重要性日漸凸顯，“掌握了數(shù)據(jù)就意味著掌握了資本和財富，掌握了算法就意味著掌握了話語權(quán)和規(guī)制權(quán)”⑦馬長山：《智能互聯(lián)網(wǎng)時代的法律變革》，《法學(xué)研究》，2018年第4期。。而從目前算法的設(shè)計和研發(fā)格局來看，主導(dǎo)算法特別是核心算法設(shè)計和研發(fā)的主體主要集中在少數(shù)發(fā)達(dá)國家的少數(shù)幾家企業(yè)。相比之下，在國家治理中對深度學(xué)習(xí)算法智能平臺利用較多和依賴較深的主權(quán)國家等主體，在算法的設(shè)計和研發(fā)上不僅缺乏主動的意識，也缺乏必要的投入，進(jìn)而處于算法技術(shù)上的劣勢。這些企業(yè)通過在人工智能算法及其相關(guān)技術(shù)的巨大投入，已經(jīng)完成了人工智能底層模塊的搭建工作，所有的人工智能應(yīng)用系統(tǒng)和計算過程都需要依賴于這些底層模塊。掌握了人工智能底層模塊的企業(yè)，不僅建立起對公民、企業(yè)、社會組織和主權(quán)國家的技術(shù)優(yōu)勢，而且也很輕易地就能獲取公民、企業(yè)、社會組織和主權(quán)國家在應(yīng)用這些模塊過程中產(chǎn)生的各種類型的數(shù)據(jù)，數(shù)據(jù)的優(yōu)勢和算法技術(shù)優(yōu)勢的疊加，更加催生了少數(shù)企業(yè)利用算法推行數(shù)據(jù)霸權(quán)和算法獨裁的可能。

（四）算法戰(zhàn)爭

人工智能深度學(xué)習(xí)算法的重大突破，是科學(xué)技術(shù)發(fā)展歷史上的重大突破。與其他類型的技術(shù)變革和技術(shù)創(chuàng)新主要是處在人類可以控制的狀態(tài)下生成和發(fā)展不同，伴隨人工智能深度學(xué)習(xí)算法的不斷發(fā)展和日漸成熟，人類已經(jīng)愈發(fā)難以控制這種技術(shù)在實踐應(yīng)用中的安全邊界，算法戰(zhàn)爭便是算法在應(yīng)用過程可能會引發(fā)的給傳統(tǒng)安全和國家主權(quán)帶來巨大沖擊的隱憂之一。算法戰(zhàn)爭主要體現(xiàn)在算法使得很多不是武器的物理實體變成武器和算法成為發(fā)動戰(zhàn)爭的手段之一。

首先，算法對武器的內(nèi)涵和外延進(jìn)行了重新界定，許多原本不是武器的物理實體經(jīng)過算法的驅(qū)動可能會成為攻擊性的武器，戰(zhàn)爭的風(fēng)險急劇增加。武器是戰(zhàn)爭雙方進(jìn)行較量并決定最后誰能取勝的重要因素，加強(qiáng)武器裝備技術(shù)的研制是現(xiàn)代國家取得戰(zhàn)爭優(yōu)勢的重要保障。從冷兵器時代到熱兵器時代再到現(xiàn)代的核武器時代，武器裝備的性能和殺傷力雖不斷增強(qiáng)，但是武器的類型并未發(fā)生多大的變革?？墒牵M(jìn)入到人工智能時代之后，之前完全由人類來操作的武器開始變得智能化，這些“具有指揮高效化、打擊精確化、操作自動化、行為智能化等特點的人工智能武器，可以‘有意識’地尋找、辨別需要打擊的目標(biāo)，它同時具有辨別自然語言的能力，是一種‘會思考’的武器系統(tǒng)”①鄭戈：《算法的法律與法律的算法》，《中國法律評論》，2018年第2期。。同時，將普通的物理實體安裝上帶有深度學(xué)習(xí)算法的智能系統(tǒng)后，瞬間就可以將其變成攻擊性的武器，使得戰(zhàn)爭發(fā)生的風(fēng)險急劇增加。例如，汽車是交通工具，但是無人駕駛的汽車可以成為攻擊對方的武器。

其次，算法會改變現(xiàn)有人類對戰(zhàn)爭內(nèi)涵和外延的界定，算法戰(zhàn)可能會成為繼軍事戰(zhàn)、貿(mào)易戰(zhàn)之外的一種戰(zhàn)爭形式。傳統(tǒng)意義上的戰(zhàn)爭主要是指軍事戰(zhàn)，此后貿(mào)易戰(zhàn)也逐漸成型。但是，人工智能時代的到來和深度學(xué)習(xí)算法的重大突破，使得技術(shù)戰(zhàn)爭正逐漸成為主權(quán)國家之間戰(zhàn)爭的重要類型之一。在不久的未來，“伴隨著自主武器系統(tǒng)‘自主’性能的逐步提高，機(jī)器算法或?qū)⑷〈吮旧矶蔀檐娛滦袆拥膶嶋H決策者和執(zhí)行者，從而開啟‘致命決策的去人類化’進(jìn)程，傳統(tǒng)戰(zhàn)爭形態(tài)也或?qū)⒂赡壳暗摹伺c人之間的相互傷害’模式演變?yōu)椤藱C(jī)大戰(zhàn)’或‘機(jī)器人之間的相互殺戮’”②董青嶺：《新戰(zhàn)爭倫理:規(guī)范和約束致命性自主武器系統(tǒng)》，《國際觀察》，2018年第4期。。而且，戰(zhàn)爭的雙方也將由可能從傳統(tǒng)的兩個或多個主權(quán)國家或地區(qū)變成企業(yè)與主權(quán)國家。一方面，掌握核心算法技術(shù)優(yōu)勢的少數(shù)發(fā)達(dá)國家可以利用自身在算法和數(shù)據(jù)上的技術(shù)優(yōu)勢，對算法和數(shù)據(jù)上處于劣勢的廣大發(fā)展中國家發(fā)動技術(shù)戰(zhàn)爭，以實現(xiàn)特定的原本需要依靠發(fā)動軍事戰(zhàn)爭或貿(mào)易戰(zhàn)爭才能獲取的利益。另一方面，少數(shù)掌握核心算法技術(shù)優(yōu)勢的超級企業(yè)，可以利用自身在算法和數(shù)據(jù)上的技術(shù)優(yōu)勢發(fā)動對主權(quán)國家的技術(shù)戰(zhàn)爭，通過建構(gòu)起資本對主權(quán)國家的技術(shù)優(yōu)勢來實現(xiàn)特定的利益意圖。

（五）人工智能取代人類來主導(dǎo)國家治理

人工智能深度學(xué)習(xí)算法的重大突破和在國家治理中應(yīng)用場景的不斷拓展，在豐富現(xiàn)代國家治理體系的同時，更有效地降低了國家治理的成本和難度，有利于提高國家治理的精準(zhǔn)性和改善國家治理的績效。但同時，我們也要注意到，伴隨深度學(xué)習(xí)算法在現(xiàn)代國家治理中應(yīng)用程度的不斷加深，人類對人工智能和深度學(xué)習(xí)算法的技術(shù)依賴正不斷加深。一方面，面對日趨繁雜的治理任務(wù)，治理主體有依賴技術(shù)來提升治理效率和降低治理難度的內(nèi)在需求，進(jìn)而為技術(shù)在國家治理中的嵌入提供了強(qiáng)大的驅(qū)動力。另一方面，治理主體在責(zé)任承擔(dān)上的“避責(zé)”心理，也驅(qū)動著技術(shù)在治理中應(yīng)用范圍的不斷拓展和應(yīng)用程度的不斷加深。伴隨人工智能時代的到來，算法在治理中應(yīng)用不斷加深，“智能治理會加劇‘動因漂移’現(xiàn)象，即將很多問題交給智能技術(shù)處理，出現(xiàn)問題的時候則可以將責(zé)任推給技術(shù)設(shè)備，此時責(zé)任問題變成了應(yīng)該升級智能設(shè)備、程序和算法的問題”①劉永謀：《技術(shù)治理、反治理與再治理：以智能治理為例》，《云南社會科學(xué)》，2019年第2期。。

技術(shù)治理是國家治理的手段之一，人類對于技術(shù)手段的更新和技術(shù)治理的發(fā)展本無需擔(dān)憂，但具備深度學(xué)習(xí)算法的人工智能在國家治理中的應(yīng)用，不同于一般的治理技術(shù)手段的更新。在國家治理中的具備深度學(xué)習(xí)算法的人工智能，不僅僅是一種治理的技術(shù)和手段，它具有一定的自主意識且這種自主意識會伴隨人工智能技術(shù)的不斷發(fā)展而更趨成熟，人類對人工智能依賴的程度也隨之不斷加深，智能治理正逐漸成人類利用人工智能來治理變成人工智能來自主治理，智能治理時代的人類在國家治理體系中的地位面臨被邊緣化的可能，在不久的將來人工智能可能取代人類成為國家治理和全球治理的中心，而人類也將極有可能從原來的治理主體演變?yōu)橹卫淼膶ο蟆?/p>

三、算法的治理

算法和數(shù)據(jù)是人工智能的兩大基石，深度學(xué)習(xí)算法的重大突破和大數(shù)據(jù)時代的到來以及云計算技術(shù)的快速發(fā)展，使得人工智能算法在現(xiàn)代國家治理中應(yīng)用程度不斷深化，給國家治理體系的完善和治理能力的現(xiàn)代化帶來了前所未有的機(jī)遇。但同時，由于控制算法研發(fā)和設(shè)計的資本憑借自身在算法和數(shù)據(jù)上的技術(shù)優(yōu)勢，會將自身特定的價值偏好和利益意圖植入進(jìn)算法，由此引發(fā)算法黑箱、算法歧視和算法獨裁問題。此外，伴隨算法自主決策能力和獨立意識的不斷增強(qiáng)，在不久的將來人類可能會逐漸失去對智能算法的控制進(jìn)而引發(fā)算法戰(zhàn)爭的風(fēng)險，人類在國家治理和全球治理體系中也面臨被邊緣化的可能。因此，以現(xiàn)實問題為導(dǎo)向的全球治理研究逐漸成為新趨勢②薛瀾、俞晗之：《邁向公共管理范式的全球治理——基于“問題—主體—機(jī)制”框架的分析》，《中國社會科學(xué)》，2015年第11期。。面對算法在國家治理中的深度應(yīng)用所帶來的機(jī)遇和可能會引發(fā)的隱憂，如何在推動算法技術(shù)不斷發(fā)展和完善的同時加強(qiáng)對算法及其應(yīng)用的規(guī)制，以實現(xiàn)技術(shù)發(fā)展與社會安全的平衡，是值得智能時代的人類深思的課題。而明確算法作為治理手段的定位、增強(qiáng)算法的可解釋性和運行過程的透明性、在算法設(shè)計和運行全過程中嵌入算法倫理、明確算法應(yīng)用的安全邊界和構(gòu)建全球算法治理機(jī)制等是實現(xiàn)對算法有效治理的基本進(jìn)路。

（一）明確算法為技術(shù)手段而非治理主體的治理理念

科學(xué)技術(shù)是第一生產(chǎn)力，人類社會進(jìn)步和發(fā)展的歷史在一定程度上就是科學(xué)技術(shù)不斷向前演進(jìn)和發(fā)展的歷史。治理技術(shù)手段的不斷進(jìn)步，是國家治理水平和治理能力提升的重要保障。深度學(xué)習(xí)算法等先進(jìn)的技術(shù)治理手段在提升國家治理中的嵌入，在幫助降低國家治理難度、節(jié)約國家治理成本和改善國家治理績效等方面的收效比較顯著，但同時也易于使人類陷入技術(shù)依賴的困境。國家治理是技術(shù)治理與價值治理的有效結(jié)合，很多國家治理事務(wù)的處理涉及到多元治理主體和治理對象之間的價值取向的沖突和利益訴求的博弈，單純依靠技術(shù)手段是不可能解決的，技術(shù)治理僅僅是價值治理的輔助，治理技術(shù)不能取代更不應(yīng)該取代治理主體在國家治理中的主體地位。因此，伴隨人工智能算法在現(xiàn)代國家治理中嵌入程度的不斷加深，我們需要堅持工具理性和價值理性平衡的原則，明確人工智能算法是技術(shù)手段而非治理主體的定位，要清醒地認(rèn)識到再先進(jìn)再智能的算法只能是國家治理主體借助于降低治理難度和提升治理效率的工具而已，不能不加約束地任由其在國家治理中發(fā)揮作用，更不能產(chǎn)生對算法的技術(shù)依賴甚至是算法崇拜，將算法在國家治理中的應(yīng)用范圍和應(yīng)用程度控制在人類可以掌控的范圍之內(nèi)。

（二）從法律層面強(qiáng)化算法的可解釋性和透明性機(jī)制的構(gòu)建

算法是一定的主體設(shè)計和研發(fā)出來用于完成特定任務(wù)或?qū)崿F(xiàn)特定目標(biāo)的程序和指令的集合。算法的運行就是依據(jù)特定的程序和指令來運作的過程，從技術(shù)角度來看算法本身是不會產(chǎn)生黑箱的。但由于算法的設(shè)計和研發(fā)過程是不公開的，算法語言大多處于不可解釋的未開源狀態(tài)，除了算法的設(shè)計者和研發(fā)者等特定主體，其他人是很難理解算法的設(shè)計和運行過程的，算法黑箱的問題也就難以有效破解。而且，伴隨深度學(xué)習(xí)算法技術(shù)的日漸成熟，算法在應(yīng)用過程中會不斷地自主生成行動指令，算法的設(shè)計者和研發(fā)者對自主生成的算法指令也越來越難以解釋，算法黑箱及由此引發(fā)的治理風(fēng)險將隨之不斷增大。對此，需要出臺相關(guān)的法律法規(guī)，對算法的設(shè)計和研發(fā)主體的設(shè)計和研發(fā)行為進(jìn)行嚴(yán)格的規(guī)范和約束，要求相關(guān)研發(fā)主體在不涉及到核心商業(yè)機(jī)密的前提下盡可能公開算法設(shè)計的原理和目的，加大開源算法的研發(fā)比例，增強(qiáng)算法的可解釋性，確保算法運行過程處于透明的可監(jiān)控狀態(tài)，最大限度地消除算法黑箱及其帶來的不確定性治理風(fēng)險，讓“那些對結(jié)果抱有懷疑的人可以掀開‘引擎蓋子’看個究竟”①［美］弗蘭克·帕斯奎爾：《黑箱社會——控制金錢和信息的數(shù)據(jù)法則》，趙亞男譯，北京：電子工業(yè)出版社，2015年版，第262頁。。同時，為了有效應(yīng)對人工智能算法最終脫離人類控制而誘發(fā)危及人類生存的風(fēng)險，相關(guān)法律和法規(guī)需要明確人工智能算法需要加入人工智能自我終結(jié)機(jī)制，在危及到人類生存的風(fēng)險產(chǎn)生時，人工智能會自行終結(jié)，以最大限度地保護(hù)全人類的安全。

（三）構(gòu)建算法倫理并將其嵌入進(jìn)算法設(shè)計和運行的全過程

從技術(shù)層面來看，作為程序指令集合的算法本身是不會有任何偏見和歧視的。但由于算法的設(shè)計和研發(fā)主體在設(shè)計和研發(fā)算法的過程中植入了特定的偏好和意圖，致使絕大多數(shù)算法從誕生之日起就是存在特定的價值預(yù)設(shè)和利益傾向，應(yīng)用這種算法在運行過程中所產(chǎn)生的判斷和運行的結(jié)果必然是帶有一定的針對特定地域、群體、種族、民族、職業(yè)的偏見和歧視的。而且，伴隨深度學(xué)習(xí)算法在實際運行過程中不斷自主生成新的算法指令，使得特定的算法偏見和算法歧視在應(yīng)用實踐中不斷被強(qiáng)化。對此，必須要構(gòu)建相對完備的算法倫理，將之嵌入到算法設(shè)計和算法運行的全過程中，以最大限度地避免算法偏見和算法歧視的產(chǎn)生。目前，美國和歐洲等國家和區(qū)域已經(jīng)開始在算法倫理的編制上開始付諸行動并取得了一定的成果。例如，美國計算機(jī)協(xié)會于2017年1月發(fā)布了包含七個方面的算法倫理原則，分別是利益相關(guān)者責(zé)任、救濟(jì)機(jī)制、算法使用機(jī)構(gòu)責(zé)任、鼓勵可解釋算法研發(fā)、數(shù)據(jù)治理、算法審查要求、實時檢查責(zé)任。相比之下，我國在算法倫理的構(gòu)建和嵌入上還比較滯后。國務(wù)院在《新一代人工智能發(fā)展規(guī)劃》中明確提出，要建立人工智能的倫理規(guī)范體系。為此，在算法應(yīng)用的規(guī)制和治理上，我們在注重技術(shù)層面對算法的發(fā)展和規(guī)制進(jìn)行有效平衡的同時，需要盡快成立國家層面的人工智能倫理委員會，出臺相關(guān)的算法倫理標(biāo)準(zhǔn)規(guī)范，用于規(guī)范和約束算法的設(shè)計和運行過程，盡最大可能地消除算法偏見和算法歧視。

（四）構(gòu)建全球算法治理機(jī)制來抑制算法獨裁和算法戰(zhàn)爭的發(fā)生

伴隨大數(shù)據(jù)和人工智能時代的到來，數(shù)據(jù)和算法的權(quán)力特性日漸凸顯，算法技術(shù)對各主權(quán)國家之間的競爭態(tài)勢和資本與國家之間關(guān)系格局的演變產(chǎn)生了深刻的影響。掌握數(shù)據(jù)和算法技術(shù)優(yōu)勢的少數(shù)發(fā)達(dá)國家對廣大發(fā)展中國家的競爭優(yōu)勢更加明顯，而“由于缺乏相應(yīng)技術(shù)積累，發(fā)展中國家并沒有充分有效的方式保護(hù)自己的數(shù)據(jù)安全，也沒有足夠的能力應(yīng)對算法所帶來的干涉。人工智能技術(shù)的進(jìn)步將進(jìn)一步凸顯其在政治安全領(lǐng)域的脆弱性特征，傳統(tǒng)的國家政治安全將面臨嚴(yán)峻的考驗”①封帥、魯傳穎：《人工智能時代的國家安全：風(fēng)險與治理》，《信息安全與通信保密》，2018年第10期。。同時，擁有核心算法技術(shù)和數(shù)據(jù)存儲處理優(yōu)勢的少數(shù)企業(yè)正逐步構(gòu)建起對主權(quán)國家的權(quán)力優(yōu)勢，算法獨裁和算法戰(zhàn)爭的風(fēng)險正逐步臨近?！搬槍θ斯ぶ悄芗夹g(shù)的兩大重要基礎(chǔ)——大數(shù)據(jù)和算法，很難形成以國家為界的封閉式治理，其天然涉及到一系列跨境治理議題?！雹谟彡现?、王晗曄：《人工智能全球治理的現(xiàn)狀：基于主體與實踐的分析》，《電子政務(wù)》，2019年第3期。因此，面對算法在國家治理中應(yīng)用場景的不斷拓展及其可能出現(xiàn)的算法獨裁和算法戰(zhàn)爭等隱憂，構(gòu)建由主權(quán)國家、國際組織參與的全球算法治理機(jī)制非常必要。一方面，主權(quán)國家、國際組織要加大在算法研發(fā)、應(yīng)用以及應(yīng)對和防范算法獨裁方面的技術(shù)合作力度，積極推動全球范圍內(nèi)的算法研發(fā)和運行透明機(jī)制的建立，將算法應(yīng)用過程中可能出現(xiàn)的風(fēng)險控制在人類可以預(yù)見并能有效應(yīng)對的范圍內(nèi)。同時，各國應(yīng)該本著為人類終極命運負(fù)責(zé)的原則，為算法的和平利用達(dá)成相應(yīng)的國際協(xié)議，推動算法研發(fā)和算法應(yīng)用等問題上的公正的國際秩序的建立。另一方面，推動能夠為國際社會所接受的有關(guān)算法設(shè)計、研發(fā)和應(yīng)用過程的法律規(guī)則、倫理準(zhǔn)則和道德規(guī)范的制定，要以此來嚴(yán)格規(guī)范和約束資本在算法研發(fā)和使用上的行為空間，明確算法應(yīng)用的邊界，防止和抑制算法獨裁現(xiàn)象的出現(xiàn)。