□肖夢(mèng)黎

（1.華東政法大學(xué) 法律學(xué)院，上海201620；2.華東理工大學(xué) 法學(xué)院，上海200237）

一、問(wèn)題的提出

我們每個(gè)人都被各種各樣的算法所籠罩，各種超級(jí)平臺(tái)收集著我們的身份信息、聯(lián)系人信息、違法信息、生物數(shù)據(jù)甚至政治評(píng)論，點(diǎn)擊“拒絕”即無(wú)法訪問(wèn)。算法形成了“全景敞式”的權(quán)力，每個(gè)普通人都在被“一種不間斷的書寫日夜跟蹤”[1](p215)。在工作招聘、申請(qǐng)教育機(jī)會(huì)、信貸額度、綠卡排期甚至是犯罪預(yù)測(cè)中[2](p674-671)，算法的自動(dòng)決策無(wú)處不在。算法的核心是基于現(xiàn)有行為對(duì)用戶的未來(lái)行為進(jìn)行預(yù)測(cè)，賦予相對(duì)人以數(shù)字人格，對(duì)其未來(lái)的機(jī)會(huì)產(chǎn)生影響[3](p37)。通過(guò)不同企業(yè)與政府主體間數(shù)據(jù)庫(kù)的購(gòu)買與算法判斷的導(dǎo)入構(gòu)成了算法使用的擴(kuò)散，并可能導(dǎo)致一種人們盡力使自己的生活方式符合算法的新模式，從而最終形成了算法對(duì)人類社會(huì)的規(guī)訓(xùn)。

隨著算法工具化與算法行政不斷擴(kuò)展的趨勢(shì)，自動(dòng)化決策中隱含的算法歧視會(huì)產(chǎn)生波紋式的擴(kuò)大影響。算法與經(jīng)濟(jì)社會(huì)深度融合，從自動(dòng)駕駛、信用評(píng)級(jí)到司法裁判中的應(yīng)用，逐漸成為一種自帶判斷的區(qū)分方式[4](p181-182)。算法當(dāng)然會(huì)存在偏見(jiàn)：一方面，算法使用的大量數(shù)據(jù)本就來(lái)源于社會(huì)本身，這種鏡像式的結(jié)構(gòu)自然也會(huì)將社會(huì)中的歧視與偏見(jiàn)如實(shí)地帶入算法。比如當(dāng)貸款公司將征信系統(tǒng)的數(shù)據(jù)分析源逐漸拓展到淘寶、eBay等的交易評(píng)價(jià)、微博與Facebook的好友人數(shù)以及LinkedIn的人脈對(duì)象時(shí)，居住在富裕板塊的人會(huì)更容易獲得貸款，而女性申請(qǐng)者則會(huì)獲得較低的額度①美國(guó)Movenbank，國(guó)內(nèi)支付寶的花唄、京東白條等都在應(yīng)用此類技術(shù)。。另一方面，作為技術(shù)的算法也是一種生命體，技術(shù)與發(fā)明技術(shù)的人類間存在所謂的“相夫差異”[5](p49)，算法因此會(huì)產(chǎn)生新的偏見(jiàn)。比如在招聘算法中，通勤時(shí)間較長(zhǎng)的員工該項(xiàng)評(píng)分就會(huì)呈現(xiàn)為負(fù)值，而少數(shù)族群由于經(jīng)濟(jì)條件上的弱勢(shì)會(huì)居住在遠(yuǎn)離市中心的地方，就會(huì)導(dǎo)致一個(gè)較低的錄用率，從而實(shí)質(zhì)上構(gòu)成對(duì)該群體的歧視[6](p84)。算法編寫者可能會(huì)利用數(shù)據(jù)主體弱點(diǎn)進(jìn)行數(shù)據(jù)殺熟，或者根據(jù)敏感信息（如政治傾向）等對(duì)特定群體進(jìn)行結(jié)果操縱。更令人擔(dān)憂的是，算法決策正在侵入越來(lái)越多的公共領(lǐng)域，在諸如自動(dòng)稅收與行政許可的“秒批”中，算法已經(jīng)在做出具有即時(shí)生效性的具體行政行為[7](p65)。在美國(guó)，算法評(píng)估正在取代現(xiàn)金保釋[8]。蘇州市2015年就建立了覆蓋91種違法行為的犯罪預(yù)測(cè)系統(tǒng)②馬德林：《互聯(lián)網(wǎng)技術(shù)帶給中國(guó)社會(huì)治安“全新可能性”》，載《中國(guó)新聞》2016年10月13日。。算法廣泛應(yīng)用帶來(lái)的是接連出現(xiàn)的“算法丑聞”，這些以數(shù)學(xué)形式表現(xiàn)的“殺傷性武器”可能會(huì)隨意關(guān)閉使用者的未來(lái)機(jī)會(huì)之門[9](p6-10)。人類無(wú)法期待自動(dòng)化決策系統(tǒng)自行解決問(wèn)題，因此對(duì)算法的規(guī)制就顯得尤為重要。

對(duì)于自動(dòng)決策算法中偏見(jiàn)性因素的規(guī)制，法學(xué)界的討論大致圍繞算法透明原則、算法解釋權(quán)以及設(shè)置數(shù)據(jù)保護(hù)官與數(shù)據(jù)監(jiān)管局[10](p49-52)等幾種路徑。算法治理則主要存在歐盟的《通用數(shù)據(jù)保護(hù)條例》（下簡(jiǎn)稱“GDPR”）中的個(gè)體賦權(quán)模式，美國(guó)《算法問(wèn)責(zé)法案》中的外部治理模式以及本土化的設(shè)置平臺(tái)義務(wù)模式[11](p21-25)。在尋求算法透明化的過(guò)程中，強(qiáng)制算法公開(kāi)與控制算法結(jié)果的路徑顯然存在問(wèn)題。一方面，算法的強(qiáng)制公開(kāi)可能導(dǎo)致商業(yè)秘密與知識(shí)產(chǎn)權(quán)的泄露；另一方面，源代碼的公開(kāi)也無(wú)法真正使普通公眾理解、獲得救濟(jì)。在對(duì)自動(dòng)決策算法中的偏見(jiàn)性因素進(jìn)行問(wèn)責(zé)的過(guò)程中，受算法影響者（數(shù)據(jù)主體）享有包括對(duì)算法知情、質(zhì)詢和申訴的權(quán)利。而算法的設(shè)計(jì)與使用者（也就是數(shù)據(jù)控制方）相應(yīng)的有披露數(shù)據(jù)來(lái)源、解釋算法過(guò)程與接受算法審計(jì)等一系列義務(wù)。

法學(xué)界討論的算法規(guī)制更多是方法論上的，從法律適用上進(jìn)行條分縷析。但在計(jì)算機(jī)技術(shù)不斷更迭的時(shí)代，算法透明原則的實(shí)施效果往往取決于法律價(jià)值與技術(shù)實(shí)現(xiàn)兩個(gè)層面，技術(shù)治理可以為法律治理提供新的洞見(jiàn)。本文將就如何通過(guò)法律價(jià)值引導(dǎo)下的技術(shù)手段具體討論實(shí)現(xiàn)算法透明的原則，將規(guī)制方法從事后追責(zé)、將算法工具化的方式轉(zhuǎn)成以風(fēng)險(xiǎn)識(shí)別為前提、技術(shù)治理與法律治理并重的規(guī)制方式。

二、風(fēng)險(xiǎn)理念下的算法透明與預(yù)防性規(guī)制

算法透明原則指涉的是一種基于規(guī)則的“透明度模型”，具體包括“輸入數(shù)據(jù)、系統(tǒng)在推理和決策（規(guī)則制定）層面所包含的規(guī)范性、做出的該決定的背景和進(jìn)一步影響，以及負(fù)責(zé)的參與者”等方面[12](p433)。對(duì)于機(jī)器學(xué)習(xí)與自動(dòng)決策而言，透明度原則并不是一種可見(jiàn)性的程度，而是一種看到相關(guān)目的的能力。就像某些學(xué)者所言，算法透明原則僅在少數(shù)情形下適用，而在多數(shù)情況下既不可行也無(wú)必要。披露對(duì)象的技術(shù)能力、自動(dòng)決策下算法的不可知與干擾項(xiàng)披露等應(yīng)該都會(huì)影響算法透明的實(shí)效[13](p20-21)?！皵?shù)據(jù)驅(qū)動(dòng)的自動(dòng)化解碼”的透明度是基于這樣一種理解：透明度不能被視為純粹的開(kāi)放性，而應(yīng)該是一種交流行為。從這個(gè)觀點(diǎn)來(lái)看，透明度也是一種治理方式。

在自動(dòng)決策算法的規(guī)制中，技術(shù)治理與法律治理是無(wú)法分割的[14](p63-65)。在新型“監(jiān)視資本主義”的場(chǎng)景下，技術(shù)化統(tǒng)治也要靠技術(shù)手段來(lái)化解。從“白箱”算法到“灰箱”算法、“黑箱”算法，直至自動(dòng)決策化不斷加深的“感知”算法與“奇異”算法，將法律價(jià)值嵌入到技術(shù)治理中是一種更為有效的應(yīng)對(duì)算法霸權(quán)的規(guī)制方式。技術(shù)治理的理念主要是預(yù)防性的，面向未來(lái)風(fēng)險(xiǎn)的，因此在算法透明原則的實(shí)踐過(guò)程中尤其要注意算法風(fēng)險(xiǎn)的分類。

（一）風(fēng)險(xiǎn)分類的規(guī)制前提

針對(duì)不同風(fēng)險(xiǎn)應(yīng)該采取分類治理的規(guī)制方式。正如GDPR在第22條規(guī)定，如果某項(xiàng)算法會(huì)對(duì)相對(duì)人產(chǎn)生法律影響或與之相類似的顯著影響，數(shù)據(jù)主體就有不受僅依賴于自動(dòng)決策的權(quán)利。接下來(lái)的問(wèn)題就是如何將算法區(qū)分為會(huì)產(chǎn)生法律影響或與之相類似的顯著影響與其他類型的算法。GDPR在第29條工作組指南中規(guī)定了何種應(yīng)視為對(duì)個(gè)體產(chǎn)生重要影響：比如信用貸款審批、電子招聘、醫(yī)療服務(wù)、教育或自動(dòng)化決策顯著影響了個(gè)人的習(xí)慣或選擇；通過(guò)自動(dòng)化決策的應(yīng)用達(dá)到取消合同、取消住房福利等的后果；以及在定向廣告中，利于數(shù)據(jù)殺熟或政治傾向等的敏感信息[15](p398-404)。如果自動(dòng)決策算法不會(huì)對(duì)數(shù)據(jù)主體產(chǎn)生重大影響，算法相對(duì)人可以行使GDPR第21條的退出權(quán)；若自動(dòng)化決策本身會(huì)對(duì)數(shù)據(jù)主體產(chǎn)生重大影響，則算法使用者應(yīng)該保障人工介入自動(dòng)決策，以及數(shù)據(jù)主體對(duì)自動(dòng)化決策提出質(zhì)疑的權(quán)利。

與之相類似，美國(guó)《公平信用報(bào)告法》否決了在信用評(píng)分中應(yīng)用自動(dòng)化決策的決定。美國(guó)國(guó)會(huì)2019年4月提出的《算法問(wèn)責(zé)法案》也對(duì)高風(fēng)險(xiǎn)算法進(jìn)行了列舉式界定，其中包括對(duì)個(gè)體隱私安全等造成嚴(yán)重不利后果的算法，涉及種族、膚色、政治觀點(diǎn)、宗教、工會(huì)身份、生物數(shù)據(jù)、性別、性傾向、犯罪記錄、逮捕記錄的算法，以及在公共場(chǎng)所進(jìn)行系統(tǒng)性監(jiān)督的算法①《算法問(wèn)責(zé)法案》共規(guī)定了五種類別的高風(fēng)險(xiǎn)算法，筆者在此重新歸納。其中有些雖然是高風(fēng)險(xiǎn)算法，但是由于應(yīng)用特別廣泛，實(shí)際上無(wú)法進(jìn)行有效控制。比如基于個(gè)人的工作表現(xiàn)、經(jīng)濟(jì)狀況、個(gè)人偏好、地理位置和行為軌跡而做出的影響個(gè)人權(quán)利的算法等。。對(duì)于這些高風(fēng)險(xiǎn)算法，算法的設(shè)計(jì)與使用者應(yīng)該對(duì)算法的設(shè)計(jì)、訓(xùn)練數(shù)據(jù)的收集和想要達(dá)致的目標(biāo)等方面做出詳細(xì)說(shuō)明。

（二）對(duì)于低風(fēng)險(xiǎn)算法的監(jiān)管沙盒與責(zé)任豁免

對(duì)于風(fēng)險(xiǎn)較低的算法而言，出于運(yùn)營(yíng)成本與保護(hù)創(chuàng)新的考慮，應(yīng)該使其自主發(fā)展，并在數(shù)據(jù)保護(hù)一端賦予算法相對(duì)人（數(shù)據(jù)主體）以退出權(quán)。在此僅介紹監(jiān)管沙盒（監(jiān)管音盒）的創(chuàng)新型舉措：監(jiān)管沙盒（Regulatory Sandbox）是英國(guó)金融行為監(jiān)管局（FCA）創(chuàng)設(shè)的一種針對(duì)金融科技配套豁免規(guī)則的監(jiān)管模式。監(jiān)管沙盒由監(jiān)管委員會(huì)運(yùn)營(yíng)，提供受監(jiān)視的試驗(yàn)環(huán)境測(cè)試算法，從技術(shù)維度評(píng)估算法風(fēng)險(xiǎn)，從而提供一種區(qū)別于代碼核查、模型比對(duì)的動(dòng)態(tài)監(jiān)管機(jī)制。監(jiān)管委員會(huì)可以設(shè)立專用數(shù)據(jù)庫(kù)，從中隨機(jī)生成真實(shí)數(shù)據(jù)和干擾數(shù)據(jù)，進(jìn)而對(duì)算法進(jìn)行校驗(yàn)，以測(cè)試算法的準(zhǔn)確性、可信度、風(fēng)險(xiǎn)性以及對(duì)用戶決策的干預(yù)程度。

對(duì)于監(jiān)管沙盒而言，目前多是由監(jiān)管部門對(duì)初創(chuàng)行業(yè)進(jìn)行遴選，從而實(shí)現(xiàn)對(duì)海量訓(xùn)練集數(shù)據(jù)的校驗(yàn)與一定程度的算法責(zé)任豁免。但是若將準(zhǔn)入門檻修改為依申請(qǐng)加入，不做主觀篩選，也就成為法國(guó)模式下的監(jiān)管音盒（Regulatory Soundbox），從而使得對(duì)于不同企業(yè)的監(jiān)管強(qiáng)度更加均衡[16]。監(jiān)管沙盒在自動(dòng)決策算法領(lǐng)域的應(yīng)用可以在風(fēng)險(xiǎn)規(guī)制與創(chuàng)新友好間尋求平衡，支持小微初創(chuàng)企業(yè)進(jìn)行低風(fēng)險(xiǎn)、突破式的創(chuàng)新。

（三）對(duì)于高風(fēng)險(xiǎn)算法的技術(shù)驗(yàn)證與人機(jī)回圈

對(duì)于高風(fēng)險(xiǎn)的算法應(yīng)該遵循事先審查與事后可解釋的算法透明路徑。歐盟的《通用數(shù)據(jù)保護(hù)條例》規(guī)定了“至少應(yīng)為數(shù)據(jù)主體提供關(guān)于自動(dòng)化決策中所運(yùn)用邏輯的有用信息、該處理的重要性與其對(duì)數(shù)據(jù)主體可能造成的后果”①詳見(jiàn)歐盟《通用數(shù)據(jù)保護(hù)條例》第13條第2款f項(xiàng)、第14條第2款g項(xiàng)、第15條第1款h項(xiàng)。。美國(guó)的《算法問(wèn)責(zé)法案》則規(guī)定，針對(duì)某些高風(fēng)險(xiǎn)算法，應(yīng)詳細(xì)說(shuō)明算法決策，包括算法設(shè)計(jì)、訓(xùn)練數(shù)據(jù)和算法目標(biāo)等信息②2019年4月10日，美國(guó)國(guó)會(huì)兩院議員提出《算法問(wèn)責(zé)法案》（Algorithmic Accountability Act），要求大型科技公司評(píng)估并消除其“自動(dòng)決策系統(tǒng)”給個(gè)人信息隱私和安全帶來(lái)的風(fēng)險(xiǎn)，以及因種族、膚色、宗教、政治信仰、性別或其他方面差異帶來(lái)的歧視性偏見(jiàn)。該法案將適用于年收入超過(guò)5000萬(wàn)美元的企業(yè)，持有至少100萬(wàn)人口或設(shè)備數(shù)據(jù)或主要扮演數(shù)據(jù)經(jīng)紀(jì)人角色的組織。。算法可解釋原則若想順利實(shí)施，必須符合兩個(gè)要求：其一是可以找到某項(xiàng)固定不變的因素，顯著性地導(dǎo)致算法輸出結(jié)果中的偏見(jiàn)；其二是需要保證算法不會(huì)被后續(xù)編寫者篡改。事實(shí)上，算法是很可能被篡改的，因此應(yīng)該運(yùn)用加密承諾的方式。而找尋算法中某個(gè)固定不變的導(dǎo)致輸出結(jié)果產(chǎn)生偏見(jiàn)的要素的途徑就是有效的算法驗(yàn)證。

1.自動(dòng)決策算法的可驗(yàn)證性。軟件驗(yàn)證是一種運(yùn)用數(shù)學(xué)證明來(lái)表明軟件具有某些特性的技術(shù)。其既可以通過(guò)分析現(xiàn)有代碼，也可以通過(guò)使用專用工具提取被證明為正確的不變性約束條件③在計(jì)算機(jī)科學(xué)中，invariant就是在程序的執(zhí)行過(guò)程或部分執(zhí)行過(guò)程中，可以認(rèn)為絕對(duì)正確的條件。它是在執(zhí)行的某個(gè)階段中總是true的邏輯斷言。所謂invariant，就是針對(duì)某個(gè)主體（對(duì)象、方法等）的一些“絕對(duì)真理”式的約束，不論該主體處于何種狀態(tài)或階段，都必須滿足這些約束條件。它們不受狀態(tài)和階段的轉(zhuǎn)移影響，即所謂不變性。因而將invariant翻譯成“不變性約束條件”。。與靜態(tài)分析（旨在檢查已編寫的代碼是否存在錯(cuò)誤或偏離其規(guī)范）或軟件測(cè)試（旨在通過(guò)在特定配置中執(zhí)行軟件來(lái)驗(yàn)證軟件是否滿足特定的功能需求）不同，軟件驗(yàn)證可以從邏輯上解釋算法在不同條件下的運(yùn)作行為。經(jīng)過(guò)驗(yàn)證的程序附帶一個(gè)數(shù)學(xué)證明，證明它們具有某些不變性約束條件，因此不必對(duì)這些不變性約束條件進(jìn)行測(cè)試[2](p662-665)。

加密承諾就是一種提供算法可驗(yàn)證性的重要方式，未來(lái)區(qū)塊鏈技術(shù)的廣泛應(yīng)用將使得通過(guò)時(shí)間戳的驗(yàn)證程序成為可能。公私鑰密碼學(xué)可以在不預(yù)先共享私鑰的前提下發(fā)送加密信息，以保障不同節(jié)點(diǎn)間的數(shù)據(jù)記錄不可偽造與被篡改[17](p85-86)。可以說(shuō)，區(qū)塊鏈技術(shù)是密碼學(xué)的重要應(yīng)用，而究其原理而言，加密承諾是由第三方或在安全的地方保存的密封文件的數(shù)字等價(jià)物。它將提交者綁定到被提交對(duì)象（信封內(nèi)的對(duì)象）的特定值，以便稍后可以顯示該對(duì)象，并且任何人都可以驗(yàn)證承諾是否與該數(shù)字對(duì)象相對(duì)應(yīng)。加密承諾與信封中的信件類似。一旦一個(gè)對(duì)象“在”密封的信封中，觀察者就看不到它，任何人也不能改變它。特定的承諾可用于在特定時(shí)間鎖定對(duì)秘密的了解，而不泄露秘密的內(nèi)容。同時(shí)仍然允許稍后在法庭等場(chǎng)所披露該秘密，并保證該秘密在過(guò)渡期間不被更改。而該加密承諾在密封后也會(huì)產(chǎn)生一個(gè)密鑰，用于驗(yàn)證承諾。加密承諾有助于實(shí)現(xiàn)自動(dòng)化決策的程序規(guī)則正當(dāng)性，確保每個(gè)決策都使用同樣的策略。做出自動(dòng)決策的公司或機(jī)構(gòu)隨后將在確定的日期在公開(kāi)場(chǎng)所對(duì)承諾進(jìn)行公開(kāi)，也可以在遭遇質(zhì)詢后向法院等監(jiān)督機(jī)構(gòu)披露源代碼和公開(kāi)密鑰，以證明其在承諾時(shí)擁有特定的源代碼[2](p662-667)。

自動(dòng)決策算法中隨機(jī)數(shù)的公平性也應(yīng)該是可驗(yàn)證的，隨機(jī)過(guò)程的設(shè)計(jì)不當(dāng)也會(huì)導(dǎo)致后續(xù)的算法解釋遭遇困難。因此在處理會(huì)對(duì)相對(duì)人產(chǎn)生重大影響的決策時(shí)，為了防止算法的濫用，應(yīng)該由可信的第三方提供一個(gè)種子值，然后通過(guò)種子產(chǎn)生可復(fù)制值的加密算法實(shí)現(xiàn)隨機(jī)過(guò)程。這些種子值應(yīng)該預(yù)先設(shè)置與一些不能更改的信息標(biāo)識(shí)相對(duì)應(yīng)，比如身份證號(hào)、社會(huì)保險(xiǎn)號(hào)或者受試者姓名等，這樣既可以在系統(tǒng)中保持隨機(jī)性的好處，也可以保證涉及重要權(quán)益的種子值不會(huì)被算法設(shè)計(jì)者篡改。

2.人機(jī)回圈。就可能對(duì)相對(duì)人產(chǎn)生重大影響的自動(dòng)決策算法而言，另一個(gè)行之有效的糾偏方式就是加入“人”的因素，為算法決策過(guò)程注入民主化。人機(jī)回圈（human-in-the-loop）原則認(rèn)為，當(dāng)在算法決策中遇到諸如倫理、道德風(fēng)險(xiǎn)、偏見(jiàn)等機(jī)器學(xué)習(xí)仍無(wú)法獲得最優(yōu)解的問(wèn)題時(shí)，就需要通過(guò)人類智慧的補(bǔ)足來(lái)優(yōu)化算法，從而為機(jī)器學(xué)習(xí)提供一種民主的或者說(shuō)是非設(shè)計(jì)者的“濾鏡”[18]。設(shè)定緩刑期限算法的程序員可能并不十分了解法律本身，而訓(xùn)練集與編程中的偏差則會(huì)帶入到算法中，并作為自動(dòng)決策結(jié)果出現(xiàn)。在這一過(guò)程中，行業(yè)專家與有道德判斷能力的公眾的引入、人機(jī)交流技術(shù)與用戶申訴等機(jī)制的設(shè)置可以有效打破技術(shù)專家對(duì)算法決策權(quán)的壟斷?！蹲匀弧冯s志上就公布了一個(gè)針對(duì)自動(dòng)駕駛面臨的困境所做的調(diào)查，該調(diào)查囊括了來(lái)自233個(gè)國(guó)家與地區(qū)超過(guò)4000萬(wàn)份問(wèn)卷，總結(jié)了不同地區(qū)針對(duì)自動(dòng)駕駛的不同態(tài)度，從而對(duì)如何發(fā)展全球性的、社會(huì)可接受的機(jī)器倫理的原則進(jìn)行了論述，為人機(jī)回圈的適用提供了有益的范例[19]。

三、以算法審查與算法解釋權(quán)為核心的事后規(guī)制

算法解釋權(quán)與算法透明原則是一體兩面的制度，只有在算法透明原則的框架下，個(gè)人方可提出并行使算法解釋權(quán)。算法透明原則可以視為對(duì)算法設(shè)計(jì)與使用方的義務(wù)設(shè)定，而算法解釋權(quán)則是對(duì)受算法影響者（數(shù)據(jù)主體）的一種具體賦權(quán)。算法的設(shè)計(jì)與使用者負(fù)有對(duì)數(shù)據(jù)輸入、邏輯過(guò)程、特定因素權(quán)重等某一項(xiàng)或某幾項(xiàng)的披露與解釋義務(wù)，受算法影響者因而享有對(duì)算法的知情權(quán)、質(zhì)詢權(quán)與申訴權(quán)。對(duì)于算法審查與算法解釋權(quán)的原則性探討已經(jīng)有很多，但仍未解決的問(wèn)題則是如何打開(kāi)“黑箱”進(jìn)行審查，是基于何種方式進(jìn)行解釋，繼而再回答司法救濟(jì)中如何解決算法歧視認(rèn)定的問(wèn)題。

（一）通過(guò)零知識(shí)證明原則進(jìn)行的算法審查

由于算法設(shè)計(jì)者、使用者作為消費(fèi)者的信息受托人負(fù)有忠實(shí)義務(wù)與注意義務(wù)[20]，因此應(yīng)該由行政機(jī)關(guān)或第三方機(jī)構(gòu)對(duì)算法進(jìn)行審查，從而避免對(duì)公眾的權(quán)利侵害。算法審計(jì)包括非侵入用戶式審查（Noninvasive User Audit）、借助傀儡審查（Sock Puppet Audit）、層層打開(kāi)式審查（Scraping Audit）與聯(lián)合審查（Collaborative Audit）等[21](p197-202)?，F(xiàn)階段已經(jīng)可以通過(guò)一些技術(shù)方式實(shí)現(xiàn)對(duì)于算法執(zhí)行過(guò)程的審查。通過(guò)算法設(shè)計(jì)者內(nèi)部的數(shù)據(jù)活動(dòng)顧問(wèn)與外部的數(shù)據(jù)活動(dòng)監(jiān)管局對(duì)接的二元監(jiān)管方式可以有效進(jìn)行算法歧視性的審查。“數(shù)據(jù)活動(dòng)顧問(wèn)從企業(yè)內(nèi)部對(duì)算法進(jìn)行設(shè)計(jì)與使用的評(píng)估控制，而數(shù)據(jù)活動(dòng)監(jiān)管局從外部對(duì)數(shù)據(jù)活動(dòng)顧問(wèn)提供必要的援助和監(jiān)督?！盵10](p43)

算法審查面臨的棘手問(wèn)題就是通過(guò)何種方式對(duì)復(fù)雜性極高，且存在于“黑箱”中的自動(dòng)決策算法進(jìn)行歧視性審查。零知識(shí)證明原則可以證明實(shí)際使用的決策策略，或在特定情況下達(dá)成的特定決策具有特定屬性，但不必揭示如何知道該屬性或決策策略是什么①一個(gè)經(jīng)典例子是假設(shè)兩個(gè)百萬(wàn)富翁出去吃午飯，二者同意更富有的人應(yīng)該支付費(fèi)用。不過(guò)，兩人都不愿意向?qū)Ψ酵嘎镀湄?cái)富數(shù)額。零知識(shí)證明可以讓他們兩人都知道誰(shuí)更富有（因此誰(shuí)應(yīng)該支付餐廳的費(fèi)用），而不必透露兩者的價(jià)值。See Danielle Keats Citron，Technological Due Process，85 WASH.U.L.REV.1249，1256（2008）（describing systemic errors in the automated eligibility determinations for federal bene?fits programs）.。與前述的加密承諾相對(duì)應(yīng)，假設(shè)決策者做出A、B、C三個(gè)承諾（commitment）：A代表算法設(shè)計(jì)者對(duì)于非歧視性政策的遵循承諾，B代表在特定情況下輸入A的承諾，C是對(duì)在該情況下實(shí)際達(dá)成時(shí)做出的自動(dòng)化決策的承諾。這些承諾可以事先發(fā)送給監(jiān)管機(jī)構(gòu)或者是可信的第三方，從而保證在算法實(shí)施期間不被篡改。當(dāng)用戶提起算法審查時(shí)，算法設(shè)計(jì)者、使用者就可以公布密鑰，算法審查機(jī)關(guān)通過(guò)零知識(shí)證明原則使公眾驗(yàn)證A、B和C確實(shí)相互對(duì)應(yīng)。也就是說(shuō)，當(dāng)提交的策略A應(yīng)用于輸入的數(shù)據(jù)B時(shí)，結(jié)果就是提交的結(jié)果C。如此就可以由公眾與特定審查機(jī)關(guān)完成對(duì)自動(dòng)決策過(guò)程的核實(shí)。所有這些驗(yàn)證過(guò)程都不披露決策政策本身，也不披露可能包含在輸入或結(jié)果中的私人數(shù)據(jù)。

更為重要的是，如果特定的自動(dòng)決策受到質(zhì)疑，法院或其他監(jiān)督機(jī)構(gòu)可以迫使算法制定方披露其所使用的實(shí)際策略和輸入數(shù)據(jù)，用以核實(shí)算法是否符合其公布的承諾。其核心在于算法設(shè)計(jì)方雖然是在自動(dòng)決策中，但也應(yīng)該是遵循了某種統(tǒng)一的策略。例如，若被試的性別被顛倒，信用評(píng)分將是相同的。在這種情況下，零知識(shí)證明原則可以展示輸入與輸出關(guān)系的性質(zhì)。

（二）算法解釋權(quán)

1.基于算法相對(duì)人訴求為中心的算法解釋權(quán)。如果想要對(duì)算法進(jìn)行解釋，可以提供兩種解釋思路：一種是以模型為中心的解釋（MCEs），另一種是以主體為中心的解釋（SCEs）的解釋方式[22](p18-20)。以模型為中心的解釋關(guān)注的是模型本身，以了解自動(dòng)化決策背后的邏輯、語(yǔ)境、變量與演繹表現(xiàn)。該解釋方式可以解決一些算法決策所涉及的程序規(guī)則性的問(wèn)題，但無(wú)法兼顧對(duì)于單個(gè)數(shù)據(jù)主體對(duì)特定“有意義的信息”的解釋要求。以主體為中心的解釋模式是建立在輸入記錄的基礎(chǔ)上并圍繞輸入記錄形成的，只能在給定的查詢做出時(shí)予以提供，該查詢可以是真實(shí)的、虛構(gòu)的或探索性的。

GDPR第13、14條規(guī)定，當(dāng)數(shù)據(jù)主體的個(gè)人數(shù)據(jù)被算法使用時(shí)，應(yīng)擁有獲得算法解釋的權(quán)利①對(duì)于算法解釋權(quán)，歐洲委員會(huì)基于對(duì)自動(dòng)決策危害的顧慮，建議將解釋權(quán)放置在第20條，歐洲議會(huì)建議放置在序言第58條，歐洲理事會(huì)則認(rèn)為不應(yīng)當(dāng)包含這項(xiàng)內(nèi)容。最終妥協(xié)結(jié)果是將該內(nèi)容納入序言第71條。轉(zhuǎn)引自程瑩：《元規(guī)制模式下的數(shù)據(jù)保護(hù)與算法規(guī)制——以歐盟〈通用數(shù)據(jù)保護(hù)條例〉為研究樣本》，載《法律科學(xué)》2019年第4期。，也就是數(shù)據(jù)主體擁有掌握其信息的權(quán)利。序言的表述則更加清晰，若某項(xiàng)算法會(huì)對(duì)個(gè)人權(quán)利產(chǎn)生重要影響，那么數(shù)據(jù)控制者需要參與并審查自動(dòng)化決策。GDPR第12條規(guī)定，算法控制者應(yīng)當(dāng)以清晰和平白的語(yǔ)言，以一種簡(jiǎn)潔、透明、易懂和容易獲取的形式“為數(shù)據(jù)主體提供關(guān)于自動(dòng)化決策中所運(yùn)用邏輯的有用信息、該處理的重要性與其可能對(duì)數(shù)據(jù)主體產(chǎn)生的后果”，可認(rèn)為GDPR采取的更多是一種基于算法主體為中心的算法解釋?；趥€(gè)體本身的算法解釋權(quán)可以回答敏感度的問(wèn)題，比如更換哪些輸入值會(huì)使結(jié)果發(fā)生相反的變化，也可以解釋分類聚類的合理性問(wèn)題，比如用于訓(xùn)練集的哪些數(shù)據(jù)記錄與我的最相似，像我這樣的人被錯(cuò)誤分類的次數(shù)是多于還是少于平均水平[22](p51-53)。

以算法相對(duì)人主體為中心的解釋更多關(guān)注的是如何在算法與受算法影響的主體間建立一種關(guān)系，從而為個(gè)體提供更有意義的解釋。該種解釋其實(shí)是在機(jī)器學(xué)習(xí)的場(chǎng)景下，致力于提供一些設(shè)計(jì)中的“接縫點(diǎn)”，將注意力從算法內(nèi)部的復(fù)雜性轉(zhuǎn)向關(guān)注其輸入與輸出這樣的接縫點(diǎn)，從而有效回避了商業(yè)秘密、知識(shí)產(chǎn)權(quán)的沖突，解決了部分算法不可知的問(wèn)題?；趥€(gè)體的算法解釋權(quán)對(duì)應(yīng)的是模型不可知系統(tǒng)（pedagogical system），也就是基于個(gè)體查詢得到的相關(guān)信息，不太會(huì)侵犯知識(shí)產(chǎn)權(quán)，也不易被逆向地模仿或重塑。

因此算法解釋權(quán)應(yīng)該被理解為：當(dāng)數(shù)據(jù)主體認(rèn)為算法決策得出的結(jié)果與自己預(yù)期不相符合時(shí)，有要求對(duì)算法設(shè)計(jì)以及運(yùn)行（數(shù)據(jù)的分析處理過(guò)程）進(jìn)行解釋的權(quán)利。權(quán)利主體為數(shù)據(jù)主體，而義務(wù)主體為數(shù)據(jù)控制者。解釋內(nèi)容應(yīng)該依據(jù)GDPR第22條第1款以及第4款所述的包括數(shù)據(jù)畫像及有關(guān)的邏輯程序和有意義信息在內(nèi)的相關(guān)內(nèi)容，以及此類處理對(duì)數(shù)據(jù)主體的意義和預(yù)期影響。解釋的內(nèi)容應(yīng)符合兩個(gè)標(biāo)準(zhǔn)：第一，具有相關(guān)性，即必須與相對(duì)人所受的具體自動(dòng)化決策相關(guān)；第二，相對(duì)人能夠理解。

2.算法說(shuō)明書與無(wú)條件反事實(shí)解釋。如果要進(jìn)行算法解釋，那么如何解釋就需要考慮法律規(guī)制與技術(shù)規(guī)制兩個(gè)方面。對(duì)于公眾而言，無(wú)可能也無(wú)必要對(duì)每項(xiàng)涉及自身權(quán)益的算法都提出解釋需求，因?yàn)檫@樣也等于部分告別了算法統(tǒng)治下的現(xiàn)代社會(huì)。如果公布算法或者解釋算法邏輯與內(nèi)部結(jié)構(gòu)、各種因素權(quán)重確實(shí)有困難，是否可以制定類似藥品說(shuō)明書的算法說(shuō)明書。就像雖然制藥工藝受專利法與商業(yè)秘密保護(hù)而免于公開(kāi)，但是功能主治與禁忌說(shuō)明應(yīng)該公開(kāi)。在算法設(shè)計(jì)方向使用者公布隱私條例時(shí)，應(yīng)該對(duì)主要使用算法的邏輯、目的等加以公布，對(duì)涉及的敏感因素予以提示。

如果算法相對(duì)人一旦提出了算法解釋的需求，也可以遵循無(wú)條件反射事實(shí)（unconditional counter?factual）解釋的方法：即不需要解釋內(nèi)部“黑箱”的運(yùn)算邏輯，而是將算法依賴的外部因素加以解釋[23](p860-861)。在不打開(kāi)算法“黑箱”的條件下，了解某項(xiàng)算法是否存在某種價(jià)值與倫理的前置性要求，繼而實(shí)現(xiàn)問(wèn)責(zé)①比如針對(duì)為什么減稅是適當(dāng)?shù)倪@一問(wèn)題，政策邏輯的回應(yīng)是因?yàn)闇p稅的先決條件是高通貨膨脹和貿(mào)易逆差，而目前的情況顯示了這些因素。而反事實(shí)解釋則是如果通貨膨脹率降低，減稅就不可取了。如果沒(méi)有貿(mào)易逆差，就不建議減稅。正常邏輯下的算法模型刻畫起來(lái)難度較大，即使在單變量的情況下，也很難解釋函數(shù)如何隨著輸入的變化而變化。若轉(zhuǎn)換為無(wú)條件反事實(shí)解釋，就轉(zhuǎn)而采用端到端的綜合方法來(lái)解決問(wèn)題，函數(shù)的輸入輸出與決策邏輯就非常清楚。。我們對(duì)反事實(shí)解釋的概念取決于相關(guān)概念：無(wú)條件反事實(shí)原則不致力于解釋這個(gè)世界的因果關(guān)系，而是提供更具信息性的一組反事實(shí)解釋，從而提供反事實(shí)所對(duì)應(yīng)的結(jié)果附近的不同選擇[23](p878-882)。算法模型的刻畫難度較大，即使在單變量的情況下，也很難解釋函數(shù)如何隨著輸入的變化而變化。反事實(shí)解釋的方法是以提供能夠改變決策的最小信息量的方式編制的，不需要理解算法的內(nèi)部邏輯。一個(gè)單一的反事實(shí)可以顯示某個(gè)決定是如何基于某些數(shù)據(jù)做出的，而這些數(shù)據(jù)在決策做出前不會(huì)被改變，接下來(lái)只要通過(guò)計(jì)算機(jī)算出有意義的反事實(shí)。包括神經(jīng)網(wǎng)絡(luò)、向量機(jī)和回歸器在內(nèi)的許多機(jī)器學(xué)習(xí)的標(biāo)準(zhǔn)分類都是通過(guò)在一組訓(xùn)練數(shù)據(jù)上找到使目標(biāo)最小化的最優(yōu)權(quán)重集來(lái)進(jìn)行訓(xùn)練的②在這個(gè)數(shù)據(jù)集中，種族（race）是使用一個(gè)離散變量建模的，該變量只能接受標(biāo)簽0或1，分別對(duì)應(yīng)于“白色”或“黑色”。反事實(shí)顯示“黑色”學(xué)生會(huì)得到更好的分?jǐn)?shù)。對(duì)于“黑人”學(xué)生來(lái)說(shuō)，種族確實(shí)在計(jì)算出的反事實(shí)下有所不同，顯示出決定和種族之間的依賴性（這通常是受法律保護(hù)的屬性）。Wachter，Sandra，B.Mittelstadt，and C.Russell“.Counterfactual Explanations without Opening the Black Box：Automated Decisions and the GDPR.”Social Science Electronic Publishing（2017）.。比如在根據(jù)種族、法學(xué)院之前的平均分?jǐn)?shù)和法學(xué)院入學(xué)考試分?jǐn)?shù)（LAST）來(lái)預(yù)測(cè)法學(xué)院學(xué)生的第一年平均分?jǐn)?shù)中，反事實(shí)顯示黑人學(xué)生會(huì)得到更好的分?jǐn)?shù)，從而顯示這一決策與種族之間的依賴性。要求算法的設(shè)計(jì)者與使用者建立一個(gè)因果模型，并將其傳達(dá)給非專業(yè)的公眾是非常困難的。反事實(shí)繞過(guò)了解釋復(fù)雜機(jī)器學(xué)習(xí)系統(tǒng)內(nèi)部工作的實(shí)質(zhì)性挑戰(zhàn)，而轉(zhuǎn)變?yōu)橄驍?shù)據(jù)主體提供信息。這些信息既容易理解，又對(duì)決策原因的理解、挑戰(zhàn)決策與改變未來(lái)行為等卓有成效。

3.退出算法決策或者要求訂正的權(quán)利。當(dāng)討論算法解釋權(quán)時(shí)，更重要的一點(diǎn)是賦予受算法影響者退出決策或者修改決策輸入的權(quán)利。也就是說(shuō)，算法解釋只是開(kāi)端，而當(dāng)算法的設(shè)計(jì)者和使用者對(duì)自動(dòng)決策做出解釋后，受算法影響者還有修正決策的權(quán)利[24](p73)。比如GDPR中賦予了數(shù)據(jù)主體更正、清除個(gè)人數(shù)據(jù)的權(quán)利，以及限制、拒絕算法設(shè)計(jì)者與使用者處理個(gè)人數(shù)據(jù)的權(quán)利[25](p51-52)。GDPR同樣賦予了數(shù)據(jù)主體以被遺忘權(quán)，被遺忘權(quán)不僅僅只是要求算法使用者刪除數(shù)據(jù)，也包括使其進(jìn)行數(shù)據(jù)脫敏、增殖或消減數(shù)據(jù)等（比如通過(guò)增加與敏感信息并列的一系列虛構(gòu)信息對(duì)抗算法，或者使某些搜索結(jié)果劣后出現(xiàn)）的做法[26](p150-151)。算法解釋權(quán)其實(shí)是一種通過(guò)賦權(quán)來(lái)合理分配風(fēng)險(xiǎn)，彌合算法使用者與受算法影響者間權(quán)力鴻溝的治理工具。

（三）司法審查中對(duì)歧視性因素的認(rèn)定方式

如果在算法解釋中發(fā)現(xiàn)了歧視性因素，也并不能直接認(rèn)定算法設(shè)計(jì)者需要承擔(dān)相關(guān)責(zé)任。美國(guó)司法審查中就形成了對(duì)基于主觀故意的算法歧視審查與基于無(wú)過(guò)錯(cuò)的算法歧視審查兩種模式。針對(duì)算法歧視中存在主觀故意的模式，原告需要證明被告（算法設(shè)計(jì)者）存在主觀上的歧視意圖或與歧視相關(guān)的刻板印象，如能證明，被告就需承擔(dān)責(zé)任。這一原則確立于“麥克唐納道格拉斯公司訴格林”（McDonnell Douglas Corp.v.Green）①M(fèi)cDonnell Douglas Corp.v.Green，411 U.S.792（1973）.一案，而在“岡薩雷斯訴谷歌”案中，法院遵循的邏輯也是如此。該種模式的核心在于審查算法是否存在故意的不同待遇，而這種針對(duì)特有群體的不同待遇與刻板印象需要對(duì)算法決策起實(shí)質(zhì)性作用。在原告可以用間接證據(jù)證明的情況下，就可以被認(rèn)定為存在算法歧視。

由于受算法影響者對(duì)于主觀過(guò)錯(cuò)的證明非常困難，于是美國(guó)法院逐漸演化出了對(duì)無(wú)過(guò)錯(cuò)情況下的算法歧視審查。即不考慮算法的主觀意圖，而是觀察其客觀結(jié)果是否導(dǎo)致差異性影響，從而認(rèn)定是否構(gòu)成算法歧視。美國(guó)聯(lián)邦最高法院在“康涅狄格州訴迪爾”（Connecticut v.Teal）案中確立了該原則。受算法影響者往往不具備真正理解算法的能力，因此應(yīng)采取過(guò)錯(cuò)推定原則。這種情況下算法控制方會(huì)以商業(yè)必要性為抗辯理由，原告方即需要提出被告有可替代的算法程序再行反駁。在這種模式下，法院需要綜合三個(gè)方面的因素做出認(rèn)定：其一是差異性影響：算法對(duì)原告產(chǎn)生的不利影響大于對(duì)其他一般公眾產(chǎn)生的不利影響。其二是商業(yè)必要性審查，考察算法行為的選擇與商業(yè)目標(biāo)間是否存在直接相關(guān)性。其三是可替代算法決策評(píng)估：若存在非差異性影響的算法，就應(yīng)該認(rèn)定歧視②參見(jiàn)“阿爾伯馬爾紙業(yè)公司訴穆迪”（Albemarle Paper Co v.Moody）一案。。

四、結(jié)語(yǔ)：在算法時(shí)代重塑規(guī)制理念

針對(duì)自動(dòng)決策算法中形成的“全景敞式”的權(quán)力與可能產(chǎn)生的各種偏見(jiàn)性因素，需要采取包容審慎的風(fēng)險(xiǎn)治理的規(guī)制理念。將鼓勵(lì)創(chuàng)新與保護(hù)用戶權(quán)益通盤考慮，提升國(guó)家的數(shù)據(jù)治理能力，重點(diǎn)解決算法應(yīng)該如何“透明”的法律技術(shù)問(wèn)題。自動(dòng)決策算法可以劃分為對(duì)算法相對(duì)人有重大影響的與風(fēng)險(xiǎn)較低的兩種類別：對(duì)于低風(fēng)險(xiǎn)算法，出于運(yùn)營(yíng)成本與保護(hù)創(chuàng)新的考慮，應(yīng)使其自主發(fā)展，保障算法相對(duì)人的退出權(quán)，并考慮引入監(jiān)管沙盒（音盒）等方式進(jìn)行一定程度的責(zé)任豁免。若算法可能對(duì)相對(duì)人產(chǎn)生重大影響，則應(yīng)該采取加密承諾、公平的隨機(jī)過(guò)程等在內(nèi)的軟件驗(yàn)證方式；注重人機(jī)回圈，為算法決策過(guò)程注入民主化，增加用戶體驗(yàn)的反饋環(huán)節(jié)。在事后規(guī)制中，可以通過(guò)零知識(shí)證明原則、無(wú)條件反事實(shí)解釋等方法在避免打開(kāi)“黑箱”的情況下對(duì)提出解釋權(quán)請(qǐng)求的當(dāng)事人進(jìn)行算法的解釋與審查，并與司法訴訟過(guò)程中差異性影響的審查方案相銜接。

本文對(duì)算法透明原則、算法解釋權(quán)與算法審計(jì)等原則的探討從原理拓展到具體的技術(shù)方案。在對(duì)自動(dòng)決策算法進(jìn)行規(guī)制的討論中，實(shí)質(zhì)上也是在技術(shù)治理與法律治理中加以選擇，某種程度上也是在探索科技與法律的關(guān)系。技術(shù)治理遵循的是自我偏好的邏輯，而法律治理遵循的是社會(huì)共識(shí)的邏輯。這兩種路徑其實(shí)都包含技術(shù)治理與法律治理的思維，只是含量、側(cè)重點(diǎn)有所不同。對(duì)于算法規(guī)制這一問(wèn)題而言，技術(shù)治理是不可或缺的。該考慮的是如何平衡這兩種治理手段，使得法律治理得以對(duì)技術(shù)發(fā)展做出較好的引領(lǐng)和歸化。