(吉林大學(xué) 法學(xué)院，吉林 長(zhǎng)春 130012)

我們正處于移動(dòng)互聯(lián)網(wǎng)加速向智能互聯(lián)網(wǎng)時(shí)代轉(zhuǎn)型的關(guān)鍵期。Gartner公布的 2017 年重大科技發(fā)展趨勢(shì)也表明：“未來(lái)將是以智能為核心、通過(guò)數(shù)字化實(shí)現(xiàn)萬(wàn)物互聯(lián)的時(shí)代”。[1]也就是說(shuō)，借助人工方法進(jìn)行智能操作的“互聯(lián)網(wǎng) +”時(shí)代升級(jí)到一個(gè)將人工智能與互聯(lián)網(wǎng)結(jié)合更廣泛地連接萬(wàn)物、更自主地捕捉信息、更智慧地分析信息、更精準(zhǔn)地進(jìn)行判斷、更主動(dòng)地提供服務(wù)[2]的互聯(lián)網(wǎng)轉(zhuǎn)型升級(jí)新時(shí)代——智能互聯(lián)網(wǎng)時(shí)代。智能互聯(lián)網(wǎng)本質(zhì)上是人工智能技術(shù)強(qiáng)化支撐的互聯(lián)網(wǎng)，自主算法將越來(lái)越左右著智能互聯(lián)網(wǎng)，而懸而未決的算法治理難題，將在互聯(lián)網(wǎng)的聯(lián)結(jié)網(wǎng)狀結(jié)構(gòu)中迅速放大、無(wú)界擴(kuò)展、問(wèn)題歧生。

算法是人工智能決策的基礎(chǔ)，進(jìn)入智能互聯(lián)網(wǎng)時(shí)代，算法將主宰著我們的生活并統(tǒng)治世界。在這種“算法時(shí)代”，在我們所能想象的任何領(lǐng)域，包括個(gè)人理財(cái)、醫(yī)療保健、招聘、住房、教育和政策等領(lǐng)域，算法都是人類決策的新權(quán)威，其影響力在互聯(lián)網(wǎng)聯(lián)結(jié)中將呈指數(shù)級(jí)增大，它決定著針對(duì)我們的新聞和產(chǎn)品的推薦、是否被雇傭或被解雇、貸款請(qǐng)求是否能得到批準(zhǔn)，甚至幫助公共機(jī)構(gòu)決定監(jiān)視和逮捕潛在威脅安全的犯罪人員。然而，在“互聯(lián)網(wǎng) +”時(shí)代的針對(duì)目標(biāo)廣告和其他在線服務(wù)的系統(tǒng)中已經(jīng)暴露多年的算法歧視諸問(wèn)題，在人工智能接管的智能互聯(lián)網(wǎng)時(shí)代，自動(dòng)算法的不透明性、可解釋性差和無(wú)問(wèn)責(zé)性，加上互聯(lián)網(wǎng)的萬(wàn)物互聯(lián)功能的期待，算法歧視必然還是一個(gè)算法治理的重大問(wèn)題。關(guān)鍵問(wèn)題是很多國(guó)人對(duì)算法歧視還不甚了解，對(duì)算法還停留在算法是客觀的、公正的，算法可以重塑一個(gè)更加客觀的現(xiàn)實(shí)世界的觀念層面上，這可能與我國(guó)是一個(gè)歧視低敏感度的國(guó)家有關(guān)。學(xué)界對(duì)此問(wèn)題研究也甚少[注]現(xiàn)今人工智能研究學(xué)術(shù)熱度高、熱量大、熱能擴(kuò)散快，呈現(xiàn)出一哄而上、“土匪搶山頭”的學(xué)術(shù)研究態(tài)勢(shì)。而吊詭的是，學(xué)界對(duì)于現(xiàn)今人工智能領(lǐng)域面臨的最大問(wèn)題的原因所在算法歧視，卻是炙熱中“內(nèi)部受冷”，這種“逐末舍本、鉆天打洞”的學(xué)術(shù)悖反現(xiàn)象是值得深思的。學(xué)術(shù)期刊(包括人文社會(huì)科學(xué)期刊)應(yīng)建立信息技術(shù)倫理和人權(quán)審查機(jī)制，堅(jiān)持人性尊嚴(yán)本位原則，防止算法歧視。關(guān)于人工智能學(xué)術(shù)研究的“土匪搶山頭”說(shuō)，參見(jiàn)楊學(xué)科《論人工智能時(shí)代的法學(xué)教育新挑戰(zhàn)、新機(jī)遇和新模式》，載《法學(xué)教育研究》，2018年第4期。，但這并不代表不是一個(gè)值得研究的學(xué)術(shù)問(wèn)題，恰恰相反，在未來(lái)的智能互聯(lián)網(wǎng)時(shí)代，“知識(shí)極易擴(kuò)散，科技倫理失靈尤為嚴(yán)重”[3]，這將是一個(gè)相當(dāng)重要的問(wèn)題。借用美國(guó)斯坦福大學(xué)人工智能專家杰瑞·卡普蘭(Jerry Kaplan)的比喻延伸一下：“機(jī)器學(xué)習(xí)對(duì)于互聯(lián)網(wǎng)而言，就像是魚(yú)和水的關(guān)系一樣，對(duì)魚(yú)來(lái)說(shuō)就是要在汪洋大海當(dāng)中游泳?！盵4]算法相當(dāng)于魚(yú)兒最重要的呼吸器官魚(yú)鰓，魚(yú)鰓要通過(guò)過(guò)濾數(shù)據(jù)海水來(lái)呼吸，算法歧視相當(dāng)于水不干凈了，魚(yú)鰓黑了，這樣魚(yú)兒也不可能健康了?！梆B(yǎng)魚(yú)先養(yǎng)水，治病先治鰓”，鑒此就可知道算法歧視治理的重要性了。

一、算法歧視產(chǎn)生的原因及其危害

算法是計(jì)算機(jī)科學(xué)領(lǐng)域的一個(gè)專業(yè)術(shù)語(yǔ)，指的是“有限、抽象、有效并且符合規(guī)律的復(fù)合控制結(jié)構(gòu)，在一定的規(guī)則條件下完成特定的目的”[5]。在一定程度上，算法就是一組用來(lái)產(chǎn)生輸出的指令：用于決策的方法，用于尋找解決方案。在算法規(guī)則下，給定初始狀態(tài)或輸入數(shù)據(jù)，能夠得出所要求或期望的終止?fàn)顟B(tài)或輸出數(shù)據(jù)。智能互聯(lián)網(wǎng)時(shí)代的算法更進(jìn)一步，可以自主地根據(jù)統(tǒng)計(jì)模型或決策規(guī)則進(jìn)行決策，而不需要明確的人工干預(yù)。這種智能算法的自主決策系統(tǒng)，被認(rèn)為能夠?yàn)槿祟惿鐣?huì)生活中的各種決策和事務(wù)提供徹底的客觀性、可靠性、公正性。但在理論和實(shí)踐上幾乎可以肯定的是，智能算法將會(huì)加速并放大現(xiàn)有的人類偏見(jiàn)、歧視觀念。

討論歧視的前提和研究共識(shí)是歧視在道德上是錯(cuò)誤的，而且在廣泛的情況下，也應(yīng)該是被法律禁止的，算法歧視亦然。對(duì)于算法歧視的定義，筆者所及資料范圍內(nèi)尚未見(jiàn)到一個(gè)，為了后文討論的必要，筆者不揣淺陋，把算法歧視定義為算法在編碼、收集、選擇或使用數(shù)據(jù)訓(xùn)練時(shí)，會(huì)出現(xiàn)直接或間接基于種族、膚色、性別、宗教、政治見(jiàn)解、民族、血統(tǒng)或社會(huì)出身等的區(qū)別、排斥或特惠的偏見(jiàn)現(xiàn)象。

世界范圍內(nèi)，對(duì)算法歧視最早的討論應(yīng)該始于1996年，美國(guó)學(xué)者巴蒂亞·弗里德曼(Batya Friedman)、海倫·尼森鮑姆(Helen Nissenbaum)基于實(shí)際案例探討了計(jì)算機(jī)系統(tǒng)中存在的三種類型的偏見(jiàn)：現(xiàn)有的、技術(shù)的和緊急的。偏見(jiàn)的根源在于社會(huì)制度、實(shí)踐和態(tài)度。技術(shù)偏見(jiàn)源于技術(shù)限制或考慮因素。緊急的偏見(jiàn)是在使用的環(huán)境中產(chǎn)生的。[6]2016年9月，國(guó)際權(quán)威學(xué)術(shù)刊物《自然》發(fā)表題為《大數(shù)據(jù)算法需要更多責(zé)任》的社論文章，文章指出，算法既帶來(lái)了信息和方便，也造成了很多隱性的不平等，甚至是偏見(jiàn)，對(duì)算法簡(jiǎn)單過(guò)度的依賴存在嚴(yán)重缺陷。[7]2017年4月，美國(guó)《科學(xué)》雜志刊登的一項(xiàng)研究成果，通過(guò)詞向量事實(shí)聯(lián)想測(cè)驗(yàn)(WEFAT)，從科學(xué)上證明計(jì)算機(jī)也可以產(chǎn)生偏見(jiàn)，尤其是當(dāng)計(jì)算機(jī)向人類學(xué)習(xí)時(shí)。當(dāng)智能算法通過(guò)分析處理人類書(shū)寫的文本來(lái)學(xué)習(xí)詞句的含義時(shí)，他們也會(huì)獲得類似于人類偏見(jiàn)那樣的刻板印象。[8]谷歌的照片應(yīng)用程序曾將黑人的圖像標(biāo)記為大猩猩。谷歌的在線廣告系統(tǒng)曾經(jīng)更傾向于向男性展示高收入工作，且頻率遠(yuǎn)高于女性。Facebook曾被指控其允許廣告商在其廣告中通過(guò)房屋進(jìn)行種族歧視。哈佛大學(xué)的一項(xiàng)研究發(fā)現(xiàn)，網(wǎng)頁(yè)搜索中搜索那些聽(tīng)起來(lái)很像黑人的名字比那些聽(tīng)起來(lái)很像白人的名字更有可能觸發(fā)犯罪記錄內(nèi)容。[9]2016年非盈利新聞機(jī)構(gòu)ProPublica的一項(xiàng)調(diào)查發(fā)現(xiàn)，用來(lái)預(yù)測(cè)未來(lái)罪犯的軟件對(duì)黑人有偏見(jiàn)，白人被告比黑人被告更容易被貼上低風(fēng)險(xiǎn)的標(biāo)簽。[10]當(dāng)算法存在歧視，會(huì)產(chǎn)生有礙人性尊嚴(yán)的后果，算法歧視治理也要循序漸進(jìn)，我們沒(méi)理由相信算法歧視會(huì)在智能互聯(lián)網(wǎng)時(shí)代突然消失。鑒此，往下的探討也就存有必要性和意義了。

(一)算法歧視產(chǎn)生的原因

上文已述算法事實(shí)上能夠做出可能歧視特定人群的決策，理論上算法公平問(wèn)題廣受關(guān)注。對(duì)于產(chǎn)生算法歧視的原因，筆者認(rèn)為主要包括內(nèi)置性編碼凝視，有限、不相關(guān)或不正確的訓(xùn)練數(shù)據(jù)，算法黑箱建模方法的歧視或三者的不同組合。按照引言部分的魚(yú)兒比喻，內(nèi)置性編碼凝視，有限、不相關(guān)或不正確的訓(xùn)練數(shù)據(jù)相當(dāng)于水被污染了，而算法黑箱建模方法的歧視是魚(yú)鰓黑了。這種契喻盡管不甚完美，但有助于本文的科學(xué)術(shù)語(yǔ)理解。

1.內(nèi)置性編碼凝視

算法是編程人員的主觀判斷和選擇，帶有很強(qiáng)的意識(shí)形態(tài)成分，“本質(zhì)上存在價(jià)值負(fù)荷，不同價(jià)值判斷的人會(huì)設(shè)計(jì)出不同的算法來(lái)解決問(wèn)題”[11]。算法的輸出結(jié)果將始終反映出構(gòu)建它們的人的設(shè)計(jì)選擇。在算法中，數(shù)據(jù)的采集、標(biāo)注和算法的設(shè)計(jì)往往負(fù)載著價(jià)值，可能會(huì)把設(shè)計(jì)者自己持有的偏見(jiàn)嵌入智能算法之中，所以，在某種程度上，算法是嵌入在代碼中的觀點(diǎn)，也內(nèi)置性反映了人類的偏見(jiàn)。正如騰訊研究院曹建峰先生所言，在本質(zhì)上，算法是“以數(shù)學(xué)方式或者計(jì)算機(jī)代碼表達(dá)意見(jiàn)，包括其設(shè)計(jì)、目的、成功標(biāo)準(zhǔn)、數(shù)據(jù)使用等都是設(shè)計(jì)者、開(kāi)發(fā)者的主觀選擇，設(shè)計(jì)者和開(kāi)發(fā)者可能將自己所懷抱的偏見(jiàn)嵌入算法系統(tǒng)”[12]。而智能互聯(lián)網(wǎng)時(shí)代的智能算法可能會(huì)固化或擴(kuò)大歧視數(shù)據(jù)，即偏見(jiàn)進(jìn)，偏見(jiàn)出，有偏見(jiàn)的數(shù)據(jù)可能又成為新的訓(xùn)練數(shù)據(jù)樣本，污染的數(shù)據(jù)又產(chǎn)生了污染的結(jié)果，來(lái)回反復(fù)，形成“自我實(shí)現(xiàn)的歧視性反饋環(huán)”。這種將我們個(gè)人固有的偏見(jiàn)嵌入到代碼系統(tǒng)中的偏見(jiàn)，也被稱為編碼凝視(Coded Gaze)。

一個(gè)有偏見(jiàn)的世界會(huì)導(dǎo)致有偏見(jiàn)的數(shù)據(jù)集，反過(guò)來(lái)，也會(huì)產(chǎn)生偏見(jiàn)的智能算法決策結(jié)果。內(nèi)置性編碼凝視可以是無(wú)意識(shí)的自我偏見(jiàn)添附，真正恐怖的是一種故意歧視、直接歧視，有意而明確地制定排除或偏好的算法，特別是個(gè)人的惡意歧視行為融入數(shù)據(jù)集，諸如對(duì)法律明文禁止歧視的“受保護(hù)的類別”(如性別、種族、宗教或年齡)進(jìn)行歧視，還有就是掠奪性的借貸行為，住房供應(yīng)的富人轉(zhuǎn)向，拒絕銀行或保險(xiǎn)業(yè)務(wù)等。

2.有限、不相關(guān)或不正確的訓(xùn)練數(shù)據(jù)

正如《數(shù)學(xué)毀滅武器》的作者凱茜·奧尼爾(Cathy O’neil)認(rèn)為的那樣，“大數(shù)據(jù)過(guò)程將歷史編纂成書(shū)?！盵13]算法并沒(méi)有發(fā)明未來(lái)，算法的大規(guī)模數(shù)據(jù)挖掘的一個(gè)關(guān)鍵假設(shè)是過(guò)去的趨勢(shì)會(huì)繼續(xù)下去，是基于識(shí)別模式和從已有的歷史數(shù)據(jù)“學(xué)習(xí)”，歷史數(shù)據(jù)用來(lái)告知未來(lái)的決策和預(yù)測(cè)。問(wèn)題就恰恰在于這些歷史數(shù)據(jù)。算法本身是定量的，有限、不相關(guān)或不正確的內(nèi)在使用的數(shù)據(jù)源都可以反映甚至放大歷史歧視。有限乃至缺乏的數(shù)據(jù)，代表著數(shù)據(jù)樣本代表性不足或存在偏差，例如用不代表整個(gè)種群的數(shù)據(jù)而輸出的算法結(jié)果，很容易將對(duì)歷史上被忽視的少數(shù)群體、窮人和老年人的偏見(jiàn)持續(xù)化，2014年白宮大數(shù)據(jù)報(bào)告中承認(rèn)了這種歧視的可能性[14]。不相關(guān)的訓(xùn)練數(shù)據(jù)，如在一些情況下，教育背景可能是“社會(huì)噪音”，因?yàn)樯暾?qǐng)人參加的學(xué)?？赡軣o(wú)法準(zhǔn)確預(yù)測(cè)特定職位的適合度或技能。不正確的訓(xùn)練數(shù)據(jù)，包括選擇不當(dāng)，如農(nóng)村老人手機(jī)使用率調(diào)查數(shù)據(jù)集，只觀察智能手機(jī)用戶，不觀察非智能手機(jī)用戶。還有就是保持和促進(jìn)歷史偏見(jiàn)的訓(xùn)練數(shù)據(jù)，如對(duì)女性與護(hù)士、男性與醫(yī)生、男性與建筑師、女性與室內(nèi)設(shè)計(jì)師之間的刻板化等同，一些數(shù)據(jù)點(diǎn)我們認(rèn)為是“中性”的，如住房狀況、教育水平、信用評(píng)分、甚至犯罪記錄等，實(shí)際上是假設(shè)忽略元素的種族不平等，這些歧視數(shù)據(jù)的輸出亦為歧視性數(shù)據(jù)，將歷史性的、持續(xù)的間接歧視固化或擴(kuò)大。例如微軟的Cortana、谷歌Now、蘋果的Siri等智能語(yǔ)音助手幾乎都默認(rèn)為女性聲音，這反映了一種危險(xiǎn)的性別刻板印象：女性比男性更溫柔、順從和樂(lè)于助人。

基于有限、不相關(guān)或不正確的訓(xùn)練數(shù)據(jù)的算法歧視主要表現(xiàn)為間接歧視，這通常不是一種直接的聲譽(yù)侵害災(zāi)難，但它可能是嚴(yán)重的法律和道德上的錯(cuò)誤?？梢越梃b的是，美國(guó)最高法院的格里格斯訴杜克能源案(1971年)產(chǎn)生的差異影響原則，仍然對(duì)此類算法歧視有重要甄別作用。

3.算法黑箱建模方法產(chǎn)生的歧視

當(dāng)今的算法最難解的問(wèn)題是算法的黑箱性質(zhì)問(wèn)題。迄今為止，學(xué)界沒(méi)有任何理論完美解釋算法黑箱問(wèn)題，盡管不時(shí)有“信息瓶頸”[15]等有望打開(kāi)算法黑箱的新理論出現(xiàn)，但智能互聯(lián)網(wǎng)時(shí)代，人工智能越來(lái)越依賴的深度學(xué)習(xí)(主要是神經(jīng)網(wǎng)絡(luò))的自主算法問(wèn)題依然是復(fù)雜的、不可預(yù)測(cè)的、難以解釋的，甚至包括開(kāi)發(fā)操作人員也不能完全理解自主算法輸出是如何產(chǎn)生的。像最熱的智能算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，其非顯式編程，而是隱藏的自我學(xué)習(xí)、自我編程，可以輕松擬合萬(wàn)維以上的函數(shù)，但超過(guò)了二十維函數(shù)人類就難理解了，所以，向我們解釋這種算法的困難，就如同哥倫比亞大學(xué)的機(jī)器人學(xué)家胡迪·利普森(Hod Lipson)所比喻的那樣，“在某種程度上，這就像是向一只狗解釋莎士比亞是誰(shuí)?！盵16]

智能算法黑箱，中間過(guò)程不可描述，其通過(guò)關(guān)注不成比例的數(shù)據(jù)尋找相關(guān)性(哪怕是隱藏的)，因降維挖掘，一些令人不安的隱性歧視也容易被智能算法捕捉。如將女性與家庭、藝術(shù)、人文職業(yè)關(guān)聯(lián)，男性與數(shù)學(xué)、工程相連，歐美人與“禮物”等快樂(lè)詞匯勾連，非裔美國(guó)人與不愉快詞語(yǔ)相連。也就是說(shuō)，智能算法黑箱可以從某些表面不敏感但存在某些敏感特性的數(shù)據(jù)中挖掘、勾連、建立相關(guān)性，如郵政編碼可能與種族、大學(xué)專業(yè)、性別、健康和社會(huì)經(jīng)濟(jì)地位有很大關(guān)系。因?yàn)槟愕呐笥押图胰擞蟹缸镉涗?，所以你很可能?huì)被智能算法黑箱推算為一個(gè)慣犯。智能算法黑箱的歧視很難控制，正如梭倫·巴洛克斯(Solon Barocas)和安得烈·什比特(Andrew D.Selbst)在《加州法律評(píng)論》中發(fā)表的文章《大數(shù)據(jù)的不同影響》中寫道:“即使在數(shù)據(jù)挖掘人員非常小心的情況下，他們?nèi)匀豢梢酝ㄟ^(guò)模型來(lái)影響歧視性結(jié)果，而這些模型在無(wú)意中會(huì)為受保護(hù)的類別挑選代理變量。[17]已誕生的微軟推特(Twitter)機(jī)器人“泰”(Tay)即為顯例，從與其溝通的人那里學(xué)習(xí)，在數(shù)小時(shí)內(nèi)成為一名種族主義者?？梢?jiàn)，即使指導(dǎo)算法的參數(shù)是完全合理的，算法歧視還會(huì)莫名其妙地產(chǎn)生，這是現(xiàn)階段我們期待的數(shù)字科學(xué)主義的無(wú)奈與暗傷。

(二)算法歧視的危害

早在1999年，哈佛大學(xué)的勞倫斯·萊斯格(Lawrence Lessig)就告訴我們，“代碼就是法律——系統(tǒng)的體系結(jié)構(gòu)，以及運(yùn)行它們的代碼和算法，都可以對(duì)自由產(chǎn)生強(qiáng)大的影響?！盵18]算法這種新技術(shù)，遠(yuǎn)非一種現(xiàn)代科學(xué)中立工具，其以特殊的決策形式、新的認(rèn)識(shí)論的化身、新的意識(shí)形態(tài)載體的方式體現(xiàn)、表達(dá)和融入特定的文化，并塑造我們?nèi)绾伟凑者@些文化的假設(shè)來(lái)進(jìn)行優(yōu)先次序的生活。我們無(wú)時(shí)無(wú)刻都會(huì)感受到算法和以數(shù)據(jù)為中心的壓力，特別是“編碼凝視”或“數(shù)學(xué)毀滅武器”的力量正在暗里使勁——幫助決定誰(shuí)被雇傭，能否獲得貸款，給老師和學(xué)生打分，排序簡(jiǎn)歷，評(píng)估工人，監(jiān)控我們的健康，甚至決定某人在監(jiān)獄里呆多久，最終輸出結(jié)果會(huì)不公平地限制機(jī)會(huì)、限制服務(wù)，甚至產(chǎn)生算法紅線[注]在美國(guó)，紅線(Redlining)是指根據(jù)某些地區(qū)的種族或民族構(gòu)成，直接或通過(guò)有選擇地提高價(jià)格向這些地區(qū)的居民拒絕提供服務(wù)的做法。最著名的紅線案例涉及拒絕銀行或保險(xiǎn)等金融服務(wù)等。紅線的做法被美國(guó)國(guó)會(huì)定義為非法。算法紅線(Algorithmic Redlining)是一種數(shù)字歧視形式，與長(zhǎng)期的“紅線”做法密切相關(guān)。它通常是在人們不知情的情況下通過(guò)數(shù)字化機(jī)制(算法、自動(dòng)化和人工智能排序等)，定位或排除不喜歡的對(duì)象。它會(huì)產(chǎn)生、維持或加深種族、族裔和性別歧視等，也會(huì)影響與社會(huì)中的商品和服務(wù)分配密切相關(guān)的教育、住房和其他公民權(quán)利。例如2016年亞馬遜因未向許多社群提供Prime當(dāng)日送達(dá)服務(wù)而受到指責(zé)，這些社群主要是非裔美國(guó)人，收入低于全國(guó)平均水平。。2018年“大赦國(guó)際”出臺(tái)的《關(guān)于保護(hù)機(jī)器學(xué)習(xí)系統(tǒng)中的平等和不歧視權(quán)利的多倫多宣言》詳細(xì)列數(shù)了算法(機(jī)器學(xué)習(xí))系統(tǒng)歧視對(duì)人權(quán)的影響，認(rèn)為其會(huì)影響廣泛的人權(quán)，例如平等權(quán)、隱私權(quán)、言論自由權(quán)、參與文化生活權(quán)、獲得救濟(jì)權(quán)和生命權(quán)等。

在道德倫理上，算法歧視也是錯(cuò)誤有危害的，盡管其可用機(jī)器經(jīng)驗(yàn)主義的外表掩飾這種不公平，但結(jié)果會(huì)更糟糕。首先，算法越來(lái)越多地用于確定資源的分配，算法歧視惡化了分配不公。例如商業(yè)算法運(yùn)作普遍推行“動(dòng)態(tài)差異化定價(jià)”，表現(xiàn)在我們消費(fèi)者身上就是算法殺熟，購(gòu)買次數(shù)越多價(jià)格越貴，這是典型的消費(fèi)歧視。還有我們?yōu)g覽一個(gè)網(wǎng)頁(yè)或商品后，算法會(huì)重復(fù)性推薦關(guān)聯(lián)內(nèi)容的網(wǎng)頁(yè)，樂(lè)之者，以為天下如此甚好正合我意，實(shí)際上重復(fù)性內(nèi)容已在信息繭房的基礎(chǔ)上生成算法賄賂；惡之者，低俗下賤居然如此羞辱我意，實(shí)際上這種騷擾性內(nèi)容已在腌臜不堪基礎(chǔ)上歧視人格，兩種都是典型的信息歧視，后者容易造成被互聯(lián)網(wǎng)活動(dòng)家伊萊·帕里澤(Eli Pariser)稱為“過(guò)濾泡沫”(Filter Bubbles)的危害。其次，算法正越來(lái)越多地被用來(lái)做那些會(huì)嚴(yán)重影響人們生活的政府決策，特別是公共安全算法(作為規(guī)則的算法)所產(chǎn)生的算法歧視會(huì)造成難以彌補(bǔ)的實(shí)際損害。公共安全算法決定你是否有恐怖嫌疑，其依據(jù)可能只是你與某恐怖大亨同名，不幸的是你可能會(huì)無(wú)辜的因疑似恐怖分子被羈留檢查，次數(shù)可能是屢次，此例美國(guó)已多次發(fā)生。這在預(yù)測(cè)性警務(wù)、累犯風(fēng)險(xiǎn)評(píng)估、刑事風(fēng)險(xiǎn)評(píng)估等公共領(lǐng)域表現(xiàn)尤為明顯。最后，偏離核心文化和社會(huì)準(zhǔn)則的算法歧視會(huì)自我強(qiáng)化，會(huì)形成恢復(fù)舊社會(huì)隔離形式的“算法身份政治”[注]算法身份政治恢復(fù)舊形式的社會(huì)隔離。在數(shù)字世界中，身份政治是模式歧視，通過(guò)識(shí)別輸入數(shù)據(jù)中的模式，人工智能算法產(chǎn)生偏差并實(shí)踐種族排斥，從而將權(quán)力關(guān)系銘刻到媒體中。 CLEMENS APPRICH，WENDY CHUN H K,et al.Pattern discrimination[M].Minneapolis:University of Minnesota Press,2018:118.，形成“黑箱社會(huì)”。凱茜·奧尼爾在《數(shù)學(xué)毀滅武器：大數(shù)據(jù)增加不平等和威脅民主》中警告，算法存在著不透明、可擴(kuò)展且不公平的特點(diǎn)，可能會(huì)把我們引入歧途：強(qiáng)化針對(duì)窮人的歧視、強(qiáng)化種族主義和擴(kuò)大不平等。[19]我們知道偏見(jiàn)引起歧視，只有在某些帶有偏見(jiàn)的信念是正確的情況下，歧視行為才有可能被證明是正當(dāng)?shù)?。?wèn)題的關(guān)鍵即在此，算法不會(huì)區(qū)別“無(wú)偏見(jiàn)的理由”，現(xiàn)階段不存在道德想象力，其會(huì)產(chǎn)生基于污染的數(shù)據(jù)持續(xù)地強(qiáng)化、增強(qiáng)偏離核心文化和社會(huì)準(zhǔn)則的算法歧視。

二、算法歧視之治理與算法公正之立塑

算法不是完美的，所以簡(jiǎn)單地服從于算法統(tǒng)治不能解決算法歧視問(wèn)題。對(duì)于算法歧視的治理，域外已經(jīng)從技術(shù)和制度兩個(gè)層面展開(kāi)，有豐富的經(jīng)驗(yàn)可資借鑒。

域外技術(shù)治理層面上，通過(guò)算法反歧視、審計(jì)、監(jiān)管工具的設(shè)立來(lái)關(guān)注算法所帶來(lái)的潛在偏見(jiàn)和歧視風(fēng)險(xiǎn)。威斯康辛大學(xué)學(xué)者合作開(kāi)發(fā)了用于測(cè)量和修復(fù)偏差的工具FairSquare[20]?？▋?nèi)基梅隆大學(xué)的研究人員已經(jīng)開(kāi)發(fā)出一種用于檢測(cè)不透明的算法偏差的新系統(tǒng)“定量輸入影響”(QII)。[21]華盛頓大學(xué)計(jì)算機(jī)科學(xué)教授馬可·圖里奧·里貝羅(Marco Tulio Ribeiro)提出的“局部可理解的與模型無(wú)關(guān)的解釋技術(shù)”(Model-Agnostic Explanations；LIME)框架，有助于理解不透明算法生成的預(yù)測(cè)。[22]前述的凱茜·奧尼爾推出了一個(gè)名為ORCAA的算法審計(jì)咨詢公司。麻省理工學(xué)院媒體實(shí)驗(yàn)室公民媒體小組的研究員喬伊·不萊梅溫妮(Joy Buolamwini)建立了算法正義聯(lián)盟，并采用技術(shù)手段監(jiān)測(cè)機(jī)器學(xué)習(xí)算法中的偏見(jiàn)。

在域外制度層面上，早在2014年5月，美國(guó)白宮就發(fā)布了《大數(shù)據(jù)：抓住機(jī)遇，保存價(jià)值》，呼吁重視自動(dòng)化決策中的歧視問(wèn)題。2016年1月26日，法國(guó)國(guó)民議會(huì)投票支持一項(xiàng)關(guān)于數(shù)字權(quán)利的新法案。該法案包括有關(guān)算法透明度和“忠誠(chéng)”(或公平)、在線平臺(tái)和算法決策的義務(wù)。2017年12月18日，紐約市議會(huì)通過(guò)了美國(guó)第一個(gè)解決城市政府算法歧視的法案，該法案將指派一個(gè)特別工作組來(lái)研究城市政府機(jī)構(gòu)使用算法的方式，研究使用算法決策如何影響紐約人的生活，是否系統(tǒng)地出現(xiàn)基于年齡、種族、宗教、性別、性取向或國(guó)籍等歧視現(xiàn)象。2018年5月25日生效的歐盟《統(tǒng)一數(shù)據(jù)保護(hù)條例》(GDPR)為解決算法歧視問(wèn)題，提出數(shù)據(jù)無(wú)害化和算法透明性兩原則，并建立了算法解釋權(quán)，歐盟國(guó)家公民將有權(quán)要求“審查某項(xiàng)特定服務(wù)中如何做出特定算法決策”，要求算法決策的透明化。美國(guó)威斯康辛州和德克薩斯州的法院已經(jīng)開(kāi)始限制算法，強(qiáng)制要求對(duì)犯罪預(yù)測(cè)的準(zhǔn)確性進(jìn)行“警告標(biāo)簽”，并允許教師挑戰(zhàn)他們的算法成績(jī)排名。2017年1月，在達(dá)沃斯世界經(jīng)濟(jì)論壇上，IBM的CEO羅睿蘭(Ginni Rometty)宣布了認(rèn)知時(shí)代的透明度和信任的基本原則。2017年5月25日，計(jì)算機(jī)協(xié)會(huì)(ACM)公布了算法透明度和問(wèn)責(zé)原則。還有，像微軟和谷歌這樣的互聯(lián)網(wǎng)獨(dú)角獸都已經(jīng)在道德委員會(huì)的形式下采取了反算法歧視和偏見(jiàn)的措施。

(一)算法歧視的糾偏：技術(shù)治理

技術(shù)的問(wèn)題，技術(shù)解決。算法歧視的糾偏有賴于技術(shù)治理，特別是公平感的數(shù)據(jù)挖掘、識(shí)別和發(fā)現(xiàn)，以及在算法系統(tǒng)中測(cè)試和糾正偏差的歧視預(yù)防算法的開(kāi)發(fā)。本文認(rèn)為，多樣性加入、透明度、問(wèn)責(zé)制是算法歧視技術(shù)治理的三個(gè)維度，將有助于盡量減少算法技術(shù)層面的歧視風(fēng)險(xiǎn)。

首先，多樣性加入。歧視本質(zhì)上是對(duì)“異己”的排斥，如前所述，算法歧視原因中內(nèi)置性編碼凝視，有限、不相關(guān)或不正確的訓(xùn)練數(shù)據(jù)兩種原因中，如果能融入多樣性，可以在一定程度上減少歧視誘發(fā)因子。我們此處所說(shuō)的多樣性，包括研發(fā)人員和數(shù)據(jù)多樣性兩種。多樣性加入，最好是算法的每個(gè)階段都融入多樣性。例如，只由年輕的白人男性設(shè)計(jì)和創(chuàng)造的算法，總是能讓年輕的白人男性被排除在所有其他人之外，而研發(fā)人員多樣性，多樣性的性別、種族或性取向等觀點(diǎn)都可以被慎重考量、平等對(duì)待地納入算法，特別是一系列關(guān)鍵算法利益攸關(guān)者(包括潛在的算法影響主體)的加入。在算法數(shù)據(jù)集里，少數(shù)群體通常是被低估的，這是一個(gè)普遍問(wèn)題。數(shù)據(jù)多樣性的加入，或采取主動(dòng)的方式調(diào)整算法以糾正偏差，是確保不同種族的人得到平等對(duì)待的技術(shù)措施之一。

其次，算法透明度。算法歧視是缺乏透明度的直接后果。計(jì)算機(jī)協(xié)會(huì)(ACM)發(fā)布算法透明和問(wèn)責(zé)性七項(xiàng)原則，致力于解決算法歧視，開(kāi)出的藥方是救濟(jì)和解釋：對(duì)算法決策提出質(zhì)疑并獲得救濟(jì)。鼓勵(lì)使用算法決策的組織和機(jī)構(gòu)對(duì)算法所遵循的程序和所做出的具體決策進(jìn)行解釋。[23]IEEE提出，應(yīng)將透明性和問(wèn)責(zé)性作為首要目標(biāo)，應(yīng)向個(gè)體提供向人類申訴的救濟(jì)機(jī)制。歐盟的GDPR則賦予個(gè)人要求解釋的權(quán)利。算法的透明性，最簡(jiǎn)單的實(shí)現(xiàn)途徑是仔細(xì)檢查算法學(xué)習(xí)的數(shù)據(jù)，防止這種潛在的基于敏感屬性的歧視或歧視結(jié)果。源代碼的開(kāi)源，被證明對(duì)審查和分類大量數(shù)據(jù)非常有效，但對(duì)于智能算法而言，一般不能完美解釋算法過(guò)程的透明度問(wèn)題，還涉及到商業(yè)秘密等問(wèn)題，現(xiàn)實(shí)意義不大。但模型、算法、數(shù)據(jù)和決策應(yīng)被記錄，以便在懷疑有損害的情況下對(duì)其進(jìn)行審查。再有對(duì)偏見(jiàn)算法洞察、監(jiān)管透明性的途徑可使用第三方審計(jì)，算法決策的準(zhǔn)確因果理由是可靠的審計(jì)線索。前述的FairSquare、QII和LIME都是識(shí)別發(fā)現(xiàn)歧視的技術(shù)工具，還有了諸如ORCAA這樣的算法審計(jì)公司。

最后，算法問(wèn)責(zé)制。如前所述，算法透明度對(duì)于解決智能互聯(lián)網(wǎng)時(shí)代的智能算法的深層偏見(jiàn)問(wèn)題，并不總是必要的或充分的，此外至今科學(xué)上都沒(méi)有完美解答算法黑箱歧視問(wèn)題。所以，創(chuàng)建算法問(wèn)責(zé)制，能使公民在遭受算法歧視的時(shí)候，知道自己遭受了歧視以及如何救濟(jì)?？梢哉f(shuō)，現(xiàn)今算法創(chuàng)新與監(jiān)管不同步調(diào)，算法監(jiān)管遠(yuǎn)遠(yuǎn)落后于編程算法創(chuàng)新，并且對(duì)日益增長(zhǎng)的(已經(jīng)是歧視性的)數(shù)據(jù)集監(jiān)管寬松，從經(jīng)驗(yàn)主義看來(lái)，這是令人沮喪且需要做出行動(dòng)的。

問(wèn)責(zé)制意味著有義務(wù)報(bào)告和解釋算法決策，并減輕任何負(fù)面的社會(huì)影響或潛在危害。在計(jì)算機(jī)協(xié)會(huì)(ACM)的算法透明度和問(wèn)責(zé)性七原則中，指出必須有監(jiān)管機(jī)制,以糾正對(duì)個(gè)人造成的損害和在算法中發(fā)現(xiàn)的偏見(jiàn)。還有，盡管他們無(wú)法解釋這些決定是如何作出的,但各機(jī)構(gòu)對(duì)其算法所作出的決定負(fù)有責(zé)任。[23]所謂算法問(wèn)責(zé)制，即必須有人處理算法所造成的危害，相關(guān)責(zé)任主體有解釋的義務(wù)和對(duì)算法決策負(fù)有責(zé)任。在技術(shù)治理層面，算法問(wèn)責(zé)制的實(shí)現(xiàn)，相關(guān)監(jiān)管主體可通過(guò)現(xiàn)有數(shù)據(jù)挖掘來(lái)發(fā)現(xiàn)算法歧視歷史記錄來(lái)實(shí)現(xiàn)監(jiān)管。相關(guān)責(zé)任主體可通過(guò)開(kāi)發(fā)在不需要透明度的情況下保證問(wèn)責(zé)制的技術(shù)，利用算法監(jiān)督算法，各大互聯(lián)網(wǎng)公司正在朝此方向深入研究，有望開(kāi)發(fā)出系統(tǒng)、科學(xué)、高效的監(jiān)控算法的算法。

(二)算法制度化立塑：算法公正

算法歧視治理的另一機(jī)制是制度化治理，算法制度化立塑集中在算法公正。算法公正的實(shí)現(xiàn)主要圍繞著算法公正價(jià)值觀、多元共治、算法素養(yǎng)三個(gè)方面來(lái)進(jìn)行。

首先，算法時(shí)代的算法核心價(jià)值觀應(yīng)確定為公正。如今的算法不甚聰明，但其已經(jīng)占領(lǐng)了世界，未來(lái)智能互聯(lián)網(wǎng)時(shí)代的智能算法將會(huì)開(kāi)啟一個(gè)全新的算法時(shí)代。在這個(gè)算法時(shí)代里，價(jià)值觀和美德的主宰者不能僅僅只有科技行業(yè)，更需要廣泛的社會(huì)參與、全面實(shí)用的算法系統(tǒng)影響分析。如凱特·克勞福德(Kate Crawford)和雷恩·卡羅(Ryan Calo)在《自然》發(fā)表評(píng)論文章批評(píng)的那樣，傳統(tǒng)上對(duì)人工智能系統(tǒng)的社會(huì)和倫理影響的關(guān)注有三種主要模式：依從性、設(shè)計(jì)價(jià)值和思想實(shí)驗(yàn)。依從性主要是指行業(yè)在部署和執(zhí)行上，采取的基本步驟，堅(jiān)持一套行業(yè)最佳做法或法律義務(wù)，但主要是被動(dòng)的一己之力，缺乏社會(huì)公眾參與。在設(shè)計(jì)價(jià)值上主要是只停留在尚未實(shí)現(xiàn)的如價(jià)值敏感設(shè)計(jì)或“負(fù)責(zé)任的創(chuàng)新 ”這樣的框架內(nèi)，以幫助他們識(shí)別可能的利益相關(guān)者及其價(jià)值。思想實(shí)驗(yàn)上過(guò)多地關(guān)注了特殊情景下諸如電車問(wèn)題的假設(shè)情況。[24]也就是說(shuō)，算法時(shí)代的核心價(jià)值觀確立，需要社會(huì)各階層的全面參與，以便更全面、更綜合分析其對(duì)廣泛社會(huì)場(chǎng)域的影響，而非只是停留在計(jì)算機(jī)科學(xué)的試驗(yàn)場(chǎng)域。

算法的原初價(jià)值觀是重視效率而不是正確性或公平性，在某種程度上，追求算法效用最大化目標(biāo)，出現(xiàn)了算法歧視等不公平，尤其是對(duì)某些少數(shù)邊緣群體。而今，算法的價(jià)值觀開(kāi)始轉(zhuǎn)向算法公平，希望設(shè)計(jì)出能夠在不同的人群中進(jìn)行公平預(yù)測(cè)的算法。我們將算法的公平性重新定義為約束優(yōu)化，目標(biāo)是最大化公共安全，同時(shí)滿足旨在減少種族差異等的公平約束。[25]在算法公平中，公平理念應(yīng)納入算法完整鏈條中，算法結(jié)果公平和過(guò)程公平同樣重要。在生成算法前，預(yù)處理消除數(shù)據(jù)中任何不公平的來(lái)源。在處理過(guò)程中，將公平性調(diào)整作為算法構(gòu)建過(guò)程的一部分，最好的是將公平的法律和倫理模型轉(zhuǎn)化為代碼融入。在算法應(yīng)用后，它的性能通過(guò)后處理調(diào)整使它更公平。但現(xiàn)在問(wèn)題就在于，計(jì)算機(jī)科學(xué)家和數(shù)學(xué)家對(duì)公平性還未形成一個(gè)良定義。

其次，多元共治算法歧視。治理已經(jīng)成為一種社會(huì)領(lǐng)域重要的概念或思考方式，現(xiàn)代治理理論更是強(qiáng)調(diào)多元主體在治理過(guò)程中展開(kāi)協(xié)同治理合作。對(duì)于算法歧視治理主體應(yīng)該更多樣化，應(yīng)由行業(yè)、政府、社會(huì)、算法本身協(xié)同共治。行業(yè)自律層面上，科技行業(yè)可以采取內(nèi)部反算法歧視原則、措施，這是行業(yè)自我規(guī)制、自我監(jiān)管的反算法歧視的治理策略。比較典型的例子是谷歌，在企業(yè)文化中倡導(dǎo)“不作惡”，在算法學(xué)習(xí)中提出了機(jī)會(huì)平等的概念，還成立了道德委員會(huì)。算法日益在其覆蓋領(lǐng)域變成支配和控制權(quán)力的結(jié)構(gòu)，這種算法權(quán)力結(jié)構(gòu)需要強(qiáng)有力的政府干預(yù)手段(特別是硬性之治)，政府可以通過(guò)制度供給、公共服務(wù)供給、共同監(jiān)管、信息教育等措施規(guī)制算法歧視，教育人民算法歧視危害并支持適當(dāng)?shù)姆此惴ㄆ缫暰葷?jì)措施。在政府層面，為了削弱或者避免算法歧視，前述的美國(guó)、法國(guó)、歐盟等都已在立法甚至司法層面先行一步。社會(huì)層面上，軟法之治是算法歧視治理的柔性之治，“軟法為互聯(lián)網(wǎng)時(shí)代的法治發(fā)展提供了絕佳的治理工具，而互聯(lián)網(wǎng)時(shí)代為軟法充分發(fā)展提供了廣闊空間”。[26]前述的USACM和EUACM共同發(fā)布的算法透明度和問(wèn)責(zé)制七原則中關(guān)于算法歧視的規(guī)制原則，就是有效約束算法歧視的軟法。

盡管上文討論的算法歧視是狹義上算法中的歧視問(wèn)題。在智能互聯(lián)網(wǎng)時(shí)代，人工智能成為自治主體、享有權(quán)利，是理論上可證的，實(shí)踐中已存在賦權(quán)，[注]理論上，從后人類主義的權(quán)利平權(quán)、擴(kuò)權(quán)實(shí)踐，人機(jī)相容的立場(chǎng)，人工智能的法律權(quán)利造反能力來(lái)看，賦權(quán)人工智能權(quán)利是理論可證的。實(shí)踐上，2017年沙特阿拉伯搶占先機(jī)授予機(jī)器人索菲亞(Sophia)公民身份，隨后，在人工智能強(qiáng)國(guó)日本，“男孩”澀谷未來(lái)(Shibuya Mirai)成為第一個(gè)獲得居住權(quán)的機(jī)器人。參見(jiàn)楊學(xué)科《論人工智能機(jī)器人權(quán)利及其權(quán)利界限》，載《天府新論》，2019年第1期。這就必然還會(huì)出現(xiàn)人類歧視算法這一自治主體的問(wèn)題。算法自治也是理解算法歧視的新角度，智能互聯(lián)網(wǎng)空間是由它的代碼來(lái)組成，最好也應(yīng)由代碼來(lái)規(guī)范。這里存在著一個(gè)悖論：我們的生活世界被算法統(tǒng)治著，我們卻要去管理算法，似乎有一種我們“抵制、反對(duì)、歧視”它們的意思。算法自治，可以解決掉人類歧視算法的這種問(wèn)題，通過(guò)前述技術(shù)手段算法自治道德(公正、不傷害他人等道德規(guī)范)代碼化介入，就不會(huì)出現(xiàn)人類自治的地位受到威脅的問(wèn)題，監(jiān)測(cè)算法的算法開(kāi)發(fā)來(lái)實(shí)現(xiàn)規(guī)避、規(guī)制算法歧視，算法治理算法，這也符合哲學(xué)家伊恩·金(Iain King)制定的“自治原則”：“讓人們自己選擇，除非我們比他們更了解他們的利益?！盵27]

最后，公民算法素養(yǎng)的培育。算法素養(yǎng)，一般是指算法的研究者、管理者和使用者所應(yīng)具備的算法意識(shí)、算法能力和算法倫理等。理解有助于信任，算法的功能必須讓那些它們影響的人能夠理解，但智能互聯(lián)網(wǎng)時(shí)代智能算法的問(wèn)題是對(duì)于算法怎樣運(yùn)作，普通人不可能理解，也無(wú)能力理解，即便是吃了算法歧視的虧，可能也無(wú)從知曉，即便知道也可能不以為然，所以我們必須從公民的算法素養(yǎng)教育開(kāi)始，公民不能充當(dāng)“被算法賣了還替算法數(shù)錢”的算法文盲。公民算法素養(yǎng)的培育需要“革命性”的教育努力，包括美國(guó)在內(nèi)的很多國(guó)家已經(jīng)著手將算法教育作為基礎(chǔ)教育的一部分。例如2016年美國(guó)總統(tǒng)辦公室發(fā)布的重要報(bào)告《為人工智能的未來(lái)做好準(zhǔn)備》建議全體公民準(zhǔn)備接受人工智能教育，建議對(duì)AI 從業(yè)者進(jìn)行道德教育和技術(shù)培訓(xùn)。[28]政府應(yīng)為公民提供可獲得的算法教育材料和教育資源，讓公民學(xué)習(xí)算法知識(shí)和了解算法歧視。公民也應(yīng)該積極主動(dòng)提升算法素養(yǎng)，縮小算法鴻溝，促進(jìn)算法公正，提升算法獲得感和幸福感。值得關(guān)注的是，我國(guó)也開(kāi)始重視算法素養(yǎng)的培育，《新一代人工智能發(fā)展規(guī)劃》鼓勵(lì)實(shí)施全民智能教育項(xiàng)目，中小學(xué)階段設(shè)置人工智能相關(guān)課程，逐步推廣編程教育，建設(shè)人工智能學(xué)科等。