[基金項目]天津市法學理論法治實踐研究重點課題（TJ2019002）

[收稿日期]2023-11-27

[作者簡介]呂斯軒（1987-），男，江蘇南通人，天津大學法學院講師，博士。

[摘 要]在人工智能的發(fā)展中，算法可能會因為數據不足和程序員故意或疏忽的錯誤而導致算法歧視。中國和歐美國家都出臺了防止算法歧視的政策，但都缺乏行之有效的法律規(guī)制。相較于中國缺乏防止算法歧視的法律適用標準，歐美相關立法雖然通過判例法給出適用標準，但對于算法歧視的直接規(guī)定非常有限，并且缺乏法律問責制度。由于算法歧視具有隱蔽性、責任難以認定以及容易產生馬太效應的特點，對算法歧視的法律規(guī)制，既需要明確算法的公平、問責和透明，也需要通過技術改進和人為控制的手段，在規(guī)制和創(chuàng)新上尋求平衡，達到有效控制人工智能技術以及算法行業(yè)自律的目的。

[關鍵詞]算法；歧視；人工智能；法律規(guī)制

[中圖分類號]D912.1 [文獻標識碼]A [文章編號]1671-8372（2024）02-0080-11

Analysis of legal regulations on algorithmic discrimination

LV Si-xuan，HU Chuang

（Law School，Tianjin University，Tianjin 300072，China）

Abstract：During the development of artificial intelligence，algorithms may cause discrimination because of insufficient data and intentional or negligent mistakes by programmers. China，Europe，and United States have introduced policies to prevent algorithmic discrimination，but they lack effective regulations. Compared with China’s lack of legal application standards to prevent algorithmic discrimination，Europe and the United States provides applicable standard through case law. However，the direct provisions on algorithmic discrimination are very limited，and there is a lack of legal accountability system. Because algorithmic discrimination has the characteristics of concealability，being difficult to identify responsibility and easy to produce Matthew effect，in terms of the legal regulation of algorithmic discrimination，it is necessary to clarify fairness，accountability，and transparency of algorithms，and also necessary to seek a balance between regulation and innovation through technological improvement and human control，so as to achieve the purpose of effectively controlling artificial intelligence technology and self-regulation of the algorithm industry.

Key words：algorithm；discrimination；artificial intelligence；legal regulation

一、引言

由于人工智能的公正性伴隨著現代人工智能的高速發(fā)展和廣泛運用，算法的“非歧視”已成為一個越來越被社會公眾、政府部門、科技公司、科研機構和國際組織關注的議題。一方面，人工智能逐漸滲透到人類生活的方方面面，為人類的日常生活提供了便利；另一方面，人工智能在犯罪風險評估中的種族歧視、在企業(yè)雇員選擇中的性別歧視、在網絡電商定價中依人定價的“殺熟”等行為，正在逐漸突破人類的基本價值觀念及社會準則。因此，作為人工智能三大要素之一的算法技術亟待法律的重視。然而規(guī)制算法歧視的立法選擇、司法裁量和執(zhí)法標準需要廣泛地研究世界各國的相關法律規(guī)范，才能在以人權保障、社會平等和經濟繁榮為價值導向和最終目的前提下，促進人工智能技術的使用和發(fā)展。

人工智能是以大數據為基礎的算法，是一門通過算法模型進行自我學習、判斷和決策的技術。除了大數據和計算能力的發(fā)展以外，當前人工智能的發(fā)展迅速也受益于新的算法技術與司法裁判、刑事偵查、醫(yī)學鑒定等學科的交叉融合。雖然算法被默認是公平的，但是潛在的技術風險和人為因素可能會產生歧視。由于算法歧視所固有的隱蔽性特點，嵌入人工智能的歧視不再像過去一般露骨，而是隱匿到數字世界的角落悄無聲息地侵蝕社會公平正義[1]。有學者于2022 年對六個最受歡迎的搜索引擎（谷歌、必應、雅虎、百度、Yandex和DuckDuckGo）進行的一項研究發(fā)現，在搜索移民群體時，這些搜索引擎都傾向于放大偏見[2]。這表明算法歧視可能來自于程序中使用的數據或編程，因此可將算法歧視分為數據的客觀原因和程序員的主觀原因。從法律規(guī)制的角度上看，對輸入算法的數據質量進行法律干預，不但可以防止因數據客觀原因而造成的歧視問題，還可以防止算法系統(tǒng)設計人員的主觀歧視的嵌入。數據收集人員和算法設計程序員主觀上的故意或者過失都會導致算法出現排斥少數人利益的情況而產生算法歧視。例如，收集的數據若只能代表多數人的典型情況而忽略少數人的特殊情況，那么就會導致數據歧視[3]，出現“偏見進，偏見出”（Bias In，Bias Out）的歧視現象[4]；程序員在設計算法時若故意根據消費者的個人信息給出不同的價格，就可能會產生價格歧視[5]。此外，算法還體現了設計者和開發(fā)者的主觀選擇，即如果設計者和開發(fā)者本身具有偏見，那么算法也會傳承這些人的偏見而導致歧視。因此，國家需要對算法進行監(jiān)管，而這種監(jiān)管則需要技術專家和法律專家的通力合作才能有效保障算法的安全可控。

筆者認為，算法歧視的法學研究主要存在以下兩大困難。其一，資料有限。目前國內外的立法和司法實踐都很有限，一手資料稀缺，容易導致算法設計者無法知道算法的決策結果，這是人工智能算法決策的“黑箱”特點。但如果設計者無法預測最終會輸出什么結果，那么對于事故原因查找和責任承擔主體的確定就會出現爭議。而且對于掌握算法的先進科技企業(yè)，算法往往屬于商業(yè)秘密而被法律所保護，這就使得調查取證困難重重。其二，學科壁壘。大部分法律工作者對于算法技術的了解非常有限，要有效監(jiān)督和控制算法歧視就必須打破學科間的研究和實踐壁壘。因此，基于人工智能本身尚不具有法律主體資格，其算法歧視的問責主體難以確定。本文將通過分析現有反歧視法在算法歧視規(guī)制中的困境，以及算法歧視的現有規(guī)制，探討算法歧視的規(guī)制建設，為完善算法歧視立法、控制智能技術運用以及算法行業(yè)自律提供參考。

二、現有反歧視法在算法歧視規(guī)制中的困境

歧視是由于種族、年齡、性別、國籍、宗教或殘疾在法律或慣例上產生賦予或剝奪某些階級特權的行為效果[6]。聯合國在1948年《世界人權宣言》的第2條中規(guī)定，人人有權享有《世界人權宣言》所載之一切權利和自由，不分種族、膚色、性別、語言、宗教、政治或其他主張、國籍或門第、財產、出身或其他身份。目前聯合國在反歧視領域的公約主要包括1965年的《消除一切形式種族歧視國際公約》、1979年的《消除對婦女一切形式歧視公約》，以及2006年的《殘疾人權利公約》。中國是《消除一切形式種族歧視國際公約》（對公約第22條持有保留）、《消除對婦女一切形式歧視公約》（對公約第29條第1款持有保留）以及《殘疾人權利公約》的締約國[7-8]。

《中華人民共和國憲法》（以下簡稱《憲法》）第4條第1款和第36條第2款明確提出反對民族歧視和宗教歧視。目前中國從《憲法》以及《中華人民共和國勞動法》（以下簡稱《勞動法》）《中華人民共和國婦女權益保障法》《中華人民共和國殘疾人保障法》等法律明確禁止的歧視包括：勞動者在就業(yè)中遇到的民族、種族、宗教信仰、性別、殘疾和地域歧視，民族和宗教信仰歧視，性別歧視，殘疾歧視，精神障礙歧視，老年人歧視，未成年人歧視，在反恐工作中基于地域、民族、宗教等理由的歧視，網絡空間中的民族歧視，電影中的民族歧視，對生育女嬰婦女、不育婦女以及女嬰的歧視，刑法和治安管理處罰中的民族歧視，廣告中的民族、種族、宗教、性別歧視，郵件寄遞中的民族物品歧視，商標中的民族歧視，對傳染病病人、病原攜帶者和疑似傳染病病人的歧視，對歸僑和僑眷的歧視，對戒毒人員的歧視，對非婚生子女以及繼子女的歧視，價格歧視，對中小企業(yè)的歧視，對投標人的歧視，對中國的貿易歧視①。雖然中國在法律上明確反對歧視，但是在立法、司法、行政以及法學研究上，對歧視的界定和救濟還沒有可以適用的法律標準[9-10]。

相較于中國的反歧視法律缺乏相應的適用標準，英美國家一般會先通過立法給出反歧視需要保護的具體特征（Characteristic）和類型（Type），然后通過判例法的形式給出適用標準。英國的2010年《平等法》（Equality Act 2010）第4條規(guī)定了九種保護的特征：年齡、性別、種族、殘疾、宗教信仰、孕產期、性取向、性別重置、婚姻和伴侶關系。在英國，歧視類型一般有六種[11]。其一，直接歧視（Direct Discrimination），即具有保護特征的人相比其他人被不友好對待的歧視；其二，間接歧視（Indirect Discrimination），即因某種政策或法律而使得某人對比其他人來說處于劣勢的歧視；其三，關聯歧視（Discrimination by Association），即由于與某種保護特征相關聯而受到不公正對待的歧視；其四，觀念歧視（Discrimination by Perception），即實際上并不具有但被誤認為具有某種保護特征而遭到不公正對待的歧視；其五，騷擾（Harassment），即一些使人感覺被侵犯、羞辱或者威脅的討厭行為；其六，受害（Victimization），即一個人因為抱怨歧視或者支持其他被歧視的受害人而遭到惡劣的對待或者損失的行為?！睹绹鴳椃ā罚═he Constitution of the United States）通過第14條修正案中的正當程序（Due Process）和平等保護（Equal Protection）反對歧視，并且美國聯邦最高法院通過判例給出了相關的法律適用標準。例如1971年的格里戈斯訴杜克能源公司案②確定的差別性影響標準（Disparate Impact Standard）。但是此判例給出的法律適用標準因存在不穩(wěn)定，而極易被后續(xù)的判例限制甚至推翻。例如1976年的華盛頓訴戴維斯案③就限制了差別性影響標準在憲法中的適用。當然法律是隨著時代和社會的進步而進步的。因此通過判例法確定的法律適用標準產生變化是可以理解的。

（一）現有反歧視法難以規(guī)制算法歧視的成因

當今世界，各個國家在反對性別、種族、殘疾的歧視上已基本達成共識，但是在反對性取向、性別重置等方面的歧視存在較大的分歧。這些分歧再加上算法技術帶來的新問題，使得規(guī)制算法歧視的立法變得更為困難和復雜。在法律史上，每當有新的科學技術產生，對于是否需要新的法律規(guī)制都會產生討論?，F存的反歧視法律法規(guī)以及法學理論對于算法歧視的規(guī)制困難可以歸納為以下三點：

第一，算法歧視的隱蔽性。算法的內涵可以體現算法設計者的思想，這導致算法歧視具有隱蔽性。而隱藏于人工智能算法下的偏見與歧視是令人難以察覺的。例如，意大利戶戶送有限責任公司（Deliveroo Italia S.R.L.）使用歧視性算法進行的訂單分配。公司在對騎手進行榮譽排名時不區(qū)分騎手不赴約或者遲延赴約的合理原因，導致部分騎手因榮譽排名下降而喪失優(yōu)先選擇工作條件的機會[12]。用人單位的歧視思想是通過代碼呈現并落實，非技術人員難以察覺歧視現象的存在，即便受害人察覺到歧視，但由于技術中立和商業(yè)秘密對算法的保護，受害人也很難采集到對自己有利的證據。因此任何數字不公應被視作算法歧視，而且此時的算法歧視不能局限于算法決策所產生的不合理區(qū)別對待，還應該包括基于算法權力產生的數字鴻溝、數據壟斷、平臺異化、數據繭房等數字的不平等[13]。因為受害人即使獲得了對自己有利的證據，但勢單力薄地對抗資金雄厚的大公司也難以取勝。這就使得算法歧視相比于傳統(tǒng)歧視更難以獲得救濟。基于目前算法的不透明和復雜性，即使一部分受害人獲得了有效的救濟，也不能保證算法歧視問題得到真正的改善。因此需要加強算法歧視的法律法規(guī)和進行相關的法學研究。

第二，算法歧視的責任認定困難。人工智能一般被認為不具有法律主體資格，不能承擔法律責任。但算法只要滲透到了人工智能的整個產品線，算法編程上出現的瑕疵就應該屬于設計瑕疵而不是生產瑕疵，而設計瑕疵在歸責上就需要考量成本效益分析[14]。復雜的算法程序往往由許多小的編程組成，當程序編寫團隊設計漫長的編程時，可能早已遺忘編程中的具體決策以及產生的影響。對于程序編寫人員在算法設計時故意引入的歧視可以通過加強算法道德體系建設來預防，但數據收集或者算法設計的過失所導致的歧視卻難以控管。這就需要程序編寫人員在編程中進行相關標記，以方便查找責任人以及歧視產生的源頭。此外，還需要編寫標準化程序流程，設立相應的職業(yè)道德準則規(guī)范，以加強相關從業(yè)人員的職業(yè)道德要求。但這樣一來勢必會無形中增加企業(yè)的運營成本，因此需要新的法律法規(guī)加以強制。

第三，算法歧視的馬太效應。開發(fā)者和設計者從主觀上選擇隱藏歧視，這種歧視就可能會在算法決策中被固化和不斷加強。反饋循環(huán)（Feedback Loop or Recursion）指的是算法導致的現實社會的反饋被重新用于算法中。典型的例子是使用目擊警車的次數預測社區(qū)犯罪率。這種算法因會導致更多的警車出現在算法預測犯罪率高的社區(qū)，所以就形成了滾雪球般的循環(huán)反饋[15]。若同時將種族作為執(zhí)法輔助算法分析的因素之一，那么反饋循環(huán)就會加重警察在執(zhí)法中的種族歧視[16]。同樣的情況若出現在智能信用評級系統(tǒng)，不利的信用評級因素會被反復循環(huán)并反饋到智能系統(tǒng)中，導致惡性循環(huán)。

（二）需要明確算法規(guī)制的三大原則

對于算法的公平、問責和透明的內涵，有的學者認為算法公平是指決策中沒有歧視或偏見，算法問責是指承擔行動和決策的責任，算法透明是指所分析的數據和模型基礎機制的公開性和溝通性[17]。但筆者認為這樣的定義過于原則化，無法在針對具體案件時進行有效應用。另有學者通過民意調查確定了算法的公平、問責和透明的概念以及三者之間的關系，并確定了基于經驗的用戶模型。此學者認為算法公平是一個公平公正的算法過程，沒有偏袒或歧視，可以分為無差別、公正和準確（Indiscrimination，Impartiality，and Accuracy）三個組成部分；對于算法責任，生產算法的公司應該對其算法的結果或者數據中嵌入的偏差負責，包含責任、審計和平等（Responsibility，Auditability，and Equity）三個組成部分；對于算法透明，考慮到算法過程可能不透明并存在偏見和歧視的風險，算法做出的決定應該對使用、生成和監(jiān)管的人透明，并且應與促進商業(yè)發(fā)展和工業(yè)利潤相平衡，這包含透明度的可理解性、可解釋性和可觀察性（Understandability，Explainability，and Observability）三個組成部分[18]。但這種研究結果因受到受訪者的主觀評價、樣本容量和樣本代表性的影響，得出的對于算法的公平、問責和透明的構成指標有循環(huán)論證的嫌疑。雖然公正和公平可以視為同義詞，但是公正在此卻作為了規(guī)制算法歧視的三個組成部分之一。筆者認為算法的公平、問責和透明并不是孤立的，而是互相影響和作用的整體。因為社會對于公平的理解和定義不同，難以找到一個絕對客觀公平的算法，這就需要算法的問責以及透明來保障算法的相對公平。所以，在規(guī)制算法歧視時只有追求算法的公平、問責和透明，才能有效進行責任認定和處罰，實現算法技術對少數人的權益保護。

算法的公平、問責和透明在具體應用上有一定的區(qū)別。算法公平主要關注的是量化公平的風險，這就需要關注算法數據的代表性、算法模型的中立性、算法預測的準確性；算法問責原則需要通過保存算法設計和使用過程中相關人員的痕跡或標記來認定相關責任主體和責任類型；算法透明主要是指對算法得出結論的論理過程和依據的公開、透明；而算法技術的不透明（Opaque）可能是涉及商業(yè)或者國家秘密，或者是缺乏技術知識，還可能是由于算法技術本身無法實現絕對公平。因此，對于算法歧視的規(guī)制，有學者質疑若只規(guī)定數據主體的知情權而缺乏具體措施和問責性，那么相關立法可能無法有效規(guī)制算法歧視[19]。例如2018年《歐盟通用數據保護條例》（General Data Protection Regulation），由于沒有精確語言明確權利和保障存在落空危險，需要提高算法自動化決策的透明度和問責性。故而，社會在享受計算機決策系統(tǒng)帶來的利益時，需要有一個技術正當程序模型來保障個人利益得到公正、透明和負責的立法和裁判[20]。有學者主張算法不透明也可能發(fā)揮正面作用，例如在決定貧困生群體的算法中，采用學生在食堂的消費情況作為評定依據，既可以有效確定貧困生的群體，又可以避免學生公開比窮和傷害自尊心[21]。對于此種觀點，雖可以從算法的公平、問責和透明上進行分析，但如果此例中的學生是通過校外就餐而使得食堂消費記錄很低，那么算法的公正性就有待質疑。此外，若學生的個人消費記錄未經學生的允許而被收集，其本身就存在因數據濫用而可能導致責任認定困難的問題。算法透明的正確理解應該是算法決策的過程能夠被合理解釋，而不是公布所有涉及算法的數據。因為有些數據本身可能涉及隱私或秘密。雖然公布食堂消費行為的算法依據符合算法透明，但是要求公布每個學生的食堂消費情況卻是違反算法透明的初衷，因為學生的食堂消費情況屬于個人隱私的范疇。

三、算法歧視的現有規(guī)制

中國目前還沒有關于算法歧視的立法，歐美國家雖然已經有了針對自動化程序（Automated Process）侵犯個人權利的相關立法，但具體到反歧視或反偏見的內容非常有限，而且在法律效力上缺乏相關的問責制度。世界上現有的算法歧視規(guī)制主要有兩種模式：一種是以歐盟國家為代表的基于反歧視法（Non-Discrimination Law）框架下制定的統(tǒng)一立法。如歐洲委員會2018年修訂的《第108號公約》（Convention 108）和《歐盟通用數據保護條例》。另一種是以美國為代表的由不同單行法律和判例所構成的分散立法。中國屬于大陸法系國家，在未來的立法模式上應該會傾向于以歐盟為代表的統(tǒng)一立法模式。雖然歐美以及中國政府出臺了有關算法歧視的政策，但內容都過于抽象和原則化，如果沒有配套的具體問責標準，可能成為無法具體實施和執(zhí)行的政策性口號。而人工智能作為社會治理的新型利器，理應在司法中得到推動和部署。目前，包括中國在內的多數國家還沒有智能系統(tǒng)輔助審判造成不公平的案例，美國已經有相關的訴訟，但案件的最終判決結果也認為使用智能系統(tǒng)輔助審判并沒有違反正當程序。

（一）統(tǒng)一立法模式

1.反歧視立法

反歧視法律框架及其衍生出的數據保護法是歐盟目前規(guī)制人工智能算法歧視的主要法律制度。歐盟的反歧視法主要是以《歐洲人權公約》（European Convention on Human Rights）為基礎構建的。因此，反歧視法既可以在歐盟規(guī)制人工智能算法歧視的法律制度中起到基礎性作用，為具體的數據保護法的制定提供原則性和方向性的指引，還可以單獨作為規(guī)制人工智能算法歧視的武器。

《歐洲人權公約》第14條規(guī)定，權利和自由的享有不受任何理由的歧視，如性別、種族、膚色、語言、宗教、政治或其他見解、民族或社會出身，與少數民族的聯系、財產、出生或其他身份。實踐中，人工智能算法決策可能無意中導致間接歧視，但基于人工智能算法導致的間接歧視具有表面上中立、客觀等特征。歐盟的反歧視法之所以沒有能力處理算法歧視問題，原因有三。其一，算法過程有時會繞過現有反歧視立法的規(guī)制范圍；其二，雖然算法可能會增加間接歧視的例子，但是機器學習模型的預測準確性為間接歧視提供了理由；其三，為了證明歧視的存在，受害者必須證明模型是錯誤的，然而這幾乎是一項不可能完成的任務，即使是開發(fā)人員也無法理解這些模型，更何況是無法獲得訓練數據和模型規(guī)范的受害者[22]。

反歧視法的立法模式本身也存在一定的局限性。首先，禁止間接歧視并沒有提供明確和容易適用的規(guī)則。間接歧視并非一個具體明確的概念，反歧視法難以為其下一個精準的定義，這就導致實踐中難以適用反歧視法。因此，在反歧視法的適用上往往需要當事人闡明這些看似中立的規(guī)則、做法或決定是如何特別影響受保護的群體，以證明這些規(guī)則、做法或決定實際是歧視性的。歐盟《2000/43/EC種族平等指令》第2（2）（b）條規(guī)定了間接歧視的例外：如果一種做法“有合法、合理的客觀目的，而且實現這一目的的手段是適當和必要的”，那么這種做法就不構成間接歧視。顯然，這些表面客觀中立但實際對某一受保護特征構成歧視的規(guī)則、做法或決定，如果符合客觀合理性原則，便可不被視為間接歧視。然而被指控的歧視者能否援引這種間接歧視例外則取決于具體案件。因此，某一做法是否違反了禁止間接歧視的規(guī)定并不總是明確的[23]。其次，反歧視法通常側重于基于受保護特征（種族、性別或性取向）的歧視[24]。然而許多由新型人工智能算法導致的歧視并不在現有的反歧視法范圍之內。因此，反歧視法是有漏洞的。

2.數據保護立法

1995年《歐盟數據保護令》（Data Protection Directive of 1995）第15條規(guī)定，除非有合同要求或者其他法律規(guī)定，如果一個決定只由自動化的程序或者分析產生，并且對人產生例如工作表現、信用記錄、可靠程度、行為表現等法律效果或者類似的重要影響，那么成員國應該賦予每個人不服從這種決定的權利?！稓W盟通用數據保護條例》第22條承襲了《歐盟數據保護令》第15條的精髓，明確規(guī)定除非有其他法律規(guī)定、合同要求或者數據主體（Data Subject）明確表示同意，否則一個決定如果只由自動化的程序或分析產生，并且對于數據主體產生法律效果或者類似的重要影響，那么數據主體有權不服從此決定。但是《歐盟通用數據保護條例》在正式條款中并沒有涉及歧視的內容，只是在序言第71段（Recital 71）第2款中提到要防止在自動化處理和分析中可能存在的基于種族民族、政治意見、信仰觀點、工會會員、基因或健康狀況、性取向等歧視效果。歐洲法院（European Court of Justice）在1989年的卡薩肉類交易有限公司訴聯邦農業(yè)市場組織案①判決的第31段中明確表示，雖然法規(guī)的序言可以用來解釋法條，但是序言本身并不是法律。

《歐盟通用數據保護條例》和《第108號公約》中的七項原則構成了歐盟數據保護法的核心：其一，個人數據只能合法、公平和透明處理（“合法、公平和透明”）；其二，此類數據只能為事先指定的目的收集，不應用于其他不相關的目的（“目的限制”）；其三，此類數據應限于目的所必需的數據（“數據最小化”）；其四，此類數據應足夠準確且是最新的數據（“準確性”）；其五，此類數據不應保留過長時間（“存儲限制”）；其六，此類數據應受到保護，以防數據泄露和非法使用（“完整性和保密性”）；其七，數據控制員負責數據的合規(guī)性（“責任”）。根據歐洲委員會發(fā)布的《第108號公約》第15條第1款和《歐盟基本權利憲章》第8條第3款的規(guī)定，每個歐盟成員國必須有一個獨立調查權的數據保護機構?！稓W盟通用數據保護條例》第38條和39條規(guī)定，數據保護局可以進入數據控制者的數據保管和分析場所，并可以以數據保護審計的形式進行調查，訪問其數據處理系統(tǒng)。

（二）分散立法模式

美國法律體系中的歧視法（Discrimination law）是一個復雜而不斷發(fā)展的領域，由憲法、法規(guī)、判例法、法律學術、政治和更廣泛的公共話語趨勢所塑造。美國法律體系中的歧視法最早可以追溯到美國1964年《民權法案》（Civil Rights Act of 1964）第七章中的規(guī)定：雇主不得因任何個人的種族、膚色、宗教、性別或國籍而拒絕雇用或解雇任何個人或以其他方式在報酬、條款、條件或就業(yè)特權方面歧視任何個人。圍繞《美國憲法修正案》發(fā)展起來的反歧視法中的一些用以規(guī)制個人信息獲取及應用的條款，以及立法技術中立的法律，即使制定時間久遠，依然在當今美國的反歧視法律體系中發(fā)揮不可或缺的作用。例如關于人工智能數據的收集，美國于1970年制定的《公平信用報告法》（Fair Credit Reporting Act），首次對消費者個人信用信息收集和信用報告制作作出了明確規(guī)定。類似的立法還包括1968年的《公平住房法》（Fair Housing Act）、1990年的《美國殘疾人法》（Americans with Disabilities Act）、1996年的《健康保險可攜帶性和問責法》（Health Insurance Portability and Accountability Act）、2000年的《兒童在線隱私保護法》（Children’s Online Privacy Protection Act）等。在聯邦層級的立法，有很多尚在立法程序之中，例如2021年的《司法算法正義法案》（Justice in Forensic Algorithms Act）、2022年的《算法問責法案》（Algorithmic Accountability Act）等。

由于美國存在聯邦和各州的平行立法模式，所以除了有限的聯邦立法外，美國各州地方政府正在積極通過立法應對新興科技發(fā)展帶來的法律問題，最具代表性的是紐約州紐約市。2017年，美國紐約市在全美第一個通過地方立法成立了專門工作組（Task Force），對相關行政機構使用的算法進行審查。紐約市的《關于行政機構使用自動決策系統(tǒng)的地方性法規(guī)》（A Local Law In Relation To Automated Decision Systems Used By Agencies）第1a條規(guī)定，自動決策系統(tǒng)的定義指的是計算機化的算法實現（Computerized Implementations of Algorithms）；第1b條6款不強制要求遵守工作組的推薦意見，也不強制要求進行違反法律法規(guī)和公共政策的信息披露；第3款要求專門工作組對自動化決策系統(tǒng)可能產生的危害進行列舉，并在工作組成立后18個月內向市長和政法發(fā)言人提交相關報告；第4條要求工作組在報告提交60天后解散，市長則需要在收到報告10日內公開報告內容。這個立法的影響范圍和強制執(zhí)行力都非常有限，僅是針對紐約市行政機構所使用的自動化決策系統(tǒng)，而且僅是通過成立專門工作組去調查相關問題和給出可能的解決建議。雖然這個法律本身沒有任何的強制約束力或執(zhí)行力，但是這個法律為后續(xù)立法提供了一個非常有意義的研究基礎。因為工作組在制作完成報告后，政府勢必會根據報告作出相應的立法安排。

（三）中外相關政策

2016年美國聯邦貿易委員會發(fā)布的《大數據：包容還是排斥的工具？》（Big Data：A Tool for Inclusion or Exclusion？）提出，要通過法律的有效執(zhí)行防止大數據分析中的歧視，需要考慮數據的代表性、偏見可能、準確性、道德和公平。2016年美國奧巴馬政府在《為人工智能的未來做準備》（Preparing for the Future of Artificial Intelligence）的執(zhí)政報告中提出，要預防故意的歧視以及算法偏見。2022年10月4日，美國白宮科技政策辦公室（Office of Science and Technology Policy）發(fā)布的《人工智能權利法案藍圖》（Blueprint for an AI Bill of Right）包括了算法歧視保護原則，并將算法歧視定義為因自動化系統(tǒng)基于分類①而導致不合理的不同待遇或影響。這種定義雖偏重于直接歧視，但此概念中的算法歧視保護原則，會通過法律和政策適用到現實實例中。例如打擊抵押貸款歧視、防止雇主對求職者和殘疾雇員的歧視、黑人患者公平獲得醫(yī)療保健等。然而，算法歧視保護原則的這些應用非常碎片化，缺乏系統(tǒng)化的強制執(zhí)行力。

2018年歐盟委員會發(fā)布了《網絡平臺政策：算法意識構建》（Policies About Online Platforms：Algorithmic Awareness-Building），希望通過提高公眾對算法歧視的預防意識，發(fā)現相關問題，有針對性地給出政策和技術上的解決方案，以調動個體和社會的行動力。2022年歐盟基本權利機構（European Union Agency for Fundamental Rights）的報告《算法中的偏見-人工智能和歧視》（Bias in Algorithms - Artificial Intelligence and Discrimination），關注的主要是冒犯性言語檢測中的種族和性別偏見，并在其結語中特別強調了自然語言處理工具與歐盟語言的多樣性不能匹配的問題。因此算法的未來發(fā)展應該伴隨著偏差檢測。

2017年7月20日，中國《新一代人工智能發(fā)展規(guī)劃》重點任務之（一）中明確提出，新一代人工智能的研發(fā)部署要以算法為核心，形成人工智能算法與平臺安全性測試評估的方法、技術、規(guī)范和工具集。2024年4月16日，中國《人工智能示范法》起草組發(fā)布的《人工智能示范法2.0（專家建議稿）》（以下簡稱《示范法》）提到，人工智能研發(fā)不得宣揚民族歧視（第14條1款）、不得利用算法優(yōu)勢實施壟斷和不正當競爭行為（第14條2款），要求人工智能研發(fā)者和提供者應當有效防范有害的偏見和歧視（第40條）并且負有相關的法律責任（第六章）。雖然《示范法》是個很好的開端，但是對于算法歧視尚缺乏具體的規(guī)定，要落地成為正式的立法還有很長的一段路要走。

（四）中外司法實踐

中國《新一代人工智能發(fā)展規(guī)劃》重點任務之（三）中明確提出要推進社會治理智能化。其中較為重要的一環(huán)在于推進建設智慧法庭，促進人工智能在證據收集、案例分析、法律文件閱讀與分析中的應用，實現法庭審判體系和審判能力智能化。雖然人工智能在司法中還只是輔助工具，但仍需要預防算法歧視風險，并在權衡效率和公平價值的同時，保障司法智能化進程和基本人權[25]。基于人工智能和大數據的案件預測會深刻影響當事人的訴訟行為和糾紛解決，在通過算法預測案件結果作出更為理性和經濟的訴訟選擇時，也要警惕算法歧視對當事人訴訟行為的扭曲，以避免產生新的偏見和濫用。

從傳統(tǒng)法院到智能法院需要經歷三個階段[26]。第一階段，“機機聯網”的在線法院，即法院具備在線訴訟的功能；第二階段，“人機合作”的智慧法院，即法院能借助案例庫和算法協(xié)助法官審理簡單案件；第三階段，“腦機交流”的智能法院，即法院不再由法官而是由人工智能來判案。中國法院目前處于第二階段的初期，即在審判、執(zhí)行、訴訟服務、司法公開、行政管理以及決策服務上都有人工智能的應用。目前中國的智能法院系統(tǒng)收集的數據存在以下四大問題：其一，判決書缺乏論理。例如法官量刑時考慮的被害人諒解、賠償力度等因素并沒有在判決中進行說理[27]。其二，公開在網上的裁判文書存在重復或者錯誤。例如一份文書多個案號、串案套改等問題。其三，沒有考慮法官的自由裁量權。現實中，通過多數相似判決來預測未來判決的做法忽略了法官的自由裁量因素。其四，沒有考慮中國各區(qū)域的差異特點。中國法院智能審判系統(tǒng)的使用程度在不同地區(qū)、不同法院以及不同級別的司法人員之間存在較大的差別。此外，在智能審判系統(tǒng)協(xié)助下的判決與人工判決還存在一定的差別，而這些差別通常會隨著案例數據被算法決策固化和加強，從而形成循環(huán)反饋[28]。因此，上述智能法院系統(tǒng)在收集數據中存在的這四大問題極有可能導致算法歧視。

目前，歐美國家的一些算法已經達到審理案件的水平，正在推進智慧法院的產生。例如，在美國以威斯康星州為代表的多個州已采用風險評估系統(tǒng)評估再犯風險，幫助法官作出以數據為中心的司法決策。尤其是在2016年，英美學者聯合利用歐洲人權法院公開的判決書訓練算法系統(tǒng)，使得此算法模型對法院判決預測的準確率達到79%[29]。然而此項目的研究員并不認為其研究可以替代法官對案件進行審理，表示這個針對歐洲人權法院的程序只是一個分析工具而已[30]。

對于算法歧視在司法中的危害，中外學者和法官持保守的態(tài)度，因為人工智能并沒有完全替代立法者和法官的職能，而只是充當一個輔助的分析工具。2022年，中國《最高人民法院關于規(guī)范和加強人工智能司法應用的意見》（法發(fā)[2022]33號）第5條輔助審判原則明確規(guī)定人工智能不得代替法官裁判，人工智能輔助結果僅可以作為審判工作或審判監(jiān)督管理的參考，確保司法裁判始終由審判人員作出，裁判職權始終由審判組織行使，司法責任最終由裁判者承擔。雖然包括中國在內的很多國家還沒有智能系統(tǒng)輔助審判可能造成審判不公平的案例，但是美國已經有相關的訴訟。例如，在2013年的美國威斯康星州訴盧米斯案①中，被告認為法院使用的智能風險評估侵犯了其正當程序權利。但是初審、上訴和州最高法院都認為評估沒有違反正當程序而不支持被告的訴求，美國聯邦最高法院也決定不復審此案。有學者認為此類評估之所以存在數據庫和算法缺陷，是基于人口統(tǒng)計學和社會經濟地位的歧視[31]。雖然不可否認輔助審判系統(tǒng)在刑法領域的貢獻，但是如果法院將這種存在缺陷的工具用于審判，那么必須提供能保障正當程序的計劃，包括去掉輔助審判系統(tǒng)知識產權和商業(yè)保護使其成為開源的系統(tǒng)，以及提供第三方審計程序來持續(xù)檢驗系統(tǒng)的準確無誤和合理使用[32]。此外，要企業(yè)放棄知識產權和商業(yè)利益也會非常困難，而第三方審計程序的建立也不會一朝一夕可以馬上實現。

四、算法歧視的規(guī)制建議

算法歧視的法律關系主體主要包括國家有關部門、數據所有主體和算法技術主體三方。這三方通過相互間的監(jiān)管和反饋，形成不同的法律關系。其中，國家有關部門包括監(jiān)管網絡安全、大數據以及人工智能的部門和單位；數據所有主體包括生成算法的數據提供主體以及被比較和被歧視的數據參照主體；算法技術主體包括算法開發(fā)和應用主體。因此從法律上研究這三方主體如何在監(jiān)管和反饋上進行良性互動，不但能夠有效避免算法歧視，并且對已有歧視也可以進行救濟。從具體規(guī)制上看，要破除算法歧視的規(guī)制困境，需要明確算法規(guī)制的三大原則，即公平、問責以及透明（Fairness，Accountability，and Transparency），并對算法歧視從技術改進和人為控制上進行預防，在規(guī)制和創(chuàng)新之間找到合理的平衡。

（一）歧視的技術預防

國家對于算法歧視的規(guī)制可以借助算法技術主體的力量。中國的騰訊建立了騰訊研究院法律研究中心，并于2022年推出了《人工智能時代的算法治理報告》，從法律、倫理和技術上梳理了算法治理的格局[33]。國外以谷歌（Google）和微軟（Microsoft）為代表的算法技術主體已經通過技術創(chuàng)新主動介入到算法歧視的規(guī)制當中，并通過開發(fā)工具偵測和觀察算法歧視。為了能夠預防算法歧視而不是在出現了歧視后等著被投訴或者起訴，就需要對于高危性質的數據分析進行數據保護影響力測評。目前這些工具還處在開發(fā)階段，而且針對的僅僅是數據或者算法程序，不能從源頭上杜絕編程員因為故意或者過失產生的歧視。因此，這種做法其實是規(guī)制的算法化，是用算法來規(guī)制算法，但這樣就陷入了一個理論上的困境，即如何保證預防算法歧視的算法本身不存在歧視問題。

對此，谷歌建立了“人類+人工智能研究計劃”（People + AI Research Project）。截至2018年9月，此計劃主要包括三個小組的相關工作。其一，數據洞察力（Data Insight）小組開發(fā)了名為“多面”（Facets）的開源工具包，可幫助軟件工程師了解進入機器學習模型的數據。其二，可解釋算法（Interpretable Algorithms）小組采用概念激活向量的定量檢驗（Quantitative Testing with Concept Activation Vectors）來克服深度學習模型中的不透明問題。其三，公平解釋（Fair Explanation）小組在閾值分類（Threshold Classifier）上保證了算法過程中的公平和避免歧視。以銀行貸款評估為例，所謂閾值分類就是通過“是/否”決策將數據進行分類，保證機會平等（Equal Opportunity）或者計算機術語上的真正例率（True Positive Rate），使得在所有可以還款的人群中，每個族群（Group）都有相同貸款的獲批比例（Fraction）[34]。而微軟則創(chuàng)立了“人工智能公正、問責、透明和道德工作組”（Fairness，Accountability，Transparency，and Ethics in AI Group），研究人工智能、機器學習和自然語言處理的復雜社會影響①。此外，新興的人工智能公司派韻律（Pymetrics）開發(fā)出了一款名為“人工智能審計”（Audit AI）的開源工具。此工具主要是通過統(tǒng)計學測量算法使用的具體數據和性狀，判斷算法是否會對少數人產生負面影響，但這種工具也未能改變算法開發(fā)者掌握修改算法決定權的事實[35]。

（二）算法的人為介入

有效預防算法歧視還包括人為介入（Human In The Loop），雖然人類擁有最后的決定權和選擇權，但是人為介入卻不一定能完全解決算法歧視問題。

第一，人為介入算法不能作出絕對無歧視的決策。不同人在面臨相同困境時可能會作出截然相反的選擇，而這些選擇都是合法的，因此算法即使有了人為介入，也不能做出絕對公正無歧視的決策。這就猶如哲學上的“有軌電車困境”（Trolley Dilemma）。電車司機由于特殊情況有且只有兩種選擇：一種是往軌道的一側岔道開會撞死五個人，另二種是往另一側岔道開會撞死一個人②。然而，類似這樣的決策不僅僅是假設，在現實社會中，人們同樣也存在是否要犧牲少數人利益保全多數人利益的艱難決策。目前，學界就智能駕駛技術的算法問題開始了歧視問題的討論[36]?？梢?，人為介入的目的只是防止人工智能的失控，并不能保證算法幫助下的人類決策一定能更好或者完全地避免歧視。

第二，人為介入算法可能存在經濟效率問題。人們使用算法的目的一般是追求其經濟和高效，而決策則是由人類根據算法分析作出的選擇。相比于單純地憑借人工分析而作出選擇，借助于人為介入的算法并不能更經濟和更高效地分析結果。例如筆者曾在國外法院工作過，該法院采取的是智能法庭記錄系統(tǒng)，然后再由人工對智能系統(tǒng)記錄的文件進行審查把關。結果發(fā)現這樣的成本有智能系統(tǒng)的使用和維護費用，再加上人工審查費用，竟然高于原來單純的人工記錄費用。當然這種情況可能會因為智能技術的提高或者系統(tǒng)成本的降低而最終得以改善，但是類似的問題值得深思，特別是在沒有獲得更高效率的同時還需要負擔更多的算法歧視風險的情形下。

第三，人為介入或許會形同虛設。人們使用算法往往是為了減少錯誤，更少犯錯的人工智能可能被認為是比人類更為博學的權威。然而，如果使用者甚至法官盲目地根據算法決策來進行裁判，卻可能會造成人為介入形同虛設。從心理學上分析，人們都具有某種程序的懶惰，多數人都希望可以選擇一條更少費心的道路，而不是系統(tǒng)地分析每個決定[37]，而算法剛好為多數人的懶惰提供了便捷，因為使用者大多根本不會去質疑人工智能的決策。

因此，要有效預防算法歧視，還需加強人為介入的有效性。首先，增加相關用戶和研究人員的多樣性。算法既需要對不同用戶的行為進行反饋，還需要不同研究人員對用戶行為進行解讀與編程。例如少數群體的用戶需求很容易被算法忽略，一方面需要注意到少數群體的需求，另一方面也需要有真正理解少數群體的研究人員將算法付諸實施。其次，加強交叉學科領域的合作。其中包括但不限于將算法研究與人文社科領域相融合：通過深入理解相關研究中的不同人群的主觀經驗，利用算法進行解讀，以促進人為介入算法的有效性。再次，對算法行業(yè)特別是頭部企業(yè)進行監(jiān)督。因為企業(yè)往往會對涉及其產品和服務的負面研究進行抵制和打壓，所以對于企業(yè)一定要在數據、倫理以及隱私方面進行有效審查，并且基于言論自由賦予第三方研究人員獨立調查的權利和有效發(fā)聲的渠道。

（三）規(guī)制和創(chuàng)新的平衡

對算法進行過度規(guī)制會阻礙科技創(chuàng)新，但如果規(guī)制不足也會因算法創(chuàng)新被濫用而出現算法歧視。因此需要從以下三個方面在規(guī)制算法歧視和算法技術創(chuàng)新中找到平衡：

第一，簡化法律規(guī)制。杜絕重復和無效的規(guī)制，避免造成算法技術主體的管理成本提高。法規(guī)會對新興和小規(guī)模的算法技術主體產生相對較大的影響，而這種過多的管理負擔會限制創(chuàng)新。從法經濟學的角度看，如果遵守法律的成本遠高于違法的成本，那么理性人會選擇違法而不是守法。因此應該確立清晰的法律執(zhí)行措施，建立簡化的程序，以避免法律規(guī)制本身成為算法創(chuàng)新者們的負擔。

第二，以技術助規(guī)制。政府應該將規(guī)制瞄準在最先進的算法領域，同時考慮此規(guī)制對算法技術主體、數據所有主體以及國家有關部門產生的效果，可最大限度地使用技術友好型的立法，通過使用經濟手段（Economic Instrument）而不是強制命令，使得相關主體自愿達成共識（Voluntary Agreements），并且盡量從行為上規(guī)范而不是替行業(yè)出臺標準。

第三，協(xié)調國際規(guī)制。在規(guī)制算法歧視問題時需要考慮本國的實際情況和技術水平，不能盲目地從國外照搬經驗而不加以甄別地套用。因為各國的經濟、社會和文化背景不同會導致算法的規(guī)制有差異，所以各國在國際上需要持續(xù)地追求經濟效率和創(chuàng)新發(fā)展利益上的兼容，共同減小規(guī)制對于算法進步的阻礙[38]。雖然與算法有關的新規(guī)制具有縮減成本、提高效率以及促進創(chuàng)新的益處，但也要注意保障市場公平交易、保護環(huán)境以及維持政府監(jiān)管。此外，在制定算法規(guī)制時不僅要看到短期的成本變化，還需要從長遠來看整體的經濟、社會以及管理效果。

五、結語

綜上所述，對于各國來說，算法歧視沒辦法成功地被反歧視法所規(guī)制，現有的中外立法、政策和司法實踐也沒有很好地解決算法歧視問題，需要繼續(xù)在技術預防、人為介入以及規(guī)制和創(chuàng)新的平衡上尋求解決方案。相關的法律規(guī)制應該重點關注以下三個方面：

第一，從立法上加以完善。將基于種族、身份、宗教、性別、殘疾等傳統(tǒng)反歧視法律原則在算法歧視問題上進行修改和革新，以防止算法技術發(fā)展下新的社會不公平現象。同時從法律責任上確立算法結果的可追溯性以及算法系統(tǒng)編程的設計人員的法律責任和免責。通過立法和技術雙管齊下，保證算法自動生成結果的可記錄性，并且通過合法的程序對人工智能算法的開發(fā)過程進行公開和透明的監(jiān)控，以避免黑箱無法被問責的結果產生。

第二，從技術上提倡控制。算法規(guī)制需要通過技術來保障公平公正的實現，從算法設計到運算決策防止歧視產生。根據機會平等理念，可通過設計相關的指導手冊和評價體系來保障算法的機會平等。隨著硬件設備的升級和大數據的支持，算法技術可以進一步生成法律文書模板甚至直接起草法律文書，但是仍然需要人類法律工作者的審閱，這就涉及人類和智能系統(tǒng)分工的問題。人類控制算法時需要解決的問題包括但不限于：有效保證律師和法官不會錯誤地糾正算法自動生成的正確答案；避免算法歧視導致的不公正；把人類和算法結合的工作效率維持在純人工處理之上。

第三，從行業(yè)上要求自律。在人工智能產業(yè)中積極推行行業(yè)規(guī)范，將算法決策過程中的問責和透明滲透到行業(yè)開發(fā)和代碼編寫過程之中。通過實現正義公平與經濟效率，保護人工智能行業(yè)的發(fā)展和競爭秩序，同時為消費者提供更為安心的人工智能產品和服務。此外，還需平衡商業(yè)機密和算法信息披露之間的關系，確立算法信息披露和商業(yè)機密保護之間的界限，制定激勵機制改善公共安全，提高公眾的自我保護意識。

［參考文獻］

李成. 人工智能歧視的法律治理[J]. 中國法學，2021（2）：127-147.

URMAN A，MAKHORTYKH M，ULLOA R. Auditing the representation of migrants in image web search results[J]. Humanities and Social Sciences Communications，2022（9）：6-11.

張玉宏，秦志光，肖樂. 大數據算法的歧視本質[J]. 自然辯證法研究，2017（5）：83-84.

EDITORIAL. More accountability for big-data algorithms[J/OL]. Nature，2016，537：449. [2024-05-06]. https：//www. nature. com/articles/537449a.

鄒開亮. 大數據背景下價格歧視行為的法律規(guī)制[J]. 安陽工學院學報，2018（1）：16-19.

GARNER B. Black’s Law Dictionary[M]. 8th Edition. US：Thomson West，2004：1407-1408.

外交部. 中國參加國際公約情況一覽表（1875-2003）[EB/OL]. [2024-05-06]. https：//www. mfa. gov. cn/web//wjb_673085/zfxxgk_674865/gknrlb/tywj/tyqk/200303/t20030324_9867259. shtml.

外交部. 2008年中國參加的主要多邊條約一覽表[EB/OL]. [2024-05-06]. https：//www. mfa. gov. cn/web/wjb_673085/zfxxgk_674865/gknrlb/tywj/tyqk/200907/t20090728_9277051. shtml.

丁曉東. 探尋反歧視與平等保護的法律標準從“差別性影響標準”切入[J]. 中外法學，2014（4）：1080-1096.

周偉. 從身高到基因：中國反歧視的法律發(fā)展[J]. 清華法學，2012（2）：15-30.

EQUAL OPPORTUNITIES COMMISSION. What is discrimination？[EB/OL]. [2024-05-06]. https：//www. eoc. org. uk/what-is-discrimination/.

羅智敏. 算法歧視的司法審查：意大利戶戶送有限責任公司算法歧視案評析[J]. 交大法學，2021（2）：183-195.

張吉豫. 數字法理的基礎概念與命題[J]. 法制與社會發(fā)展，2022（5）：47-72.

HUBBARD P. Sophisticated robots：balancing liability，regulation，and innovation[J]. Florida Law Review，2015，66：1854.

JOUVENAL J. Police are using software to predict crime. Is it a“Holy Grail”or biased against minorities？[N]. Washington Post，2016-11-17.

CHAMMA M. Policing the future[EB/OL]. [2024-05-06]. https：//www. themarshallproject. org/2016/02/03/policing-the-future.

LEPRI B，OLIVER N，LETOUZé E，et al. Fair，transparent，and accountable algorithmic decision-making processes[J]. Philosophy amp; Technology，2018（31）：611–627.

SHIN D，PARK Y J. Role of accountability，and transparency in algorithmic affordance[J]. Computers in Human Behavior，2019，98：277-284.

WACHTER S，MITTELSTADT B，FLORIDI L. Why a right to explanation of automated decision-making does not exist in the General Data Protection Regulation[J/OL]. International Data Privacy Law，2017（2）：76-99. [2024-05-06]. https：//academic. Oup. Com/idpl/articale/7/2/76/3860948.

CITRON D. Technological due process[J]. Washington University Law Review，2008（6）：1249-1313.

丁曉東. 算法與歧視從美國教育平權案看算法倫理與法律解釋[J]. 中外法學，2017（6）：1609-1623.

HACKER P. Teaching fairness to artificial intelligence：existing and novel strategies against algorithmic discrimination under EU law[J]. Common Market Law Review，2018（55）：1143-1186.

ZUIDERVEEN B. Price discrimination，algorithmic decision-making，and European non-discrimination law[J]. European Business Law Review，2020（31）：401-422.

王顯勇. 公私兼顧論：我國反就業(yè)歧視法行政實施機制構建研究[J]. 法律科學（西北政法大學學報），2019（2）：153-160.

朱體正. 人工智能輔助刑事裁判的不確定性風險及其防范[J]. 浙江社會科學，2018（6）：76-85.

周翠. 互聯網法院建設及前景展望[J]. 法律適用，2018（3）：38-43.

白建軍. 基于法官集體經驗的量刑預測研究[J]. 法學研究，2016（6）：140-154.

傅文華. 以智為廌：人工智能法院應用準人“VFE”法：基于法院場域角色的精準建構[J]. 中山大學法律評論，2018（2）：16-30.

ALETRAS N，TSARAPATSANIS D，PREO?IUC-PIETRO D，et al. Predicting judicial decisions of the European Court of Human Rights：a natural language processing perspective[J/OL]. Peer J Computer Science，2016，2：e93. [2024-05-06]. https：//peerj. com/articles/cs-93/.

VINCENT J. AI program able to predict human rights trials with 79 percent accuracy[EB/OL]. [2024-05-06]. https：//www. theverge. com/2016/10/24/13379466/ai-judge-european-human-rights-court-prediction.

STARR S. Evidence-based sentencing and the scientific rationalization of discrimination[J]. Stanford Law Review，2014（66）：803-853.

FREEMAN K，Algorithmic injustice：how the Wisconsin Supreme Court failed to protect due process rights in State v. Loomis[J]. North Carolina Journal of Law amp; Technology Online Edition，2016（18）：75-106.

騰訊研究院. 人工智能時代的算法治理報告[EB/OL]. [2024-05-06]. https：//www. tisi. org/24865.

WATTENBERG M，VIéGAS F，HARDT M. Attacking discrimination with smarter machine learning[EB/OL]. [2024-05-06]. https：//research. google. com/bigpicture/attacking-discrimination-in-ml/.

JOHNSON K. Pymetrics open-sources Audit AI，an algorithm bias detection tool[EB/OL]. [2024-05-06]. https：//venturebeat. com/ai/pymetrics-open-sources-audit-ai-an-algorithm-bias-detection-tool/.

LIU H. Three types of structural discrimination introduced by autonomous vehicles[J]. University of California Davis Law Review Online，2018（51）：149-180.

SKITKA L. Does automation bias decision-making？[J]. International Journal of Human-Computer Studies，1999（51）：991-1006.

BAKER R S，HAWN M A，LEE S. Algorithmic bias：the state of the situation and policy recommendations [EB/OL]. [2024-05-06]. https：//www. oecd-ilibrary. org/sites/09e55ac4-en/index. html？itemId=/content/component/09e55ac4-en.

[責任編輯 祁麗華]

①中國的《勞動法》（2018）第12條；《就業(yè)促進法》（2015）第3條第2款，第29條第3款，第31條；《區(qū)域自治法》（2001）第9條，第11條第2款；《婦女權益保障法》（2005）第2條，第25條，第27條，第34條，第38條，第39條；《殘疾人保障法》（2008）第3條第3款；《精神衛(wèi)生法》（2018）第5條；《老年人權益保障法》（2015）第3條第3款；《未成年人保護法》（2012）第10條第2款，第18條，第25條第4款，第43條第3款，第57條第3款，第70條；《預防未成年人犯罪法》（2012）第23條，第36條第2款，第39條第2款，第48條；《反恐怖主義法》（2018）第6條第2款；《網絡安全法》（2016）第12條第2款；《電影產業(yè)促進法》（2016）第16條第1款第（三）項；《人口與計劃生育法》（2015）第22條；《刑法》（2015）第248條，第250條；《治安管理處罰法》（2012）第47條；《廣告法》（2015）第9條第1款第（九）項；《郵政法》（2015）第37條第1款第（四）項；《商標法》（2013）第10條第1款第（六）項；《傳染病防治法》（2013）第16條第1款；《歸僑僑眷權益保護法》（2009）第3條；《禁毒法》（2007）第52條，第70條；《婚姻法》（2001）第25條第1款，第27條第1款；《價格法》（1997）第14條第1款第（五）項；《中小企業(yè)促進法》（2017）第40條第3款；《招標投標法》（2017）第18條；《對外貿易法》（2016）第7條。

②Griggs v.Duke Power Co.，401 U.S.424（1971）.

③Washington v.Davis，426 U.S.229（1976）.

①Casa Fleischhandels-GmbH v.Bundesanstalt für landwirtschaftliche Marktordnung[1989]ECR 02789.

①基于種族、膚色、民族、性別（包括懷孕、分娩和相關醫(yī)療狀況、性別認同、雙性人身份和性取向）、宗教、年齡、國籍、殘疾、退伍軍人身份、遺傳信息或受法律保護的任何其他分類。

①State of Wisconsin v.Loomis，881 N.W.2d 749（Wis.2016）.

①目標是促進既創(chuàng)新又負責任的計算技術，同時通過借鑒具有社會技術取向的領域，如人機交互、信息科學、社會學、人類學、科學和技術研究、媒體研究、政治學和法律，優(yōu)先考慮與人工智能、機器學習和自然語言處理相關的公平、問責制、透明度和道德問題。詳見：https：//www.microsoft.com/en-us/research/theme/fate/overview/.

②1967年英國哲學家菲利帕·福特（Philippa Foot）提出了用一系列極端情況假設來測試人的道德感，1985年美國哲學家朱迪思·賈維斯·湯姆森（Judith Jarvis Thomson）審查和擴展了該理論。詳見Foot P.The Problem of Abortion and the Doctrine of the Double Effect[J].Oxford Review，1967（5）：1-7；Thomson J J.The Trolley Problem[J].Yale Law Journal，1984-85（94）：1395-1415.