嚴(yán)夢(mèng)婷

青島科技大學(xué)，山東 青島 266061

一、算法歧視的表現(xiàn)形式

算法歧視也稱算法偏見(jiàn)，指算法把相同事物給予不平等、不合理的區(qū)別對(duì)待。歧視問(wèn)題的出現(xiàn)是一個(gè)長(zhǎng)久且難以克服的社會(huì)現(xiàn)象，這也是我們現(xiàn)代社會(huì)亟需解決的。算法技術(shù)通過(guò)大數(shù)據(jù)和深度學(xué)習(xí)能力進(jìn)行數(shù)據(jù)的自動(dòng)化整合，在一定程度上克服了人們自主決策的主觀性。由于實(shí)踐中算法決策者數(shù)據(jù)采樣的片面化、算法黑箱等人為因素的原因，將已有的偏見(jiàn)編寫進(jìn)算法中，由此得出的運(yùn)算結(jié)果不可避免地產(chǎn)生了歧視，其中包括價(jià)格歧視、種族歧視、身份歧視等。我國(guó)雖然在一定程度上抑制了算法歧視的產(chǎn)生，但是算法歧視的規(guī)制體系仍不完整。在不同情境之下，算法歧視行為存在不同的表現(xiàn)形式，對(duì)個(gè)體權(quán)利也造成了不同形式的損害。

在信息獲取層面，首先，依賴算法技術(shù)所產(chǎn)生的個(gè)性化推薦會(huì)阻礙個(gè)人對(duì)于不同類型信息進(jìn)行自由選擇的權(quán)利，個(gè)性化推薦帶來(lái)的信息“過(guò)濾氣泡”問(wèn)題影響對(duì)個(gè)人判斷、決策的抑制，進(jìn)而不可避免地產(chǎn)生人的視野狹窄、立場(chǎng)固化等認(rèn)知能力問(wèn)題；其次，算法技術(shù)的深度學(xué)習(xí)能力很大程度上依托于大量數(shù)據(jù)的收集和整合，而信息收集過(guò)程中極易導(dǎo)致對(duì)個(gè)人信息權(quán)益的侵犯，例如一些不愿意被他人所知的搜索瀏覽記錄卻可能被大量傳輸出去，獲取位置等敏感信息，甚至進(jìn)行跨平臺(tái)的行為追蹤。

在市場(chǎng)消費(fèi)層面，“算法殺熟”是目前對(duì)作為消費(fèi)者的個(gè)人影響最大的算法歧視行為，其最初是指以平臺(tái)用戶為侵害對(duì)象，多表現(xiàn)為消費(fèi)者在短時(shí)間內(nèi)對(duì)某個(gè)內(nèi)容頻繁搜索，算法就會(huì)因?yàn)樵撔袨椴扇€(gè)性化定價(jià)策略從而進(jìn)行價(jià)格歧視。例如，在一家餐館中，顧客根據(jù)其所使用的菜品、價(jià)格、位置等因素在APP 中選擇了一家餐館并進(jìn)入餐館進(jìn)行就餐，該APP 的算法就會(huì)根據(jù)該顧客所選擇的菜品以及其所使用的位置等因素來(lái)進(jìn)行個(gè)性化推薦。此時(shí)，如果顧客在進(jìn)入餐館后選擇了一款價(jià)格較高的菜品并進(jìn)入餐館就餐，那么此時(shí)該顧客就受到算法歧視的影響。且經(jīng)營(yíng)者往往會(huì)為了提升自身的競(jìng)爭(zhēng)力，利用“算法殺熟”等手段，打破博弈規(guī)則，改變市場(chǎng)運(yùn)行結(jié)構(gòu)，擾亂社會(huì)市場(chǎng)經(jīng)濟(jì)秩序，因此對(duì)企業(yè)進(jìn)行監(jiān)管具有必要性。從整體來(lái)看，算法歧視會(huì)導(dǎo)致不同主體間利益受損。

二、算法歧視的產(chǎn)生原因

（一）算法程序本身存在局限性

首先，算法是一種在計(jì)算機(jī)上構(gòu)建和運(yùn)行的程序，其運(yùn)行過(guò)程和結(jié)果受計(jì)算機(jī)的算力限制，采用固有的算法邏輯屬性，無(wú)法做到真正的“隨機(jī)”。然而，人類會(huì)根據(jù)某個(gè)事件的特殊性，根據(jù)經(jīng)驗(yàn)判斷作出具有針對(duì)性的決策。其次，算法在實(shí)際應(yīng)用中需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練才能形成自身的智能，但由于數(shù)據(jù)本身存在較多的限制（如數(shù)據(jù)樣本的大小、樣本分布情況等），導(dǎo)致算法所需數(shù)據(jù)難以滿足。最后，算法對(duì)現(xiàn)實(shí)世界中復(fù)雜因素的分析往往有一定滯后性，難以及時(shí)有效作出相應(yīng)調(diào)整。

（二）算法具有預(yù)置性偏見(jiàn)

一方面算法設(shè)計(jì)者主觀上存在認(rèn)知的偏見(jiàn)價(jià)值融合形成算法歧視，因?yàn)槿祟惛鶕?jù)思想意識(shí)固有的對(duì)各個(gè)方面的偏見(jiàn)，使得算法在一定程度上具有預(yù)置性偏見(jiàn)。例如，一個(gè)人在很長(zhǎng)一段時(shí)間內(nèi)每天都吃巧克力，那么該算法就會(huì)認(rèn)為該人“喜歡吃巧克力”，但如果這個(gè)人某一天突然喜歡上了喝咖啡，該算法則不會(huì)認(rèn)為這個(gè)人“喜歡喝咖啡”，依然認(rèn)為他“喜歡吃巧克力”；另一方面算法技術(shù)運(yùn)行過(guò)程中存在缺陷，學(xué)習(xí)功能的算法過(guò)濾標(biāo)準(zhǔn)過(guò)于寬松。當(dāng)前，算法通過(guò)對(duì)人類的信息和數(shù)據(jù)的收集、分類、學(xué)習(xí)將問(wèn)題分解，建立數(shù)據(jù)集，予以標(biāo)簽化，再根據(jù)算法自身的學(xué)習(xí)對(duì)個(gè)體進(jìn)行歸類與預(yù)測(cè)。如果恰好是依據(jù)帶有偏見(jiàn)的數(shù)據(jù)所作出的決策也會(huì)具有偏見(jiàn)性，無(wú)法對(duì)信息進(jìn)行甄別和篩選，利用歷史數(shù)據(jù)訓(xùn)練算法會(huì)加重歧視的產(chǎn)生，出現(xiàn)例如種族歧視、性別歧視或就業(yè)歧視等問(wèn)題。

（三）算法黑箱的負(fù)面影響

當(dāng)今數(shù)字經(jīng)濟(jì)不斷發(fā)展，算法的問(wèn)題愈發(fā)復(fù)雜，甚至連設(shè)計(jì)者都無(wú)從解釋算法的自主決策的結(jié)果是從哪里得出的，就如，時(shí)下最火的ChatGPT是美國(guó)人工智能研究實(shí)驗(yàn)室OpenAI 新推出的一種人工智能技術(shù)驅(qū)動(dòng)的自然語(yǔ)言處理工具，適用了神經(jīng)網(wǎng)絡(luò)架構(gòu)——GPT-3．5 架構(gòu)，這是一種處理序列數(shù)據(jù)的模型，擁有語(yǔ)言理解和文本生成能力。設(shè)計(jì)者們基于該結(jié)構(gòu)對(duì)其進(jìn)行訓(xùn)練，判斷這個(gè)是A，那個(gè)不是A 的過(guò)程，該過(guò)程體現(xiàn)出復(fù)雜性和不透明性，且由于高度的專業(yè)性會(huì)產(chǎn)生巨大的“數(shù)字鴻溝”問(wèn)題［1］。算法設(shè)計(jì)者不會(huì)將數(shù)據(jù)輸入及決策輸出過(guò)程的源代碼公之于眾，正是由于一些神經(jīng)網(wǎng)絡(luò)技術(shù)性問(wèn)題，人們無(wú)法充分了解算法內(nèi)部的決策歸責(zé)，導(dǎo)致透明性和解釋性不足從而產(chǎn)生了算法黑箱，引發(fā)歧視的出現(xiàn)。

三、算法規(guī)制的路徑探索

（一）算法規(guī)制的境外經(jīng)驗(yàn)

早在我國(guó)使用算法技術(shù)之前，以歐盟為代表的歐美國(guó)家對(duì)算法相關(guān)問(wèn)題進(jìn)行深入研究，相對(duì)來(lái)說(shuō)我國(guó)關(guān)于算法規(guī)制水準(zhǔn)的起步是較落后于這些國(guó)家的。歐盟大部分學(xué)者都認(rèn)為，數(shù)據(jù)是算法的基石，具有支撐作用［2］。2018 年歐盟已經(jīng)出臺(tái)《通用數(shù)據(jù)保護(hù)條例》（General Data Protection Regulation，以下簡(jiǎn)稱“GDPR”）對(duì)人工智能（AI）有著極大的約束作用。首先在前言中就肯定了個(gè)人信息保護(hù)是一項(xiàng)基本權(quán)利，GDPR 的管轄范圍很寬，既能規(guī)范歐盟境內(nèi)個(gè)人信息處理的活動(dòng)，也能規(guī)范歐盟境外的相關(guān)活動(dòng)。2022 年歐盟頒布的《數(shù)字服務(wù)法》（Digital Services Act，以下簡(jiǎn)稱“DSA”），其主要是規(guī)制企業(yè)和平臺(tái)追責(zé)問(wèn)題。DSA 對(duì)數(shù)據(jù)的采集、存儲(chǔ)等各方面問(wèn)題都做了相對(duì)明確的規(guī)定，其中還特別說(shuō)明了對(duì)數(shù)據(jù)要公開(kāi)透明提供解釋，要將數(shù)據(jù)責(zé)任落實(shí)到位。

美國(guó)采取了一條與歐盟算法不同的路徑，就是用風(fēng)險(xiǎn)管控模式對(duì)算法進(jìn)行有效規(guī)制。美國(guó)政府期望能夠借助各個(gè)行業(yè)通過(guò)自身約束來(lái)減少算法歧視，與此同時(shí)應(yīng)當(dāng)對(duì)算法規(guī)制原則進(jìn)行強(qiáng)化。

（二）我國(guó)算法歧視的法律規(guī)制路徑

1．強(qiáng)化算法權(quán)利意識(shí)和個(gè)人信息權(quán)益保護(hù)

我國(guó)已通過(guò)相關(guān)的法律法規(guī)對(duì)算法權(quán)利進(jìn)行了相應(yīng)的規(guī)定，例如《中華人民共和國(guó)個(gè)人信息保護(hù)法》（以下簡(jiǎn)稱《個(gè)人信息保護(hù)法》）、《中華人民共和國(guó)數(shù)據(jù)安全法》以及《信息安全技術(shù)—個(gè)人信息安全規(guī)范》（GB/T 35273-2020）。但是，這些法律法規(guī)的規(guī)定過(guò)于籠統(tǒng)，在實(shí)際操作過(guò)程中仍然存在較多問(wèn)題。

一方面要明確算法權(quán)利的內(nèi)涵與外延。首先，對(duì)于算法權(quán)利的內(nèi)涵需要進(jìn)一步界定，應(yīng)將其從一般權(quán)利中分離出來(lái)，同時(shí)明確其與其他權(quán)利之間的關(guān)系。其次，對(duì)于算法權(quán)利的外延需要進(jìn)行一定的擴(kuò)充。算法權(quán)利應(yīng)包括但不限于以下內(nèi)容：算法知情權(quán)、算法選擇權(quán)、算法解釋權(quán)、算法撤回權(quán)、算法救濟(jì)權(quán)、算法終止權(quán)等。另一方面要完善個(gè)人信息權(quán)益的保護(hù)機(jī)制，詳細(xì)規(guī)定公民數(shù)據(jù)攜帶權(quán)以及對(duì)被遺忘權(quán)的保護(hù)。數(shù)據(jù)攜帶權(quán)可以明確數(shù)據(jù)權(quán)利的歸屬，可以因此規(guī)制數(shù)據(jù)控制者，且主體可以根據(jù)自己的意愿攜帶個(gè)人數(shù)據(jù)進(jìn)入到不同的算法決策體系中。個(gè)人信息被遺忘權(quán)是指用戶可以刪除個(gè)人數(shù)據(jù)的權(quán)利，亦有學(xué)者稱之為刪除權(quán)。被遺忘權(quán)不僅可以通過(guò)對(duì)個(gè)人信息的保護(hù)，避免一些帶有隱私性的信息流通，還可以抵御算法的規(guī)制，允許主體對(duì)被獲取的數(shù)據(jù)進(jìn)行刪除。如“李某鑫案件”中，由于其被大眾誤解受到各種指責(zé)和歧視，嚴(yán)重影響其日常生活，盡管已澄清事實(shí)，但是網(wǎng)絡(luò)上留下的痕跡仍然存在，因此賦予被遺忘權(quán)利大于弊。

2．加強(qiáng)企業(yè)合規(guī)體系建設(shè)

隨著數(shù)字經(jīng)濟(jì)快速發(fā)展，我國(guó)持續(xù)加強(qiáng)企業(yè)相關(guān)法律法規(guī)建設(shè)、壓實(shí)企業(yè)主體合規(guī)責(zé)任，鼓勵(lì)企業(yè)創(chuàng)新發(fā)展、提升服務(wù)質(zhì)量、加大反壟斷監(jiān)管力度［3］。

加強(qiáng)企業(yè)合規(guī)體系建設(shè)，首先，企業(yè)要加強(qiáng)設(shè)計(jì)者的職業(yè)道德水準(zhǔn)，定期組織法律法規(guī)的學(xué)習(xí)，對(duì)關(guān)鍵環(huán)節(jié)進(jìn)行重點(diǎn)審查，避免偏見(jiàn)；其次，企業(yè)應(yīng)當(dāng)建立起完善的數(shù)據(jù)采集制度，將收集到的數(shù)據(jù)進(jìn)行分類管理，制定規(guī)范細(xì)則要求，避免因數(shù)據(jù)缺失或不均而產(chǎn)生算法歧視問(wèn)題。最后，建立數(shù)據(jù)安全管理制度和安全保護(hù)技術(shù)措施，定期進(jìn)行數(shù)據(jù)安全風(fēng)險(xiǎn)評(píng)估。針對(duì)算法在設(shè)計(jì)過(guò)程中的技術(shù)缺陷問(wèn)題，企業(yè)在進(jìn)行數(shù)據(jù)處理時(shí)，進(jìn)行再監(jiān)督審查，防止數(shù)據(jù)泄露、篡改、丟失，防止未經(jīng)授權(quán)的訪問(wèn)，防止利用數(shù)據(jù)分析結(jié)果從事違法犯罪活動(dòng)等，做好風(fēng)險(xiǎn)防控及風(fēng)險(xiǎn)預(yù)判。對(duì)于具有學(xué)習(xí)功能的算法，企業(yè)在收集和使用個(gè)人信息時(shí)，應(yīng)告知其收集和使用的目的、方式和范圍，并經(jīng)被收集者同意，不得違反法律法規(guī)的規(guī)定和雙方的約定收集、使用個(gè)人信息，應(yīng)當(dāng)公開(kāi)處理規(guī)則，并保障個(gè)人的知情權(quán)、選擇權(quán)等合法權(quán)益，從而減少算法歧視帶來(lái)的損害。

3．加強(qiáng)對(duì)算法歧視行為的審查監(jiān)督

要完善算法應(yīng)用的審查監(jiān)督制度。數(shù)字算法公開(kāi)性、透明性的問(wèn)題，是數(shù)字時(shí)代的核心問(wèn)題。算法黑箱造成的隱患已經(jīng)引起了公眾的廣泛重視，當(dāng)這種現(xiàn)象成為一種隱性規(guī)則時(shí)，只有通過(guò)對(duì)算法歧視行為進(jìn)行外部施壓，用社會(huì)法制規(guī)制“黑箱”問(wèn)題。雖然，我國(guó)在2021 年施行的《個(gè)人信息保護(hù)法》中對(duì)個(gè)人信息處理者和數(shù)據(jù)處理者提出了相應(yīng)的審查義務(wù)，但沒(méi)有對(duì)算法歧視設(shè)計(jì)主體的行為規(guī)范進(jìn)一步規(guī)定［4］。因此，在算法投入應(yīng)用階段必定要進(jìn)行審查監(jiān)督。

首先，由行業(yè)協(xié)會(huì)對(duì)企業(yè)算法的設(shè)計(jì)、運(yùn)行等過(guò)程進(jìn)行事前審查和事中評(píng)估。進(jìn)行事前審查保證價(jià)值導(dǎo)向，從而在價(jià)值上引導(dǎo)避免算法決策歧視性結(jié)果的發(fā)生；對(duì)企業(yè)事中評(píng)估防止偏見(jiàn)的產(chǎn)生，通過(guò)存在偏見(jiàn)性決策的結(jié)果，評(píng)估企業(yè)是否具有完善的合規(guī)體系以及有效避免該風(fēng)險(xiǎn)發(fā)生的能力；對(duì)違法違規(guī)行為進(jìn)行糾正、督促整改，促進(jìn)算法倫理和法治建設(shè)。其次，基于算法涉及的內(nèi)容廣泛，建立單一的算法部門不能夠把握算法控制權(quán)的主動(dòng)性，且無(wú)法適應(yīng)現(xiàn)代社會(huì)發(fā)展，應(yīng)當(dāng)由多個(gè)部門協(xié)同監(jiān)管。因此筆者認(rèn)為應(yīng)當(dāng)在立法中明確監(jiān)管的相關(guān)主體，加強(qiáng)對(duì)算法歧視行為的審查監(jiān)督，正確引導(dǎo)算法的價(jià)值導(dǎo)向［5］，以提高算法透明度達(dá)到可解釋性的標(biāo)準(zhǔn)，對(duì)經(jīng)營(yíng)者的算法安全評(píng)估進(jìn)行審查，確定其具有控制算法風(fēng)險(xiǎn)的能力。

4．明確算法歧視行為的責(zé)任分擔(dān)

算法歧視容易引發(fā)一系列對(duì)公民權(quán)益損害、侵權(quán)的風(fēng)險(xiǎn)，因此需要確定侵權(quán)行為發(fā)生時(shí)各方主體之間的責(zé)任，使受害者的救濟(jì)落實(shí)。應(yīng)從法律責(zé)任主體、法律責(zé)任的歸責(zé)原則兩個(gè)方面進(jìn)行界定［6］。

對(duì)于算法歧視的責(zé)任主體而言，首先，應(yīng)明確網(wǎng)絡(luò)服務(wù)提供者的責(zé)任。網(wǎng)絡(luò)服務(wù)提供者在算法設(shè)計(jì)、運(yùn)行、應(yīng)用等過(guò)程中對(duì)用戶權(quán)利造成侵害的，應(yīng)當(dāng)承擔(dān)相應(yīng)的責(zé)任。其次，應(yīng)明確相關(guān)監(jiān)管主體的責(zé)任。在事后監(jiān)管環(huán)節(jié)，可以依據(jù)法律法規(guī)、標(biāo)準(zhǔn)等對(duì)算法所造成的侵權(quán)行為進(jìn)行處罰。

在算法歧視的歸責(zé)原則方面，有學(xué)者將算法歧視原則歸責(zé)為無(wú)過(guò)錯(cuò)原則，對(duì)網(wǎng)絡(luò)服務(wù)提供者過(guò)于嚴(yán)苛，且不利于算法技術(shù)的發(fā)展。有的學(xué)者認(rèn)為直接采取過(guò)錯(cuò)推定原則，亦無(wú)法保護(hù)公民的合法權(quán)益。筆者認(rèn)為應(yīng)當(dāng)根據(jù)過(guò)錯(cuò)推定原則和無(wú)過(guò)錯(cuò)原則來(lái)確定算法歧視的責(zé)任主體。首先，在算法歧視的過(guò)錯(cuò)推定方面，應(yīng)明確在算法設(shè)計(jì)階段，網(wǎng)絡(luò)服務(wù)提供者未履行“告知義務(wù)”或者“公平、合理的注意義務(wù)”的，應(yīng)推定網(wǎng)絡(luò)服務(wù)提供者存在過(guò)錯(cuò)。其次，在算法運(yùn)行階段，網(wǎng)絡(luò)服務(wù)提供者應(yīng)當(dāng)采取有效措施對(duì)算法運(yùn)行情況進(jìn)行監(jiān)測(cè)，發(fā)現(xiàn)算法有歧視或歧視行為的，應(yīng)及時(shí)糾正或采取相關(guān)措施。