范紅霞 孫金波

【摘要】隨著算法的適用場景越來越廣泛，各種算法推薦和算法模型日益左右著我們的認知與決策，而算法偏見和算法歧視問題也逐漸暴露出來。從算法偏見、數(shù)據(jù)庫偏差和認知語言及編碼歧視等角度分析算法性別歧視的表現(xiàn)和成因發(fā)現(xiàn)，算法中的性別歧視將加重對女性的物化和數(shù)字化異化，會進一步加大“數(shù)字性別鴻溝”。因此必須在倫理、法律和技術(shù)規(guī)則方面加強規(guī)制，通過算法正義，推動性別平等化。

【關(guān)鍵詞】算法偏差;性別;歧視;數(shù)字異化;算法正義

一、技術(shù)與性別歧視

隨著算法的適用場景越來越廣泛，各種算法推薦和算法模型日益左右著我們的認知與決策，而算法偏見和算法歧視問題也逐漸暴露出來。人們擔(dān)心因為性別、種族、年齡和身份地位等方面的歧視，會蔓延到人工智能和算法技術(shù)中，從而將現(xiàn)實中的偏見、不公正和不平等復(fù)制到技術(shù)領(lǐng)域，加重社會分化和意識形態(tài)分裂的危機。

事實上，這些擔(dān)憂在某種程度上也恰恰成為現(xiàn)實。如卡內(nèi)基梅隆大學(xué)Amit Datta等學(xué)者研究了求職者性別與招聘廣告推送的關(guān)系，利用數(shù)據(jù)軟件發(fā)現(xiàn)男性用戶組收到“年薪在20萬美元以上”職位推薦的數(shù)量是女性用戶組的6倍。[1]另外，據(jù)路透社2018年的報道，亞馬遜公司研發(fā)出來的自動招聘系統(tǒng)存在性別歧視的問題，該系統(tǒng)在對求職者的簡歷進行篩選時，會對女性求職者進行降級處理，而提高男性候選人的排名。[2]在當(dāng)下流行的共享經(jīng)濟模式中，也出現(xiàn)了性別不平等的傾向。張凌寒通過實證研究的方式發(fā)現(xiàn)，像家政、代駕、保姆、外賣員這一類的工作，在傳統(tǒng)就業(yè)模式中就存在性別不平等關(guān)系以及對工人的剝削和歧視，且在共享經(jīng)濟靈活就業(yè)中更得到了加強——如通過平臺評級和評論系統(tǒng)，使得性別弱勢、低收入、受教育程度低等弱勢群體的弱勢地位隨著共享經(jīng)濟靈活就業(yè)的發(fā)展進一步加強。[3]

技術(shù)女性主義者認為女性被排除在技術(shù)之外，始于人類社會最初的勞動分工，女性負責(zé)采摘果實和照管嬰兒、老人，而男性負責(zé)狩獵和保衛(wèi)營地，從而形成了“男主外女主內(nèi)”的最初性別分工。但更深刻的變化則來自于17-18世紀的工業(yè)革命和資本主義工廠的興起。生產(chǎn)制造活動從家庭轉(zhuǎn)移到了規(guī)?；墓S里，男人成為工廠、礦山、鐵路、農(nóng)場等社會生產(chǎn)空間內(nèi)的主要勞動力，成為操縱機器的雇傭工人;而大部分女性則留守家庭，輾轉(zhuǎn)于爐灶和居室之間，公共領(lǐng)域和私人領(lǐng)域分離，導(dǎo)致新一輪的性別分工，這也為男性主導(dǎo)技術(shù)（與機器）奠定了基礎(chǔ)。這種模式延續(xù)到互聯(lián)網(wǎng)時代，編寫代碼的程序員、算法工程師和人工智能的研發(fā)者們也多是男性，而女性在這個行業(yè)中占比不到2%。因此，在這個幾乎由男性“一統(tǒng)天下”的行業(yè)和領(lǐng)域中，其技術(shù)標準、評估決策、算法模型、使用規(guī)則等也就不可避免地以男性標準為中心，而社會文化和觀念認知中的固有偏見和歧視也就有可能潛移默化地嵌入現(xiàn)有技術(shù)體系中。說到底，算法結(jié)果不過是如實反映了數(shù)據(jù)庫乃至社會中真實存在的偏見。而這些偏見，恰恰與我們追求平等公正的社會理念背道而馳。

二、算法歧視與性別不平等

不同于其他類型的歧視，算法歧視問題的出現(xiàn)有其獨特的技術(shù)背景。關(guān)于算法歧視可以歸為如下幾類：

（一）算法偏差

算法偏差一般指的是計算機程序或者人工智能系統(tǒng)在數(shù)據(jù)收集、數(shù)據(jù)選擇和使用的過程中因包含了人類的隱含價值而在輸出中呈現(xiàn)出不公平現(xiàn)象，算法偏差是對算法客觀性的偏離。[4]算法偏差隱含在算法中，往往是隱性的，我們可以通過分析算法偏差的外部原因和特征來理解算法偏差。研究人員把算法偏差歸咎為“合成謬誤”和“虛假因果”[5]。由于當(dāng)前人工智能技術(shù)仍然處于“弱智”階段，無論是算法模型、數(shù)據(jù)庫處理還是機器訓(xùn)練，在一系列的程序運作中，每一個環(huán)節(jié)都有可能出現(xiàn)偏差;而且，即使微觀上正確的東西并不一定在宏觀上都是正確的。美國著名經(jīng)濟學(xué)家、諾貝爾經(jīng)濟學(xué)獎得主保羅·薩繆爾森就曾經(jīng)說過，“個人理性行為往往無法產(chǎn)生集體理性的結(jié)果”。算法也不例外。

（二）算法偏見

算法偏差會導(dǎo)致算法偏見。所謂算法偏見，主要是指算法設(shè)計者在編程時可能將自身偏見、社會風(fēng)氣、制度體制以及文化差異嵌入算法之中。這既可能是顯性的和有意識的，也可能是隱性的和無意識的。[6]算法偏見導(dǎo)致的算法歧視現(xiàn)象廣泛存在。微軟和美國波士頓大學(xué)的研究人員發(fā)現(xiàn)在一些人工智能算法中存在性別歧視現(xiàn)象，如“編程”和“工程師”等詞常與男性聯(lián)系起來，“家庭主婦”“家務(wù)勞動”等詞往往與女性聯(lián)系在一起。[7]而美國學(xué)者通過對百萬Uber司機收入進行分析，其結(jié)果令人驚訝：在一個工作任務(wù)由不分性別的算法決定、薪酬結(jié)構(gòu)直接與產(chǎn)出掛鉤而并不需要與資方談判的環(huán)境中，男性做同樣的工作，平均每小時比女性多賺7%。[8]算法的偏見來自程序員或者工程師編制的代碼規(guī)則和所使用的數(shù)據(jù)庫。這些看似客觀的因素，一旦摻入人們固有的性別觀念，就會讓其運算結(jié)果呈現(xiàn)出和現(xiàn)實偏見同樣的效果。

（三）算法濫用

算法濫用則是放任算法偏差與算法偏見存在而不加糾正，且大規(guī)模使用后產(chǎn)生的負面影響。它與人們的使用動機和使用效果有關(guān)。例如，人臉識別算法本意是為了精準識別罪犯，提高社會治安管理水平。但是，現(xiàn)在一些房地產(chǎn)銷售門店、商超、公園和景點、單位門崗、小區(qū)門口也都裝上了人臉識別系統(tǒng)，我們?nèi)绻穯栆幌拢河眠@種“刷臉進入”的方式來取代以往憑身份證件自由出入，僅僅是體驗上的提升，但是在便利性上我們是否需要追求這種極致的“效率”？進而言之，當(dāng)我們知道商家利用識別結(jié)果對所謂“老客”“新客”區(qū)別對待已經(jīng)涉嫌歧視，侵害了個人合法權(quán)益，以及可能存在人臉信息濫用和泄露的風(fēng)險時，我們還能保持淡定嗎？這就是一種典型的算法濫用了。另外，有不法分子會利用換臉技術(shù)，將特定的人臉信息替換到一些色情圖片或影像的面部，從而損害受害人的聲譽;或者從事網(wǎng)絡(luò)詐騙活動，這種行為已經(jīng)危及到了他人和社會的公共安全。

（四）機器學(xué)習(xí)中的偏見

機器學(xué)習(xí)偏見，則是指由機器學(xué)習(xí)形成或強化的偏見。在人工智能時代，算法總是與機器學(xué)習(xí)緊密聯(lián)系，算法告訴機器數(shù)據(jù)處理規(guī)則使機器按照特定步驟處理數(shù)據(jù)，而機器學(xué)習(xí)通過分析數(shù)據(jù)之間的聯(lián)系，不斷進行模型優(yōu)化，形成成熟模型并找到最優(yōu)解。[9]但是，這些算法模型也并非完美無缺，建模過程中可能因為數(shù)據(jù)偏差、學(xué)習(xí)框架、分類標準和評價指標等問題，使得這些算法模型存在一定的缺陷，在置信度、準確率和精度等方面發(fā)生誤差和偏移，導(dǎo)致計算結(jié)果與實際情形不符，甚至對某一方來說是“不利”的結(jié)果，呈現(xiàn)出一定的“偏見”。

從本質(zhì)上來說，機器偏見實際上投射出了根植于社會傳統(tǒng)觀念中的性別偏見。如自動招聘系統(tǒng)歧視女性求職者的簡歷;而Uber平臺派單時對女性司機不公平，導(dǎo)致她們付出的機會成本相對高，而獲得的報酬卻低于男性。[10]也就是說，算法設(shè)計的效率導(dǎo)向、作為算法運行基礎(chǔ)的數(shù)據(jù)之偏差與算法黑箱造成的透明度缺失共同觸發(fā)了算法歧視。[11]但是算法歧視往往屬于“間接歧視”?！伴g接歧視是指表面上看似中立的標準或做法實際上對具有某種特征的人或群體在機會和待遇方面造成不成比例的不利影響?！盵12]這就意味著這些打著“技術(shù)中立”旗號的算法歧視，在現(xiàn)有的法律和政策制度框架下，難以找到有力證據(jù)來支持審查、識別和界定算法中的性別歧視。算法糾偏在法律規(guī)制方面還存在許多漏洞。

三、算法歧視的成因分析

（一）算法設(shè)計者的性別刻板印象或社會偏見

算法開發(fā)過程中會受到設(shè)計者主觀因素的影響，如果設(shè)計者存在性別偏見、價值偏差或者缺乏性別敏感，在編碼規(guī)則和指標選取上帶有一定的主觀傾向性，就會導(dǎo)致算法偏見的產(chǎn)生。以國內(nèi)在線知識社區(qū)和付費課程平臺“千聊”為例，它提供的付費知識類型包括母嬰、親子、健康、醫(yī)學(xué)、養(yǎng)生、美容、情感、家庭、職場、人力資源等多個類目，在內(nèi)容營銷方面有明顯的性別差異。如面向男性的內(nèi)容更注重實效，且門檻較高;而女性內(nèi)容則注重主觀感受，以健康養(yǎng)生、美容護膚、情感得失為主。頁面數(shù)據(jù)顯示，男性課程排名靠前的是職場、金融、汽車、歷史和科技等“硬貨”知識，而女性課程排名前10位的則是產(chǎn)后塑形、瑜伽、護膚、美容、儀態(tài)以及職場穿搭等“軟”知識。這似乎在暗示：同樣是上班，男性更“專業(yè)”，而女性就有點“不務(wù)正業(yè)”，被有意無意地賦予了“花瓶”的屬性。作為一種營銷策略，“千聊”也許是成功的。但是就其算法模型和算法邏輯而言，無論是使用基于用戶身份還是信息要素的協(xié)同過濾算法，或是回歸分析，其所定義的用戶標簽或者說用戶畫像策略，都帶有性別刻板印象的傾向。這就構(gòu)成了一種帶有知識權(quán)力色彩的算法偏見。

（二）數(shù)據(jù)集中的“幸存者偏差”和鏡像效應(yīng)

“幸存者偏差”在心理學(xué)和統(tǒng)計學(xué)中都是一個被反復(fù)提及的名詞。它是指在統(tǒng)計分析的過程中，只計算經(jīng)過特殊篩選而產(chǎn)生的那一部分樣本，而主觀地忽略了樣本篩選的整個過程，進而造成統(tǒng)計中關(guān)鍵因素流失，導(dǎo)致研究成果不精確甚至相反。[13]在算法開發(fā)和使用過程中，算法設(shè)計者很有可能只看到數(shù)據(jù)統(tǒng)計的結(jié)果，而忽視了因為數(shù)據(jù)挖掘過程中遺漏有效數(shù)據(jù)或者關(guān)鍵數(shù)據(jù)導(dǎo)致的偏差;或使用了帶有偏見的數(shù)據(jù)集，而導(dǎo)致算法結(jié)果偏離了客觀事實。

如果將對用戶的身份識別挪移到其他場景中，如圖像識別、語音識別或就業(yè)招聘時，性別歧視的潛在影響就會暴露出來。如果給機器學(xué)習(xí)的訓(xùn)練樣本中是帶有性別刻板印象的人類語言文本時，其中潛藏的性別歧視難免被納入關(guān)聯(lián)邏輯中來。如給予算法大量文字或圖片包進行訓(xùn)練，描繪女性在家做家務(wù)，男性在外工作，那么機器通過學(xué)習(xí)識別這些照片及其文字標簽，就會默認“女性是家庭主婦，男人是經(jīng)濟支柱”這樣的分工模式。通過機器學(xué)習(xí)，社會性別偏見和固有歧視被算法以代碼形式重新包裝打扮，進一步放大或植入新的社會偏見，無形中讓女性的利益受損，這勢必會進一步加劇社會既有的性別歧視和就業(yè)不公，甚至?xí)霈F(xiàn)更嚴重的性別剝削問題。

（三）算法黑箱與“房間里的大象”

黑箱是一個隱喻，指的是那種難以為人所知，“既不能打開，又不能從外部直接觀察其內(nèi)部狀態(tài)的系統(tǒng)”[14]?！八惴ê谙洹币矊儆诩夹g(shù)黑箱的一種，它指的是算法設(shè)計者運用不透明的程序?qū)?shù)據(jù)輸入轉(zhuǎn)換為信息輸出。由于本身具有的高度技術(shù)復(fù)雜性和專業(yè)性，就算法的運行流程來說，整個過程涉及龐雜的數(shù)據(jù)材料和繁復(fù)的算法方法，并以計算機代碼的形式呈現(xiàn)，而不是能夠被大多數(shù)人所理解的自然語言。這意味著除了少數(shù)算法研發(fā)人員之外，更多的外部人員并不清楚算法的設(shè)計理念與目標，也無從獲悉數(shù)據(jù)。[15]因此，即使在這個過程中出現(xiàn)運算或結(jié)果上的偏差，也不為外人所知。

研究人員從性別角度指出，如果性別偏見被人編入算法，就會使媒介傳播中被發(fā)掘的“男性凝視”在算法當(dāng)中進一步發(fā)展為“編碼凝視”[16]，從而讓算法也轉(zhuǎn)化為具有性別偏見的算法歧視。例如全球最大在線求職平臺領(lǐng)英（Linkedln）給男性求職用戶推薦的高薪工作比女性多，從而使女性在最初求職時就處于劣勢地位。在這里，算法推薦就成了“算法黑箱”，因為用戶并不清楚它為什么會呈現(xiàn)“男女有別”的結(jié)果，而只會默認信息搜索的結(jié)果。

在日趨精準的算法技術(shù)下，被視為“用戶”和“流量”的社會個體在大數(shù)據(jù)面前成為“透明人”和“工具人”。被數(shù)字化異化的自我是無法真正獲得幸福感和安全感的。對于女性來說，“數(shù)字化異化”的更嚴重后果是：在所謂數(shù)字化賦權(quán)的口號下，女性正在被算法推薦和流行審美變成高度同質(zhì)化的“空心人”。我們從美顏技術(shù)和“網(wǎng)紅臉”的流行中就可見一斑。

關(guān)于算法中的性別歧視，還有另一個社會性原因，我把它叫作“房間里的大象”，意思是指那些顯而易見卻被人有意忽略，或者拒絕談?wù)摰默F(xiàn)象。“簡單來說，就是我們明明知道某件事是不合理并且確實存在的，但是卻因為各種各樣的原因?qū)ζ洳患s而同地選擇了合謀性的沉默。”[17]比如性別偏見和性別歧視，明明是社會中普遍存在的問題，但是我們卻在男女平等、“客觀中立”的幌子下對其避而不談，以至于當(dāng)人們認知觀念中的性別偏見“遷移”和“復(fù)制”到算法推送和人工智能領(lǐng)域時，我們依然對此無所察覺，將其視為尋常。前述共享經(jīng)濟平臺在靈活就業(yè)中的性別歧視，導(dǎo)致女性在兼職工作中的合法權(quán)益受到壓縮，就是一個現(xiàn)實的例子。由于網(wǎng)絡(luò)勞動通常是在所謂“匿名化”政策下進行的，而且沒有面對面的交流，很難獲得一手的證據(jù)。而現(xiàn)階段法院認定性別歧視造成的損害結(jié)果標準又極為嚴苛，導(dǎo)致許多職場性別歧視案件最終以勞動糾紛而非侵權(quán)糾紛的名義解決。[18]

四、結(jié)語

綜上所述，算法中的性別歧視，會進一步加大“數(shù)字性別鴻溝”，同時放大歧視的社會影響。對此，一方面，我們需要鼓勵女性進入技術(shù)領(lǐng)域，提高技術(shù)編碼中的性別敏感度，改變互聯(lián)網(wǎng)和人工智能行業(yè)由男性壟斷的局面;另一方面，我們也要從技術(shù)、倫理、法律等多個現(xiàn)實角度來消除和預(yù)防在算法和人工智能領(lǐng)域的歧視。從社會認知到技術(shù)人文層面，通過人為干預(yù)、預(yù)防和糾偏，提高算法的透明度，消除算法應(yīng)用中的不公平現(xiàn)象、歧視性或者偏見的效果，實現(xiàn)對所有性別的人“機會均等”，為推動性別的和諧發(fā)展作出貢獻。

[本文為國家社科基金項目“中國影視海外傳播塑造國家形象研究”（編號：20CXW010）;國家社科基金項目“人類命運共同體理念與全球傳播秩序重建研究”階段性成果（編號：18BXW062）;杭州市哲社規(guī)劃課題重點項目“數(shù)據(jù)新聞：從內(nèi)容創(chuàng)新到算法革命”階段性成果（編號：2019JD55）]

參考文獻：

[1]鄒開亮，王霞.大數(shù)據(jù)算法背景下就業(yè)歧視規(guī)制初探[J].價格理論與實踐，2020（6）：37-42.

[2]Meyer，D.2018.Amazon Reportedly Killed an AI Recruitment System Because It Couldnt Stop the Tool form Discriminating Against Women. October 10， http：//fortune.com/2018/10/10/amazon-ai-recruitment-bias-women-sexist/.

[3]張凌寒.共享經(jīng)濟平臺用工中的性別不平等及其法律應(yīng)對[J].蘇州大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2021（1）：84-94.

[4]閆坤如.人工智能的算法偏差及其規(guī)避[J].江海學(xué)刊，2020（5）：141-146.

[5]時盛杰.算法傳播中偏差與偏見：再析算法偏見[J].科技傳播，2021（7）：140-142.

[6]劉友華.算法偏見及其規(guī)制路徑研究[J].法學(xué)雜志，2019（6）：55-66.

[7]閆坤如.人工智能的算法偏差及其規(guī)避[J].江海學(xué)刊，2020（5）：141-146.

[8]Cook C，Diamond R，Hall J，et al.The Gender Earnings Gap In The Gig Economy：Evidence From Over a Million Rideshare Drivers [R].National Bureau of Economic Research，2018.

[9]劉友華.算法偏見及其規(guī)制路徑研究[J].法學(xué)雜志，2019（6）：55-66.

[10]張凌寒.共享經(jīng)濟平臺用工中的性別不平等及其法律應(yīng)對[J].蘇州大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2021（1）：84-94.

[11]崔靖梓.算法歧視挑戰(zhàn)下平等權(quán)保護的危機與應(yīng)對[J].法律科學(xué)（西北政法大學(xué)學(xué)報），2019（3）：29-42.

[12]郭延軍.美國就業(yè)領(lǐng)域間接性別歧視的法律控制[J].政治與法律，2013（4）：23-33.

[13]宋亮亮.幸存者偏差理論下的傳播學(xué)研究反思[J].戲劇之家，2015（24）：263.

[14]陶迎春.技術(shù)中的知識問題：技術(shù)黑箱[J].科協(xié)論壇（下半月），2008（7）：54-55.

[15]譚九生，范曉韻.算法“黑箱”的成因、風(fēng)險及其治理[J].湖南科技大學(xué)學(xué)報（社會科學(xué)版），2020（6）：92-99.

[16]宋素紅，王躍祺，常何秋子.算法性別歧視的形成邏輯及多元化治理[J].當(dāng)代傳播，2020（5）：95-100.

[17]季曉菲.從《房間里的大象》淺談社會中的沉默現(xiàn)象[J].新聞傳播，2020（11）：30-31.

[18]張凌寒.共享經(jīng)濟平臺用工中的性別不平等及其法律應(yīng)對[J].蘇州大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2021（1）：84-94.

（范紅霞為浙大城市學(xué)院傳媒與人文學(xué)院副教授;孫金波為浙大城市學(xué)院外國語學(xué)院副教授）

編校：趙 亮