倪 琴，劉 志，郝煜佳，賀 樑,3

(1.上海師范大學(xué) 人工智能教育研究院，上海 200234；2.華東師范大學(xué) 上海智能教育研究院，上海 200062；3.華東師范大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，上海 200062)

一、引言

智能教育系統(tǒng)(AIEd，Artificial Intelligence in Education)是以人工智能為核心的新一代信息技術(shù)在教育場(chǎng)景下的具體應(yīng)用，其獨(dú)有的個(gè)性化、信息化、立體化等優(yōu)勢(shì)助推傳統(tǒng)教育模式的轉(zhuǎn)型與變革。但另一方面，越來越多的教育教學(xué)工作由智能教育系統(tǒng)輔助，甚至一些教育管理和決策工作被智能教育系統(tǒng)所取代，其中存在的算法歧視問題不可避免地沖擊著現(xiàn)有的教育倫理體系與公平公正原則，影響著教育質(zhì)量的提升。

算法歧視是指以算法為手段實(shí)施的歧視行為，主要是在大數(shù)據(jù)支持下，依靠機(jī)器計(jì)算的智能算法對(duì)數(shù)據(jù)主體做出決策分析時(shí)，對(duì)不同的數(shù)據(jù)主體進(jìn)行差別對(duì)待，造成歧視性后果[1]。智能教育場(chǎng)景下的算法歧視是算法歧視在教育領(lǐng)域中的延伸，隨著智能教育系統(tǒng)的大量出現(xiàn)，該場(chǎng)景下的算法歧視現(xiàn)象層出不窮，其主要歧視對(duì)象為教育受眾中的弱勢(shì)群體，從而導(dǎo)致諸如“學(xué)歷歧視”“性別偏見”等問題，成為社會(huì)對(duì)教育信息化詬病的主要原因[2]。

算法歧視是人工智能治理領(lǐng)域的重要內(nèi)容，而教育場(chǎng)景作為一個(gè)人學(xué)習(xí)成長(zhǎng)的最重要場(chǎng)域，在智能技術(shù)的應(yīng)用過程中，應(yīng)堅(jiān)持“以人為本”，促進(jìn)教育公平，應(yīng)在智能教育治理過程中最大限度避免產(chǎn)生算法歧視問題?；诖?，本文從“潛在風(fēng)險(xiǎn)→成因剖析→治理策略”的框架出發(fā)，試圖針對(duì)教育領(lǐng)域存在的算法歧視問題提出可行的治理路徑，降低新一代智能技術(shù)在教育領(lǐng)域的不良影響，以期讓人工智能以更公平更優(yōu)質(zhì)的姿態(tài)應(yīng)用于教育領(lǐng)域，服務(wù)于學(xué)生的健康成長(zhǎng)。

二、算法歧視的潛在風(fēng)險(xiǎn)

算法歧視的潛在風(fēng)險(xiǎn)是算法歧視問題研究的前提條件，主要探討算法歧視可能造成的不良影響。本研究列舉了四個(gè)較為突出的潛在風(fēng)險(xiǎn)。

(一)教育結(jié)果的單一化

社會(huì)主流價(jià)值中存在的偏見與歧視會(huì)在潛移默化中影響著人們的行為，社會(huì)層面中存在的算法歧視現(xiàn)象在無形的反映著社會(huì)中存在的偏見，從而造成教育結(jié)果的單一化[3]。例如，Jon Kleinberg[4]等學(xué)者在實(shí)例研究中將學(xué)生平均學(xué)分績(jī)點(diǎn)(GPA)作為智能教育算法衡量學(xué)生是否成功的依據(jù)，但該評(píng)判標(biāo)準(zhǔn)隱含著社會(huì)對(duì)于成功的偏見，其一是因?yàn)閷W(xué)生可以的成功具有多維性和復(fù)雜性，而不一定需要在課堂上獲得高分[5]，其二是De Brey[6]等學(xué)者指出畢業(yè)生的GPA并不能真實(shí)地反應(yīng)學(xué)生的優(yōu)秀程度，由于學(xué)習(xí)資源的配置格局，教師對(duì)某類人的刻板印象等因素都會(huì)降低部分弱勢(shì)群體的平均學(xué)分績(jī)點(diǎn)。因此，僅僅以某一標(biāo)準(zhǔn)定義學(xué)生的成功，忽略的學(xué)生的多元化發(fā)展需求，忽視了教育的多種可能性，必然導(dǎo)致教育目的的單一化，教育結(jié)果的單一性。

(二)加劇教育不公平

在智能教育系統(tǒng)的研發(fā)過程中，由于算法歧視的存在，其主要服務(wù)對(duì)象未能得到優(yōu)質(zhì)的服務(wù)，甚至出現(xiàn)少數(shù)群體得不到服務(wù)的現(xiàn)象。Michael[7]等學(xué)者指出，智能教育系統(tǒng)的主要受眾為普通學(xué)生，但智能教育系統(tǒng)的早期使用者往往為接受精英教育的學(xué)生，這導(dǎo)致使用者提供的數(shù)據(jù)在用于智能教育系統(tǒng)改良時(shí)，出現(xiàn)不符合實(shí)際需求的情況。除此之外，即使數(shù)據(jù)采集的目標(biāo)為普通學(xué)生群體，也有可能出現(xiàn)服務(wù)對(duì)象不匹配的情況。Harini Suresh[8]等學(xué)者指出，抽樣調(diào)查的方式有可能產(chǎn)生代表性偏差，由于不同群體的數(shù)據(jù)采集程度不同，缺乏數(shù)據(jù)采集的群體往往會(huì)出現(xiàn)被歧視的現(xiàn)象，例如在2014年就發(fā)現(xiàn)人臉識(shí)別系統(tǒng)更傾向于識(shí)別自己種族的人而不是其他種族的人[9]。對(duì)于智能教育系統(tǒng)而言，服務(wù)對(duì)象出現(xiàn)偏差意味著學(xué)生的受教育權(quán)受到損害，不同群體間資源獲取的客觀差距未能得到有效彌補(bǔ)，反而加劇了教育不公的現(xiàn)象。

(三)學(xué)習(xí)結(jié)果兩極分化

學(xué)習(xí)結(jié)果兩級(jí)分化是指由于智能教育系統(tǒng)設(shè)計(jì)時(shí)存在偏差，導(dǎo)致不同學(xué)習(xí)者之間的學(xué)習(xí)質(zhì)量差距不僅沒有縮小，反而呈現(xiàn)兩極分化的趨勢(shì)。例如，算法模型的誤定會(huì)導(dǎo)致學(xué)習(xí)者間差距變大，Doroudi和Brunskill[10]學(xué)者研究了知識(shí)追蹤算法對(duì)于學(xué)生學(xué)習(xí)的影響，他們指出，與傳統(tǒng)的教育相比，知識(shí)追蹤算法在一定程度上能夠幫助學(xué)生更好地學(xué)習(xí)。但若將該模型作為通用型算法模型時(shí)，即所有學(xué)生均使用該算法模型，學(xué)習(xí)慢的學(xué)生會(huì)出現(xiàn)不能得到充足訓(xùn)練的問題，從而導(dǎo)致其知識(shí)掌握程度不夠；同時(shí)，如果該算法對(duì)學(xué)生學(xué)習(xí)模型產(chǎn)生誤判時(shí)，也會(huì)產(chǎn)生該現(xiàn)象。又如設(shè)計(jì)者的潛在偏見導(dǎo)致部分學(xué)生群體利益受損，從而導(dǎo)致學(xué)習(xí)結(jié)果兩極分化，最終導(dǎo)致教育公平的缺失。

(四)人機(jī)交互加深偏見

在智能教育系統(tǒng)的決策使用過程中，往往存在由交互引起的偏見加深現(xiàn)象。例如，Leeuwen[11]學(xué)者指出，在教師教學(xué)過程中使用電腦支持的協(xié)作學(xué)習(xí)，如果該智能教育系統(tǒng)提出的意見與教師本身的刻板意見相符時(shí)，會(huì)導(dǎo)致教師進(jìn)一步加深該類型的刻板印象。同時(shí)，Pinkwart N指出[12]，人機(jī)交互模式的輸入渠道是否多樣也會(huì)對(duì)教育公平產(chǎn)生影響，目前的智能語音識(shí)別系統(tǒng)仍然容易因?yàn)橥庹Z學(xué)習(xí)者的語音、背景噪聲等因素造成識(shí)別錯(cuò)誤，這無形中使異于開發(fā)者文化背景的學(xué)習(xí)者受到歧視，從而破壞教育公平。

三、算法歧視的成因剖析

刁生富等[13]指出算法歧視具有非價(jià)值判斷、歧視性和復(fù)雜性等特征，因?yàn)樗惴ㄗ陨頍o法判斷底層邏輯的運(yùn)行準(zhǔn)則是否“合理、公平”，其不透明性、可解釋性差、服務(wù)對(duì)象復(fù)雜的特性往往會(huì)引發(fā)算法歧視和算法濫用等問題。顯然，對(duì)于處于“弱人工智能”時(shí)代的智能教育而言，算法歧視問題正是教育公平所需要面對(duì)并克服的風(fēng)險(xiǎn)與挑戰(zhàn)。基于此，本節(jié)將從社會(huì)背景的復(fù)雜性與人工智能技術(shù)的局限性兩方面出發(fā)探究算法歧視出現(xiàn)的成因。

(一)設(shè)計(jì)團(tuán)隊(duì)存在思維定勢(shì)

算法歧視就其本質(zhì)屬性而言，是歷史上的不公在政策、實(shí)踐、價(jià)值觀中的滲透[14]，設(shè)計(jì)團(tuán)隊(duì)必然存在社會(huì)主流價(jià)值中的思維定勢(shì)。

首先，設(shè)計(jì)團(tuán)隊(duì)的目標(biāo)選擇過于狹隘。由于設(shè)計(jì)團(tuán)隊(duì)受到社會(huì)主流價(jià)值的影響，目標(biāo)變量在簡(jiǎn)化過程中，只考慮了人的共性，忽略了每個(gè)個(gè)體的復(fù)雜性與多元性，使算法得到優(yōu)化的同時(shí)，也讓算法的結(jié)果變得狹隘。例如將學(xué)習(xí)成績(jī)好壞定為學(xué)生是否成功的標(biāo)準(zhǔn)，就是算法的目標(biāo)選擇出現(xiàn)偏差，目標(biāo)變量的單一化使算法忽略了學(xué)生在藝術(shù)、體育等多領(lǐng)域的成就與發(fā)展，讓算法無法從全局出發(fā)，判斷學(xué)生是否成功。

其次，設(shè)計(jì)團(tuán)隊(duì)可能存在主觀歧視思想，將個(gè)人背景與使用者背景相聯(lián)系，忽略學(xué)生來源與學(xué)生背景的復(fù)雜性。實(shí)證研究表明，即使來自不同國(guó)家(不同文化背景)的學(xué)生使用同樣的智能系統(tǒng)，仍然會(huì)導(dǎo)致教育不公平現(xiàn)象。具體而言，使用智能教育系統(tǒng)的用戶，其具體獲益情況會(huì)與種族、語言等因素掛鉤。Finkelstein[15]等學(xué)者發(fā)現(xiàn)，即使是在人工智能領(lǐng)域有著霸權(quán)地位的美國(guó)，人工智能在教授非洲裔美國(guó)學(xué)生時(shí)，若系統(tǒng)使用的是非洲裔美國(guó)人方言英語(African American Vernacular English)，而非主流美國(guó)英語(Mainstream American English)，那么學(xué)生的學(xué)習(xí)效果將會(huì)更佳。

(二)人工智能技術(shù)的局限性

從影響智能教育決策的內(nèi)外環(huán)境來看，算法歧視包括結(jié)構(gòu)性歧視問題和功能性歧視問題。前者是指算法決策形成過程中系統(tǒng)內(nèi)部各部分(數(shù)據(jù)集、算法模型)可能產(chǎn)生的能反映到算法決策行為的歧視；后者是指算法決策的結(jié)果在應(yīng)用的過程中產(chǎn)生的歧視[16]。當(dāng)這兩種問題作用于智能教育系統(tǒng)時(shí)，算法歧視產(chǎn)生的原因可能以各種排列組合的形式貫穿于智能教育系統(tǒng)決策的生命周期。

1.結(jié)構(gòu)性問題:教育數(shù)據(jù)的偏見和算法模型的困境

(1)教育數(shù)據(jù)的偏見

教育大數(shù)據(jù)是從基于互聯(lián)網(wǎng)的網(wǎng)上教學(xué)活動(dòng)中采樣抽取的，則其勢(shì)必會(huì)帶有現(xiàn)實(shí)社會(huì)的特征與屬性。若輸入機(jī)器學(xué)習(xí)算法的數(shù)據(jù)集本身存在偏見，那么依托于教育大數(shù)據(jù)的智能教育的輸出結(jié)果有很大可能性具有歧視性，從而使得算法的“歷史偏見”在機(jī)器學(xué)習(xí)的過程中得以延續(xù)和增強(qiáng)，最終造成算法歧視現(xiàn)象。數(shù)據(jù)偏見在采集和處理教育數(shù)據(jù)時(shí)常發(fā)生于如下三個(gè)過程中：歷史數(shù)據(jù)、采樣策略、特征選取。

其一，歷史數(shù)據(jù)存在偏見。隨著信息技術(shù)的迭代發(fā)展，機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)也呈現(xiàn)幾何級(jí)增長(zhǎng)的趨勢(shì)，但是若機(jī)器學(xué)習(xí)的數(shù)據(jù)集本身就是帶有偏見的，那么機(jī)器學(xué)習(xí)用于完成智能決策的模型勢(shì)必會(huì)受到這種偏見的影響。例如，在線教育平臺(tái)會(huì)將用戶的全部教與學(xué)的活動(dòng)軌跡以數(shù)據(jù)的方式進(jìn)行存儲(chǔ)，若用戶在使用平臺(tái)過程中天然帶有偏見，那么機(jī)器學(xué)習(xí)算法會(huì)對(duì)識(shí)別到的“本身就有著偏差或偏見”的數(shù)據(jù)進(jìn)行學(xué)習(xí)，在此過程中，算法很有可能會(huì)不斷重復(fù)訓(xùn)練著有偏差的數(shù)據(jù)，從而導(dǎo)致歧視現(xiàn)象的惡性循環(huán)。

其二，數(shù)據(jù)采樣不充分。從總體抽取樣本數(shù)據(jù)時(shí)，所選取的采樣策略導(dǎo)致部分群體的代表性不足，那么這種數(shù)據(jù)分布的不均衡最終往往會(huì)使得人工智能產(chǎn)生的算法決策結(jié)果出現(xiàn)偏差，進(jìn)而影響社會(huì)公平性問題。以目前絕大多數(shù)的智能教育系統(tǒng)為例，其面向的服務(wù)對(duì)象是一般學(xué)生群體，而鮮有覆蓋“特殊學(xué)生群體”(視力障礙、聽力障礙、閱讀障礙等)的特定需求。某些基于眼球追蹤技術(shù)的智能系統(tǒng)卻無法準(zhǔn)確分析“特殊學(xué)生群體”的眼球模式，從而使得特殊群體被邊緣化[17]。由于機(jī)器學(xué)習(xí)算法是基于社會(huì)整體“大數(shù)據(jù)集”而形成“規(guī)則集”并應(yīng)用于具體場(chǎng)景的過程，暗含著以整體特征推斷個(gè)體行為的基本邏輯[18]， 因此，一旦社會(huì)整體的大數(shù)據(jù)集無法精確代表某一群體的特征，那么算法歧視的問題便會(huì)呼之欲出。

其三，數(shù)據(jù)集特征選取不當(dāng)。若數(shù)據(jù)集中存在性別、種族、宗教信仰等“敏感屬性”或是和敏感屬性高度相關(guān)的“代理屬性”，那么歧視性結(jié)果或決策便會(huì)隨之產(chǎn)生。佩德雷希(Pedreshi)等學(xué)者通過實(shí)例研究，論證了傳統(tǒng)的識(shí)別方式(即，通過判斷敏感屬性是否導(dǎo)致算法結(jié)果帶有歧視)并不適用于現(xiàn)實(shí)生活中的算法歧視場(chǎng)景，而大多數(shù)算法歧視現(xiàn)象是由與其高度相關(guān)的代理屬性導(dǎo)致的[19]。同時(shí)，相比于敏感屬性，代理屬性具有易于采集、隱蔽性更強(qiáng)等特點(diǎn)，更易于“騙過”反歧視審查。由此可見，算法結(jié)果的是否含有歧視往往與數(shù)據(jù)的多樣性、分布性密切相關(guān)。

(2)算法模型的困境

算法模型雖然作為社會(huì)生產(chǎn)生活的有力工具，但是以深度學(xué)習(xí)為代表的人工智能算法具有復(fù)雜性、不透明性、隱蔽性等天然特征，使得算法以人類不易審查或理解的方式處理數(shù)據(jù)，這直接導(dǎo)致算法模型存在算法歧視、信息繭房、群體極化和誘導(dǎo)沉迷等現(xiàn)實(shí)問題。因此，基于算法模型的建模過程，本文將算法模型困境的產(chǎn)生歸因于開發(fā)者的主觀思想、機(jī)器學(xué)習(xí)過程的偏差、因果概念的引入。

首先，算法開發(fā)者、設(shè)計(jì)者造成的算法歧視。指的是算法設(shè)計(jì)者為了攫取某些利益，或者為了表達(dá)個(gè)人觀點(diǎn)而設(shè)計(jì)出存在主觀歧視的算法。由于算法的設(shè)計(jì)目標(biāo)、數(shù)據(jù)的處理方式、結(jié)果的表現(xiàn)形式等均體現(xiàn)著開發(fā)者、設(shè)計(jì)者的偏好與主觀意愿，而人工智能系統(tǒng)本身不具有判別能力，而會(huì)通過機(jī)器學(xué)習(xí)的過程將代碼中存在的歧視進(jìn)一步放大，最終導(dǎo)致算法決策出現(xiàn)歧視。鑒于此，算法設(shè)計(jì)者本身的道德素養(yǎng)與能力能否使其編寫的算法保持客觀性的同時(shí)，又能符合國(guó)家或行業(yè)的法律規(guī)范，這是一件值得商榷的事情。

其次，機(jī)器自我學(xué)習(xí)造成的算法歧視。梁正在談及算法治理相關(guān)問題時(shí)指出，“從技術(shù)特性方面看，機(jī)器學(xué)習(xí)目前還是一個(gè)‘黑箱’過程，在透明性和可解釋性上仍存在問題”[20]。相比于白箱和灰箱，黑箱下的算法更具復(fù)雜性[21]，這意味著面對(duì)日益復(fù)雜的智能教育算法做出的決策，我們無法給出合理的解釋，也就無法預(yù)測(cè)和控制智能教育系統(tǒng)做出的決策，從而可能在應(yīng)用算法模型的過程中產(chǎn)生不公平現(xiàn)象。

再次，因果的偏差?！敖逃鳛橐豁?xiàng)獨(dú)特而又復(fù)雜的人類社會(huì)活動(dòng)，以培養(yǎng)人為根本目的，不僅要知其然，更要知其所以然”[22]。這一論點(diǎn)固然正確，但由于教學(xué)過程是充分發(fā)揮學(xué)生與教師主觀能動(dòng)性的過程，在算法模型中過分強(qiáng)調(diào)因果關(guān)系只會(huì)使“相關(guān)即意味著因果”的謬論出現(xiàn)[23]。以美國(guó)的教師增值評(píng)價(jià)模型(Value-added Model，VAM)為例，該模型將學(xué)生成績(jī)的進(jìn)步程度作為衡量教師教學(xué)活動(dòng)是否有效的標(biāo)準(zhǔn)，在優(yōu)秀教師謝里·萊德曼(Sheri Lederman)的指導(dǎo)下，學(xué)生在第一年的成績(jī)十分優(yōu)異，這使得學(xué)生在第二年成績(jī)?cè)俅芜M(jìn)步的可能性微乎其微，因此模型為她在兩個(gè)學(xué)年內(nèi)的教育教學(xué)工作貼上了“無效”的標(biāo)簽，從而使其面臨著被開除的風(fēng)險(xiǎn)[24]。概言之，在智能教育產(chǎn)品中簡(jiǎn)單的嵌入“成績(jī)進(jìn)步程度=教學(xué)效果”因果關(guān)系的算法，只會(huì)使得算法歧視的現(xiàn)象更為嚴(yán)重[25]。

2.功能性問題：交互式?jīng)Q策的危機(jī)

人機(jī)協(xié)同的智能教育正推動(dòng)著教育模式不斷變革，智能教育在線平臺(tái)的出現(xiàn)為學(xué)習(xí)者提供了適合其自身特點(diǎn)的個(gè)性化教學(xué)模式，使得學(xué)習(xí)者由傳統(tǒng)教育模式下的被動(dòng)接受者逐步轉(zhuǎn)變?yōu)橹鲃?dòng)參與者，同時(shí)也幫助教師精確地制定“因材施教式的教學(xué)方案”等。然而，目前的人工智能在教育領(lǐng)域的應(yīng)用過于突出技術(shù)性，忽略了人本身的能動(dòng)性與主體性，從而導(dǎo)致交互式?jīng)Q策的偏差性并產(chǎn)生算法歧視現(xiàn)象。交互式?jīng)Q策的偏差性通常來自于有決策呈現(xiàn)的偏差、用戶有偏差的行為以及有偏差的反饋[26]。

首先，決策呈現(xiàn)的偏差。在給定相同的數(shù)據(jù)集與算法模型的前提下，智能教育系統(tǒng)給出決策結(jié)果的方式不同，也會(huì)導(dǎo)致使用者做出的決策不同。Holstein等學(xué)者提出，如果智能教育系統(tǒng)給出的結(jié)果對(duì)教師對(duì)學(xué)生個(gè)人能力和成長(zhǎng)潛力的現(xiàn)有看法提出質(zhì)疑(產(chǎn)生碰撞)，那么該系統(tǒng)有可能推動(dòng)教師做出更公平的決策；與之相反，如果智能教育系統(tǒng)給出的結(jié)果傾向于認(rèn)可教師現(xiàn)有的觀念，且教師的觀念本身存在歧視，那么該智能系統(tǒng)就會(huì)維持甚至加劇的不公平的現(xiàn)象[27]。

其次，用戶反饋的偏差。這種偏差主要產(chǎn)生于需要從與用戶進(jìn)行互動(dòng)的過程中從而進(jìn)行學(xué)習(xí)的算法中。在交互式智能系統(tǒng)的運(yùn)行過程中，算法無法決定保留或舍棄哪些數(shù)據(jù)，而是只能使用用戶的所有數(shù)據(jù)(無論好壞)并將其作為基礎(chǔ)從而做出決策，同時(shí)，產(chǎn)生歧視決策的算法在得到用戶行為的反饋后，會(huì)讓上一次生成的偏差結(jié)果作為下一次的輸入。即算法決策是在用“過去預(yù)測(cè)未來”，過去存在的歧視與偏差可能會(huì)在算法中得到鞏固，并有可能在未來得到加強(qiáng)，從而形成如圖1所示的“歧視性反饋循環(huán)鏈”(Feedback Loops)。例如，2016年微軟開發(fā)Tay聊天機(jī)器人，旨在Twitter上與千禧一代進(jìn)行對(duì)話，然而僅在試用24小時(shí)后，Tay便被灌輸有關(guān)種族滅絕的概念而發(fā)表過激言論，從而被停用。這說明人工智能的自動(dòng)化決策過程在與人類進(jìn)行相互交互的過程中，人類的反饋發(fā)揮著關(guān)鍵作用，只有當(dāng)確保我們的社會(huì)關(guān)系變得越來越自動(dòng)化時(shí)，偏見與歧視才不會(huì)無形地“引導(dǎo)”著人工智能誤入歧途。

圖1 交互決策的循環(huán)過程

四、算法歧視的治理策略

智能教育系統(tǒng)的每個(gè)發(fā)展環(huán)節(jié)都需要關(guān)注算法歧視問題，系統(tǒng)設(shè)計(jì)、數(shù)據(jù)采集、算法模型訓(xùn)練、智能教育系統(tǒng)應(yīng)用落地都須嚴(yán)格把關(guān)。社會(huì)、企業(yè)、學(xué)校、教師和學(xué)生等主體應(yīng)當(dāng)共同參與智能教育的算法歧視治理，攜手推動(dòng)人工智能安全、可控、可靠的發(fā)展。

(一)多主體共同參與

教育公平是社會(huì)公平在教育領(lǐng)域的直接體現(xiàn)，社會(huì)、企業(yè)、師生三者需協(xié)同守護(hù)教育公平的底線。具體策略如下：

首先，以社會(huì)實(shí)驗(yàn)的新路徑來研究算法歧視在教育領(lǐng)域的負(fù)面影響。社會(huì)實(shí)驗(yàn)(Social Experiment) 作為一種檢驗(yàn)特定政治、經(jīng)濟(jì)、科技因素被引入真實(shí)社會(huì)情境所產(chǎn)生效應(yīng)的經(jīng)典方法論，為持續(xù)跟蹤和分析人工智能等新興技術(shù)的社會(huì)影響，探究智能化時(shí)代的社會(huì)發(fā)展規(guī)律提供了可以借鑒的研究路徑。因此，監(jiān)管機(jī)構(gòu)應(yīng)當(dāng)協(xié)同智能教育研究人員提前關(guān)注潛在的算法歧視問題，基于智能教育社會(huì)實(shí)驗(yàn)框架體系，聚焦智能教育的核心要素和產(chǎn)生的社會(huì)影響，在人工智能尚未對(duì)人類社會(huì)造成大規(guī)模不可逆影響的情況下，提前關(guān)注技術(shù)應(yīng)用可能引致的算法歧視等各類問題[28]，有的放矢地針對(duì)算法歧視產(chǎn)生的原因加以分析改善，及時(shí)修復(fù)智能教育中存在的各類問題。

其次，企業(yè)應(yīng)當(dāng)預(yù)估算法歧視的負(fù)面影響?？紤]到人工智能技術(shù)對(duì)教育領(lǐng)域可能產(chǎn)生沖擊與挑戰(zhàn)，相關(guān)從事人工智能技術(shù)開發(fā)與應(yīng)用的企業(yè)也應(yīng)當(dāng)樹立風(fēng)險(xiǎn)意識(shí)，從全局把控并做出整體性部署，預(yù)估可能存在的算法歧視。同時(shí)，企業(yè)應(yīng)當(dāng)重點(diǎn)提升開發(fā)團(tuán)隊(duì)的教育理解力與教培素養(yǎng)，使其正確認(rèn)識(shí)教育行業(yè)。如果技術(shù)人員對(duì)教育教學(xué)活動(dòng)本身的理解不足，缺乏情境體驗(yàn)和背景知識(shí)，就很可能基于片面甚至錯(cuò)誤的教育認(rèn)識(shí)從而在智能教育開發(fā)過程中嵌入主觀偏見，導(dǎo)致算法模型與教育教學(xué)實(shí)踐活動(dòng)的脫節(jié)[29]?；诖?，企業(yè)應(yīng)當(dāng)定期組織面向開發(fā)團(tuán)隊(duì)的教育領(lǐng)域的培訓(xùn)活動(dòng)，培養(yǎng)從業(yè)者對(duì)于教育教學(xué)活動(dòng)的正確認(rèn)知。

再次，師生應(yīng)當(dāng)參與智能教育系統(tǒng)的設(shè)計(jì)環(huán)節(jié)。由于師生是智能教育系統(tǒng)的直接接觸者，智能教育系統(tǒng)的設(shè)計(jì)應(yīng)當(dāng)有教師與學(xué)生的參與，設(shè)計(jì)團(tuán)隊(duì)與企業(yè)應(yīng)積極聽取教師與學(xué)生的意見，以師生的需求建立智能教育系統(tǒng)，并在其反饋上進(jìn)行修改。例如，針對(duì)特殊群體的訴求，企業(yè)應(yīng)當(dāng)給予關(guān)注與調(diào)研，通過問卷、訪談、課堂觀察等方式洞察用戶行為，建立起鮮明的、動(dòng)態(tài)的師生用戶畫像，并在此基礎(chǔ)上推進(jìn)研發(fā)進(jìn)程[30]。

最后，社會(huì)、企業(yè)、師生作為算法的監(jiān)督者、設(shè)計(jì)者和參與者對(duì)算法倫理底線應(yīng)有準(zhǔn)確的認(rèn)知。Jobin等學(xué)者統(tǒng)計(jì)出了11個(gè)最重要的人工智能倫理原則，包含透明、公正、尊嚴(yán)等[31]，而智能教育場(chǎng)景下的人工智能倫理原則應(yīng)當(dāng)與之類似，并更多側(cè)重于教育層面的實(shí)踐，為教育主體制定倫理約束。社會(huì)作為監(jiān)督者應(yīng)堅(jiān)持對(duì)算法倫理底線的寸土不讓，企業(yè)作為設(shè)計(jì)者應(yīng)銘記算法倫理底線不可逾越，師生作為參與者應(yīng)牢記算法倫理底線對(duì)自身的保護(hù)。多主體綜合考量，相互協(xié)助，監(jiān)督并保護(hù)算法倫理底線才能讓教育算法健康發(fā)展。

(二)構(gòu)建多元評(píng)價(jià)標(biāo)準(zhǔn)

當(dāng)前，學(xué)界圍繞智能教育場(chǎng)景中學(xué)生綜合素質(zhì)評(píng)價(jià)的困境與難題，已提出構(gòu)建理論與技術(shù)雙向驅(qū)動(dòng)的學(xué)生綜合素養(yǎng)評(píng)價(jià)新范式，建立從理論到技術(shù)的“自上而下”和從技術(shù)到理論的“自下而上”的雙向驅(qū)動(dòng)機(jī)制[32]，這為智能時(shí)代的學(xué)生評(píng)價(jià)標(biāo)準(zhǔn)的完善和實(shí)施提供了方向和路徑上的指導(dǎo)。針對(duì)智能算法“選擇性”的數(shù)據(jù)收集系統(tǒng)[33]、“不透明”的算法模型、“有偏差”的交互模式，導(dǎo)致片面反映學(xué)生的學(xué)習(xí)情況、模糊學(xué)習(xí)評(píng)價(jià)過程，以及忽視學(xué)生綜合素養(yǎng)等問題，應(yīng)當(dāng)突破固有的單一評(píng)價(jià)體系，構(gòu)建多主體多維度的多元評(píng)價(jià)標(biāo)準(zhǔn)，以滿足學(xué)生多元發(fā)展需求，規(guī)避算法歧視的潛在風(fēng)險(xiǎn)，其具體措施如下：

其一，應(yīng)當(dāng)構(gòu)建面向“教師、學(xué)生、家長(zhǎng)”的多主體評(píng)價(jià)體系。由于智能教育系統(tǒng)的評(píng)價(jià)過程可能存在偏差，因此，評(píng)價(jià)結(jié)果應(yīng)當(dāng)由教師、學(xué)生、家長(zhǎng)以及智能教育系統(tǒng)共同產(chǎn)生。教師作為課程的主要評(píng)價(jià)者，應(yīng)當(dāng)合理使用智能教育系統(tǒng)給出的評(píng)價(jià)結(jié)果，結(jié)合學(xué)生實(shí)際情況給出教師評(píng)價(jià)；學(xué)生主體作為評(píng)價(jià)的參與者，應(yīng)當(dāng)在教師的指導(dǎo)與智能教育系統(tǒng)的輔助下，開展自我評(píng)價(jià)；家長(zhǎng)作為師生的合作者，參與評(píng)價(jià)可以更好地了解學(xué)生學(xué)習(xí)情況，給出客觀評(píng)價(jià)。

其二，應(yīng)當(dāng)建立學(xué)習(xí)、體育、藝術(shù)等多維度的綜合性評(píng)價(jià)體系。智能教育系統(tǒng)往往只關(guān)注學(xué)生的學(xué)習(xí)過程與結(jié)果，忽視了學(xué)生在體育與藝術(shù)等方面的發(fā)展情況，以偏概全給出評(píng)價(jià)。因此，評(píng)價(jià)者應(yīng)當(dāng)注重評(píng)價(jià)的全面性，在使用智能教育系統(tǒng)評(píng)價(jià)的基礎(chǔ)上，額外考慮學(xué)生思維、情感態(tài)度價(jià)值觀等不易考量的綜合素養(yǎng)以及體育、藝術(shù)等非基礎(chǔ)學(xué)科能力，給出全面綜合的學(xué)習(xí)評(píng)價(jià)。

(三)技術(shù)賦能算法治理

根據(jù)算法歧視出現(xiàn)的不同時(shí)間維度，將解決算法歧視問題的治理方案分為事前治理、事中治理與事后治理。其中，事前是指算法模型訓(xùn)練之前，收集數(shù)據(jù)及數(shù)據(jù)處理的階段；事中是指接受數(shù)據(jù)后，利用數(shù)據(jù)訓(xùn)練模型并生成模型的階段[34]；事后是指算法模型應(yīng)用到實(shí)際教學(xué)過程的階段。具體的治理方案如圖2所示。

圖2 算法治理方案概念圖

1.事前治理：加強(qiáng)數(shù)據(jù)歧視檢測(cè)

其一，加強(qiáng)學(xué)生個(gè)人隱私保護(hù)，審慎處理學(xué)生的敏感信息。由于人工智能的特殊性，學(xué)生隱私保護(hù)并非易事。一方面，企業(yè)對(duì)數(shù)據(jù)的需求非常龐大，人工智能對(duì)數(shù)據(jù)存在很強(qiáng)的依賴性，數(shù)據(jù)的質(zhì)量直接影響訓(xùn)練算法的質(zhì)量[35]；另一方面，平臺(tái)組織有著高度的信息集中度，其掌握的數(shù)據(jù)遠(yuǎn)遠(yuǎn)超過了政府組織的傳統(tǒng)統(tǒng)計(jì)數(shù)據(jù)，數(shù)據(jù)是否被合理采集成為未知[36]。因此，學(xué)生的隱私應(yīng)當(dāng)在采集階段予以保護(hù)，敏感信息的使用應(yīng)當(dāng)更加慎重，例如在學(xué)校收集學(xué)生的數(shù)據(jù)時(shí)，學(xué)生應(yīng)被告知數(shù)據(jù)采集的范圍，并有權(quán)利查詢自己被采集的數(shù)據(jù)，了解數(shù)據(jù)(尤其是敏感數(shù)據(jù))被使用的過程，明確智能教育系統(tǒng)使用哪些數(shù)據(jù)做出決策，并且有渠道反饋如數(shù)據(jù)濫用等問題。

其二，加強(qiáng)隱藏性數(shù)據(jù)歧視的檢測(cè)。智能教育的數(shù)據(jù)應(yīng)當(dāng)進(jìn)行“高質(zhì)量”治理。圍繞數(shù)據(jù)歧視的隱藏性問題，不妨利用技術(shù)手段來檢查訓(xùn)練算法模型的數(shù)據(jù)集是否存在樣本不平衡、群體涵蓋不充分、敏感數(shù)據(jù)導(dǎo)致算法歧視等問題。例如，Kamishima等學(xué)者指出可以使用低估指數(shù)(Underestimation Index)作為識(shí)別數(shù)據(jù)集是否存在代表性不足的重要指標(biāo)；歸一化互信息(Normalized Mutual Information)作為檢測(cè)數(shù)據(jù)集是否平衡的指標(biāo)，有針對(duì)性地識(shí)別間接的算法歧視[37]。一旦檢測(cè)到教育大數(shù)據(jù)存在歧視的傾向，應(yīng)當(dāng)以數(shù)據(jù)清洗、數(shù)據(jù)刪除甚至是數(shù)據(jù)重新采集等方法加以干預(yù)，保證數(shù)據(jù)集的公正性、多元性、充分性、合理性。因此，監(jiān)管機(jī)構(gòu)應(yīng)當(dāng)前瞻性地關(guān)注智能教育中潛在的算法歧視問題，對(duì)可預(yù)見的算法歧視加以防范。

2.事中治理：建立可解釋、可審查的算法優(yōu)化機(jī)制

事中治理強(qiáng)調(diào)在算法模型訓(xùn)練過程中運(yùn)用技術(shù)手段和審查機(jī)制來遏制算法歧視，具體措施有以下兩點(diǎn)：

其一，利用技術(shù)手段實(shí)現(xiàn)算法的部分公開透明。算法的不透明性往往來源于算法過程的復(fù)雜性與多樣性，無法探究其運(yùn)行邏輯與執(zhí)行規(guī)律，從而使得算法決策結(jié)果不可解釋。對(duì)于算法過度設(shè)計(jì)而引發(fā)的“黑箱”問題，可以利用技術(shù)手段得到改善。即使用技術(shù)將算法運(yùn)行背后的邏輯以人類可以看懂、理解的方式進(jìn)行可視化描繪，便于社會(huì)公眾打消對(duì)算法的疑慮。例如 2018 年 3 月 ，谷歌大腦團(tuán)隊(duì)的克里斯·歐拉(Chris Olah)公布了一項(xiàng)題為“可解釋性的基礎(chǔ)構(gòu)件”的研究成果，該成果解決了神經(jīng)網(wǎng)絡(luò)這種最令人難以捉摸的算法的可視化問題，簡(jiǎn)化了相關(guān)信息，使算法的工作狀態(tài)回到了“人類尺度”， 能夠被普通人看懂和理解[38]。所以，智能教育也應(yīng)當(dāng)嘗試將智能教育決策進(jìn)行可視化、自動(dòng)化的處理以增加系統(tǒng)的可信度。

其二，利用審查機(jī)制進(jìn)行算法歧視的責(zé)任追究。由于算法開發(fā)者、設(shè)計(jì)者自身的倫理道德水平與技術(shù)水平參差不齊，算法模型會(huì)因有些人的利益訴求或技術(shù)水平不足而產(chǎn)生算法歧視現(xiàn)象。因此，企業(yè)應(yīng)當(dāng)確立算法歧視的責(zé)任追究體系，在算法開發(fā)階段以審查制的方式對(duì)算法模型進(jìn)行檢測(cè)，審查是否出現(xiàn)算法歧視的問題，并對(duì)出現(xiàn)的問題進(jìn)行責(zé)任追究，從而使算法開發(fā)者與設(shè)計(jì)者以更公正的視角進(jìn)行算法模型的開發(fā)與設(shè)計(jì)，確保算法模型的公平公正。

3.事后治理：堅(jiān)持學(xué)生在教育教學(xué)活動(dòng)中的主體性

事后治理強(qiáng)調(diào)在實(shí)際教學(xué)過程中充分發(fā)揮師生的主觀能動(dòng)性，讓師生以更合理的方式來使用算法結(jié)果，避免潛在的算法歧視風(fēng)險(xiǎn)，其具體措施有以下三點(diǎn)：

其一，適應(yīng)課堂身份的轉(zhuǎn)變，推進(jìn)教學(xué)活動(dòng)內(nèi)容的改革。隨著人工智能、大數(shù)據(jù)等新型信息技術(shù)的發(fā)展，促進(jìn)教育行業(yè)由“以教師為核心”轉(zhuǎn)變?yōu)椤耙詫W(xué)習(xí)者為中心”，教師的角色從“知識(shí)的傳授者”轉(zhuǎn)變?yōu)椤罢n程的設(shè)計(jì)者”，這一過程中教師由于對(duì)技術(shù)的理解不深入，使其難以避免過度依賴人工智能技術(shù)。因此，教師應(yīng)促進(jìn)教學(xué)方式和教學(xué)內(nèi)容的改革、發(fā)揮好人的主觀能動(dòng)性，始終保持對(duì)智能教育系統(tǒng)的警惕與懷疑；同時(shí)學(xué)校應(yīng)當(dāng)開展面向師生的人工智能素養(yǎng)教育課程，引導(dǎo)師生不盲目依賴人工智能技術(shù)，保有自己的思考力與判斷力。

其二，審慎使用智能教育系統(tǒng)，推進(jìn)人機(jī)協(xié)同的“雙師課堂”。智能教育系統(tǒng)往往會(huì)以評(píng)分等形式對(duì)學(xué)習(xí)者的“學(xué)習(xí)能力”加以評(píng)判[39]，而忽略學(xué)習(xí)者獨(dú)特的學(xué)習(xí)潛力、個(gè)人特質(zhì)、興趣愛好等，從而導(dǎo)致學(xué)習(xí)者被數(shù)字化、機(jī)械化，違反了教育本身的目的。為此，應(yīng)當(dāng)推動(dòng)人工智能技術(shù)回歸輔助工具的身份，客觀公正的看待智能教育系統(tǒng)給出的決策，如下頁圖3所示，教師面對(duì)智能教育系統(tǒng)給出的決策結(jié)果應(yīng)當(dāng)判斷其是否具有可解釋性：若結(jié)果可解釋，則審核決策結(jié)果的具體內(nèi)容，決定是否全盤接受決策結(jié)果或經(jīng)過修訂后接收算法結(jié)果；若結(jié)果不可解釋，教師可要求相關(guān)人員檢測(cè)算法系統(tǒng)。同時(shí)，我們也應(yīng)當(dāng)遵循“以人為本”的原則以及人才成長(zhǎng)規(guī)律，提升學(xué)生的創(chuàng)新能力、思維能力以及批判能力；注重發(fā)揮教師在教育教學(xué)中人格塑造、情感交互等引導(dǎo)性作用，以此來推動(dòng)學(xué)生全面健康的發(fā)展。

圖3 交互式?jīng)Q策結(jié)果的合理使用示意

其三，支持學(xué)生個(gè)性化發(fā)展，推進(jìn)教育教學(xué)適性化。教育教學(xué)適性化是指規(guī)?；c個(gè)性化的統(tǒng)一[40]。傳統(tǒng)的教學(xué)方式是以班級(jí)為單位進(jìn)行授課，因此，如何在規(guī)?；慕虒W(xué)過程中穿插個(gè)性化的定制智能教學(xué)、避免單一的算法模型對(duì)部分“特殊群體”造成歧視，是保證智能教育公正的關(guān)鍵環(huán)節(jié)。為此，課程設(shè)計(jì)應(yīng)當(dāng)建立以智能、個(gè)性、精準(zhǔn)為核心的一體化基礎(chǔ)教育數(shù)字資源服務(wù)體系[41]，留有相應(yīng)課時(shí)來滿足學(xué)生個(gè)性化的教育需求，以學(xué)生知識(shí)掌握的熟練度為向?qū)?，保證學(xué)生在規(guī)?；n程教學(xué)中接收通識(shí)教育的同時(shí)，擁有靈活自由的選擇感興趣課程的權(quán)利。

五、結(jié)語

人工智能技術(shù)不斷更新、重塑著教育生態(tài)，并為教育公平帶來了新的挑戰(zhàn)與機(jī)遇。一方面，新一代信息技術(shù)的出現(xiàn)和教育理念的革新使得“互聯(lián)網(wǎng)+教育”模式的重要性日益凸顯，人工智能算法極大提高了教育生產(chǎn)力、教師的工作效率以及工作能力；另一方面，由于智能教育算法的廣泛應(yīng)用，隱蔽于其中的算法歧視逐漸發(fā)展為一個(gè)顯著的問題，不可避免的破壞了教育公平。因此，在享受當(dāng)下智能時(shí)代的“紅利”同時(shí)，也應(yīng)批判性地探究智能教育發(fā)展中面臨的問題與挑戰(zhàn)，合理的做到防患于未然。

本文從社會(huì)條件和技術(shù)路徑兩大角度出發(fā)，梳理了智能教育環(huán)境下算法歧視的潛在風(fēng)險(xiǎn)、具體成因和治理策略。社會(huì)、企業(yè)、學(xué)校等主體應(yīng)當(dāng)共同參與智能教育的算法歧視治理，攜手推動(dòng)人工智能安全、可控、可靠的發(fā)展，包括：監(jiān)管機(jī)構(gòu)應(yīng)當(dāng)前瞻性地關(guān)注智能教育中潛在的算法歧視問題，對(duì)可預(yù)見的算法歧視加以防范；開發(fā)者應(yīng)當(dāng)重視智能教育中算法歧視的危害性，針對(duì)成因給出相應(yīng)的解決方案；學(xué)校與師生應(yīng)當(dāng)明確“以人為本”的基本原則，推動(dòng)智能教育系統(tǒng)回歸教學(xué)輔助性工具的職能?？傊悄芙逃龑?duì)于教育公平的發(fā)展利大于弊，社會(huì)、開發(fā)團(tuán)隊(duì)、師生應(yīng)當(dāng)始終把握底線，構(gòu)建多元評(píng)價(jià)標(biāo)準(zhǔn)，最大程度地發(fā)揮智能教育的有益作用，助力教育公平穩(wěn)步前行。