王 萍 田小勇 孫僑羽

（上海外國(guó)語(yǔ)大學(xué) 國(guó)際教育學(xué)院，上海 201620）

一、引言

教育大數(shù)據(jù)的可用性和人工智能能力的增強(qiáng)，助推了教育領(lǐng)域利用人工智能算法來(lái)解決教育實(shí)踐中的一些重要問(wèn)題。但人工智能在快速發(fā)展與成熟的同時(shí)，也蘊(yùn)含著多重風(fēng)險(xiǎn)與挑戰(zhàn)。當(dāng)前，人工智能技術(shù)的準(zhǔn)確性和效率己在許多應(yīng)用場(chǎng)景上超越人類，而人工智能中的一些關(guān)鍵技術(shù)如深度學(xué)習(xí)等的“黑箱”應(yīng)用方式，卻缺少透明度以及對(duì)結(jié)果的邏輯解釋。依賴不透明的模型可能會(huì)導(dǎo)致我們采用不完全理解的人工智能決策與結(jié)果，甚至可能存在因違反公平道德原則而產(chǎn)生的人工智能可信性、風(fēng)險(xiǎn)和公平問(wèn)題。2021年《地平線報(bào)告》（教與學(xué)版）即指出，在影響高等教育的六項(xiàng)關(guān)鍵技術(shù)中，人工智能技術(shù)的使用風(fēng)險(xiǎn)最大[1]。因此，發(fā)展可信的、可解釋的人工智能，正在成為全球共識(shí)。

在教育領(lǐng)域，知識(shí)產(chǎn)品將直接應(yīng)用于人類學(xué)習(xí)，透明度、可解釋和可信任是確保教育系統(tǒng)和學(xué)習(xí)者之間建立成功聯(lián)系的重要紐帶。雖然人工智能賦能教育已取得了革命性進(jìn)步，其在多種教育情境與學(xué)習(xí)任務(wù)中構(gòu)建了精準(zhǔn)高效的智能應(yīng)用，但在智能教育中其對(duì)知識(shí)計(jì)算結(jié)果與智能決策支持的有效性，仍因缺乏解釋能力而備受限制和質(zhì)疑。已有研究過(guò)多關(guān)注機(jī)器學(xué)習(xí)和深度學(xué)習(xí)等技術(shù)結(jié)果的精準(zhǔn)度，而忽視了技術(shù)應(yīng)用的可解釋性與可理解性。對(duì)可解釋智能教育系統(tǒng)的研究較少且多以個(gè)案分析為主[2][3][4]，缺少系統(tǒng)且全面的研究。同時(shí)，教育人工智能系統(tǒng)中存在的“黑箱”與數(shù)據(jù)偏見(jiàn)、算法偏見(jiàn)等問(wèn)題，有可能使教育系統(tǒng)的運(yùn)行結(jié)果產(chǎn)生偏差。在“黑箱”應(yīng)用模式下，雖然我們給出教育數(shù)據(jù)輸入，獲得智能決策的輸出，但卻無(wú)法理解和解讀模型中的工作原理，這就導(dǎo)致人工智能所得出的相關(guān)結(jié)論的解釋性困難。而這些具有偏見(jiàn)的教育數(shù)據(jù)集與算法，則有可能帶來(lái)不公平或錯(cuò)誤的結(jié)論或決策，亟需制定有效的機(jī)制對(duì)其結(jié)果進(jìn)行解釋或驗(yàn)證。

可見(jiàn)，在教育領(lǐng)域中，人工智能的可解釋性是必要且必須的。首先，在教育系統(tǒng)和教育人員之間建立信任是使用智能系統(tǒng)的基礎(chǔ)。信任是決策的基礎(chǔ)，只

*基金項(xiàng)目：本文系上海市教育科學(xué)研究項(xiàng)目“人工智能環(huán)境下翻譯教學(xué)的影響因素與提升策略研究”（項(xiàng)目編號(hào)：C2021311）研究成果之一。有給出人類可理解的解釋性說(shuō)明，才能在人與人工智能之間建立友好的溝通機(jī)制，盡量避免和消除人工智能系統(tǒng)在應(yīng)用中所產(chǎn)生的偏差；其次，對(duì)智能模型的解釋有助于優(yōu)化教學(xué)過(guò)程。教育者需要“知道為什么”才能做出因果和價(jià)值判斷，才能有信心將決策結(jié)果應(yīng)用于教學(xué)實(shí)踐。為此，本文將著重圍繞兩個(gè)研究問(wèn)題展開分析：（1）如何構(gòu)建可解釋的教育人工智能系統(tǒng)框架？（2）可解釋的智能教育對(duì)教育研究與實(shí)踐的價(jià)值體現(xiàn)何在？

二、可解釋人工智能的概念與發(fā)展

（一）概念解析

“解釋”是將抽象概念映射到人類可以理解的領(lǐng)域中[5]?！翱山忉屝浴笔窃谖覀冃枰私饣蚪鉀Q一件事情的時(shí)候，可以獲得所需的、足夠的、可以理解的信息，這是人類心理與社會(huì)行為的基本要求。從認(rèn)知心理角度分析，人類具有針對(duì)自身所處環(huán)境而反應(yīng)的心智模型。當(dāng)意外事件發(fā)生時(shí)，該心智模型就會(huì)即時(shí)更新，而這種更新是通過(guò)找到對(duì)此類事件的解釋來(lái)執(zhí)行的[6]。再?gòu)纳鐣?huì)行為角度分析，找到意義與管理社會(huì)互動(dòng)是人們要求解釋的兩個(gè)基本原因[7]。

可解釋人工智能（Explainable AI，XAI）是以可理解的方式向人類解釋，并呈現(xiàn)智能系統(tǒng)行為與決策的新一代人工智能，其目標(biāo)是使用戶能夠理解和信任機(jī)器學(xué)習(xí)算法所產(chǎn)生的結(jié)果和輸出[8]，使人工智能系統(tǒng)具備類人化的解釋能力，建立起人與機(jī)器之間信任的橋梁，進(jìn)而形成人工智能、社會(huì)科學(xué)、認(rèn)知心理、人機(jī)交互多領(lǐng)域研究的融合交叉，如圖1所示。

可解釋人工智能在人與人工智能模型的交互過(guò)程中，闡釋了輸入信息到輸出狀態(tài)之間的因果關(guān)系，通過(guò)靈活的人機(jī)交互界面為用戶服務(wù)，滿足人類好奇、差異、疑問(wèn)等心理需求，增強(qiáng)使用者對(duì)模型的信任程度和社會(huì)認(rèn)知。融合多學(xué)科、多領(lǐng)域的可解釋人工智能，是使使用者能夠理解、適當(dāng)信任和有效管理新一代人工智能的良好合作伙伴[9]。

（二）研發(fā)現(xiàn)狀

1.各國(guó)發(fā)展情況

可解釋人工智能是解決當(dāng)前人工智能中安全性、偏見(jiàn)、公平性、信任和倫理等問(wèn)題的關(guān)鍵方法。為推動(dòng)可持續(xù)人工智能發(fā)展，各國(guó)的人工智能發(fā)展戰(zhàn)略都開始增強(qiáng)對(duì)人工智能可解釋性和可信性的關(guān)注，著重加強(qiáng)對(duì)人工智能的風(fēng)險(xiǎn)管理與治理。表1 給出了各國(guó)與相關(guān)組織機(jī)構(gòu)在可解釋人工智能治理方面的主要舉措。自2017年起，人工智能的可解釋性開始受到關(guān)注，至2019年，其已成為各國(guó)人工智能發(fā)展戰(zhàn)略中的重要議題，中國(guó)、美國(guó)、歐盟等國(guó)家和相關(guān)組織機(jī)構(gòu)，在推動(dòng)可解釋人工智能研究和應(yīng)用中起到引領(lǐng)作用?？梢哉f(shuō)，創(chuàng)建以人為本，可解釋性、可追溯性、可溝通的可信人工智能系統(tǒng)（Trusted AI System），已經(jīng)成為下一代人工智能的發(fā)展趨勢(shì)。

表1 各國(guó)與相關(guān)組織機(jī)構(gòu)推動(dòng)可解釋人工智能的舉措

2.典型研究項(xiàng)目

（1）美國(guó)國(guó)防高級(jí)研究計(jì)劃局（Defense Advanced Research Projects Agency，DARPA）的可解釋人工智能項(xiàng)目[10]。DARPA 從2016年10月開始啟動(dòng)“可解釋的人工智能項(xiàng)目計(jì)劃”，旨在建立一套新的或改進(jìn)的機(jī)器學(xué)習(xí)技術(shù)，生成可解釋模型，結(jié)合有效的解釋技術(shù)，使用戶能夠理解、信任并有效地管理未來(lái)的人工智能系統(tǒng)。項(xiàng)目的研究框架如圖2所示。

該研究提出了可解釋人工智能所面臨的三個(gè)挑戰(zhàn)：①如何生成可解釋模型；②如何設(shè)計(jì)人機(jī)交互解釋界面；③如何理解用戶心理需求并有效加以解釋。DARPA 探索可解釋性學(xué)習(xí)系統(tǒng)和心理學(xué)解釋模型這兩個(gè)技術(shù)領(lǐng)域，并以異構(gòu)多媒體數(shù)據(jù)分析和自主系統(tǒng)決策策略構(gòu)建這兩個(gè)技術(shù)問(wèn)題為切入點(diǎn)，探討人工智能行為決策背后的原理與原因，以改善人機(jī)協(xié)作。

DARPA 還提出了可解釋人工智能對(duì)使用者心理和行為所產(chǎn)生的影響及形成的評(píng)估框架，如圖3所示。有效的解釋能夠誘導(dǎo)使用者形成良好的心智模型，促使其產(chǎn)生對(duì)系統(tǒng)的信任感，從而提升任務(wù)績(jī)效?？山忉屝钥蓮挠脩魸M意度、理解力、績(jī)效提升、信任感等方面進(jìn)行評(píng)估。

（2）“用于解釋人工智能決策的科學(xué)和技術(shù)”項(xiàng)目[11]。該項(xiàng)目是由歐洲研究委員會(huì)（European Research Council，ERC）計(jì)劃資助，旨在應(yīng)對(duì)不透明人工智能系統(tǒng)構(gòu)建解釋方法所帶來(lái)的問(wèn)題和挑戰(zhàn)。項(xiàng)目計(jì)劃從“方法→模型→平臺(tái)→案例→倫理”這五個(gè)方面展開探索：①研究如何構(gòu)建有意義的解釋，引入了用于“黑箱”解釋的局部到全局框架，從不同維度分析解釋方法，探索不同數(shù)據(jù)源和算法如何構(gòu)建有意義的解釋語(yǔ)言；②通過(guò)復(fù)雜系統(tǒng)的統(tǒng)計(jì)物理工具，捕捉特定深度學(xué)習(xí)背后詳細(xì)數(shù)據(jù)生成行為的物理模型；③搭建可解釋人工智能系統(tǒng)平臺(tái)，建立與研究界共享實(shí)驗(yàn)數(shù)據(jù)集和解釋算法的基礎(chǔ)設(shè)施，為從事不同領(lǐng)域黑箱解釋工作的研究人員，創(chuàng)造一個(gè)共享的基礎(chǔ)平臺(tái)；④設(shè)計(jì)“解釋中”的案例研究，從選取健康和欺詐檢測(cè)兩個(gè)應(yīng)用方向展開，在案例中驗(yàn)證涉及真實(shí)用戶的方法和框架；⑤研究可解釋的道德法律框架。鑒于可解釋性研究（Interpretabitity Research）具有強(qiáng)烈的道德動(dòng)機(jī)，研究項(xiàng)目將聯(lián)合包括法律、倫理等研究領(lǐng)域的科學(xué)家，共同開展研究。

三、可解釋教育人工智能的系統(tǒng)框架

構(gòu)建可解釋人工智能系統(tǒng)框架的目的，在于分析系統(tǒng)模塊的構(gòu)成與關(guān)系，明確系統(tǒng)模塊功能，探索各模塊對(duì)解釋需求的實(shí)現(xiàn)方法。這是可解釋人工智能系統(tǒng)研究的核心部分，也是系統(tǒng)設(shè)計(jì)與開發(fā)的基石。

（一）系統(tǒng)的學(xué)理支持

解釋是人類學(xué)習(xí)和教育的重要環(huán)節(jié)，尋求解釋的動(dòng)力植根于人類的認(rèn)知中，科學(xué)本質(zhì)上也是一種解釋系統(tǒng)。首先，在人類的學(xué)習(xí)中，解釋是形成概念或范疇的過(guò)程，可幫助學(xué)習(xí)者形成或完善概念類別或類別成員特征，并概括類別內(nèi)或跨類別的屬性[12]。其次，解釋對(duì)理解有著顯著而積極的影響，例如演繹和概括可以幫助學(xué)習(xí)者完善他們的知識(shí)[13]。相關(guān)研究表明，讓學(xué)習(xí)者解釋專家的答案可以增進(jìn)他們的理解，而在學(xué)習(xí)者提供自己的解釋時(shí)，他們?cè)诶斫馍系牟蛔憔蜁?huì)暴露出來(lái)[14]。

教育的過(guò)程在某種程度上是教師向?qū)W生解釋的過(guò)程，知識(shí)是學(xué)習(xí)者在與他人和環(huán)境的交互過(guò)程中通過(guò)不斷地自我解釋和交互解釋建構(gòu)而成，因此解釋的過(guò)程也是知識(shí)建構(gòu)的過(guò)程。解釋有助于促進(jìn)學(xué)習(xí)者在各種環(huán)境的學(xué)習(xí)，包括科學(xué)教學(xué)[15]、問(wèn)題解決[16]、策略制定[17]等，如果缺少解釋機(jī)制，將難以實(shí)施有效的學(xué)習(xí)活動(dòng)。

教育人工智能系統(tǒng)的目標(biāo)是賦能教學(xué)和教師，促進(jìn)學(xué)習(xí)和學(xué)習(xí)評(píng)價(jià)，實(shí)現(xiàn)高效的知識(shí)傳授。智能技術(shù)產(chǎn)生的教育決策需要科學(xué)的解釋方法并呈現(xiàn)有效的解釋機(jī)制并針對(duì)策略結(jié)果展開溯源，使教育者和學(xué)習(xí)者在面對(duì)智能系統(tǒng)時(shí)，能夠知其然并知其所以然。

（二）系統(tǒng)框架與分析

可解釋人工智能系統(tǒng)基于連接主義（Connectionism）研究范式，基于連接主義的教育人工智能系統(tǒng)包括：教育需求分析、教育數(shù)據(jù)處理與特征工程、智能模型構(gòu)建與智能教育應(yīng)用等主要功能模塊[18]。構(gòu)建可解釋教育人工智能系統(tǒng)需要從需求分析出發(fā)，以解釋為核心任務(wù)和目標(biāo)，對(duì)數(shù)據(jù)的可解釋、方法的可解釋、技術(shù)的可解釋、交互的友好可讀性等功能進(jìn)行設(shè)計(jì)。可解釋教育人工智能系統(tǒng)框架如圖4所示，數(shù)據(jù)解釋、模型解釋、解釋界面構(gòu)成了該系統(tǒng)的核心模塊。

對(duì)于可解釋的智能教育系統(tǒng)，準(zhǔn)確、可理解、高效、穩(wěn)定是教育應(yīng)用的基本要求與目標(biāo)?！皽?zhǔn)確”是指教育人工智能的系統(tǒng)結(jié)果與解釋方法給出的解釋之間的實(shí)際關(guān)系，這是可解釋的基本目標(biāo)，缺少準(zhǔn)確度的解釋沒(méi)有價(jià)值?！翱山忉屝浴笔且粋€(gè)主觀概念，教育人工智能系統(tǒng)解釋的結(jié)果應(yīng)當(dāng)是教育應(yīng)用者所能理解的。如果系統(tǒng)提供或呈現(xiàn)的解釋結(jié)果無(wú)法為用戶所理解，即系統(tǒng)無(wú)法體現(xiàn)解釋的價(jià)值和目標(biāo)?！案咝浴币蠼逃斯ぶ悄芟到y(tǒng)提供給使用者的解釋所需的時(shí)間應(yīng)是迅速的。在通常情況下，解釋越容易理解，理解的效率就越高，并且解釋系統(tǒng)不應(yīng)顯著影響人工智能系統(tǒng)自身的運(yùn)行效率?！胺€(wěn)定性”是指教育人工智能系統(tǒng)對(duì)模型的解釋應(yīng)是穩(wěn)定的，如教育數(shù)據(jù)、特征值的微小變化不應(yīng)實(shí)質(zhì)性地改變解釋的結(jié)果。

1.教育數(shù)據(jù)與特征解釋

數(shù)據(jù)是智能系統(tǒng)的基石，是算法存在的前提。教育領(lǐng)域涉及多種數(shù)據(jù)類型，可解釋方法的設(shè)計(jì)依賴于數(shù)據(jù)的類型和結(jié)構(gòu)。在建模前的可解釋性方法的主要目標(biāo)，是幫助教育開發(fā)者和分析者快速全面了解數(shù)據(jù)分布的特征，并構(gòu)建特征可解釋方法，為模型構(gòu)建階段做準(zhǔn)備。統(tǒng)計(jì)數(shù)據(jù)分析和數(shù)據(jù)可視化是本階段重要的解釋方法，一般可通過(guò)探索性數(shù)據(jù)分析和可視化技術(shù)對(duì)數(shù)據(jù)集進(jìn)行初步探索，總結(jié)數(shù)據(jù)集的主要維度。在此基礎(chǔ)上，進(jìn)行特征工程構(gòu)建，形成有意義的教育特征。在特征可解釋研究上，SHAP（SHapley Additive exPlanations）是一種典型的特征可解釋方法，該方法基于博弈論思想，用Shapley 值來(lái)計(jì)算每個(gè)特征對(duì)整體預(yù)測(cè)做出的貢獻(xiàn)以及每一個(gè)特征變量的重要性值，以達(dá)到解釋的效果[19]。

2.教育模型解釋

在教育人工智能中應(yīng)用的技術(shù)，既包括回歸、決策樹等自解釋能力較強(qiáng)的算法模型，也包括了完全黑箱的神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)模型。在教育模型的解釋上，需要根據(jù)實(shí)際應(yīng)用選擇恰當(dāng)?shù)目山忉尫椒ㄅc工具。

（1）可解釋方法。在可解釋方法的選擇上，可從兩個(gè)維度進(jìn)行分析。首先是從解釋方法適用的模型類型來(lái)看，有模型無(wú)關(guān)（Model-Agnostic）的解釋方法和模型特定（Model-Specific）的解釋方法[20]。模型無(wú)關(guān)解釋方法可用于解釋所有類型的黑箱模型，其適應(yīng)性較強(qiáng)，可作為獨(dú)立的可解釋層構(gòu)建于現(xiàn)有系統(tǒng)之上。而模型特定解釋方法只能用于解釋特定類型的黑箱模型，其方法依賴于每個(gè)模型的功能和特征。其次從解釋方法的可解釋范圍來(lái)看，有全局解釋和局部解釋兩種方法。其中全局解釋可以解釋模型的整體邏輯和工作方式，返回的解釋是對(duì)任何實(shí)例都有效的、針對(duì)全局的完整解釋。而局部解釋對(duì)模型的單個(gè)實(shí)例提供特定的解釋，給出機(jī)器學(xué)習(xí)模型針對(duì)每一個(gè)輸入樣本的決策過(guò)程和決策依據(jù)。

在設(shè)計(jì)可解釋性方法時(shí)，需要考慮具體教育應(yīng)用環(huán)境因素、教育需求、可用的教育數(shù)據(jù)資源、現(xiàn)有的領(lǐng)域知識(shí)、學(xué)習(xí)者的認(rèn)知技能和能力以及現(xiàn)有技術(shù)方法的性能和可解釋性水平等。如當(dāng)探索某個(gè)具體學(xué)習(xí)預(yù)測(cè)結(jié)果的背后邏輯，可選擇局部解釋方法；如要分析學(xué)習(xí)系統(tǒng)的整體運(yùn)行機(jī)制或影響學(xué)習(xí)系統(tǒng)的最關(guān)鍵的特征，全局解釋方法可能更合適。在現(xiàn)有的教育研究中，基于模型特定方法的應(yīng)用相對(duì)較多，而模型無(wú)關(guān)的解釋方法具有更高的黑箱解釋能力和場(chǎng)景解釋能力，將是教育領(lǐng)域重點(diǎn)探索的可解釋方法。

（2）可解釋技術(shù)工具。在可解釋技術(shù)的實(shí)現(xiàn)上，教育人工智能可以結(jié)合自身系統(tǒng)的需求，進(jìn)行算法設(shè)計(jì)與開發(fā)，也可以選用開源的可解釋人工智能工具。表2 對(duì)現(xiàn)有的主要可解釋人工智能算法和工具包進(jìn)行了總結(jié)與對(duì)比，選擇成熟開源的技術(shù)工具是提高教育系統(tǒng)和教育產(chǎn)品設(shè)計(jì)開發(fā)效率的有效手段。

表2 開源可解釋人工智能算法與工具包

3.可解釋交互界面

在獲取可解釋的結(jié)果后，需要通過(guò)可解釋交互界面以恰當(dāng)?shù)男问教峁┙o教育應(yīng)用者，以確保解釋能力與用戶體驗(yàn)和交互設(shè)計(jì)之間不會(huì)因?yàn)椴黄ヅ涠鴮?dǎo)致難以理解甚至產(chǎn)生錯(cuò)誤的結(jié)果。對(duì)可視化交互形式的設(shè)計(jì)，需要根據(jù)模型的功能與教育應(yīng)用的情境來(lái)進(jìn)行具體設(shè)計(jì)與選擇，表3 給出了可視化交互界面形式與智能教育系統(tǒng)解釋功能的主要維度[28]。

表3 可視化交互界面形式與智能教育系統(tǒng)教育解釋功能的主要維度

四、可解釋教育人工智能的應(yīng)用價(jià)值與案例分析

（一）應(yīng)用價(jià)值

1.提供因果推斷的教育研究新路徑

（1）因果推斷與解釋。作為一種認(rèn)知過(guò)程，解釋與因果推斷密切相關(guān)。解釋是對(duì)事物發(fā)生原因或運(yùn)作機(jī)制的因果分析過(guò)程。解釋的過(guò)程是因果鏈、“目標(biāo)—計(jì)劃—行動(dòng)”層次結(jié)構(gòu)和理由的構(gòu)建[29]。因果關(guān)系一直是人類認(rèn)識(shí)世界的基本方式和現(xiàn)代科學(xué)的基石，從“因”推導(dǎo)出“果”，找到兩類對(duì)象之間的規(guī)律和相互關(guān)系，一直是推動(dòng)科學(xué)與哲學(xué)前進(jìn)的動(dòng)力之一。因果推斷的目標(biāo)即發(fā)現(xiàn)變量/事物背后的因果關(guān)系，提供因果機(jī)制或過(guò)程解釋。根據(jù)珀?duì)枺↗.Pearl）提出的因果推斷形式化模型，因果推斷可分成三個(gè)級(jí)別：關(guān)聯(lián)、干預(yù)和反事實(shí)推理，這三種關(guān)系分別對(duì)應(yīng)不同層次的解釋性問(wèn)題[30]。

（2）教育研究中的因果推斷方法。在教育科學(xué)中，對(duì)變量間關(guān)系的研究主要包括相關(guān)性與因果性，因果推斷是教育和社會(huì)科學(xué)研究的基礎(chǔ)方法和重要目標(biāo)。教育研究更應(yīng)探尋教育問(wèn)題中諸如原因或條件“如何”造成結(jié)果的問(wèn)題[31]。傳統(tǒng)因果推斷研究方法包括隨機(jī)實(shí)驗(yàn)、自然實(shí)驗(yàn)、傾向值匹配、工具變量、斷點(diǎn)回歸、結(jié)構(gòu)方程模型等[32]。這些研究方法主要是基于統(tǒng)計(jì)模型，使用實(shí)驗(yàn)數(shù)據(jù)或者調(diào)查數(shù)據(jù)，采用統(tǒng)計(jì)分析方法進(jìn)行估計(jì)和推斷，進(jìn)而對(duì)研究結(jié)果進(jìn)行詮釋。以實(shí)驗(yàn)研究為例，隨機(jī)實(shí)驗(yàn)被認(rèn)為是最適宜用來(lái)驗(yàn)證事物間因果關(guān)系的研究方法，但在教育和社會(huì)領(lǐng)域，也存在樣本選取、成本、社會(huì)道德等方面的難度和壓力。過(guò)程追蹤、質(zhì)性比較分析等質(zhì)性研究方法，也是在教育問(wèn)題因果推斷研究上的有效研究方法。

傳統(tǒng)教育研究方法在因果推斷研究層次上，主要實(shí)現(xiàn)了觀察和干預(yù)級(jí)別。在數(shù)據(jù)集上，通常為小數(shù)量級(jí)別。而隨著大數(shù)據(jù)的發(fā)展，機(jī)器學(xué)習(xí)方法開始展現(xiàn)其價(jià)值和優(yōu)勢(shì)。傳統(tǒng)量化研究與機(jī)器學(xué)習(xí)相互借鑒，機(jī)器學(xué)習(xí)算法對(duì)因果推斷的傳統(tǒng)計(jì)量方法進(jìn)行了優(yōu)化與改進(jìn)[33]，推動(dòng)了傳統(tǒng)因果推斷研究方法的進(jìn)步。

（3）人工智能推動(dòng)因果推斷研究。人工智能經(jīng)歷了基于符號(hào)邏輯的演繹推理、基于概率的歸納推理、基于因果推斷的溯因推理的發(fā)展過(guò)程[34]。強(qiáng)人工智能的目標(biāo)在于讓機(jī)器具有類人化的因果推斷能力，當(dāng)前的機(jī)器學(xué)習(xí)領(lǐng)域仍處于“弱人工智能”，主要解決關(guān)聯(lián)性和干預(yù)性問(wèn)題。要實(shí)現(xiàn)強(qiáng)人工智能還需要使機(jī)器具備反事實(shí)推理等因果分析能力，讓機(jī)器學(xué)會(huì)因果推斷是實(shí)現(xiàn)真正人工智能一個(gè)重要步驟[35]。

因果推斷是解釋性分析的建模工具，可解釋人工智能通過(guò)加入因果表示可以使智能系統(tǒng)提供更豐富的解釋，以實(shí)現(xiàn)更高層次的因果推斷，為教育研究和社會(huì)科學(xué)研究提供新的研究方法和路徑。可解釋人工智能豐富了教育研究方法的圖景，成為探索教育研究中因果關(guān)系與因果機(jī)制的強(qiáng)有力工具。圖5描述了傳統(tǒng)教育研究方法與人工智能方法的因果推斷分析和解釋能力。

2.推進(jìn)知識(shí)發(fā)現(xiàn)研究

知識(shí)發(fā)現(xiàn)是從數(shù)據(jù)中識(shí)別出有效的、新穎的、潛在有用的、最終可理解的模式與過(guò)程[36]，其目標(biāo)是從大數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的、潛在的多維度知識(shí)。在教育領(lǐng)域，學(xué)習(xí)分析和教育數(shù)據(jù)挖掘等研究任務(wù)，都是為了更好地服務(wù)于知識(shí)發(fā)現(xiàn)，常用的知識(shí)發(fā)現(xiàn)方法包括統(tǒng)計(jì)分析方法、機(jī)器學(xué)習(xí)方法、可視化方法等。

當(dāng)前，人工智能技術(shù)的先進(jìn)性已經(jīng)超過(guò)人類專家，能夠發(fā)現(xiàn)人類專家無(wú)法訪問(wèn)的數(shù)據(jù)模式，探索新的知識(shí)。例如在教育研究中，進(jìn)行精準(zhǔn)教育、學(xué)習(xí)評(píng)估、自動(dòng)評(píng)分；在科學(xué)研究中，探索大腦認(rèn)知狀態(tài)、基因與疾病化合物和材料特性；在游戲設(shè)計(jì)中，發(fā)現(xiàn)新的游戲交互策略等。在知識(shí)發(fā)現(xiàn)研究中，識(shí)別和解釋知識(shí)的產(chǎn)生模式也非常重要，因?yàn)樗沂玖擞嘘P(guān)學(xué)習(xí)者生物或神經(jīng)機(jī)制等新信息，可能帶來(lái)新的科學(xué)見(jiàn)解。因此，可解釋人工智能將是促進(jìn)和驗(yàn)證知識(shí)發(fā)現(xiàn)的有力工具。

可解釋人工智能利用解釋方法，從挖掘到的數(shù)據(jù)模式識(shí)別代表新知識(shí)的模式，并利用可視化技術(shù)將新知識(shí)呈現(xiàn)給用戶，幫助人們理解人工智能模型的決策過(guò)程。在后續(xù)解釋的基礎(chǔ)上，用戶與專家可以獲得基于數(shù)據(jù)和模式的真實(shí)反饋，真實(shí)獲取隱藏在數(shù)據(jù)中的新知識(shí)。

3.助力教育人工智能治理

人工智能治理是人工智能技術(shù)和應(yīng)用發(fā)展到一定階段的必然結(jié)果，是促進(jìn)人工智能健康發(fā)展，確保人工智能安全可靠，推動(dòng)可持續(xù)發(fā)展的重要議題?？偟膩?lái)說(shuō)，人工智能治理是一項(xiàng)復(fù)雜的系統(tǒng)工程，治理手段主要包括倫理約束、技術(shù)應(yīng)對(duì)、規(guī)范立法等。

在教育人工智能治理中，人類所面臨的風(fēng)險(xiǎn)和問(wèn)題主要包括：人工智能技術(shù)的使用和誤用、算法和數(shù)據(jù)偏見(jiàn)、問(wèn)責(zé)制和自我監(jiān)督、安全與隱私、風(fēng)險(xiǎn)與倫理等?？山忉屓斯ぶ悄苁沁M(jìn)行教育人工智能治理的有效工具，公平公正、用戶友好的解釋，將幫助人類評(píng)估和實(shí)現(xiàn)以人為中心的人工智能。圖6 建構(gòu)了基于可解釋人工智能推動(dòng)教育人工智能治理的研究框架。

教育人工智能治理的目標(biāo)是構(gòu)建技術(shù)可控、以人為本、科技向善、公平可靠、尊重隱私、包容共享、人機(jī)協(xié)同發(fā)展的教育治理新環(huán)境?？山忉屓斯ぶ悄芸梢越忉屓斯ぶ悄芩惴ㄈ绾巫龀鰶Q策，避免算法偏見(jiàn)和人工智能的誤用和濫用，這是推動(dòng)人工智能治理從原則到實(shí)踐有效落地的有力工具和手段。

（二）案例分析

在教育領(lǐng)域，可解釋人工智能系統(tǒng)已經(jīng)開始得到研究者的關(guān)注，并嘗試在教育情境中加以應(yīng)用。為此，本研究選擇了三個(gè)典型案例進(jìn)行分析，如表4所示。

表4 教育人工智能中可解釋系統(tǒng)應(yīng)用案例

1.智能導(dǎo)師系統(tǒng)

智能導(dǎo)師系統(tǒng)（Intelligent Tutoring System，ITS）由領(lǐng)域模型、導(dǎo)師模型和學(xué)習(xí)者模型組成，通過(guò)模擬人類教師實(shí)現(xiàn)個(gè)性化的智能教學(xué)，是人工智能技術(shù)在教育領(lǐng)域中的典型應(yīng)用。ACSP 是科納蒂（C.Conati）等研究開發(fā)的一個(gè)自適應(yīng)智能導(dǎo)師系統(tǒng)，系統(tǒng)通過(guò)用戶建模和適應(yīng)框架FUMA（Framework for User Modeling and Adaptation）進(jìn)行學(xué)習(xí)者模型構(gòu)建。根據(jù)學(xué)習(xí)者行為數(shù)據(jù)，使用機(jī)器學(xué)習(xí)方法進(jìn)行分析計(jì)算，按照學(xué)習(xí)者能力對(duì)學(xué)習(xí)者進(jìn)行分類。根據(jù)學(xué)習(xí)者的歸類，通過(guò)交互式方式為學(xué)習(xí)者提供學(xué)習(xí)水平相當(dāng)?shù)膶W(xué)習(xí)診斷與指導(dǎo)。在可解釋的方法上，ACSP 系統(tǒng)使用了具有自解釋機(jī)制的可解釋方法，如圖7所示。

ACSP 提供了一系列交互性解釋性界面，如圖8所示。當(dāng)學(xué)習(xí)者被提示為學(xué)習(xí)成績(jī)較低時(shí)，系統(tǒng)為學(xué)習(xí)者給出了“whylow”和“howscore”解釋界面。在解釋界面中，系統(tǒng)會(huì)給出為什么得出該判斷的理由、預(yù)測(cè)的原因以及對(duì)學(xué)習(xí)者的分?jǐn)?shù)計(jì)算規(guī)則。

為驗(yàn)證可解釋智能導(dǎo)師系統(tǒng)的效果，研究者對(duì)使用具有解釋功能和不具有解釋功能的系統(tǒng)的兩組學(xué)習(xí)者進(jìn)行了實(shí)驗(yàn)研究。研究結(jié)果表明：可用的解釋提高了學(xué)習(xí)者對(duì)智能導(dǎo)師學(xué)習(xí)系統(tǒng)的信任、對(duì)系統(tǒng)有用性的感知以及再次使用系統(tǒng)的意愿。

2.可解釋教育推薦系統(tǒng)

推薦系統(tǒng)通過(guò)提供個(gè)性化信息向用戶提供在線服務(wù)，是緩解信息過(guò)載問(wèn)題的有效方式，已普遍應(yīng)用于社會(huì)與教育系統(tǒng)?；谏疃葘W(xué)習(xí)的推薦算法，極大提升了推薦性能。但在獲得精確推薦的同時(shí)，人們也越來(lái)越關(guān)注為什么系統(tǒng)會(huì)推薦某些項(xiàng)目，希望在獲取推薦的同時(shí)，也能得到對(duì)該推薦的解釋。

在智能教育系統(tǒng)中，教育推薦對(duì)解釋的需求相對(duì)較高，學(xué)習(xí)者往往需要獲知推薦內(nèi)容的原因。在推薦系統(tǒng)中增加解釋可以提高教育系統(tǒng)的可靠性，充分激勵(lì)學(xué)習(xí)者與學(xué)習(xí)系統(tǒng)的交互，增加學(xué)習(xí)者對(duì)學(xué)習(xí)推薦的信任和滿意度，幫助學(xué)習(xí)者進(jìn)行更有針對(duì)性的學(xué)習(xí)活動(dòng)。如巴里亞·賓達(dá)（Barria-Pineda）等設(shè)計(jì)實(shí)現(xiàn)了基于學(xué)習(xí)者特定目標(biāo)的學(xué)習(xí)推薦系統(tǒng)，并對(duì)推薦結(jié)果給出了解釋。當(dāng)鼠標(biāo)懸停在推薦的學(xué)習(xí)活動(dòng)上時(shí)，會(huì)向?qū)W習(xí)者顯示說(shuō)明，并給出視覺(jué)形式和文本形式兩種解釋，如圖9所示。

圖9 顯示了Java 編程課程中字符串學(xué)習(xí)內(nèi)容的推薦實(shí)例?；趯W(xué)習(xí)者模型分析，該系統(tǒng)給出學(xué)習(xí)主題中三個(gè)最相關(guān)的學(xué)習(xí)活動(dòng)推薦。推薦在左側(cè)列表提供，也通過(guò)導(dǎo)航形式以推薦活動(dòng)上大小不同的星型提示。在可視化解釋中，通過(guò)概念欄的視覺(jué)解釋方式，可以讓學(xué)習(xí)者了解學(xué)習(xí)活動(dòng)或解決問(wèn)題所需要的概念，幫助他們更好地理解為什么推薦某項(xiàng)內(nèi)容。文本解釋通過(guò)在工具欄說(shuō)明的方式來(lái)為學(xué)習(xí)者推薦活動(dòng)。如果學(xué)習(xí)者在相關(guān)內(nèi)容上表現(xiàn)出足夠的熟練程度，則會(huì)呈現(xiàn)與知識(shí)水平相關(guān)的文本，并使用彩色文本來(lái)強(qiáng)調(diào)不同的概念與知識(shí)水平。

對(duì)推薦系統(tǒng)的實(shí)驗(yàn)研究表明：具有視覺(jué)和文本解釋的推薦系統(tǒng)，促進(jìn)了學(xué)習(xí)者對(duì)推薦系統(tǒng)的使用，建議和解釋的存在，可以增加學(xué)習(xí)者對(duì)知識(shí)相關(guān)學(xué)習(xí)內(nèi)容的參與，從而提高學(xué)習(xí)成功率。

3.可解釋學(xué)習(xí)分析系統(tǒng)

學(xué)習(xí)分析是大數(shù)據(jù)和人工智能在教育領(lǐng)域的典型應(yīng)用。學(xué)習(xí)分析依據(jù)學(xué)習(xí)者的學(xué)習(xí)行為和學(xué)習(xí)活動(dòng)進(jìn)行數(shù)據(jù)分析和挖掘?qū)W習(xí)規(guī)律，提供學(xué)習(xí)干預(yù)與學(xué)習(xí)反饋，從而提高教師的教學(xué)質(zhì)量和學(xué)習(xí)者的學(xué)習(xí)效果。但已有分析在提供學(xué)習(xí)指導(dǎo)或反饋時(shí)，缺少對(duì)學(xué)習(xí)策略的解釋，學(xué)習(xí)者無(wú)法得知為何得到該類分析反饋。阿爾扎夫（M.Afzaal）等的研究，將學(xué)習(xí)分析技術(shù)與可解釋的機(jī)器學(xué)習(xí)相結(jié)合，提供自動(dòng)和智能的可操作的解釋性反饋，支持學(xué)習(xí)者以數(shù)據(jù)驅(qū)動(dòng)的方式進(jìn)行自我調(diào)節(jié)學(xué)習(xí)[37]。

該研究基于大學(xué)課程管理系統(tǒng)平臺(tái)數(shù)據(jù)，構(gòu)建了機(jī)器模型。根據(jù)學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù)，使用人工神經(jīng)網(wǎng)絡(luò)構(gòu)建預(yù)測(cè)模型，預(yù)測(cè)學(xué)習(xí)者的學(xué)習(xí)成績(jī)與學(xué)習(xí)表現(xiàn)，并通過(guò)可解釋的機(jī)器學(xué)習(xí)方法，為每個(gè)學(xué)習(xí)者生成單獨(dú)的可解釋、可操作建議。該研究采用了反事實(shí)解釋方法，通過(guò)選擇特定實(shí)例來(lái)解釋機(jī)器學(xué)習(xí)模型的行為，得到輸出的特征列表與分析值。但學(xué)習(xí)者理解和解釋這些列表值仍較為困難，因此該研究設(shè)計(jì)了儀表板的可視化解釋界面，來(lái)幫助學(xué)習(xí)者理解解釋信息。

五、思考與展望

隨著決策更多的從人類轉(zhuǎn)移到機(jī)器，理解和解釋將是人工智能應(yīng)用的核心使命。教育和科學(xué)本質(zhì)就是一種解釋的過(guò)程，通過(guò)可靠解釋實(shí)現(xiàn)可理解的教育人工智能是智慧教育發(fā)展的現(xiàn)實(shí)訴求。我們認(rèn)為，在未來(lái)研究中，可從五個(gè)方面予以重點(diǎn)關(guān)注和思考。

（一）賦能決策解釋，推進(jìn)教育人工智能以人為本、負(fù)責(zé)任的可持續(xù)發(fā)展

人工智能算法性能的不斷提升，使得它們幫助人類判斷和決策的能力愈加強(qiáng)大。但學(xué)習(xí)是教學(xué)與人的互動(dòng)，性能不應(yīng)成為智能學(xué)習(xí)系統(tǒng)的第一訴求，學(xué)習(xí)者的感受和結(jié)果應(yīng)是核心的關(guān)注點(diǎn)。在教育場(chǎng)景下，我們不僅需要人工智能提供給智能計(jì)算的結(jié)果，更需要理解智能教育系統(tǒng)內(nèi)部的運(yùn)行機(jī)制，并通過(guò)人與人工智能之間的交互機(jī)制，提供給我們可信賴、可理解的解釋信息，從而進(jìn)一步對(duì)學(xué)習(xí)者提供歸因分析等教育服務(wù)，真正體現(xiàn)以學(xué)習(xí)者為中心的教育理念。同時(shí)，技術(shù)雙刃劍帶來(lái)的算法偏見(jiàn)、數(shù)據(jù)隱私、安全可控等風(fēng)險(xiǎn)問(wèn)題，也亟需以可解釋為基礎(chǔ)的有效技術(shù)手段和治理方法的參與?？山忉屝允侨斯ぶ悄茱L(fēng)險(xiǎn)防范的基石，也是確保技術(shù)公平公正的保障。發(fā)展可解釋的人工智能，將是推動(dòng)教育人工智能透明、可信、負(fù)責(zé)任、可持續(xù)發(fā)展的必然過(guò)程。

（二）融合知識(shí)圖譜，拓展智能教育系統(tǒng)設(shè)計(jì)開發(fā)的新方向

知識(shí)圖譜是解釋實(shí)體之間關(guān)系的語(yǔ)義網(wǎng)絡(luò)，是人類領(lǐng)域知識(shí)的知識(shí)庫(kù)，在問(wèn)答系統(tǒng)、知識(shí)推薦、智能搜索等領(lǐng)域，得到了廣泛地應(yīng)用。相對(duì)于傳統(tǒng)的知識(shí)表示，知識(shí)圖譜具有海量規(guī)模、語(yǔ)義豐富、領(lǐng)域性強(qiáng)、結(jié)構(gòu)友好、質(zhì)量精良等優(yōu)點(diǎn)，并且其構(gòu)建及使用都更加接近人類的認(rèn)知學(xué)習(xí)行為。知識(shí)圖譜的語(yǔ)義優(yōu)勢(shì)使其成為機(jī)器理解語(yǔ)言的重要背景知識(shí)，為人工智能算法的解釋能力提供了空間。知識(shí)圖譜中所富含的實(shí)體、概念、屬性、關(guān)系等信息，使解釋成為可能。使用知識(shí)圖譜可以增強(qiáng)對(duì)教育數(shù)據(jù)與特征的分析與理解，能夠?yàn)榻忉屘峁I(yè)領(lǐng)域的分析，幫助機(jī)器實(shí)現(xiàn)高層次的理解和解釋能力。當(dāng)前針對(duì)教育知識(shí)圖譜的研究已較為系統(tǒng)和深入，將知識(shí)圖譜與可解釋、因果推斷等相結(jié)合，拓展新的研究領(lǐng)域，推動(dòng)教育研究在方法論、技術(shù)創(chuàng)新、應(yīng)用開發(fā)的深入，是智慧教育領(lǐng)域需要關(guān)注的且具有應(yīng)用價(jià)值的方向。

（三）關(guān)注評(píng)價(jià)研究，完善教育人工智能的研究方法體系

在可解釋人工智能系統(tǒng)的研究中，不同領(lǐng)域的應(yīng)用情境和關(guān)注重點(diǎn)不同，并且可解釋方法和技術(shù)具有多樣性，因此，如何對(duì)可解釋人工智能系統(tǒng)進(jìn)行評(píng)價(jià)是不可忽視的問(wèn)題，需要在未來(lái)持續(xù)跟進(jìn)。教育領(lǐng)域可解釋方法的評(píng)價(jià)可多維度展開。從評(píng)價(jià)手段來(lái)看，可采用定性、定量等方法；從評(píng)價(jià)的對(duì)象分析，包括對(duì)可解釋技術(shù)的評(píng)價(jià)、可解釋系統(tǒng)應(yīng)用的效果評(píng)價(jià)；從應(yīng)用情境出發(fā)，則需分析不同具體教育應(yīng)用對(duì)可解釋性的要求。當(dāng)前，對(duì)可解釋方法的評(píng)價(jià)研究還處于初級(jí)階段，還有較多研究問(wèn)題亟待解決，例如如何克服人類評(píng)價(jià)的主觀性和認(rèn)知局限性？是否可以給出定量分析的統(tǒng)一評(píng)估指標(biāo)？不同解釋方法之間如何進(jìn)行對(duì)比？如何均衡成本與準(zhǔn)確性之間的關(guān)系等？這些問(wèn)題都需要在未來(lái)研究中進(jìn)一步探索?？傊山忉屓斯ぶ悄茉鰪?qiáng)了教育研究中的因果推斷能力，使用“可解釋”進(jìn)行評(píng)價(jià)是教育研究方法體系中的重要環(huán)節(jié)。

（四）加強(qiáng)學(xué)科合作，推動(dòng)教育人工智能的跨學(xué)科參與和融合

建立可解釋、魯棒性的人工智能理論和方法，發(fā)展安全、可靠、可信及可擴(kuò)展的人工智能技術(shù)，推動(dòng)人工智能創(chuàng)新應(yīng)用是下一代人工智能體系的核心目標(biāo)。跨學(xué)科合作是應(yīng)對(duì)和解決復(fù)雜科學(xué)問(wèn)題的主要方式。在可解釋人工智能的研究中，教育學(xué)科應(yīng)加強(qiáng)與機(jī)器學(xué)習(xí)、人機(jī)交互、認(rèn)知科學(xué)、社會(huì)學(xué)、心理學(xué)、決策理論、倫理和哲學(xué)以及法律等多學(xué)科團(tuán)隊(duì)與領(lǐng)域的專業(yè)合作，從而實(shí)現(xiàn)跨學(xué)科的知識(shí)融合。為此，在教育研究中要充分利用不同學(xué)科的知識(shí)和經(jīng)驗(yàn)，在學(xué)科交叉中推動(dòng)創(chuàng)新發(fā)展，共同研究和構(gòu)建人類可理解的人工智能系統(tǒng)。

（五）編制指南規(guī)范，打造智能教育應(yīng)用落地的有效路徑

當(dāng)前，教育領(lǐng)域?qū)τ诳山忉屓斯ぶ悄艿难芯颗c應(yīng)用還處于探索階段，不僅在技術(shù)層面具有一定門檻，也缺乏對(duì)可解釋系統(tǒng)的全面認(rèn)知。因此，編制可解釋性系統(tǒng)應(yīng)用指南，將有助于幫助教育研究者和實(shí)踐者更好地開展和評(píng)估智能教育應(yīng)用?？山忉尳逃斯ぶ悄苤改峡梢蕴峁翱山忉尅钡囊话阍瓌t、教育數(shù)據(jù)分析、解釋模型與方法、教育應(yīng)用案例等維度的系統(tǒng)化指導(dǎo)，作為開發(fā)或評(píng)估可解釋性教育產(chǎn)品的啟發(fā)式和指導(dǎo)性規(guī)范，提供可操作的具體建議，確?？山忉屝詰?yīng)用的高效性和可用性。通過(guò)指南規(guī)范的編制，也進(jìn)一步推動(dòng)教育領(lǐng)域?qū)山忉屝韵嚓P(guān)問(wèn)題展開探討，引領(lǐng)教育人工智能規(guī)范化發(fā)展。

六、結(jié)語(yǔ)

教育領(lǐng)域?qū)τ诳山忉層懈吆透惹械男枨?，可解釋是?gòu)建教育領(lǐng)域?qū)θ斯ぶ悄軠?zhǔn)確認(rèn)知和良好信心的必然要求。當(dāng)前，教育領(lǐng)域?qū)山忉屓斯ぶ悄艿睦碚摵图夹g(shù)研究還不夠系統(tǒng)。為此，本文對(duì)可解釋教育人工智能進(jìn)行了系統(tǒng)研究，分析了當(dāng)前教育人工智能的數(shù)據(jù)算法偏見(jiàn)與問(wèn)題，構(gòu)建了教育人工智能系統(tǒng)框架，分析了教育數(shù)據(jù)解釋、教育與模型解釋、可解釋接口等核心模塊的設(shè)計(jì)，可指導(dǎo)教育者進(jìn)行新型教育系統(tǒng)的設(shè)計(jì)與開發(fā)?？山忉尳逃斯ぶ悄茉谘芯糠椒ㄉ贤苿?dòng)了因果推斷的教育研究，并為學(xué)習(xí)分析與知識(shí)發(fā)現(xiàn)研究提供了新路徑，是進(jìn)行教育人工智能治理的有力和必要手段。對(duì)可解釋人工智能的研究，還需要從解釋方法評(píng)價(jià)、知識(shí)圖譜融合、指南規(guī)范編制、多學(xué)科團(tuán)隊(duì)建設(shè)等方面繼續(xù)深入?？偟膩?lái)說(shuō)，可解釋性賦予了教育人工智能有意義的、可理解的人機(jī)交互與溝通機(jī)制，是確保知識(shí)價(jià)值體現(xiàn)的重要條件。同時(shí)，也為推動(dòng)可信的、負(fù)責(zé)任的教育人工智能研究與發(fā)展，提供了方法與路徑。

未來(lái)該領(lǐng)域的研究，將基于具體的教育情境進(jìn)行系統(tǒng)設(shè)計(jì)與實(shí)證應(yīng)用，采用高準(zhǔn)確率和高可解釋性的人工智能，真正將技術(shù)廣泛、負(fù)責(zé)任、有效的應(yīng)用于教與學(xué)的過(guò)程，不斷推動(dòng)教育信息化的發(fā)展。