劉?桐 顧小清

摘要：教育是人工智能的重要應(yīng)用領(lǐng)域，探索教育中人工智能的可解釋性，是讓人工智能在教育領(lǐng)域中更具“責(zé)任感”的重要議題。該文從教育中人工智能應(yīng)用的現(xiàn)實(shí)問題出發(fā)，重點(diǎn)回應(yīng)教育中人工智能的可解釋性是什么，做了什么，以及未來走向三個問題。首先，以數(shù)據(jù)、任務(wù)、模型、人四個關(guān)鍵要素為切入點(diǎn)，分析闡述教育中人工智能的可解釋性內(nèi)涵；之后縱觀教育中人工智能的可解釋工作的演進(jìn)過程，分析得出已有工作在教育意義注入、模型趨于復(fù)雜以及單向解釋信息傳遞等方面的局限性；最后，從知識聯(lián)邦、模型融生、人在回路三個角度，闡釋教育中人工智能可解釋性的未來發(fā)展方向。

關(guān)鍵詞：教育人工智能；可解釋性；“黑盒”模型；人在回路

中圖分類號：G434 文獻(xiàn)標(biāo)識碼：A

* 本文系2020年上海市科學(xué)技術(shù)委員會科研計(jì)劃項(xiàng)目“教育數(shù)據(jù)治理與智能教育大腦關(guān)鍵技術(shù)研究及典型應(yīng)用”（項(xiàng)目編號：20511101600）研究成果。

縱觀歷史，20世紀(jì)70年代出現(xiàn)的專家系統(tǒng)（Expert System）是人工智能應(yīng)用教育領(lǐng)域的早期標(biāo)志[1][2]，時(shí)至今日，以個性化差異化為目標(biāo)的自適應(yīng)學(xué)習(xí)系統(tǒng)，以及軟硬兼?zhèn)涞闹悄芙逃O(shè)備走進(jìn)人們視野，人工智能成為有效推動教育教學(xué)變革的重要工具[3]。觀其背后，教育與人工智能從以專家知識管理為主的初步結(jié)合階段，走到以智能算法、教育大數(shù)據(jù)、云計(jì)算等技術(shù)交叉助力的應(yīng)用爆發(fā)階段，這使得人工智能賦能教育的倫理問題逐步凸顯[4]。因此，在對人工智能存有一種理性防備的情況下，安全可靠的應(yīng)用人工智能成為教育領(lǐng)域中亟待解決的問題。聚焦當(dāng)下，人工智能呈現(xiàn)出一種“大數(shù)據(jù)+高算力+深度學(xué)習(xí)+小任務(wù)”的應(yīng)用形態(tài)。深度學(xué)習(xí)算法作為人工智能的主要核心，是一種“端到端”式的知識挖掘模式，雖然取得優(yōu)異的任務(wù)表現(xiàn)，但計(jì)算過程與求解結(jié)果難以被人理解，因此有學(xué)者提出“我們生長在一個‘黑盒世界’”[5]的言論。

站在教育立場當(dāng)中，可解釋性的缺位引發(fā)出以下三點(diǎn)問題：首先，人工智能應(yīng)用難以落地。由于最終結(jié)果不可解釋，造成人們難以理解最終結(jié)果，無法提供可靠的確定性信息，在實(shí)驗(yàn)室環(huán)境中的人工智能難以在教育情景中尋找認(rèn)同，缺少落地的先決條件；其次，增加教育決策的潛在風(fēng)險(xiǎn)。由于算法決策過程不透明，機(jī)器在數(shù)據(jù)中如何學(xué)到知識以及學(xué)到哪些知識不可而知，因此，在計(jì)算結(jié)果上存在較大的不可預(yù)見性，影響教育決策者的判斷依據(jù)，增加教育決策風(fēng)險(xiǎn)；最后，增加教育不公平與倫理風(fēng)險(xiǎn)。算法模型的不可解釋，忽視了人的知情權(quán)益，影響了人的主體地位，同時(shí)，會造成算法開發(fā)者與使用者之間的信息不對稱，造成被“算法綁架”的不公平現(xiàn)象。

因此，為了避免人工智能弱解釋性所帶來的消極影響，可解釋性問題獲得廣泛而持久的研究[6][7]。諸多國家與國際組織也圍繞此話題進(jìn)行了相關(guān)政策的制定。例如，我國在2017年印發(fā)的《新一代人工智能發(fā)展規(guī)劃》中提到要“重點(diǎn)突破自適應(yīng)學(xué)習(xí)、自主學(xué)習(xí)等理論方法，實(shí)現(xiàn)具備高可解釋性、強(qiáng)泛化能力的人工智能”[8]。美國國防部高級研究計(jì)劃局設(shè)立“可解釋人工智能（Explainable AI）項(xiàng)目，旨在提高人工智能算法的可解釋性[9]。歐洲《通用數(shù)據(jù)保護(hù)條例》（General Data Protection Regulation，GDPR）中賦予其公民受算法決策影響后“獲得解釋的權(quán)利”，從而降低“黑盒”所帶來的公民權(quán)力侵犯與隱私問題的風(fēng)險(xiǎn)[10]。

探討教育中人工智能的可解釋性問題，可使其在未來走的更加可靠安全、更具“責(zé)任感”。因此，本文主要回應(yīng)較為關(guān)心的幾個問題，即，教育中人工智能的可解釋性是什么？在教育領(lǐng)域中，我們做了哪些與可解釋性有關(guān)的工作？存在哪些局限和問題？我們未來又該走向何處？由此，才可將人工智能與教育情景適切性地結(jié)合，讓人工智能在教育應(yīng)用之路走得更為深遠(yuǎn)。

本部分回應(yīng)前文提出的“教育中人工智能的可解釋性是什么？”這一問題。首先系統(tǒng)闡述“可解釋性”的內(nèi)涵，進(jìn)一步探討教育中人工智能的可解釋性，從而更加清晰明確教育中人工智能可解釋性的內(nèi)涵與特征。

（一）可解釋性的內(nèi)涵

談及解釋的概念，在科學(xué)哲學(xué)中，早期對于“解釋”的理解，常常會把實(shí)用主義和語境擱置，而把重點(diǎn)放在構(gòu)成“解釋”的形式關(guān)系或特征的說明上，例如，Hempel認(rèn)為解釋的本質(zhì)是一種“演繹法則”[11]。在這種觀點(diǎn)下，解釋就像邏輯上的證明，復(fù)雜的規(guī)律和演繹順序構(gòu)成了解釋。雖然此觀點(diǎn)在科學(xué)哲學(xué)中獲得了較多批評，但卻是許多解釋理論討論的起點(diǎn)，衍生出更多層次的解釋理論，例如將解釋作為一種機(jī)械的因果推理形式[12]，將解釋作為一種統(tǒng)計(jì)推斷的形式[13]等。而隨著解釋理論的發(fā)展，實(shí)用主義的觀點(diǎn)也逐漸獲得人們認(rèn)可，他們認(rèn)為“解釋”通常與解釋的情境有關(guān)[14]，即在不同的背景下，需要不同的解釋來闡明同一種觀察結(jié)果。但總的來說，解釋是一組陳述，通常用來描述一組事實(shí)，闡明這些事實(shí)的原因、背景和結(jié)果。

可解釋性是在解釋的基礎(chǔ)上的進(jìn)一步擴(kuò)展，不僅是解釋者的思維產(chǎn)物，還會涉及到被解釋者。對于可解釋性的內(nèi)涵，當(dāng)前主要有以下三種觀點(diǎn)：

1.從技術(shù)開發(fā)的角度。將可解釋性視為一個系統(tǒng)工程，通過開發(fā)相關(guān)的技術(shù)工具，達(dá)到理解與管理人工智能技術(shù)的目的。例如，xAI（Explainable Artificial Intelligence）項(xiàng)目中將可解釋性定位為，使人類用戶能夠理解、適當(dāng)信任和有效管理人工智能的機(jī)器學(xué)習(xí)技術(shù)[15]。

2.從計(jì)算過程的角度。從操作的層面理解可解釋性，通過調(diào)整數(shù)據(jù)輸入、模型參數(shù)等關(guān)鍵要素，從結(jié)果的變化來尋找其中的因果關(guān)系，達(dá)到人可理解的“尺度”。例如，加州大學(xué)伯克利分校在《人工智能系統(tǒng)挑戰(zhàn)的伯克利觀點(diǎn)》中將可解釋性定義為“解釋人工智能算法輸入的某些特性引起的某個特定輸出結(jié)果的原因”[16]。

3.從人理解的角度。更多的學(xué)者是從人的角度定義可解釋性，認(rèn)為可解釋性是為人提供解釋的過程。例如，Bao等人提出可解釋性是指人類具有足夠的可以理解的信息來解決某個問題[17]。再如Arrieta等人認(rèn)為可解釋性是面向特定受眾，通過提供模型的細(xì)節(jié)和原因，以使其功能清晰或易于人的理解[18]。

綜上而言，可以說解釋是解釋者的產(chǎn)物，而可解釋性取決于被解釋者。它受到被解釋者個人經(jīng)驗(yàn)（例如專業(yè)背景）的影響，個體間的差異會影響可解釋性的深度。由此我們認(rèn)為，可解釋是人工智能的固有屬性，而可解釋建立在人可理解的“尺度”上，通過恰當(dāng)?shù)姆绞?，傳遞人能讀懂的信息，其目的在于建立人機(jī)之間的信任關(guān)系。

（二）教育中人工智能的可解釋性

前文給出了解釋以及可解釋性的內(nèi)涵，聚焦在教育領(lǐng)域中，可解釋性的內(nèi)涵相應(yīng)也會發(fā)生變化。因此，本文結(jié)合教育自身特性，抽取可解釋工作的關(guān)鍵要素，從操作層面進(jìn)一步理解教育中人工智能的可解釋性。

谷歌大腦團(tuán)隊(duì)的首席專家Been Kim，將可解釋性的主要工作歸納在評價(jià)性公式之內(nèi)[19]：

其中Q為可解釋性的評價(jià)方程，E是實(shí)現(xiàn)可解釋性的具體方法，可解釋性工作即，在一定的數(shù)據(jù)（Data）和任務(wù)（Task）范圍內(nèi)，通過實(shí)現(xiàn)可解釋性的方法，來訓(xùn)練機(jī)器模型（Model），從而達(dá)成人（Human）的最大程度的理解。在實(shí)際操作過程中，數(shù)據(jù)、任務(wù)、模型以及人的理解是開展可解釋工作不可忽視的四個關(guān)鍵要素，據(jù)此，教育中人工智能的可解釋也具有更為多樣的內(nèi)涵。

首先，教育領(lǐng)域中存在教學(xué)、學(xué)習(xí)、管理、評價(jià)等諸多教育情境，不同情境中發(fā)生的教育教學(xué)活動處于動態(tài)同步發(fā)生的過程，具有碎片化、多維度、時(shí)序性的特點(diǎn)，大范圍的數(shù)據(jù)采集會帶來諸多問題，例如，教育數(shù)據(jù)采集工作已成為投入與產(chǎn)出之間的動態(tài)博弈，因?yàn)樵黾右粋€新的數(shù)據(jù)采集維度，就可能增加巨大的建設(shè)成本，但卻難以保證數(shù)據(jù)的有效性。可以說，教育數(shù)據(jù)是在一定教育情境中對教育現(xiàn)象的數(shù)值化描述。而教育數(shù)據(jù)角度的可解釋性是在數(shù)據(jù)特征級別上圍繞教育現(xiàn)象的表述，即以“先驗(yàn)知識+數(shù)據(jù)驅(qū)動”的形式抽取采集維度中的關(guān)鍵特征維度，在節(jié)省數(shù)據(jù)采集成本的同時(shí)，以數(shù)值化的形式融合多源數(shù)據(jù)，從而進(jìn)一步明確數(shù)據(jù)采集方向。本質(zhì)上，教育數(shù)據(jù)角度的可解釋性以挖掘數(shù)據(jù)特征為目標(biāo)，從而推斷“采集哪些數(shù)據(jù)”這一關(guān)鍵問題。

其次，認(rèn)識發(fā)現(xiàn)教育中的客觀規(guī)律，是教育研究與實(shí)踐的主要目的。在當(dāng)下，以數(shù)據(jù)為工具研究教育的客觀發(fā)展規(guī)律，是時(shí)代背景下的新興研究范式。在大量數(shù)據(jù)輸入的情況下，機(jī)器自動化計(jì)算為我們提供了一定置信區(qū)間內(nèi)的關(guān)系可信度。因此，在預(yù)測基礎(chǔ)上，通過與教育現(xiàn)象的結(jié)合，發(fā)現(xiàn)教育現(xiàn)象間的相關(guān)關(guān)系，關(guān)聯(lián)關(guān)系，再到因果推理，而最終結(jié)論是在確定性與概率性之間往復(fù)權(quán)衡，建立出相對完備的解釋關(guān)系。進(jìn)一步說，教育任務(wù)角度的可解釋性工作重點(diǎn)探索教育現(xiàn)象中的復(fù)雜多樣關(guān)系，與先驗(yàn)假設(shè)之間建立關(guān)聯(lián)，形成邏輯自洽的時(shí)空一致性結(jié)論，即對教育規(guī)律的關(guān)切。

再次，教育算法模型是挖掘教育數(shù)據(jù)價(jià)值的主要表現(xiàn)形式，模型設(shè)計(jì)的透明程度與最終解釋方法與理解效果有直接關(guān)系。因此，教育算法模型角度的可解釋性大致可分為三種類型：（1）參數(shù)模糊模型的解釋性，作為一種技術(shù)手段，如果可明確人工智能技術(shù)的具體功能屬性，無需解釋其內(nèi)部結(jié)構(gòu)或模型內(nèi)部處理數(shù)據(jù)的計(jì)算方法，使人類能夠理解其功能，知道模型如何工作，滿足功能使用需要，但是具體的參數(shù)設(shè)置并未有比較扎實(shí)的數(shù)理基礎(chǔ)。例如當(dāng)前的主流深度學(xué)習(xí)模型就具有此特征。（2）參數(shù)明確模型的解釋性。此類模型可通過研究者或者數(shù)據(jù)科學(xué)家來解釋，例如在教育測量中廣泛使用的項(xiàng)目反應(yīng)理論（IRT模型），通過對數(shù)學(xué)公式的解讀以及相關(guān)圖示的形式，達(dá)到模型本身的可解釋。（3）參數(shù)外顯模型的解釋性，滿足完全理解的算法模型。這與模型本身的屬性相關(guān)，主要用于解釋本就透明的模型，或稱白盒模型，例如決策樹模型的結(jié)果以“if/ then”的表達(dá)形式呈現(xiàn)，是人類能夠讀懂的自然語言。模型映射結(jié)構(gòu)，換句話說模型的參數(shù)設(shè)置，參數(shù)設(shè)置形式不同，可解釋性也不相同。

最后，從教育中“人”的角度考慮最終的解釋效果。人工智能在教育中的應(yīng)用主體涉及到?jīng)Q策者、學(xué)生、教師以及研究者等人群，但個體所具備的人工智能經(jīng)驗(yàn)有所不同，由此造成可解釋的最終效果不盡相同。結(jié)合不同教育算法模型的透明程度，理解程度也可分為三個層次：（1）“黑盒”理解層次，對應(yīng)參數(shù)模糊的算法模型，由于無需了解詳盡的模型信息與實(shí)現(xiàn)機(jī)制，可解釋性的重點(diǎn)在于將模型輸出結(jié)果與特定教育情境結(jié)合，合理控制數(shù)據(jù)輸入與結(jié)果輸出即可。（2）局部理解層次，對應(yīng)參數(shù)明確的算法模型，主要關(guān)注模型的局部效果，以一種“控制變量”的方式，建立模型給出的預(yù)測值和某些特征之間的作用關(guān)系，可能是線性關(guān)系，也可能是單調(diào)關(guān)系，更加關(guān)注單條樣本或一組樣本。例如1970年，Salmon在試圖解釋概率現(xiàn)象時(shí)，通過移除模型的組成部分來尋找改變概率的因素來篩選因果影響，從而獲取高概率結(jié)果[20]。（3）全局理解層次，對應(yīng)參數(shù)外顯的算法模型，由于模型是以通俗易懂的自然語言方式呈現(xiàn)，應(yīng)用主體能夠了解模型的內(nèi)部規(guī)則與計(jì)算流程，從而建立輸入特征數(shù)據(jù)與最終結(jié)果，以及輸入特征間的相互作用關(guān)系，進(jìn)一步達(dá)成解釋和理解模型決策過程的效果。

綜上所述，教育中人工智能的可解釋性更加側(cè)重教育語義的注入，是解釋者借助機(jī)器模型，通過人能夠理解的自然語言的解釋方式，闡述教育現(xiàn)象中的因果關(guān)聯(lián)，尋求被解釋者的意義共鳴的過程。在這之中，主要涉及到人、人工智能以及二者之間的交互過程，解釋者使用的數(shù)據(jù)輸入，設(shè)計(jì)的算法結(jié)構(gòu)與解釋方式，以及被解釋者的接受程度，交互決定了教育中人工智能的可解釋程度。

從20世紀(jì)70年代到21世紀(jì)初，人工智能在教育中的應(yīng)用范圍與用戶群體在不斷擴(kuò)大，為了更加安全可靠的使用人工智能技術(shù)，在歷史演進(jìn)過程中，人們圍繞可解釋性陸續(xù)提出了許多方法與策略，也在不斷修正已有做法。本部分在教育中人工智能的可解釋性內(nèi)涵的基礎(chǔ)上，分析討論已有的工作進(jìn)展，從而可更加明確現(xiàn)有做法的優(yōu)劣勢，為后續(xù)可解釋性工作的開展提供借鑒依據(jù)。

（一）教育中人工智能可解釋性的演進(jìn)過程

本部分基于可解釋性的關(guān)鍵要素，從數(shù)據(jù)利用、模型算法、解釋方式以及用戶接納四個維度，分析討論人工智能在教育中可解釋性的演進(jìn)過程，如表1所示。

1.以先驗(yàn)知識為主的專家解釋

在20世紀(jì)70年代左右，人工智能的概念被提出，第一代專家系統(tǒng)（Expert System）應(yīng)運(yùn)而生，例如SOPHIE-I[21]，BUGGY[22]等，它們是人工智能在教育領(lǐng)域應(yīng)用的初始形態(tài)。早期的專家系統(tǒng)設(shè)計(jì)較為樸素，主要用于特定問題的診斷以及決策輔助。系統(tǒng)通常由專家知識以及推理引擎構(gòu)成，專家知識以條件規(guī)則的形式出現(xiàn)，推理引擎主要用于條件判斷以及邏輯的推演，由此也掀起了可解釋工作在教育人工智能領(lǐng)域的探索。

在數(shù)據(jù)利用層面，受到時(shí)代技術(shù)條件的限制，數(shù)值形式的數(shù)據(jù)并未被大規(guī)模的采集存儲，數(shù)據(jù)通常是通過手工方式錄入系統(tǒng)，例如XPLAIN系統(tǒng)，它會要求用戶輸入特定類型數(shù)據(jù)，從而依靠固定模板解釋正在做的事情，同時(shí)，系統(tǒng)也會扮演導(dǎo)師的角色，為經(jīng)驗(yàn)不足的用戶提供詳細(xì)的解釋信息[23]。

在模型算法層面，早期系統(tǒng)設(shè)計(jì)較為簡單，此階段的系統(tǒng)較少使用數(shù)學(xué)模型進(jìn)行計(jì)算，規(guī)則模型是整個系統(tǒng)的運(yùn)行基礎(chǔ)，同時(shí)也是系統(tǒng)可解釋工作的主要知識來源。通過專家知識間的邏輯規(guī)則形成簡單的語義網(wǎng)絡(luò)，根據(jù)條件概率完成信息傳遞流程。例如斯坦福大學(xué)在1975—1980年開發(fā)的Mycin系統(tǒng)，里面包含了超過600條專家知識規(guī)則，它會提問用戶一系列簡單的是/否或文本問題，最終提供一份包含診斷概率的結(jié)果列表[24]。

在解釋方式層面，當(dāng)時(shí)的人工智能主要用于推理任務(wù)，如何解釋機(jī)器推理過程成為當(dāng)時(shí)主要的可解釋方向。當(dāng)時(shí)可解釋工作大多將機(jī)器內(nèi)部的推理邏輯展示給用戶，通過回溯與數(shù)據(jù)及解釋相關(guān)的推理鏈，用人類可讀的語言表達(dá)用于做出決定的規(guī)則[25]，例如，它們通常是將LISP語言中的if-then產(chǎn)生式規(guī)則，簡單翻譯并提供給用戶。

在用戶接納層面，由于機(jī)器內(nèi)部的規(guī)則最初由專家制定，有的規(guī)則是針對模型正常工作而設(shè)計(jì)，并不旨在讓用戶讀懂，并且反饋給用戶的可解釋信息是對規(guī)則的簡單翻譯，因此，即使提供了決策規(guī)則和步驟，但也不一定是用戶所關(guān)心和需要的。

綜合來看，早期的解釋工作集中在表達(dá)機(jī)器內(nèi)部的狀態(tài)、目標(biāo)以及執(zhí)行計(jì)劃等內(nèi)容，雖然模型足夠透明，但當(dāng)時(shí)的工作具有時(shí)代的局限性，首先，解釋力較差，由于專家知識庫的不足，使得可解釋工作限定在特定專家規(guī)則之上，靈活性以及可擴(kuò)展性較差，僅能對給定問題進(jìn)行程序化描述；其次，知識表示存在缺陷，缺少豐富的術(shù)語基礎(chǔ)和領(lǐng)域因果知識，如果用戶使用與知識庫相異的其它知識表示方式，系統(tǒng)將會無法響應(yīng)用戶的解釋請求。

2.以統(tǒng)計(jì)學(xué)習(xí)為主的數(shù)理解釋

隨著時(shí)代技術(shù)的進(jìn)步，第一代專家系統(tǒng)逐步被智能導(dǎo)師系統(tǒng)（ITS）所替代。此時(shí)的算法模型更加關(guān)注對學(xué)習(xí)情境的感知理解[26]，學(xué)習(xí)情境包括學(xué)習(xí)者個人信息、學(xué)習(xí)歷史、學(xué)習(xí)目標(biāo)和領(lǐng)域知識等內(nèi)容，同時(shí)，模型還可利用學(xué)習(xí)數(shù)據(jù)不斷迭代改進(jìn)，進(jìn)行自我更新，這也為可解釋性工作帶來了難度。

在數(shù)據(jù)利用層面，此階段能夠利用的數(shù)據(jù)類型有所增加，包含學(xué)生的個人信息、學(xué)習(xí)行為以及系統(tǒng)對學(xué)生的診斷數(shù)據(jù)等數(shù)據(jù)。例如，Wick和Thompson利用學(xué)生行為數(shù)據(jù)，提出了一種重建解釋（Reconstructive Explanation）方法[27]，該方法存在兩個知識庫，第一個知識庫包含所要學(xué)習(xí)的專家知識，第二個知識庫中是學(xué)生學(xué)習(xí)狀態(tài)點(diǎn)以及假設(shè)出錯情況的集合。系統(tǒng)會記錄學(xué)生問題解決路徑，之后，結(jié)合過程行為數(shù)據(jù)以及第二個知識庫進(jìn)行系統(tǒng)結(jié)果解釋。

在模型算法層面，概率模型的應(yīng)用。例如，貝葉斯知識追蹤模型（BKT）[28]，學(xué)生對知識點(diǎn)的動態(tài)掌握狀態(tài)影響著題目的作答結(jié)果，整個過程非常符合隱馬爾可夫模型的建模過程，借此模擬學(xué)生知識狀態(tài)的轉(zhuǎn)移，從而預(yù)測學(xué)生知識掌握程度。與之前不同的是，此時(shí)的模型已經(jīng)從固定的規(guī)則模型，發(fā)展成為能夠基于統(tǒng)計(jì)信息學(xué)習(xí)更新的機(jī)器學(xué)習(xí)模型，由于參數(shù)較為固定，可以達(dá)到前文所提到的參數(shù)明確模型的解釋性。

在解釋方式層面，不同于為用戶提供推理規(guī)則簡單翻譯文本的方式，此階段的人機(jī)交互能力有所提升，機(jī)器能夠讀懂用戶的問題，更加貼近人類之間的交流溝通。例如，Scholar系統(tǒng)使用了面向信息結(jié)構(gòu)的ISO（Information-Structure-Oriented）解釋框架[29]，它可以結(jié)合交互情境特征，生成文本、問題和相應(yīng)的答案，使人機(jī)交互變得更加自然。同時(shí)，反事實(shí)的解釋、對比性的解釋也出現(xiàn)在此階段的解釋方式中。

在用戶接納層面，此時(shí)教育人工智能的任務(wù)更加多樣復(fù)雜，不僅包含決策推理等早期任務(wù)，同時(shí)也包含幫助學(xué)習(xí)者進(jìn)行復(fù)雜技能提升的任務(wù)[30]。因此，可解釋的目標(biāo)不僅停留為用戶解釋，而是讓用戶信服，越來越多的研究者以及開發(fā)者意識到，為了讓用戶接受模型結(jié)果，千篇一律的解釋并不能解決用戶需求，而可以通過建立學(xué)習(xí)者模型，為用戶提供個性化的解釋信息。例如，有的研究者提出從評估用戶水平、定制化學(xué)習(xí)內(nèi)容以及定制化學(xué)習(xí)目標(biāo)三個層面建立學(xué)習(xí)者模型[31]，診斷評估學(xué)習(xí)者當(dāng)前知識水平等信息，為之生成特定的學(xué)習(xí)目標(biāo)及內(nèi)容，從而達(dá)到學(xué)習(xí)者的心理預(yù)期，建立學(xué)習(xí)者與機(jī)器之間的信任關(guān)系。

綜合來看，此階段的解釋工作意識到上一代工作的不足，發(fā)現(xiàn)僅表述系統(tǒng)內(nèi)部狀態(tài)與推理邏輯并不能與用戶達(dá)成共識，并且用戶可能也不需要此種解釋。因此，在繼承上一年代工作的基礎(chǔ)上，此階段解釋工作在用戶與系統(tǒng)兩個角度進(jìn)行了改進(jìn)，首先，強(qiáng)調(diào)學(xué)習(xí)情境，建立用戶模型，為每個用戶提供個性化的解釋內(nèi)容，其次，將解釋任務(wù)看作為系統(tǒng)自身的問題解決過程[32]，Brézillon認(rèn)為解釋是用戶和系統(tǒng)之間的合作問題解決過程，雙方都需要理解對方的目標(biāo)才能實(shí)現(xiàn)可解釋性[33]。

3.以深度學(xué)習(xí)為主的歸納解釋

隨著信息技術(shù)手段不斷更新，教育數(shù)據(jù)持續(xù)積累，學(xué)習(xí)分析技術(shù)的出現(xiàn)，建立了數(shù)據(jù)科學(xué)與教育的新連接。同時(shí)，人工智能浪潮再次襲來，“人工智能+教育”成為新的增長點(diǎn)，對可解釋性的需求卷土重來。為了追求算法的高效能，在研究領(lǐng)域與工業(yè)界出現(xiàn)了越來越多的復(fù)雜人工神經(jīng)網(wǎng)絡(luò)，由于深層網(wǎng)絡(luò)自身不夠“透明”，神經(jīng)元之間的信息傳遞人們無法解釋，算法模型從數(shù)據(jù)中如何學(xué)到知識以及學(xué)到了哪些知識不可而知。并且，數(shù)據(jù)特征過于復(fù)雜，人們難以理解高維度輸入數(shù)據(jù)的真實(shí)意義，也就無法進(jìn)行合理解釋。

在數(shù)據(jù)利用層面，教育數(shù)據(jù)捕獲和處理技術(shù)的進(jìn)步，多模態(tài)數(shù)據(jù)被廣泛應(yīng)用于教育場景之中。Lane和D’Mello總結(jié)了使用不同的生理數(shù)據(jù)（例如凝視、面部表情、fMRI、EMG、EEG）來衡量學(xué)習(xí)者注意力、專注力、認(rèn)知負(fù)荷和學(xué)習(xí)策略的方法[34]。例如，Beardsley等人使用EEG和行為數(shù)據(jù)（例如反應(yīng)時(shí)間）[35]，使用機(jī)器學(xué)習(xí)算法來預(yù)測學(xué)生的在回憶任務(wù)上的表現(xiàn)。與之前不同是，多模態(tài)數(shù)據(jù)增加了數(shù)據(jù)來源通道，不同通道數(shù)據(jù)的相互映證，增強(qiáng)了模型結(jié)果的可信度。

在模型算法層面，統(tǒng)計(jì)學(xué)習(xí)模型依舊在被廣泛應(yīng)用，例如，卡耐基梅隆大學(xué)提出PFA（Performance Factors Analysis）算法，基于統(tǒng)計(jì)方法，利用試題難度和學(xué)生歷史成績預(yù)測學(xué)生成績[36]。進(jìn)一步，深度學(xué)習(xí)模型成為當(dāng)前主流方法之一，例如，盧宇等人在循環(huán)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上，加入逐層相關(guān)傳播方法（Layer-wise Relevance Propagation）[37]，解釋學(xué)生知識學(xué)習(xí)的過程。Nakagawa等人通過數(shù)值化學(xué)生知識建構(gòu)過程中潛在的圖表示結(jié)構(gòu)[38]，利用圖神經(jīng)網(wǎng)絡(luò)建立學(xué)生深度知識追蹤模型，并將預(yù)測結(jié)果利用網(wǎng)絡(luò)結(jié)構(gòu)圖表示，達(dá)到較高的解釋與預(yù)測效果，與之類似的還有AKT[39]、RKT[40]等，但由于算法本身的限制，大部分算法并不具有較強(qiáng)的可解釋性。

在解釋方式層面，計(jì)算機(jī)技術(shù)在視覺、自然語言、語義標(biāo)注等方面的進(jìn)步，為解釋方式提供了諸多可行方法。例如，朱軍等人提出可視化解釋系統(tǒng)CNNVis[41]，通過數(shù)據(jù)預(yù)處理模塊、聚合模塊以及可視化模塊，提取神經(jīng)元的特征、連接，分析網(wǎng)絡(luò)學(xué)習(xí)的特征、激活特征以及對結(jié)果的貢獻(xiàn)等，同時(shí)還具有交互功能，可以人為改變數(shù)據(jù)聚合過程，從而更好地觀察模型內(nèi)部的運(yùn)作過程。再如Ribeiro等人提出較為通用的可解釋框架LIME[42]，其核心是在算法模型的結(jié)果附近訓(xùn)練一個可解釋的模型，比如線性模型，實(shí)現(xiàn)原模型預(yù)測結(jié)果的局部可解釋性。

在用戶接納層面，以用戶為中心的解釋性成為當(dāng)前研究的重點(diǎn)。例如有學(xué)者提出面向設(shè)計(jì)師的可解釋AI框架，從而幫助游戲設(shè)計(jì)師在設(shè)計(jì)任務(wù)中，更好地利用人工智能技術(shù)[43]。Bauer與Baldes提出一種基于模型本體的用戶界面[44]，通過交互的方式幫助用戶更加深入地理解模型結(jié)果。Wang等人基于哲學(xué)與心理學(xué)理論[45]，構(gòu)建以用戶為中心的可解釋AI框架，并在此基礎(chǔ)上，確定了人類認(rèn)知模式驅(qū)動建立可解釋AI的需求途徑，以及如何減輕常見的認(rèn)知偏差。

（二）教育人工智能可解釋性的局限性

回望教育中人工智能可解釋性的發(fā)展過程，雖然已經(jīng)提出很多方法，但依舊存在瓶頸與局限性：

1.教育數(shù)據(jù)生命周期缺少教育意義的注入。隨著人工智能技術(shù)與理念的不斷進(jìn)步，其所利用的教育數(shù)據(jù)經(jīng)歷了關(guān)注學(xué)習(xí)者個體基本屬性（如年齡、學(xué)習(xí)風(fēng)格等）到基于系統(tǒng)客觀記錄數(shù)據(jù)（如在線學(xué)習(xí)行為流等）再到多模態(tài)數(shù)據(jù)（如眼動數(shù)據(jù)、生物電數(shù)據(jù)等）的過程。本質(zhì)上，經(jīng)歷了從主觀走向客觀，從單通道走向多通道，從個體走向環(huán)境的過程。

但隨著所能采集的數(shù)據(jù)類型源源不斷的增加，在處理過程中存在兩點(diǎn)問題：首先，高維度數(shù)據(jù)難以被常人理解，目前大多數(shù)人工智能算法數(shù)據(jù)輸入為矩陣形式，例如將圖片轉(zhuǎn)化為二維矩陣或者多維張量的形式輸入，此做法易于算法理解，但缺失了與元數(shù)據(jù)之間的實(shí)際意義關(guān)聯(lián)。例如，在自然語言處理中用到的詞嵌入（Word Embedding）技術(shù)，通過機(jī)器訓(xùn)練的方式，學(xué)習(xí)每一個字或詞在向量空間中的唯一表示，通常是一個高維向量，并且每一維都缺少對應(yīng)的實(shí)際意義，但人是無法理解的。其次，數(shù)據(jù)融合過程成為現(xiàn)實(shí)困境，不同數(shù)據(jù)流從橫向跨度上描述了教育現(xiàn)象發(fā)生的過程，但是如何在多模態(tài)數(shù)據(jù)間實(shí)現(xiàn)信息匹配與意義建構(gòu)極具挑戰(zhàn)性，當(dāng)前的主流做法是將高維向量進(jìn)行拼接，而數(shù)據(jù)意義建構(gòu)則依賴于后續(xù)的模型計(jì)算，但為何這樣拼接很難解釋。綜合來看，從數(shù)據(jù)采集、清洗到模型輸入、訓(xùn)練以及輸出，在整個數(shù)據(jù)利用的生命周期中，缺少教育意義的注入，由此帶來教育活動意義的描述偏差，將會損失可解釋的空間。

2.模型設(shè)計(jì)趨于參數(shù)模糊的復(fù)雜模型。教育中的人工智能算法模型的解釋性發(fā)生了從基于規(guī)則模型解釋到基于數(shù)據(jù)學(xué)習(xí)模型解釋的轉(zhuǎn)變。本質(zhì)上，規(guī)則模型屬于演繹方法，而數(shù)據(jù)學(xué)習(xí)模型屬于歸納方法[46]，前者將專家知識符號化，以演繹的方式得出結(jié)果，后者通過大量的數(shù)據(jù)，無限逼近某種未知的規(guī)則，因此存在可解釋性差異。具體來說，規(guī)則模型更接近因果關(guān)系，調(diào)整規(guī)則會帶來顯而易見的變化，可解釋性更強(qiáng)；數(shù)據(jù)學(xué)習(xí)模型具有非線性特征，雖然帶來了較好的系統(tǒng)涌現(xiàn)效果，然而過于依賴參數(shù)設(shè)置與調(diào)整，無法主動思考與決策，大部分情況下很難解釋。

不難發(fā)現(xiàn)，復(fù)雜算法模型逐漸成為數(shù)據(jù)挖掘的主流力量，但卻增加了解釋工作的難度。例如，在知識追蹤任務(wù)中，深度知識追蹤模型可建立復(fù)雜知識點(diǎn)之間的關(guān)聯(lián)，反映學(xué)生知識點(diǎn)掌握程度的連續(xù)變化，預(yù)測效果也明顯高于傳統(tǒng)貝葉斯知識追蹤模型，但由于深度模型的“黑盒”屬性，卻難以給出預(yù)測結(jié)果的依據(jù)與原理，降低了結(jié)果的可信度；由此，也造成了第二個問題，復(fù)雜模型與教育場景的適切性匹配問題，主要考慮針對一定的教育現(xiàn)象，合理建立模型參數(shù)與教育現(xiàn)象特征之間的映射關(guān)系。當(dāng)前，在計(jì)算機(jī)視覺、自然語言處理領(lǐng)域取得優(yōu)異效果的算法，被應(yīng)用于教育情境之內(nèi)，缺少對教育現(xiàn)象的獨(dú)特分析理解，例如，深度知識追蹤中用到的卷積神經(jīng)網(wǎng)絡(luò)（CNN）、長短時(shí)記憶網(wǎng)絡(luò)（LSTM）以及其它更為復(fù)雜的模型，由于算法設(shè)計(jì)階段所考慮的應(yīng)用任務(wù)不同，但被解釋者的差異也會造成結(jié)果認(rèn)同感的降低。

3.解釋過程是解釋者的單向信息傳遞。解釋過程以“如何得到此結(jié)果”為問題核心，從為用戶展示機(jī)器內(nèi)部邏輯的形式，再到模型內(nèi)部可視化等人類“尺度”的形式，其最終目標(biāo)是尋求被解釋者意義認(rèn)同，但整體過程普遍是由人工智能技術(shù)本身驅(qū)動，而非來自真實(shí)用戶的需求。被解釋者作為解釋過程的重要一環(huán)，一直處于被動接受的狀態(tài)，解釋信息的單向傳遞，難以形成解釋的閉環(huán)，會造成以下兩點(diǎn)問題：首先，模型修正效率降低，在模型部署應(yīng)用階段，由于模型訓(xùn)練階段缺少被解釋者的主動參與，造成數(shù)據(jù)與模型參數(shù)不可修改的情況，因此會增加模型修正調(diào)整的周期，降低部署應(yīng)用效率；其次，容易造成倫理風(fēng)險(xiǎn)，由于解釋內(nèi)容與方式受解釋者控制，容易造成被解釋者與解釋者之間信息的不對稱，走進(jìn)倫理道德誤區(qū)。因此，現(xiàn)有的解釋過程只停留在技術(shù)層面，缺少一種以用戶為中心的務(wù)實(shí)且自然的方式，不利于利益相關(guān)者之間的對話。

針對前文所提到教育中人工智能可解釋性的局限性，本部分探討未來可解釋性的發(fā)展方向，主要包括：以知識聯(lián)邦為主要思路的數(shù)據(jù)合成，可為人工智能的可解釋性提供教育意義；以透明“白盒”與追因溯源的模型融生，可推動教育中的人工智能從可解釋性走向可信賴；以人在回路為中心的混合智能，可為教育中人工智能的可解釋性提供質(zhì)量保障。

（一）知識聯(lián)邦：融入教育語義的數(shù)據(jù)合成

正如前文所述，分布式、碎片化是當(dāng)前教育數(shù)據(jù)的主要特征，隨著此類數(shù)據(jù)體量與來源的逐步擴(kuò)張，數(shù)據(jù)豐富度增加的同時(shí)也為可解釋工作帶來困難。不僅考慮“數(shù)據(jù)解釋了什么”并要考慮“用哪些數(shù)據(jù)解釋”。因此，在未來，如何有效處理融合數(shù)據(jù)、提取數(shù)據(jù)特征成為可解釋性工作的一大挑戰(zhàn)。

首先，由于數(shù)據(jù)產(chǎn)生在的不同教育場景中，采用中心化匯聚的形式不僅容易造成成本浪費(fèi)，同時(shí)也易造成數(shù)據(jù)泄露。因此，可通過建立一套的教育語義編碼規(guī)范與語義數(shù)據(jù)交換標(biāo)準(zhǔn)，在特征級別實(shí)現(xiàn)數(shù)據(jù)一致化與標(biāo)準(zhǔn)化，將數(shù)值數(shù)據(jù)轉(zhuǎn)換為人類與機(jī)器都可理解的語義數(shù)據(jù)。之后，利用分布式的思路，建立知識聯(lián)邦，將語義信息存儲于本地，通過語義數(shù)據(jù)交換標(biāo)準(zhǔn)，在數(shù)據(jù)利用階段進(jìn)行分布式數(shù)據(jù)抽取。不僅有利于在語義層面進(jìn)行可解釋性數(shù)據(jù)融合，也在保障數(shù)據(jù)安全的前提下，節(jié)省后續(xù)數(shù)據(jù)利用成本。

其次，從模型輸入的角度來看，以“理論+數(shù)據(jù)”雙驅(qū)動的特征工程方式蒸餾數(shù)據(jù)，依據(jù)專家先驗(yàn)知識，為數(shù)據(jù)的采集、清洗加入理論約束，在數(shù)據(jù)中融入教育教學(xué)理論知識，提取數(shù)據(jù)顯式特征，在計(jì)算源頭建立可解釋性基礎(chǔ)。其次，表示學(xué)習(xí)是機(jī)器自動學(xué)習(xí)數(shù)據(jù)中的隱式特征的過程，在表示學(xué)習(xí)中加入教育教學(xué)理論知識，一方面可降低數(shù)據(jù)維度，同時(shí)可與專家知識結(jié)合，調(diào)整模型學(xué)習(xí)策略，減輕認(rèn)知負(fù)荷，增強(qiáng)結(jié)果的可解釋性。

（二）模型融生：從可解釋走向可信賴

可解釋性是在模型精準(zhǔn)度與透明度之間權(quán)衡后的結(jié)果。當(dāng)前，衡量一個好的算法模型的標(biāo)準(zhǔn)是結(jié)果的精確度與準(zhǔn)確度，因此，開發(fā)者更關(guān)切模型是否達(dá)到SOTA（State of the Art）水平，缺少對可解釋性的關(guān)注。而在未來，教育領(lǐng)域?qū)山忉屝缘年P(guān)注，會從目標(biāo)導(dǎo)向的角度，影響到最初的算法模型設(shè)計(jì)與后續(xù)應(yīng)用。

首先，可在教育情境當(dāng)中，創(chuàng)新應(yīng)用可解釋的“白盒”模型，讓模型參數(shù)或者數(shù)據(jù)特征的教育內(nèi)涵更加外顯，從而可在計(jì)算過程中了解模型學(xué)習(xí)的過程，減輕可解釋的難度。例如，有學(xué)者在貝葉斯知識追蹤模型中融合布盧姆教育目標(biāo)分類[47]，通過衡量每個教育目標(biāo)對其他教育目標(biāo)的影響，提出解釋模型輸出的新方法。

其次，算法結(jié)果可溯源，走向可信賴的人工智能。在當(dāng)前的教育情境中，使用者對機(jī)器決策結(jié)果不相信、難認(rèn)同是在模型應(yīng)用層面的困境。因此，可在模型設(shè)計(jì)階段設(shè)立溯源機(jī)制，例如，借用區(qū)塊鏈技術(shù)思想，建立分布式的算法賬本，不僅可保障結(jié)果的不可篡改性，也可以幫助人們有效追溯所有的機(jī)器決策步驟[48]，將解釋邏輯自然地包含于算法流程中，從而在出現(xiàn)錯誤時(shí)明確人與機(jī)器的責(zé)任歸屬，讓使用者更好地明確算法流程的執(zhí)行過程。

（三）人在回路：促進(jìn)人機(jī)對話的混合智能

解釋過程離不開所要解釋的內(nèi)容和方式，而理解在于被解釋者。從以“人”為本的角度來看，解釋的過程在與被解釋者的特點(diǎn)、所處環(huán)境、被解釋者的反饋等多元信息整合后，綜合達(dá)成可解釋的目標(biāo)。

首先，解釋過程需要滿足人對于解釋信息的接受習(xí)慣。例如，人們所能接受的解釋是對比性的，Miller在綜合哲學(xué)、心理學(xué)和認(rèn)知科學(xué)等領(lǐng)域的研究發(fā)現(xiàn)，事件A發(fā)生后，人們可能會問為什么是事件A而不是事件B發(fā)生；人們所接受的解釋是選擇性的，人們可能會關(guān)注諸多原因中的部分而非全部；以及人們在對話與社會交互的過程中接受解釋[49]。由此可見，面對復(fù)雜的“人”，如果缺少被解釋者自身特點(diǎn)的考量，教育中人工智能的可解釋性發(fā)展也會受到限制。

其次，設(shè)計(jì)以“人”為中心的解釋通道，形成人在回路（Human in the Loop）模式。機(jī)器善于從海量數(shù)據(jù)中學(xué)習(xí)知識，而人更善于在信息較少的情況下做出決策。因此，在從數(shù)據(jù)輸入、模型訓(xùn)練、模型測試、模型部署的周期內(nèi)，可設(shè)計(jì)并行的反饋通道，讓人參與到全過程中，形成機(jī)器與人頻繁交互的混合智能。通過人的引導(dǎo)，在交互節(jié)點(diǎn)之間，機(jī)器自動化構(gòu)建決策結(jié)果，從而加速從模型訓(xùn)練到模型部署的過程，增加任務(wù)過程透明度，走向可信賴、具有“負(fù)責(zé)感”的人工智能。

隨著人工智能技術(shù)逐步融入在教育情境的過程，可解釋性必將是教育人工智能未來不可回避的重要問題，也是一個重要的研究方向。本文在對教育中人工智能可解釋性的現(xiàn)實(shí)需求基礎(chǔ)上，站在教育的立場中，分析闡述了教育人工智能的可解釋性內(nèi)涵，并從歷史演變的視角，從算法模型、解釋方式、數(shù)據(jù)、用戶接納四個關(guān)鍵要素總結(jié)了教育人工智能的已有工作，并分析了其局限性。最后，在回望歷史的基礎(chǔ)上，提出了教育人工智能可解釋性的未來發(fā)展方向。

參考文獻(xiàn)：

[1] Richer，M.H.，Clancey，W.J.GUIDON-WATCH：A Graphic Interface for Viewing A Knowledge-Based System [J].IEEE Computer Graphics and Applications，1987，5（11）：51-64.

[2] Clancey，W.J，Letsinger，R.NEOMYCIN：Reconfiguring A Rule-Based Expert System for Application to Teaching [M].Stanford，CA：Stanford University，1982.

[3] 李子運(yùn).人工智能賦能教育的倫理思考[J].中國電化教育，2021，（11）：39-45.

[4] 黃榮懷，王運(yùn)武等.面向智能時(shí)代的教育變革——關(guān)于科技與教育雙向賦能的命題[J].中國電化教育，2021，（7）：22-29.

[5] Pasquale，F(xiàn).The Black Box Society [M].Cambridge：Harvard University Press，2015.

[6] Swartout，W.R.Explaining and Justifying Expert Consulting Programs [M].New York：Springer，1985.

[7] Scott，A.C.，Clancey，W.J.，et al.Explanation Capabilities of ProductionBased Consultation Systems [R].Fort Belvoir：STANFORD UNIV CA DEPT OF COMPUTER SCIENCE，1977.

[8] 國務(wù)院.國務(wù)院關(guān)于印發(fā)新一代人工智能發(fā)展規(guī)劃的通知[EB/OL]. http：//www.gov.cn/zhengce/content/2017-07/20/content_5211996. htm，2021-07-20.

[9] Matt，T.Explainable Artificial Intelligence （XAI） [EB/OL].https：//www. darpa.mil/program/explainable-artificial-intelligence，2021-07-20.

[10] Goodman，B.，F(xiàn)laxman，S.European Union Regulations on Algorithmic DecisionMaking and A “Right to Explanation” [J].AI Magazine，2017，38（3）：50-57.

[11] Hempel，C.G.，Oppenheim P.Studies in the Logic of Explanation [J]. Philosophy of Science，1948，15（2）：135-175.

[12] Sober，E.Common Cause Explanation [J].Philosophy of Science，1984， 51（2）：212-241.

[13][20] Salmon，W.C.Statistical Explanation and Statistical Relevance [M]. Pittsburgh：University of Pittsburgh Press，1971.

[14] Vasilyeva，N.，Wilkenfeld，D.A.，et al.Goals Affect the Perceived Quality of Explanations [A].Noelle，D.C.，et al.Proceedings of the 37th Annual Meeting of the Cognitive Science Society [C].Austin：Cognitive Science Society，2015.2469-2474.

[15] Gunning，D.，Aha，D.DARPA’s Explainable Artificial Intelligence （XAI） program [J].AI Magazine，2019，40（2）：44-58.

[16] Stoica，I.，Song，D.，et al.A Berkeley View of Systems Challenges for AI [R].Berkeley：Electrical Engineering and Computer Sciences，UC Berkeley，2017.1-13.

[17] Bao，W.，Yue，J.，et al.A Deep Learning Framework for Financial Time Series Using Stacked Autoencoders and Long-Short Term Memory [EB/OL].https：// journals.plos.org/plosone/article/file id=10.1371/journal.pone.018094 4&type=printable，2017-07-14.

[18] Arrieta，A.B，Díaz-Rodríguez，N.，et al.Explainable Artificial Intellige nce（XAI）：Concepts，Taxonomies，Opportunities and Challenges Toward Responsible AI [J].Information Fusion，2020，58：82-115.

[19] Been，K.Interpretability [EB/OL].https：//www.youtube.com/ watch v=JkaF997hyB4，2021-07-20.

[21] Nicolosi，S.L.Sophie：An Expert System for the Selection of Hazard Evaluation Procedures [M].Boston：Springer，1988.

[22] Brown，J.S.，Burton，R.R.Diagnostic Models for Procedural Bugs in Basic Mathematical Skills [J].Cognitive Science，1978，2（2）：155-192.

[23] Swartout，W.R.XPLAIN：A System for Creating and Explaining Expert Consulting Programs [J].Artificial Intelligence，1983，21（3）：285-325.

[24] Van，M.W.MYCIN：A Knowledge-Based Consultation Program for Infectious Disease Diagnosis [J].International Journal of Man-Machine Studies，1978，10（3）：313-322.

[25] Moore，J.D.，Swartout，W.R.Explanation in Expert Systems：A Survey [R].Fort Belvoir：UNIVERSITY OF SOUTHERN CALIFORNIA MARINA DEL REY INFORMATION SCIENCES INST，1988.1-55.

[26] Mueller，S.T.，Hoffman，R.R.，et al.Explanation in Human-AI Systems：A Literature Meta-Review，Synopsis of Key Ideas and Publications，and Bibliography for Explainable AI [R].Fort Belvoir：DARPA XAI Program，2019.49-60.

[27] Wick，M.R.，Thompson，W.B.Reconstructive Expert System Explanation [J].Artificial Intelligence，1992，54（1-2）：33-70.

[28] Corbett，A.T.，Anderson J R.Knowledge Tracing：Modeling the Acquisition of Procedural Knowledge [J].User Modeling and User-Adapted Interaction，1994，4（4）：253-278.

[29] Carbonell，J.R.AI in CAI：An Artificial-Intelligence Approach to Computer-Assisted Instruction [J].IEEE Transactions on ManMachine Systems，1970，11（4）：190-202.

[30] McKendree，J.Effective Feedback Content for Tutoring Complex Skills [J]. Human-Computer Interaction，1990，5（4）：381-413.

[31][32] Swartout，W.R.，Moore，J.D.Explanation in Second Generation Expert Systems [M].Berlin，Heidelberg：Springer，1993.

[33] Brézillon，P.Context in Problem Solving：A Survey [J].The Knowledge Engineering Review，1999，14（1）：47-80.

[34] Lane，H.C.，D’Mello，S.K.Uses of Physiological Monitoring in Intelligent Learning Environments：A Review of Research，Evidence，and Technologies [A].Parsons，T.，et al.Brain and Technology.Educational Communications and Technology：Issues and Innovations [C]. Cham：Springer，2019.67-86.

[35] Beardsley，M.，Hernández‐Leo，D.，et al.Seeking Reproducibility：Assessing A Multimodal Study of the Testing Effect [J].Journal of Computer Assisted Learning，2018，34（4）：378-386.

[36] Pavlik，Jr.P.I.，Cen，H.，et al.Performance Factors Analysis—A New Alternative to Knowledge Tracing [A].Darina，D.，et al.Proceedings of the 14th International Conference on Artificial Intelligence in Education [C].Berlin，Heidelberg：Springer-Verlag，2009.531-538.

[37] Lu，Y.，Wang，D.，et al.Towards Interpretable Deep Learning Models for Knowledge Tracing [A].Bittencourt I.，et al.Proceedings of the 21st International Conference on Artificial Intelligence in Education [C]. Cham：Springer.2020.185-190.

[38] Nakagawa，H.，Iwasawa，Y.，et al.Graph-Based Knowledge Tracing： Modeling Student Proficiency Using Graph Neural Network [A]. Payam，B.，et al.Proceedings of WI ‘19：IEEE/WIC/ACM International Conference on Web Intelligence [C].New York：Association for Computing Machinery，2019.156-163.

[39] Ghosh，A.，Heffernan，N.，et al.Context-Aware Attentive Knowledge Tracing [A].Rajesh，G.，et al.Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining [C]. New York：Association for Computing Machinery，2020.2330-2339.

[40] Pandey，S.，Srivastava，J.RKT：Relation-Aware Self-Attention for Knowledge Tracing [A].Mathieu，D.，et al.Proceedings of the 29th ACM International Conference on Information & Knowledge Management [C]. New York：Association for Computing Machinery，2020.1205-1214.

[41] Liu，M.，Shi，J.，et al.Towards Better Analysis of Deep Convolutional Neural Networks [J].IEEE Transactions on Visualization and Computer Graphics，2016，23（1）：91-100.

[42] Ribeiro，M.T.，Singh，S.，et al.”Why Should I Trust You ” Explaining the Predictions of Any Classifier [A].Balaji，K.，et al.Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining [C].New York：Association for Computing Machinery，2016.1135-1144.

[43] Zhu，J.，Liapis，A.，et al.Explainable AI for Designers： A HumanCentered Perspective on Mixed-Initiative Co-Creation [A]. Cameron，B.，et al.Proceedings of the 2018 IEEE Conference on Computational Intelligence and Games （CIG） [C].Maastricht：IEEE，2018.1-8.

[44] Bauer，M.，Baldes，S.An Ontology-Based Interface for Machine Learning [A].Rob，St.A.Proceedings of the 10th International Conference on Intelligent User Interfaces [C].New York：Association for Computing Machinery，2005.314-316.

[45] Wang，D.，Yang，Q.，et al.Designing Theory-Driven User-Centric Explainable AI [A].Stephen B.，et al.Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems [C].New York：Association for Computing Machinery，2019.1-15.

[46] 黃閃閃，林田.歐洲通用數(shù)據(jù)保護(hù)條例（GDPR）視角下深度學(xué)習(xí)算法的理據(jù)性問題芻議[J].系統(tǒng)科學(xué)學(xué)報(bào)，2021，29（1）：31-34+66.

[47] Miller，T.Explanation in Artificial Intelligence：Insights from the Social Sciences [J].Artificial Intelligence，2019，267：1-38.

[48] Shruthi，C.，Daniel，M.G.et al.Directions for Explainable KnowledgeEnabled Systems [A].Ilaria，T.et al.Knowledge Graphs for eXplainable AI—Foundations，Applications and Challenges.Studies on the Semantic Web [C].Amsterdam：IOS Press，2020.245-261.

[49] Lalwani，A.，Agrawal，S.Validating Revised Bloom’S Taxonomy Using Deep Knowledge Tracing [A].Penstein，R.C.，et al.Proceedings of the 19th International Conference on Artificial Intelligence in Education [C]. Cham：Springer，2018.225-238.

作者簡介：

劉桐：在讀博士，研究方向?yàn)閷W(xué)習(xí)分析、教育數(shù)據(jù)挖掘。

顧小清：教授，博士，博士生導(dǎo)師，研究方向?yàn)閷W(xué)習(xí)科學(xué)與技術(shù)設(shè)計(jì)、學(xué)習(xí)分析與學(xué)習(xí)設(shè)計(jì)、智能教育。

Opening the “Black Box”： Exploring the Interpretability of Artificial Intelligence in Education

Liu Tong， Gu Xiaoqing（Department of Education Information and Technology， East China Normal University， Shanghai 200062）

Abstract： Education is an important application field of artificial intelligence. Exploring the interpretability of Artificial Intelligence in education is an important issue that makes artificial intelligence more “responsible” in the field of education. This article starts from the practical problems of artificial intelligence application in education， and focuses on three questions about what is the interpretability of artificial intelligence in education， what has been done， and the future direction. First， the four key elements of data， tasks， models， and people are used as the starting point to analyze and explain the explainable connotation of Artificial Intelligence in education； The work has limitations in terms of the injection of educational meaning， the complexity of models， and the transmission of one-way interpretation information； Finally， the future development of artificial intelligence interpretability in education is explained from the three perspectives of knowledge federation， model integration， and human-in-the-loop.

Keywords： educational Artificial Intelligence； interpretability； “black box” model； human in the loop

責(zé)任編輯：李雅瑄