鄧國民 李梅

[摘 ? 要] 文章旨在揭示智能化時代的教育將面臨哪些新的倫理問題，并在人工智能倫理和教育倫理的基礎上，探討教育人工智能的倫理原則。運用文獻研究和邏輯推理方法，系統(tǒng)梳理了教育人工智能應用的特點和優(yōu)勢，及其可能引發(fā)的新的倫理問題：（1）角色層面，系統(tǒng)創(chuàng)建者、教師、學生和監(jiān)測員等利益相關者將面臨更加復雜的倫理困境;（2）技術(shù)層面，涉及自動化決策倫理問責、算法倫理和數(shù)據(jù)倫理等方面的問題;（3）社會層面，可能轉(zhuǎn)變就業(yè)市場、改變?nèi)穗H關系和引發(fā)新的社會不公平。因此，需要對教育人工智能倫理問題的復雜性有充分的認識，同時需要遵循一般的人工智能倫理原則和教育倫理原則，其中，最核心的內(nèi)容為二者之間的交集，具體包括：（1）福祉;（2）是非善惡;（3）公平正義;（4）人權(quán)和尊嚴;（5）自由自治;（6）責任和問責。

[關鍵詞] 教育人工智能; 人工智能倫理; 教育倫理; 數(shù)據(jù)倫理; 算法倫理; 倫理原則

[中圖分類號] G434 ? ? ? ? ? ?[文獻標志碼] A

[作者簡介] 鄧國民（1981—），男，湖南醴陵人。教授，博士，主要從事信息化環(huán)境下的教師專業(yè)發(fā)展和教育人工智能研究。E-mail：dam1981@163.com。

一、引 ? 言

當前，人工智能、大數(shù)據(jù)和物聯(lián)網(wǎng)等新技術(shù)的發(fā)展正在推動人類社會從信息時代進入智能化時代。信息時代的教育仍然帶有明顯的工業(yè)化特征：借助現(xiàn)代信息技術(shù)，提高教育資源創(chuàng)建、傳遞和共享的效率，打破時空的限制，實現(xiàn)人才培養(yǎng)的批量化和效率的最大化。然而，信息時代的教師資源仍然短缺，而且教師深陷于大量瑣碎的日常工作中，使得真正意義上的因材施教難以實現(xiàn)。

教育人工智能是在教育領域應用的人工智能技術(shù)及系統(tǒng)，能夠憑借其高度智能化、自動化和高精準性的數(shù)據(jù)分析處理能力與主動學習能力，承擔一部分過去只有教師才能夠勝任的工作，從而有效地解決信息時代的教育所面臨的一系列問題：（1）利用基于自然語言處理和深度學習的自動問答技術(shù)，能夠自動回答學生提出的問題[1];（2）自動評價學生的學習與作業(yè)，并提供符合其認知狀態(tài)的反饋和支持[2];（3）利用情感檢測技術(shù)自動識別學生的身體動作和面部表情，識別學生學習過程中的情感需求，提供個性化情感支持[3];（4）模擬教師、管理者、學習伙伴、合作者和競爭者等不同的角色，促進交流與合作[4];（5）構(gòu)建自適應學習環(huán)境，分析和診斷學習者的學習風格、學習需要，為他們提供自適應學習支持服務;（6）利用決策管理技術(shù)輔助教師的教學決策和學習者的學習決策[5]。因此，教育人工智能能夠更有效地支持個性化教學，甚至在某些學習支持服務方面的能力已經(jīng)超越了人類教師。

然而，教育人工智能強大的數(shù)據(jù)整合與分析能力，同時也會引發(fā)一系列新的倫理問題，例如：可能會給用戶的私人數(shù)據(jù)和隱私保護帶來潛在的風險;模糊教師、學生和人工智能代理等角色之間的界限。因此，教育人工智能的設計、開發(fā)和教學實踐應用都需要對其倫理問題的復雜性有充分的認識，并認真思考應該遵循何種倫理原則。

二、教育人工智能面臨的倫理問題

（一）利益相關者倫理問題

探討教育人工智能的倫理問題，首先需要確定其涉及哪些利益相關者。湯姆塞特（Tomsett）等人從人工智能的可解釋性或透明度的角度，定義了人工智能生態(tài)系統(tǒng)中的六種不同的角色，分別是系統(tǒng)創(chuàng)建者、系統(tǒng)操作員、決策執(zhí)行者、決策主體、數(shù)據(jù)主體以及系統(tǒng)監(jiān)測員[6]。教育人工智能是在教育領域應用的人工智能技術(shù)及系統(tǒng)，其利益相關者同樣應該包括這些角色。首先，創(chuàng)建者包括開發(fā)教育人工智能的軟件公司、員工及與其合作的相關專業(yè)人員和研究人員。其次，教師和學生均承擔了操作員、執(zhí)行者、決策主體和數(shù)據(jù)主體等角色，因為在教學過程中，教師起主導作用，學生具有主體地位，他們都會直接與教育人工智能進行交互，為系統(tǒng)提供輸入并接收系統(tǒng)輸出的信息。師生均會在教育人工智能輸出的信息的基礎上作出決策，而且會受到對方?jīng)Q策的影響。他們的個人信息均可能用于訓練教育人工智能，豐富和完善其智能導師代理、學習者模型和教學法模型。最后，監(jiān)測員是指對教育人工智能進行審查的代理機構(gòu)或人員，由他們對教育人工智能的應用效果和可能產(chǎn)生的潛在風險進行審查。因此，在構(gòu)建教育人工智能的過程中，需要同時考慮系統(tǒng)創(chuàng)建者、教師、學生和監(jiān)測員等利益相關者的倫理問題。

1. 系統(tǒng)創(chuàng)建者倫理問題

教育人工智能的創(chuàng)建者包括系統(tǒng)設計師、軟件架構(gòu)師、程序員等設計開發(fā)人員。他們在設計、開發(fā)教育人工智能的過程中，需要在綜合考慮其教學應用效果的同時，兼顧教師和學生的利益。他們需要在保證教育人工智能的穩(wěn)健性、安全性、可解釋性、非歧視性和公平性的同時，支持教師和學生的主觀能動性，重視師生的身心健康和學生綜合素質(zhì)的全面發(fā)展，而且需要能夠支持問責追因。為了滿足這些方面的要求，教育人工智能的創(chuàng)建者應該清楚各自承擔了什么樣的倫理責任。首先，設計師需要了解不同用戶之間存在的能力、需求及社會文化等方面的差異，真正基于善良的動機設計產(chǎn)品，避免任何形式的傷害與歧視。軟件架構(gòu)師需要構(gòu)建安全、可靠和透明的系統(tǒng)架構(gòu)體系，在保護用戶個人數(shù)據(jù)安全、保障系統(tǒng)可靠運行的同時，更好地支持問責追蹤。而對程序員來說，需要設計無偏見的算法，使其能夠公平、公正地對待每一位用戶。

2. 教師倫理問題

人工智能技術(shù)將會實現(xiàn)很多職業(yè)的自動化。教師的日常工作，如教學評價、教學診斷、教學反饋以及教學決策中的很大一部分都將由教育人工智能分擔，教師角色將會不斷深化，最終發(fā)生轉(zhuǎn)變。一方面，教師將從一些重復的、瑣碎的日常事務中解放出來，能夠有更多的時間和精力投入到更具創(chuàng)造性、人性化和關鍵性的教學工作中去，例如：創(chuàng)造和部署更加復雜的智能化學習環(huán)境，利用和擴充自身的專業(yè)知識，在恰當?shù)臅r間為學習者提供更有針對性的支持。另一方面，對技術(shù)重要性的加持，將對教師工作及角色產(chǎn)生直接影響，例如：可能會掩蓋教師的個人能力、知識及人格等方面的重要性，削弱教師的主觀能動性[5]。因此，在智能化教學環(huán)境下，教師將面臨一系列新的倫理困境：（1）如何定義和應對自己新的角色地位及其與智能導師之間的關系;（2）利用教育人工智能采集和使用學生的學習行為數(shù)據(jù)為其提供教學支持服務的過程中，該如何保護他們的隱私及個人安全;（3）在新的教學實踐環(huán)境下，教師應該具備什么樣的倫理知識，需要遵循什么樣的倫理準則以作出倫理決策。因此，教育人工智能將對教師的能力素質(zhì)與知識結(jié)構(gòu)提出更多新的要求，他們不僅需要具備一定的關于教育人工智能設計、開發(fā)和應用方面的能力與知識，而且還需要具備一定的倫理知識，使其能夠以符合倫理原則的方式將教育人工智能融入教育實踐[7]。

3. 學生倫理問題

智能化時代對學生的學習、能力、素養(yǎng)提出了更多新的要求，也使學生面臨的倫理問題更加復雜化。第一，人工智能可能改變未來的就業(yè)市場，就業(yè)導向的教育很可能過時，因此，學習者對于自己所學習的內(nèi)容和目標都需要進行重新思考[8]。第二，人的神經(jīng)系統(tǒng)是可塑的，教育人工智能能夠給學習者提供個性化的學習支持服務，但同時也可能會剝奪他們的很多思維訓練和學習體驗的機會，改變他們的大腦結(jié)構(gòu)和認知能力，尤其是在學習者大腦發(fā)育的關鍵期過度使用認知技術(shù)，將可能帶來不可逆轉(zhuǎn)的嚴重后果，這對他們發(fā)展更高級的認知技能和創(chuàng)新能力是非常不利的[9]。第三，教育人工智能的發(fā)展，使知識產(chǎn)權(quán)和誠信等倫理問題變得更加微妙和復雜。如果學生利用教育人工智能自動生成論文、作業(yè)或作品，其中涉及的知識產(chǎn)權(quán)的歸屬問題，目前仍缺乏明確的倫理規(guī)范[10]。第四，教育人工智能的使用會不會給學習者帶來身體的重復性勞損、視力問題和肥胖問題等，會不會影響他們的視覺、觸覺和聽覺等感官的敏感性，會不會剝奪他們體驗簡單快樂生活的機會[11]。第五，教育人工智能可能會剝奪大量的學習者與教師和同伴交流的機會，這會不會影響他們參與有意義的人類社會活動的能力。第六，教育人工智能的認知能力、計算能力和信息處理能力在某些方面遠遠超越了人類學習者，會不會讓他們變得沮喪，降低他們的學習動機，使其不再愿意去主動解決問題和進行理性思考。

4. 監(jiān)測員倫理問題

在教育人工智能場景下，監(jiān)測員包括制定教育人工智能標準的機構(gòu)或相關人員、數(shù)據(jù)專員等，他們主要負責對系統(tǒng)的一致性、安全性和公平性等方面進行測試、調(diào)查和審查[6]。安全測試一般在教育人工智能部署之前進行，而審查需要檢查系統(tǒng)過去的輸出，因此，需要一個備份系統(tǒng)存儲教育人工智能的數(shù)據(jù)、決策及解釋。監(jiān)測員正是通過這些數(shù)據(jù)、解釋與教育人工智能進行交互，分析和審查教育人工智能作出教學支持服務決策的一致性、安全性和公平性，并提出相應的整改措施。因此，保證教育人工智能的可解釋性，需要對其作出的決策、判斷和學習支持服務建立相應的存儲保留機制和解釋方案，供監(jiān)測員審查，通過第三方機構(gòu)來保證教育人工智能的設計、開發(fā)和應用是符合教育教學倫理規(guī)范的。審查之后，監(jiān)測員還需要向創(chuàng)建者提供如何改進教育人工智能的反饋，如重新訓練模型、提高模型的公平性和保護學生隱私數(shù)據(jù)的安全策略。

（二）技術(shù)倫理問題

1. 自動化決策倫理問責問題

隨著教育人工智能的自主控制和自主決策能力不斷增強，它們也需要意識到自身行為的倫理含義，而不是依賴于設計人員預置的規(guī)則。因此，需要給教育人工智能引入倫理原則和規(guī)則，構(gòu)建智能道德代理，使其具有一定的倫理決策能力，并能夠?qū)ψ约旱臎Q策、行為和后果進行判斷，協(xié)調(diào)各方利益，但這樣也會引發(fā)出一些新的倫理問題[12]。首先，規(guī)則與算法是由設計者、程序員定制的，而不是由教育人工智能自主建構(gòu)的，權(quán)威、權(quán)力和影響力會越來越多地體現(xiàn)在算法的開發(fā)和實施上。在各方利益沖突的情況下，教育人工智能應該優(yōu)先服務于誰的利益，設計者、程序員、教師還是學生？其次，教育人工智能的應用可能會導致學習的失敗，其中潛在的責任主體包括設計開發(fā)人員、教師、學生和智能代理等，出現(xiàn)這種情況時應該向誰問責，軟件、數(shù)據(jù)、教師和學生各自應該承擔什么樣的責任，目前還缺乏相應的問責機制。最后，教育人工智能本身的自動化和復雜性，意味著我們很難確定系統(tǒng)的決策機制是如何運行的，也很難對其進行追溯和解釋。

2. 算法倫理問題

目前，人工智能主要通過機器學習和深度學習算法進行學習和訓練，基于過去記錄的歷史數(shù)據(jù)作出決策和判斷。如果利用教育人工智能對學習者及其學習進行評價，那么只能根據(jù)過去的標準和方法，如特定歷史文化背景下的成功衡量標準來進行，這將會使學習算法不可避免地產(chǎn)生歷史或文化的偏差與偏見，局限于依據(jù)歷史案例的平均化數(shù)據(jù)進行處理，而在處理具有創(chuàng)造性和創(chuàng)新性的學習活動過程方面面臨極大的挑戰(zhàn)[9]。從基本的倫理觀點來看，教師和學生能動性的表達需要的不僅僅是重復過去的歷史選擇，而是需要強調(diào)人的創(chuàng)造性和創(chuàng)新性，不能只是停留在過去。教育人工智能可能提供更多個性化和多樣化的學習路徑和學習資源的選擇，但目前的做法一般是根據(jù)用戶過去的選擇和決定將其確定為不同的個人畫像，然后過濾掉不符合其個人畫像的學習內(nèi)容和路徑。這種方式可能會限制學習者對學習內(nèi)容多樣化的需求，忽視人的學習和發(fā)展的靈活性、多樣性和不確定性。

3. 數(shù)據(jù)倫理問題

教育人工智能的正常運行需要大量數(shù)據(jù)的支持，因而需要記錄大量關于學習者的能力、情緒、策略和誤解等方面的數(shù)據(jù)，其中涉及大量新的數(shù)據(jù)倫理問題。首先，在數(shù)據(jù)的分析和處理過程中是否會涉及數(shù)據(jù)意外泄露的問題，教師和學生應該在何種程度上控制自己的數(shù)據(jù)，保護自己不受到傷害和歧視。其次，誰擁有這些數(shù)據(jù)，其中涉及什么樣的隱私問題，如果發(fā)生個人信息泄露，誰應該對此負責。最后，對于這些數(shù)據(jù)，應該如何分析、解釋和共享，如何糾正可能對個別學生的合法權(quán)利產(chǎn)生負面影響的偏見（有意識和無意識的），尤其是在考慮到種族、社會地位和收入不平等的情況下。因此，教育人工智能的倫理原則不能被簡化為關于數(shù)據(jù)或計算方法的問題，還需要考慮數(shù)據(jù)倫理和教育倫理。教育人工智能的倫理問題，實際上是數(shù)據(jù)倫理、計算倫理和教育倫理的綜合應用[13]。

（三）社會倫理問題

1. 轉(zhuǎn)變就業(yè)市場和人才培養(yǎng)的方向

現(xiàn)行教育系統(tǒng)的關鍵作用之一是培養(yǎng)學習者參與社會經(jīng)濟生活的能力。教育制度的歷史與工業(yè)社會的發(fā)展密切相關，雇傭勞動仍然是當今社會及其日常生活的核心組織原則。但是，人工智能將可能代替人類的很多工作，這會不會導致失業(yè)率的上升？縱觀歷次工業(yè)革命，每次都會出現(xiàn)類似的擔憂，但最后對人才的需求量反而越來越大，因為隨著人口的增長和社會的發(fā)展，對產(chǎn)品和服務都會提出新的需求[9]。一些簡單的、重復性的勞動將由人工智能承擔，人類則將從事一些富有創(chuàng)造性、挑戰(zhàn)性和不可替代性的工作，例如：人工智能系統(tǒng)的設計與開發(fā)、人工智能哲學問題和社會問題的研究等。他們將有更多的時間和精力投入自己感興趣的領域，真正實現(xiàn)人性的解放。因此，未來的就業(yè)市場格局將面臨根本性的轉(zhuǎn)變，社會對人才的能力和素養(yǎng)也會提出更多新的要求，這將對人才培養(yǎng)的質(zhì)量標準和規(guī)格帶來革命性的影響。

2. 改變教學過程中的人際關系

教育人工智能的技術(shù)化過程可能會忽略師生之間以及學生之間的正確關系（“我―你”而不是“我―他”），弱化我們對教育的理解，進而只是將其理解為學習技能，而不是人的培養(yǎng)，從而容易忽略教師和教學在教育過程中的重要性[14]。教育人工智能將對師生關系產(chǎn)生重要的影響，它可能會削弱師生之間和學生之間的聯(lián)系水平，以及他們之間建立聯(lián)系的能力，同時也可能削弱教學過程和學習過程，弱化教師作為專業(yè)人員的地位。師生關系質(zhì)量對于學習者的個人自尊、學習動機和挑戰(zhàn)新問題的信心等影響學業(yè)成績的因素都具有重要的影響。教師對學生的友善態(tài)度和及時反饋有助于他們獲得自信心，促進他們健康情感的發(fā)展。而且，我們也無法保證所有的教育人工智能使用者都是基于一種良好的意圖，教育人工智能的濫用和不良使用，例如：獲取他人的隱私數(shù)據(jù)，模仿他人的筆跡、語音和會話風格去獲取非法利益，以及將教育人工智能生成的知識、報告和藝術(shù)作品據(jù)為己有，都可能降低教學過程中人與人之間的信任感。

3. 引發(fā)新的社會不公平

教育人工智能的初衷是要增進教育系統(tǒng)內(nèi)各利益相關者的福祉，讓更多的教師和學生受益，需要盡量避免因為數(shù)字鴻溝而導致的新的社會不公平。教育人工智能領域的數(shù)字鴻溝，不是簡單地由社會經(jīng)濟地位差異而導致的對技術(shù)設備擁有和訪問權(quán)的懸殊引起的，而是由一系列復雜的影響因素構(gòu)成，如信息素養(yǎng)、人工智能素養(yǎng)、對待教育人工智能的態(tài)度、應用能力和使用意向等，它們會影響教師和學生應用教育人工智能的目的、方法和策略，進而影響最終的教與學效果，帶來新的教育不公平[5]。歷史經(jīng)驗也表明，新技術(shù)的應用往往并不會縮小教育的不平等，反而可能擴大教育的不平等，這其中涉及技術(shù)應用的能力、效果和效率等方面的問題。

三、教育人工智能倫理原則

人工智能本身的自動化、自主性和能動性等方面的特征，使其同時扮演道德行動者和容受者的角色，并具有一定的倫理責任和道德決策能力。教育人工智能的應用可能會使各利益相關者面臨眾多新的倫理兩難問題，并帶來一系列新的技術(shù)倫理和社會倫理困境。因此，教育人工智能的應用絕不僅僅是一個技術(shù)層面的問題，還涉及技術(shù)與人類的關系、科技哲學及社會學等層面的問題，如果對其倫理困境的復雜性沒有深刻的認識，將可能帶來不可估量的負面影響。一方面，教育人工智能是人工智能技術(shù)及系統(tǒng)在教育領域的具體應用，需要遵循一般的人工智能倫理原則;另一方面，它又是一種具體的教育教學實踐活動，需要遵循教育倫理原則。

根據(jù)對國際電氣和電子工程師協(xié)會（IEEE）2019年發(fā)布的《合倫理設計：利用人工智能和自主系統(tǒng)最大化人類福祉的愿景（第一版）》[15]、歐盟委員會2019年發(fā)布的《值得依賴的人工智能倫理準則》以及其他人工智能倫理指南文件的分析[16]，可以發(fā)現(xiàn)，盡管各國存在文化傳統(tǒng)方面的差異，但在通用人工智能倫理方面表現(xiàn)出一定的趨同性，主要包括可解釋性、公平正義、責任、隱私和數(shù)據(jù)治理、善待、非惡意、自由自治、信任、尊嚴、穩(wěn)健性、福祉、有效性、慎用、勝任和人權(quán)等方面。教育倫理原則主要包括：（1）能否給教育活動的全體利益相關者帶來福祉;（2）能否明辨是非善惡標準;（3）是否尊重教育公平和教育正義;（4）是否保護人的教育權(quán)、自由權(quán)和隱私權(quán)等基本人權(quán);（5）是否尊重人，是否維護人的道德尊嚴;（6）是否履行教育的道德責任與義務[17]。可見，人工智能倫理和教育倫理在福祉、是非善惡、公平正義、人權(quán)和尊嚴、自由自治和責任等方面存在交叉重疊之處，如圖1所示。

? ? ?因此，教育人工智能倫理原則應該是二者之間的交集，代表在教育情境下，人工智能系統(tǒng)的技術(shù)開發(fā)與實踐應用應該遵循的具體倫理原則。

（一）福祉

福祉主要是指人工智能的設計和應用應該改善人類生活質(zhì)量和外部環(huán)境，包括人類賴以生存的各種個人、社會和環(huán)境因素。它需要評估人工智能是否會讓人類社會和環(huán)境變得更加美好，能否促進社會的進步，促進社會和環(huán)境的可持續(xù)發(fā)展，為任何地方的人所有并使其受益[15]。從教育領域來看，福祉主要是指教育人工智能的設計、開發(fā)和應用應該能夠為教育活動的所有利益相關者帶來福利，實現(xiàn)所有教育教學活動相關人員的教育利益的最大化。例如：它能否改善現(xiàn)有的教學環(huán)境，更好地支持學習者的學習，尤其是存在學習障礙的學習者的學習;能否提供更多、更好的學習機會，更好地做到因材施教，使所有學習者均能夠得到更充分的發(fā)展;能否將教師從一些低水平的重復工作中解放出來，使其更好地投入到更有價值、更有意義、更具創(chuàng)造性的教育活動中去，讓他們的個人價值得到更充分的實現(xiàn);能否改善師生關系，使師生能夠以一種更幸福、更健康的方式投入到教與學活動中去，實現(xiàn)個人全面和諧發(fā)展的同時，更好地保障他們的身心健康。

（二）是非善惡

人工智能的非惡意原則主要是指其設計和應用應該是出于仁愛而不是惡意的愿望，即絕對不應該造成可預見或無意識的傷害、偏見和不公平，需要避免特定的風險或潛在的危害[18]。因此，人工智能產(chǎn)品的設計、開發(fā)和部署需要基于一種良好的愿望，同時還需要有一套預防風險和潛在危害的干預機制。教育倫理則強調(diào)教育行為需要基于善良的動機，遵從具有普遍價值的道德準則和崇高的道德意義，履行社會和個人的道德義務。因此，教育人工智能的設計和開發(fā)應該基于一種善良的動機，是真正為了實現(xiàn)教育更好的發(fā)展，為了教師能夠更好地進行教學工作和履行育人的社會責任，學生能夠更好地進行學習，促進他們?nèi)婧椭C的發(fā)展，而不是出于其他的功利性甚至帶有個人私欲的某種目的。

（三）公平正義

公平正義原則要求人工智能對所有人都是公平公正的，并且要避免保留現(xiàn)有的社會偏見和引入新的偏見。因此，人工智能的決策算法和訓練數(shù)據(jù)不應該沿襲設計者固有的偏見和歧視，而是應該通過評估確保這些數(shù)據(jù)對不同的社會文化均具有適當?shù)拇硇?，讓所有人都有平等訪問的機會[19]。教育教學活動需要維護教育的公平和正義，受教育權(quán)是每個社會公民的基本權(quán)利，不管其社會地位的高低和財富的多寡。而且，教育本身也是實現(xiàn)社會公平的一種方式，它為階層之間的流動提供了一個良好的通道[20]。在部署教育人工智能系統(tǒng)之前，需要仔細思考會不會帶來更多的教育機會，是促進教育公平，還是妨礙教育公平。首先，教育人工智能的決策算法和依托的數(shù)據(jù)是否存在偏見與歧視，能否公平、公正地對待每一位學生。其次，教師利用教育人工智能進行教學的能力水平的差異，會不會導致教學效果的差異，從而引發(fā)新的教育不公平。再次，學習者的信息素養(yǎng)和人工智能素養(yǎng)水平的不同，對于他們使用教育人工智能進行學習會不會帶來學習效果的差異，從而擴大學生學業(yè)成績之間的差距。最后，家庭社會地位和經(jīng)濟實力的不同，會不會造成訪問教育人工智能機會的不均等，從而帶來新的教育不公平。

（四）人權(quán)和尊嚴

人工智能應該優(yōu)先考慮并明確尊重人的基本人權(quán)和尊嚴。這需要在各利益相關方之間合作協(xié)商的基礎上制定指導人工智能開發(fā)的人權(quán)框架，指導和規(guī)劃人工智能的未來發(fā)展方向，以確定、預防和糾正人工智能可能給基本人權(quán)和尊嚴帶來的潛在風險和危害，以維護人類的尊嚴和固有價值[21]。教育人工智能在教育中的應用，將可能替代教師的很多日常工作，但不能因此而動搖教師作為能夠自主確立教學目標的主體地位，以及忽略教師工作本身的價值和創(chuàng)造性，降低教師的地位和尊嚴。教育人工智能給學習者提供認知支架和智能化教學支持服務，應該讓學習者能夠根據(jù)自己的需要和個性特征做出選擇，而不是代替學生做出選擇，即應該充分地尊重學生作為一個人的基本人權(quán)和尊嚴，而不是將其作為某種目標對象來對待。因此，教育人工智能的創(chuàng)建者、教師和其他工作人員都應該充分尊重師生在智能學習環(huán)境下的這些人權(quán)和尊嚴。

（五）自由自治

人工智能的發(fā)展需要在以人為主導的決策和以機器為主導的決策之間保持平衡，應該促進人類的自主權(quán)和控制權(quán)，而不是傷害和破壞人類的自由。人類應該選擇以何種方式賦予人工智能何種程度的決策權(quán)，以實現(xiàn)人類自主選擇的目標[22]。因此，人工智能應該將使用者視為獨立自主的人，而不是被操控的對象，不能剝奪和影響人類自由自治的權(quán)力。部署教育人工智能的學校和機構(gòu)對于預置什么樣的社會文化價值觀念具有自治權(quán)，教育人工智能的創(chuàng)建者不能把自己的社會文化價值觀念嵌入教育人工智能中，影響用戶對文化和價值體系的自治權(quán)。教師職業(yè)有其創(chuàng)造性和自主性的一面，對于自己選擇什么樣的教學方法，如何安排教學活動和進行教學評價，教師擁有自主權(quán)。學生對于自己在教育人工智能中的個人形象、數(shù)據(jù)和身份，擁有自主控制的權(quán)利。他們對于教育人工智能提供的教學支持服務和資源策略建議，擁有主觀能動性，而且不應該由于沒有遵循教育人工智能的建議而受到任何形式的懲罰。

（六）責任和問責

當人工智能具備了一定的行為和決策自主權(quán)后，其責任和問責機制將會變得更加復雜，所以應該建立一套完善的責任和問責機制，以確保能夠?qū)θ斯ぶ悄芗捌湫袨闆Q策后果進行問責，明確應該如何在制造商、設計師、運營商和最終用戶之間分攤責任。明確的問責機制需要建立在系統(tǒng)透明的基礎上，即應該建立完整的數(shù)據(jù)跟蹤記錄方案，保持系統(tǒng)算法和決策推理過程的透明，以便在任何情況下均可以快速找出責任主體[15]。教育人工智能，可能會代替教師的部分教學決策和教學行為，或者向他們提供教學策略建議，為他們的決策與行為提供支持。這種決策與行為后果的責任主體和問責機制是比較復雜的，這要求教育人工智能對于自身對教育教學工作的支持和干預具有一定的預見性。對于算法的決策過程、教師使用教育人工智能進行教學的過程以及學生學習過程中的行為數(shù)據(jù)，教育人工智能要有完整的記錄保存方案，從而為后續(xù)的問責過程提供依據(jù)。

四、結(jié) ? 語

毫無疑問，人工智能將對教育產(chǎn)生深遠的影響，甚至可能帶來教育教學實踐領域的一場根本性的變革，轉(zhuǎn)變教師的工作性質(zhì)和社會角色，改變學生的學習體驗。教育人工智能的出現(xiàn)給教育技術(shù)學帶來了新的挑戰(zhàn)，它在支持教育教學實踐的過程中，體現(xiàn)出越來越強的自動化和主觀能動性，將同時扮演道德行動者和容受者的角色。它將使教育領域的倫理問題變得更加復雜化，并引發(fā)出一系列新的倫理困境。因此，在教育人工智能的大規(guī)模設計、開發(fā)、部署和投入應用之前，需要認真考慮教育人工智能倫理原則的構(gòu)建，為在教育教學實踐過程中安全有效地利用教育人工智能奠定合適的倫理道德基礎。

[參考文獻]

[1] 郭天翼，彭敏，伊穆蘭，等.自然語言處理領域中的自動問答研究進展[J].武漢大學學報（理學版），2019，65（5）：417-426.

[2] PERIKOS I，GRIVOKOSTOPOULOU F，HATZILYGEROUDIS I，et al. Assistance and feedback mechanism in an intelligent tutoring system for teaching conversion of natural language into logic[J]. International journal of artificial intelligence in education，2017，27（3）：475-514.

[3] MAR S，SANTOS O C，SERGIO S M，et al. Towards emotion detection in educational scenarios from facial expressions and body movements through multimodal approaches[J].Scientific world journal，2014，484873：1-14.

[4] VIZCAINO A. A simulated student can improve collaborative learning[J]. Artificial intelligence in education，2005，15（1）：3-40.

[5] LUCKIN R，HOLMES W，GRIFFITHS M，et al. Intelligence unleashed： an argument for AI in education[M].London：Pearson，2016.

[6] TOMSETT R， BRAINES D， HARBORNE D， et al. Interpretable to whom？ a role-based model for analyzing interpretable machine learning systems[C]//Proceedings of the 2018 ICML Workshop on Human Interpretability in Machine Learning. Stockholm：CoRR， 2018：8-14.

[7] 鄧國民.教師整合技術(shù)與倫理的學科教學知識框架[J].黑龍江高教研究，2018（2）：99-103.

[8] SIAU K. Education in the age of artificial intelligence： how will technology shape learning[J]. The global analyst，2018，7（3）：22-24.

[9] TUOMI I.The impact of artificial intelligence on learning， teaching， and education： policies for the future[M].Luxembourg： Publications Office of the European Union，2018.

[10] DAVIES C R. An evolutionary step in intellectual property rights-artificial intelligence and intellectual property[J]. Computer law & security review，2011，27（6）：601-619.

[11] AIKEN R M，EPSTEIN R G. Ethical guidelines for AI in education： starting a conversation[J]. International journal of artificial intelligence in education，2000，11：163-176.

[12] SIVILL T. Ethical and statistical considerations in models of moral judgments[J].Frontiers in robotics and AI，2019，6：39.

[13] HOLMES W，INIESTO F，SHARPLES M，et al. Ethics in AIED： who cares？[C]//20th International Conference on Artificial Intelligence in Education. Chicago：Open Research Online，2019.

[14] GUILHERME A. AI and education： the importance of teacher and student relations[J]. AI & Society，2019，34（1）：47-54.

[15] The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems. Ethically aligned design： a vision for prioritizing human well-being with autonomous and intelligent systems[EB/OL]. （2019-03-19） [2020-03-24]. https：//standards.ieee.org/content/dam/ieee-standards/standards/web/documents/other/ead1e.pdf.

[16] FLORIDI L. Establishing the rules for building trustworthy AI[J]. Nature machine intelligence，2019，1（6）：261.

[17] 王正平.教育倫理學的基礎理論探究與建構(gòu)[J].上海師范大學學報（哲學社會科學版），2017，46（6）：24-33.

[18] JOBIN A， IENCA M， VAYENA E， et al. The global landscape of AI ethics guidelines[J]. Nature machine intelligence，2019，1（9）：389-399.

[19] SHAW G. The future computed： AI and manufacturing[M]. Washington： Microsoft Corporation， 2019.

[20] 王本陸.教育公正：教育制度倫理的核心原則[J].華南師范大學學報（社會科學版），2005（4）：98-104，160.

[21] LATONERO M. Governing artificial intelligence： upholding human rights & dignity[EB/OL]. （2018-10-10）[2020-03-24]. https：//datasociety.net/wp-content/uploads/2018/10/DataSociety_Governing_Artificial_Intelligence_Upholding_Human_Rights.pdf.

[22] FLORIDI L， COWLS J， BELTRAMETTI M， et al. AI4People—an ethical framework for a good AI society： opportunities， risks， principles， and recommendations[J]. Minds and machines，2018，28（4）：689-707.

[Abstract] This paper aims to reveal what new ethical issues education will face in the intelligent age， and explore the ethical principles of educational artificial intelligence on the basis of artificial intelligence ethics and educational ethics. By means of literature research and logical reasoning， this paper systematically combs the characteristics and advantages of applications of educational artificial intelligence， as well as the new ethical problems it may cause：（1）at the role level， system creators， teachers， students， monitors and other stakeholders will face more complex ethical dilemmas;（2）at the technical level， it involves issues such as automated decision-making ethics accountability， algorithm ethics， and data ethics; （3）at the social level， the employment market may be transformed， interpersonal relationships may be changed， and a new society unfair may be triggered. Therefore， it is necessary to have a full understanding of the complexity of the ethical issues of educational artificial intelligence. It also needs to follow both the general ethical principles of artificial intelligence and educational ethics. Among them， the most core content is the intersection between the two， including：（1） well-being;（2） right and wrong， good and evil;（3） fairness and justice;（4）human rights and dignity;（5）freedom and autonomy;（6）responsibility and accountability.

[Keywords] Educational Artificial Intelligence; Ethics of Artificial Intelligence; Educational Ethics; Data Ethics; Algorithm Ethics; Ethical Principles