摘要：人工智能技術(shù)的快速發(fā)展正深刻影響和改變教育教學(xué)領(lǐng)域。因其智能化、自主性和交互性特點，教育人工智能應(yīng)用帶來諸多便利和優(yōu)勢的同時，也引發(fā)了諸多倫理風(fēng)險和挑戰(zhàn)，需要謹(jǐn)慎應(yīng)對和積極解決?；赟HEL風(fēng)控模型，教育人工智能應(yīng)用的倫理風(fēng)險可歸納為軟件相關(guān)、硬件相關(guān)、環(huán)境相關(guān)和人件相關(guān)四類風(fēng)險，倫理風(fēng)險防范現(xiàn)存三個短板急需化解；借鑒4R危機管理模型，該文構(gòu)建了一個多方參與、全程管理、高效協(xié)同的倫理風(fēng)險防范體系，設(shè)計四層實踐路徑，并結(jié)合實踐闡述了風(fēng)險防范的實現(xiàn)方式，以創(chuàng)新地應(yīng)對教育人工智能應(yīng)用的倫理風(fēng)險防范問題，助推教育人工智能的可持續(xù)健康發(fā)展。

關(guān)鍵詞：教育人工智能；倫理風(fēng)險；SHEL風(fēng)控模型；4R危機管理模型

中圖分類號：G434 文獻(xiàn)標(biāo)識碼：A

* 本文系國家社會科學(xué)基金教育學(xué)重大課題“新一代人工智能對教育的影響研究”（課題編號：VGA230012）研究成果。

一、引言

當(dāng)前，新一代人工智能已廣泛應(yīng)用于多個領(lǐng)域，在教育領(lǐng)域的應(yīng)用和成就尤為顯著，特別是以ChatGPT、Gemini、文心一言、訊飛星火為代表的人工智能大模型技術(shù)迅猛發(fā)展，對教育模式產(chǎn)生深刻影響[1]。2024年2月15日，OpenAI發(fā)布了視頻生成模型Sora，以逼真、穩(wěn)定、持久的視頻生成效果驚艷世界。Sora憑借提供高質(zhì)量且定制化的視頻內(nèi)容，將極大地豐富并改進(jìn)教育領(lǐng)域的教學(xué)資源與方法，為學(xué)生們打造更為生動的學(xué)習(xí)體驗，引領(lǐng)教育進(jìn)入一個全新的紀(jì)元?；谌斯ぶ悄艿膫€性化學(xué)習(xí)與創(chuàng)新教育，將塑造教育發(fā)展新趨勢[2]。

教育人工智能通過促進(jìn)學(xué)生個性化學(xué)習(xí)、幫助教師處理大量重復(fù)性任務(wù)等，極大提高了學(xué)習(xí)效率和教學(xué)質(zhì)量，但同時亦孕育了不少挑戰(zhàn)。例如，人工智能可能無法充分考慮到每個學(xué)生的局限性和潛力，影響學(xué)生的發(fā)展[3]；人工智能無法完全模仿人類間的情感和非言語交流，導(dǎo)致教育缺失人文關(guān)懷和情感共鳴[4]；此外，還存在學(xué)生隱私泄露和數(shù)據(jù)安全等方面的擔(dān)憂等問題[5]。這要求教育人工智能在應(yīng)用過程中，重視倫理規(guī)范的建設(shè)、防范倫理風(fēng)險的發(fā)生至關(guān)重要。若僅憑借傳統(tǒng)的自上而下、被動式防范策略，難以有效應(yīng)對教育領(lǐng)域人工智能應(yīng)用所引發(fā)的復(fù)雜倫理風(fēng)險問題，故有必要探索新的防范模式。本文旨在探討構(gòu)建一個多方參與、全程管理、高效協(xié)同的教育人工智能倫理風(fēng)險防范體系，可以更好地識別、評估和緩解這些風(fēng)險，確保教育人工智能可持續(xù)健康應(yīng)用。

二、教育人工智能倫理風(fēng)險問題及防范現(xiàn)狀

（一）教育人工智能主要倫理風(fēng)險問題

人工智能的廣泛應(yīng)用，變革了原有對教育的解讀、反思及期望，進(jìn)而引發(fā)混亂與焦慮[6]。人工智能在教育領(lǐng)域的應(yīng)用雖然提高了教學(xué)效率和提供了個性化學(xué)習(xí)體驗，但也引發(fā)了隱私泄露、算法偏見、教育不公平等一系列倫理問題。吳永和等將倫理問題歸納為個人倫理、技術(shù)倫理、教育生態(tài)倫理三個層次[7]，王茹俊等從信息、師生關(guān)系、算法、學(xué)術(shù)四個方面對倫理問題進(jìn)行了總結(jié)[8]，雷宏振等將倫理問題劃分為隱私暴露與信息安全控制風(fēng)險、虛假信息派生所帶來的信息傳播風(fēng)險、算法偏見所帶來的決策和政策風(fēng)險和責(zé)任界定模糊風(fēng)險等四大類[9]，教育人工智能倫理問題正受到學(xué)界的廣泛關(guān)注和積極研究。

本文使用愛德華（Elwyn Edwards）教授提出的SHEL模型作為教育人工智能倫理風(fēng)險分析框架，該模型旨在研究環(huán)境內(nèi)其他因素與“人”這一核心要素相互影響，從而導(dǎo)致與人相關(guān)風(fēng)險事故發(fā)生的問題[10]。最初用于航空業(yè)，用于分析人為因素在安全事故中的作用[11]，后又?jǐn)U展到工業(yè)、醫(yī)療領(lǐng)域，尤其是在護理安全管理領(lǐng)域中被廣泛運用。根據(jù)SHEL模型，將教育人工智能的倫理問題歸納為軟件相關(guān)風(fēng)險、硬件相關(guān)風(fēng)險、環(huán)境相關(guān)風(fēng)險和人件相關(guān)風(fēng)險四類，如圖1所示。

1.軟件（Software）相關(guān)倫理風(fēng)險

軟件要素不僅指計算機軟件，還包括程序、規(guī)程、規(guī)則等。人工智能算法本身是價值無涉的，但算法開發(fā)的過程中卻存在著人為價值介入的可能性。例如，人工智能在模型訓(xùn)練時，是基于人類反饋不斷自我優(yōu)化，其中存在隱含偏見的可能；人工智能的訓(xùn)練數(shù)據(jù)來自全球的語料庫，其中英語語料占比頗高，因而會有政治、經(jīng)濟、文化歧視的可能，甚至?xí)B透西方的意識形態(tài)。此外，雖然開發(fā)者在開發(fā)過程中有所限制，但由于缺乏有效的法規(guī)監(jiān)管，人工智能生成的不合理甚至不合法的內(nèi)容仍可以在互聯(lián)網(wǎng)上傳播，污染了學(xué)習(xí)者的知識來源[12]。另外，人工智能系統(tǒng)，作為一種對教育大數(shù)據(jù)進(jìn)行深入分析、精準(zhǔn)判斷與科學(xué)決策的系統(tǒng)，其核心在于數(shù)據(jù)驅(qū)動與認(rèn)知計算[13]。教育大數(shù)據(jù)都是教師、學(xué)生、家長等在教育教學(xué)活動過程中產(chǎn)生的，本身并無好壞之分，但這些數(shù)據(jù)產(chǎn)生之后被人工智能企業(yè)或?qū)W校所控制，存在被不合理使用的風(fēng)險。

2.硬件（Hardware）相關(guān)倫理風(fēng)險

硬件要素指物理設(shè)備和設(shè)施，如機械、設(shè)備、工具等。人工智能的不合理應(yīng)用，會造成教育領(lǐng)域的“數(shù)字鴻溝”。我國城鄉(xiāng)發(fā)展并不均衡，教育資源配置存在顯著差異[14]。城市地區(qū)的學(xué)生通常能夠獲得先進(jìn)的教育資源，包括接觸和利用最新的人工智能技術(shù)。相比之下，農(nóng)村地區(qū)的學(xué)生則面臨較為有限的教育資源，甚至難以接觸到這些先進(jìn)技術(shù)。這種城鄉(xiāng)之間在教育資源獲取方面的鴻溝，加劇了教育不公平現(xiàn)象。此外，硬件設(shè)備故障或性能不足可能引發(fā)風(fēng)險事故，進(jìn)而嚴(yán)重干擾教學(xué)活動的正常進(jìn)行。以美國特斯拉自動駕駛技術(shù)引發(fā)的數(shù)起交通事故為例，這些事件表明當(dāng)前人工智能技術(shù)尚處于弱人工智能階段，技術(shù)尚未完全成熟。鑒于此，在教育領(lǐng)域引入人工智能技術(shù)時，必須以高度審慎的態(tài)度對其潛在風(fēng)險進(jìn)行全面評估，對教育人工智能可能的故障風(fēng)險加以防范。教育人工智能的廣泛應(yīng)用也可能會給學(xué)生的身心健康造成潛在威脅。日本文部科學(xué)省的一項研究表明，使用ICT授課后，學(xué)生反應(yīng)“眼睛疲勞”的比例較高[15]，導(dǎo)致學(xué)生過度依賴屏幕，增加視力損害的風(fēng)險。浙江某小學(xué)通過為學(xué)生佩戴監(jiān)控頭環(huán)來提高學(xué)生的專注度，這種做法可能會給學(xué)生帶來不必要的壓力和焦慮感，對其心理健康產(chǎn)生負(fù)面影響。

3.環(huán)境（Environment）相關(guān)倫理風(fēng)險

環(huán)境要素包括客觀的物理環(huán)境，如教室的布局、設(shè)備的可用性和技術(shù)基礎(chǔ)設(shè)施的條件；還包括抽象的社會環(huán)境，如社會對人工智能技術(shù)的接受程度、教育政策、文化背景以及經(jīng)濟條件等，這些環(huán)境因素共同影響人工智能在教育領(lǐng)域的有效應(yīng)用。學(xué)校物理環(huán)境的不完善可能成為教育人工智能倫理風(fēng)險的潛在源頭。例如，若學(xué)校缺乏及時維護硬件設(shè)備的資金和資源，可能導(dǎo)致教育人工智能系統(tǒng)硬件設(shè)備的故障率增加，進(jìn)而影響正常的教學(xué)活動。此外，人工智能在教育領(lǐng)域的應(yīng)用通常是復(fù)雜的黑箱系統(tǒng)，師生、家長等通常不了解其具體的運行規(guī)則，造成當(dāng)人工智能應(yīng)用出現(xiàn)問題時，存在責(zé)任歸屬不清晰的風(fēng)險，缺乏明確的事故問責(zé)機制和事故原因查明程序，難以對可能的事故進(jìn)行有效預(yù)防和及時糾正。另外，人工智能若使用不合理，比如濫用監(jiān)視工具，將會使師生陷入馬克·波斯特（Mark Poster）所說的“超級全景監(jiān)獄”之中，所有教育和學(xué)習(xí)行為都將暴露無遺，隱私的保護將面臨嚴(yán)峻挑戰(zhàn)。

4.人件（Liveware）相關(guān)倫理風(fēng)險

人件要素是指與人有關(guān)的各種要素，包括教師、學(xué)生、家長等在教育人工智能應(yīng)用中的行為、能力、態(tài)度和互動。人工智能的應(yīng)用在目標(biāo)對象上具有廣泛性，并沒有類似影視劇的分級限制，這也決定了它會無差別地對待所有使用者。人工智能在教育領(lǐng)域應(yīng)用時，使用者很大可能是未成年人。因其缺乏對年齡階段的分層設(shè)定，會使未成年學(xué)生接觸到超出其年齡范圍的信息，可能會對未成年學(xué)生的身心發(fā)育造成不良影響。人工智能在教育領(lǐng)域的誤用、濫用也可能會導(dǎo)致學(xué)術(shù)不端甚至影響科研發(fā)展與進(jìn)步。學(xué)生在使用的過程中，往往為了追求效率而放棄自己的思考，只想走“學(xué)術(shù)捷徑”。從個體角度而言，會影響學(xué)生高階思維能力和科研能力的發(fā)展；從科研角度而言，這種行為的泛濫會導(dǎo)致研究成果質(zhì)量的下降，阻礙學(xué)術(shù)的發(fā)展與進(jìn)步。此外，目前人工智能技術(shù)在教學(xué)中的應(yīng)用，主要聚焦于協(xié)助師生完成“功能性”任務(wù)，卻在一定程度上忽視了對情緒方面的關(guān)注與處理[16]，缺少師生交流中所包含的關(guān)懷、尊重、共情等真實的情感流露，不利于學(xué)生的情感發(fā)展。

（二）教育人工智能倫理風(fēng)險防范現(xiàn)狀

針對教育人工智能目前存在的倫理風(fēng)險，國際組織和各國政府紛紛發(fā)布政策文件，旨在規(guī)范人工智能在教育領(lǐng)域的應(yīng)用。聯(lián)合國教科文組織已發(fā)布了包括《人工智能與教育：北京共識》《人工智能與教育：政策制定者指南》《教育與研究領(lǐng)域生成式人工智能》等在內(nèi)的一系列重要文件。這些文件共同強調(diào)了在教育中整合人工智能時必須遵循的核心原則，如促進(jìn)教育包容性、公平性，提高質(zhì)量、確保數(shù)據(jù)隱私和技術(shù)的倫理使用等。 中國政府同樣高度重視人工智能發(fā)展所帶來的一些問題。習(xí)近平總書記曾強調(diào)，人工智能技術(shù)具有“雙刃劍”的特性，可能會引發(fā)法律和社會倫理沖擊、個人隱私侵犯以及國際準(zhǔn)則挑戰(zhàn)等問題，因此必須確保人工智能的安全、可靠與可控。2021年，科技部發(fā)布《新一代人工智能倫理規(guī)范》，要求在人工智能領(lǐng)域，要兼顧隱私、偏見、啟發(fā)、公平等道德議題，倡導(dǎo)“善用”，避免“濫用”，推動人工智能健康發(fā)展。文獻(xiàn)梳理發(fā)現(xiàn)，學(xué)界目前對教育人工智能倫理風(fēng)險的研究主要分為風(fēng)險識別和風(fēng)險應(yīng)對兩類[17]，其中風(fēng)險識別研究劃分依據(jù)各異，劃分類型多樣，研究已較為深入；風(fēng)險應(yīng)對方面，教育領(lǐng)域主要采用一種“原則方法”，旨在規(guī)避倫理風(fēng)險，為教育人工智能健康發(fā)展提供方向指導(dǎo)。

總的來說，在如何科學(xué)、有效地防范教育人工智能的倫理風(fēng)險方面，相關(guān)的研究和實踐仍處于起步階段[18]。現(xiàn)階段對于教育人工智能倫理風(fēng)險的防范仍存在諸多挑戰(zhàn)，傳統(tǒng)的風(fēng)險防范措施已不能滿足要求，主要問題歸納為幾個方面，如圖2所示。

1.法律法規(guī)滯后，缺少明確指導(dǎo)

目前，用以約束教育人工智能開發(fā)應(yīng)用的法律法規(guī)尚未完善，教育用戶的合法權(quán)益難以得到有效保障。以隱私安全和數(shù)據(jù)泄露問題為例，2021年，我國頒布了《中華人民共和國數(shù)據(jù)安全法》，對數(shù)據(jù)處理活動進(jìn)行了全面規(guī)范，旨在確保數(shù)據(jù)安全并推動數(shù)據(jù)的合理開發(fā)利用。它與已實施的《中華人民共和國網(wǎng)絡(luò)安全法》《中華人民共和國個人信息保護法》等法律法規(guī)相互補充，構(gòu)筑中國數(shù)據(jù)安全的堅實法律保障體系。這些法律雖然奠定了數(shù)據(jù)處理活動規(guī)范和數(shù)據(jù)安全保障的基礎(chǔ)，但由于配套的下位法規(guī)和實施細(xì)則尚未完全出臺，導(dǎo)致在實際操作中如何具體執(zhí)行和遵守這些法律條文仍存在不確定性。這種法規(guī)體系中的空缺和延遲，使得隱私泄露和數(shù)據(jù)安全問題的解決并不徹底，特別是在迅速發(fā)展的教育人工智能領(lǐng)域，如何確保數(shù)據(jù)安全、避免隱私泄露仍然是一項挑戰(zhàn)。因此，需要加快配套實施細(xì)則的制定和推出，以及加強監(jiān)管執(zhí)行力度，才能真正實現(xiàn)法律的初衷，有效保護數(shù)據(jù)安全和個人隱私。

2.信息教育不足，管理應(yīng)對不力

盡管我國對信息素質(zhì)教育一直給予高度關(guān)注，但面向青少年的信息素質(zhì)教育，是直到《教育信息化2.0行動計劃》出臺之后，才取得了顯著的進(jìn)步與發(fā)展?！吨行W(xué)數(shù)字校園建設(shè)規(guī)范（試行）》《中國教育監(jiān)測與評價統(tǒng)計指標(biāo)體系（2020年版）》《提升全民數(shù)字素養(yǎng)與技能行動綱要》等政策法規(guī)的頒布，均強調(diào)了重視培養(yǎng)信息與數(shù)字素養(yǎng)。除政府外，大中小學(xué)、公共圖書館以及社會力量也積極參與學(xué)生信息素養(yǎng)教育中[19]。例如廣州市頒布的《廣州市公共圖書館條例》提出公共圖書館需提供信息素養(yǎng)教育；360集團與共青團中央合作開發(fā)“團團微課：青少年網(wǎng)絡(luò)素養(yǎng)公開課”等。盡管國家致力于推廣信息素養(yǎng)教育，但實踐中仍存在若干問題。例如，中國家長通常缺席于孩子的信息素養(yǎng)培養(yǎng)，究其原因，一是國內(nèi)對于信息素養(yǎng)的認(rèn)知存在偏差，不少人認(rèn)為其并不是一門“有用”的學(xué)科。二是家長缺乏相關(guān)資源與指導(dǎo)，心有余而力不足。中小學(xué)的信息素養(yǎng)教育也存在問題，很多中小學(xué)長期以計算機教育為主，而忽略了信息素養(yǎng)的培養(yǎng)[20]。此外，當(dāng)前教育人工智能倫理治理探索尚處于起步階段，風(fēng)險管理應(yīng)對存在不足[21]。當(dāng)教育人工智能存在技術(shù)故障或被惡意使用時，可能導(dǎo)致嚴(yán)重后果。例如，印度特倫甘納邦在統(tǒng)考中應(yīng)用智能計分系統(tǒng)，因系統(tǒng)問題導(dǎo)致部分考生被誤標(biāo)為“缺考”，引發(fā)多人自殺悲劇。

3.風(fēng)險意識薄弱，反饋機制不暢

現(xiàn)階段，我們面對的學(xué)生群體主要屬于Z時代。 這一代人伴隨著人工智能技術(shù)的發(fā)展成長，通過數(shù)字和智能產(chǎn)品認(rèn)知世界，但缺乏察覺人工智能應(yīng)用風(fēng)險的意識與能力[22]。家長作為另一關(guān)鍵的參與者，往往對新技術(shù)的了解不如他們的子女，這種代際之間的技術(shù)鴻溝使得他們在風(fēng)險防范意識方面同樣處于劣勢。許多家長對于人工智能技術(shù)的具體應(yīng)用、潛在風(fēng)險及其管理措施缺乏足夠的認(rèn)識，這不僅影響了他們自身的安全使用，也影響了他們在家庭教育中對孩子正確使用技術(shù)的指導(dǎo)。然而，目前尚未采取有效措施來顯著增強學(xué)生和家長對教育人工智能倫理風(fēng)險的防范意識。另外，教育人工智能應(yīng)用尚處于起步階段，由于經(jīng)驗尚未積累豐富且管理機制不夠完善，其使用過程中不可避免遇到問題，亟需構(gòu)建流暢的問題反饋機制。例如河南省各高校建立健全師生意見處理和反饋機制，及時傾聽回應(yīng)師生意見建議；一些中小學(xué)也開設(shè)了意見建議反饋渠道，例如廈門一中集美分校通過校長信箱和線上反饋的方式積極采納師生意見。但這種做法并不普遍，且在實踐中存在諸多問題。一方面，反饋信息的處理速度慢，甚至存在反饋意見“石沉大海”的情況。另一方面，現(xiàn)有的反饋機制往往缺乏針對性，特別是對于人工智能在教育領(lǐng)域應(yīng)用所引發(fā)的特定問題，未能提供專門的通道或策略來解決。

三、教育人工智能倫理風(fēng)險防范體系構(gòu)建

（一）4R危機管理模型

美國危機管理學(xué)家羅伯特·希斯（Robrt Heath）在《危機管理》一書中首先提出了包含縮減（Reduction）、預(yù)備（Readiness）、反應(yīng)（Response）和恢復(fù)（Recovery）四個階段的4R危機管理模型，如圖3所示?？s減階段是核心環(huán)節(jié)，從環(huán)境、結(jié)構(gòu)、系統(tǒng)和人員等方面入手進(jìn)行實施，減少危機情境的攻擊力和影響力，規(guī)避潛在風(fēng)險，貫穿于危機管理的全過程；預(yù)備階段的核心任務(wù)是構(gòu)建和完善危機預(yù)警機制，增強組織成員對危機的預(yù)見性和應(yīng)對能力[23]；反應(yīng)階段指當(dāng)危機事件發(fā)生時，通過高效溝通應(yīng)對、精準(zhǔn)媒體管理、果斷決策執(zhí)行等手段提升處理危機效果[24]；恢復(fù)階段指危機管理結(jié)束后的形象恢復(fù)和經(jīng)驗總結(jié)，避免重蹈覆轍[25]。4R危機管理模型最早用于企業(yè)危機管理，后因其科學(xué)性和實用性被廣泛用于醫(yī)院管理、突發(fā)公共衛(wèi)生事件處理、高校安全防范體系的構(gòu)建、檔案應(yīng)急服務(wù)保障等多個領(lǐng)域[26]。因其對風(fēng)險規(guī)避、預(yù)警機制、危機處理、恢復(fù)舉措等過程的全面涉及，以及對“人”這一因素的重視，與教育中“以人為本”的理念高度契合，因此在教育人工智能倫理風(fēng)險防范中該理論也具有較強的適用性。

（二）教育人工智能倫理風(fēng)險防范主體的確立

教育人工智能倫理風(fēng)險防范的研究中，強調(diào)“技術(shù)與人文并重”的研究視角，從“技術(shù)維度、制度框架及人性考量”的核心層面出發(fā)，致力于構(gòu)建全面系統(tǒng)的倫理風(fēng)險防范體系[27]。教育人工智能倫理風(fēng)險的防范是一個多層次的任務(wù)，涵蓋宏觀層面（政府）、中觀層面（學(xué)校，人工智能企業(yè)）和微觀層面（學(xué)生和家長）等多個防范主體。從宏觀層面上，政府從政策制度、法律法規(guī)、科學(xué)文化等角度入手，確保教育人工智能的倫理性和合法性，營造良好的倫理風(fēng)險認(rèn)知和防范氛圍；從中觀層面上，人工智能企業(yè)從源頭上防范倫理風(fēng)險，考量其產(chǎn)品的設(shè)計、開發(fā)和部署過程中的倫理風(fēng)險，基于用戶友好性、系統(tǒng)穩(wěn)健性、數(shù)據(jù)安全性等視角強化人工智能產(chǎn)品本身。學(xué)校是教育人工智能應(yīng)用的直接場所，確保教育人工智能的選擇、實施和管理符合教育倫理原則；從微觀層面上，學(xué)生作為教育人工智能應(yīng)用的直接受益者，通過增強自我保護意識并深入了解自身權(quán)利，在使用過程中提出問題和擔(dān)憂，成為倫理風(fēng)險防范的重要一環(huán)。而家長，作為孩子教育的直接利益相關(guān)者，承擔(dān)起監(jiān)督和評估學(xué)校人工智能技術(shù)使用情況的責(zé)任，確保技術(shù)的運用真正有助于孩子的全面發(fā)展。因此，需要政府、人工智能企業(yè)、學(xué)校、學(xué)生和家長共同參與，形成多方合力，方能對教育人工智能的倫理風(fēng)險進(jìn)行切實有效的防范。

（三）教育人工智能倫理風(fēng)險防范體系的構(gòu)建

從危機生命周期角度出發(fā)，依據(jù)4R危機管理模型構(gòu)建包含多種機制的教育人工智能倫理風(fēng)險防范體系，包括縮減管理機制、預(yù)備管理機制，反應(yīng)管理機制和恢復(fù)管理機制。再結(jié)合上文確定的風(fēng)險防范主體，包括政府，人工智能企業(yè)，學(xué)校，家長和學(xué)生，構(gòu)建教育人工智能倫理風(fēng)險防范體系，如圖4所示。

1.縮減管理機制

縮減管理主要從環(huán)境、結(jié)構(gòu)、系統(tǒng)和人員幾個方面去入手，減少風(fēng)險發(fā)生的可能，降低風(fēng)險發(fā)生帶來的不良后果?？s減管理機制是整個風(fēng)險防范體系的核心，貫穿于整個風(fēng)險防范的過程[28]。在這一階段，政府需要做到立法引導(dǎo)，以法制約束人工智能的透明化使用。為了保護知識產(chǎn)權(quán)或商業(yè)競爭，許多人工智能企業(yè)會故意制造算法黑箱或其他設(shè)備軟硬件上的問題，因而政府需完善相關(guān)法律機制，明確責(zé)任主體的權(quán)利與義務(wù)，嚴(yán)懲違反法律或道德規(guī)范的行為。人工智能企業(yè)則需做到技術(shù)優(yōu)化，通過不斷的技術(shù)革新和優(yōu)化，確保教育人工智能產(chǎn)品應(yīng)用的安全可靠。同時建立一套基本的倫理道德準(zhǔn)則，進(jìn)一步強化和細(xì)化人工智能公司的研發(fā)與制造責(zé)任，確保不侵犯消費者基本權(quán)益，保障消費者切身利益，維護消費者整體福祉[29]。學(xué)校作為人工智能應(yīng)用的主戰(zhàn)場，應(yīng)加強師生的信息素養(yǎng)教育，引導(dǎo)師生對于信息資源獲取和篩選問題的思考，提高對人工智能風(fēng)險的認(rèn)識。在引入人工智能技術(shù)之前，學(xué)校需對自身的切實需求和智能化程度進(jìn)行合理評估，有針對性地選擇適配度高的智能系統(tǒng)或產(chǎn)品，確保產(chǎn)品經(jīng)過嚴(yán)格測試后方可納入使用；在引入人工智能技術(shù)之后，學(xué)校要優(yōu)化配套的管理措施，全面跟蹤人工智能產(chǎn)品的使用情況，適時做出針對性調(diào)整。學(xué)生和家長應(yīng)做到意識提升，提高對人工智能倫理風(fēng)險的認(rèn)識，合理使用人工智能工具，并在發(fā)現(xiàn)問題時及時反饋給學(xué)校和相關(guān)企業(yè)。

2.預(yù)備管理機制

預(yù)備階段的核心任務(wù)是建立預(yù)警機制、完善信息傳遞體系，通過訓(xùn)練與演習(xí)，切實提升危機應(yīng)對能力[30]。政府需要做到監(jiān)管先行，建立全過程監(jiān)管機制，對教育人工智能應(yīng)用進(jìn)行前瞻性監(jiān)控和評估。例如歐盟頒布《數(shù)字服務(wù)法》，規(guī)定大型在線平臺不得歧視不同用戶；美國頒布《人工智能應(yīng)用監(jiān)管指南》，強調(diào)人工智能應(yīng)用的公平原則[31]。人工智能企業(yè)應(yīng)做到質(zhì)量控制，從源頭確保產(chǎn)品質(zhì)量?，F(xiàn)有法律規(guī)定，產(chǎn)品進(jìn)入市場流通時的科學(xué)水平不能發(fā)現(xiàn)缺陷存在時，企業(yè)免責(zé)。流通后發(fā)現(xiàn)缺陷的，企業(yè)應(yīng)及時采取警示等措施，否則企業(yè)承擔(dān)侵權(quán)責(zé)任。而人工智能企業(yè)相較于其他企業(yè)而言，對產(chǎn)品的控制能力更強，對人工智能產(chǎn)品的監(jiān)督控制可從研發(fā)階段持續(xù)至使用階段[32]。因此，企業(yè)應(yīng)實施全程監(jiān)督機制，一旦發(fā)現(xiàn)產(chǎn)品存在算法偏見、危害用戶等情況，迅速采取糾正措施。

學(xué)校應(yīng)發(fā)揮審查監(jiān)督作用，構(gòu)建教育人工智能倫理風(fēng)險全過程監(jiān)管體系。在人工智能進(jìn)入學(xué)校前，要求人工智能企業(yè)提供算法功能、數(shù)據(jù)來源和可能風(fēng)險等詳細(xì)數(shù)據(jù)；人工智能進(jìn)入學(xué)校后，構(gòu)建暢通的信息反饋渠道，一旦發(fā)現(xiàn)使用過程中出現(xiàn)低質(zhì)或有害內(nèi)容，及時向相關(guān)部門反應(yīng)并調(diào)整；同時，學(xué)校也應(yīng)定期組織教育人工智能倫理風(fēng)險的訓(xùn)練演練，增強師生對潛在危機的識別與應(yīng)對能力。學(xué)生和家長則應(yīng)提高對風(fēng)險的警覺性，積極參與學(xué)校的人工智能政策討論，參與相關(guān)的培訓(xùn)和教育活動，確保人工智能的安全和負(fù)責(zé)任使用。

3.反應(yīng)管理機制

反應(yīng)管理指在危機發(fā)生之際，迅速規(guī)劃應(yīng)對策略，有效實施解決措施，以應(yīng)對或解決危機狀況[33]。政府應(yīng)做到緊急干預(yù)、迅速介入，協(xié)調(diào)相關(guān)部門，制定并執(zhí)行應(yīng)急措施。人工智能企業(yè)需立即啟動應(yīng)急預(yù)案，使用技術(shù)手段盡快控制和修復(fù)問題；同時主動配合政府調(diào)查，提供必要的技術(shù)支持。學(xué)校則應(yīng)立即響應(yīng)，根據(jù)教育部發(fā)布的《教育部等五部門關(guān)于完善安全事故處理機制維護學(xué)校教育教學(xué)秩序的意見》，當(dāng)安全事故發(fā)生時，學(xué)校必須迅速應(yīng)對，立即啟動緊急救助流程，并成立由學(xué)校高層領(lǐng)導(dǎo)親自負(fù)責(zé)的應(yīng)急處置小組。在情況緊急復(fù)雜的情況下，學(xué)校應(yīng)主動與當(dāng)?shù)厝嗣裾⒔逃鞴懿块T或其他相關(guān)機構(gòu)緊密合作，形成高效的聯(lián)合處置機制。為確保信息的及時傳遞與有效反饋，還需建立起一條快速暢通的信息溝通渠道，積極引導(dǎo)所有相關(guān)方依法依規(guī)行事，確保糾紛得到妥善解決。因此學(xué)校在危機發(fā)生時應(yīng)立即采取措施保護學(xué)生安全，通知家長，暫停使用有問題的人工智能應(yīng)用，并協(xié)助政府和企業(yè)進(jìn)行問題調(diào)查。學(xué)生和家長應(yīng)積極履行報告義務(wù)。一旦識別到潛在風(fēng)險，立即向?qū)W校和相關(guān)部門報告，并嚴(yán)格遵循相關(guān)部門的指導(dǎo)意見，以防風(fēng)險進(jìn)一步擴大。

4.恢復(fù)管理機制

恢復(fù)階段是指在危機終止后，迅速復(fù)原人員、資金、物資，深刻反思、總結(jié)經(jīng)驗。為此，羅伯特·希斯提出了PICPIC恢復(fù)策略，包括計劃（Planning）、信息（Information）、核心（Core）、人（People）、整合（Integration）、持續(xù)性（Continuity）。這里計劃指制定教育人工智能倫理風(fēng)險的防范和恢復(fù)計劃，確保在遇到數(shù)據(jù)泄露、算法偏見、系統(tǒng)故障等風(fēng)險時，能迅速且有效地采取行動；信息指在風(fēng)險發(fā)生時，及時收集和分析關(guān)于教育人工智能系統(tǒng)的準(zhǔn)確信息，如故障原因、影響范圍等，以便做出合理的決策并及時向相關(guān)利益相關(guān)者通報；核心指確定并保護教育人工智能應(yīng)用中的核心資產(chǎn)和關(guān)鍵功能，如學(xué)生數(shù)據(jù)、教學(xué)內(nèi)容和算法模型等；人指注重教育參與者，包括學(xué)生、教師和家長的安全和需求，必要時提供心理支持、技術(shù)幫助；整合指將風(fēng)險防范和恢復(fù)活動與整體教學(xué)策略和運營緊密結(jié)合，確保教育目標(biāo)和質(zhì)量在恢復(fù)過程中不受影響；持續(xù)性指在應(yīng)對即時風(fēng)險的同時，考慮教育人工智能長期的穩(wěn)定和發(fā)展。

根據(jù)PICPIC恢復(fù)策略，政府需要進(jìn)行恢復(fù)指導(dǎo)和資源協(xié)調(diào)，幫助受影響的學(xué)?；驒C構(gòu)快速恢復(fù)正常運作；同時總結(jié)經(jīng)驗教訓(xùn)，避免同樣的危機再次發(fā)生。人工智能企業(yè)需迅速響應(yīng)，利用專業(yè)技術(shù)團隊對問題進(jìn)行修復(fù)，通過軟件更新、硬件更換或技術(shù)咨詢等方式，確保產(chǎn)品和服務(wù)恢復(fù)到安全狀態(tài)。學(xué)校則需立即采取措施穩(wěn)定教學(xué)秩序，重新規(guī)劃課程和教學(xué)活動，確保學(xué)生教育進(jìn)程不受影響。同時，加強與學(xué)生和家長的溝通，緩解他們的顧慮。學(xué)生和家長應(yīng)理解并配合學(xué)校和政府的恢復(fù)措施，共同努力恢復(fù)正常教育活動。

四、教育人工智能風(fēng)險防范的實踐路徑

前述從教育人工智能應(yīng)用的四類倫理風(fēng)險出發(fā)，確定了四個防范主體；根據(jù)風(fēng)險管理的全過程，構(gòu)建教育人工智能倫理風(fēng)險防范的四層實現(xiàn)路徑：縮減層，預(yù)備層，反應(yīng)層，恢復(fù)層。本研究以軟件、硬件、環(huán)境和人件四類風(fēng)險為例，結(jié)合上述框架，詳細(xì)闡述風(fēng)險防范的實現(xiàn)路徑，如下頁圖5所示。

在縮減層，通過提前規(guī)劃和策略實施來預(yù)防軟件、硬件、環(huán)境和人件方面的風(fēng)險。這一階段的核心在于識別和評估潛在的風(fēng)險點，然后采取措施來減少這些風(fēng)險發(fā)生的可能性。預(yù)備層的主要目標(biāo)是建立和完善應(yīng)對突發(fā)事件和潛在風(fēng)險的準(zhǔn)備措施，重點在于通過培訓(xùn)和演練，提高教育參與者的應(yīng)急反應(yīng)能力和協(xié)作效率；同時，加強對軟件、硬件、環(huán)境和人員方面的監(jiān)控和評估，以便及時發(fā)現(xiàn)問題并采取措施。在反應(yīng)層，主要任務(wù)包括立即啟動事先準(zhǔn)備好的應(yīng)急響應(yīng)計劃，利用預(yù)警系統(tǒng)提供的信息迅速識別和評估事件的性質(zhì)和嚴(yán)重程度，然后執(zhí)行相應(yīng)的行動來控制或緩解風(fēng)險帶來的影響?；謴?fù)層需要評估風(fēng)險事件造成的損害，實施必要的修復(fù)工作，以及更新和優(yōu)化應(yīng)急響應(yīng)計劃以防未來類似事件的發(fā)生。

（一）軟件相關(guān)倫理風(fēng)險的防范

在軟件相關(guān)風(fēng)險的防范中，算法偏見是最為突出的情況[34]，各方主體應(yīng)共同努力，確保算法的透明度、數(shù)據(jù)的公正性以及軟件使用的安全性。

進(jìn)入縮減管理階段，人工智能企業(yè)和學(xué)校將對軟件算法進(jìn)行深入審查，識別糾正潛在的偏見，確保算法的決策過程公開透明；同時強化軟件使用的安全性，采取適當(dāng)?shù)募用艽胧?、訪問控制和定期的安全審計等措施，保護軟件免受外部攻擊和內(nèi)部濫用，保證教育大數(shù)據(jù)的安全性。人工智能企業(yè)還將確保數(shù)據(jù)處理的公正性，對輸入數(shù)據(jù)進(jìn)行嚴(yán)格的篩選和校驗，避免不公平或有偏見的數(shù)據(jù)影響算法的輸出結(jié)果。

進(jìn)入預(yù)備管理階段，重點是建立風(fēng)險評估、安全監(jiān)管和預(yù)警機制，政府建立健全的監(jiān)管體系，對軟件的開發(fā)、部署和使用進(jìn)行持續(xù)的監(jiān)督和檢查，確保符合相關(guān)的安全標(biāo)準(zhǔn)和法律法規(guī)。學(xué)校系統(tǒng)地識別和分析潛在的軟件風(fēng)險，對風(fēng)險等級進(jìn)行評估，以便后續(xù)實施針對性的風(fēng)險防范措施。同時，建立有效的預(yù)警機制是及時發(fā)現(xiàn)和應(yīng)對風(fēng)險事件的重要手段，學(xué)校通過實時監(jiān)控軟件系統(tǒng)的運行狀態(tài)和用戶行為，一旦檢測到異?；驖撛谕{，立即啟動預(yù)警機制，采取必要的應(yīng)急措施，防止風(fēng)險事件的發(fā)生或擴散。

進(jìn)入反應(yīng)管理階段，學(xué)校及時聯(lián)系相關(guān)企業(yè)團隊，快速啟動故障響應(yīng)、問題修復(fù)和數(shù)據(jù)恢復(fù)程序，實施事先準(zhǔn)備好的應(yīng)急措施，迅速定位問題的根源，進(jìn)行有效的故障修復(fù)。為了實現(xiàn)這一目標(biāo)，學(xué)校將與人工智能企業(yè)緊密合作，共享資源和信息，確保技術(shù)支持的及時性和有效性。技術(shù)團隊還與教師、學(xué)生和家長保持良好的溝通，提供必要的指導(dǎo)和支持。

進(jìn)入恢復(fù)管理階段，不僅修復(fù)風(fēng)險事件引起的損害，還對軟件系統(tǒng)進(jìn)行全面的升級和優(yōu)化。這一階段技術(shù)團隊會對系統(tǒng)進(jìn)行細(xì)致的審查，識別并解決存在的安全漏洞，同時引入新的技術(shù)和功能以增強系統(tǒng)的穩(wěn)定性和用戶體驗。安全審計也是這一階段的重要組成部分，通過對系統(tǒng)的安全控制和管理流程進(jìn)行全面評估，確保所有安全措施得到有效執(zhí)行，并符合最新的安全標(biāo)準(zhǔn)?；謴?fù)管理階段還包括對事件處理過程的回顧和總結(jié)，從中汲取教訓(xùn)，更新風(fēng)險管理策略，預(yù)防未來同類事件的發(fā)生。

（二）硬件相關(guān)倫理風(fēng)險的防范

在硬件相關(guān)風(fēng)險的防范中，縮減管理階段政府將通過政策制定和資金合理分配，確保硬件資源在各地區(qū)均衡配置，縮小城鄉(xiāng)之間的數(shù)字鴻溝，實現(xiàn)教育公平和提高教育質(zhì)量。 學(xué)校則與人工智能企業(yè)緊密合作，對硬件設(shè)備進(jìn)行定期升級和性能測試，確保硬件設(shè)備滿足最新的安全標(biāo)準(zhǔn)，對學(xué)生的身心健康不產(chǎn)生負(fù)面影響。學(xué)生和家長將增強風(fēng)險意識，積極學(xué)習(xí)硬件使用和維護知識，定期檢查設(shè)備安全，遵循學(xué)校的安全指導(dǎo)。

進(jìn)入預(yù)備管理階段，學(xué)校建立系統(tǒng)的硬件維護和故障預(yù)防機制，例如制定定期的維護計劃，確保硬件設(shè)備的性能和安全性得到持續(xù)監(jiān)控；明確緊急故障處理流程，以便在硬件出現(xiàn)問題時能夠迅速采取措施；對重要文件做好備份，以防數(shù)據(jù)丟失或損壞。學(xué)校還將引入故障監(jiān)測和預(yù)警系統(tǒng)，一旦發(fā)現(xiàn)異?；驖撛诠收?，立即發(fā)出預(yù)警，以便及時采取預(yù)防措施。

進(jìn)入反應(yīng)管理階段，技術(shù)團隊迅速診斷問題所在，采取必要的修復(fù)措施，同時確保替換的設(shè)備符合教育應(yīng)用的要求。學(xué)校會對受影響的教學(xué)活動進(jìn)行調(diào)整或臨時替代，幫助學(xué)生適應(yīng)臨時教學(xué)安排，并及時通知家長相關(guān)情況，以保障教育活動順利進(jìn)行。

進(jìn)入恢復(fù)管理階段，學(xué)校將開展全面檢測，對受影響的硬件系統(tǒng)進(jìn)行徹底檢查和維修。通過升級硬件設(shè)備和引入新技術(shù)，提高系統(tǒng)的整體性能和穩(wěn)定性。

（三）環(huán)境相關(guān)倫理風(fēng)險的防范

在環(huán)境相關(guān)風(fēng)險的防范中，縮減管理階段政府通過出臺政策法規(guī)，推動教學(xué)資源在各地區(qū)和學(xué)校之間的均衡分配，確保以強有力的法律保護個人隱私，同時明確教育人工智能風(fēng)險責(zé)任歸屬，保障教育公平和學(xué)生權(quán)益。學(xué)校則改善教學(xué)環(huán)境，提供穩(wěn)定的網(wǎng)絡(luò)連接和適宜的學(xué)習(xí)空間，定期維護和更新服務(wù)器、終端設(shè)備和軟件系統(tǒng)等設(shè)施，確保其性能符合教育需求，使教育人工智能能在良好的環(huán)境中運行；同時對師生進(jìn)行隱私保護和數(shù)據(jù)安全的教育和培訓(xùn)，增強其信息保護的意識。

進(jìn)入預(yù)備管理階段，學(xué)校針對潛在的環(huán)境風(fēng)險制定明確的響應(yīng)計劃，涵蓋自然災(zāi)害、設(shè)施故障等情況的預(yù)案。對環(huán)境也持續(xù)進(jìn)行監(jiān)控，以便及時發(fā)現(xiàn)和響應(yīng)可能的風(fēng)險事件。學(xué)校還將制定安全指導(dǎo)，教育師生如何在緊急情況下保護自己和他人，確保在發(fā)生風(fēng)險事件時，每個人都能夠安全有效地應(yīng)對。

進(jìn)入反應(yīng)管理階段，學(xué)校緊急響應(yīng)，迅速評估風(fēng)險事件的影響；同時，與當(dāng)?shù)貞?yīng)急管理部門密切合作，實施必要的安全措施來保護師生安全，例如啟動緊急疏散計劃、關(guān)閉受影響的設(shè)施等。若教學(xué)場所受損，則提供替代的學(xué)習(xí)空間或資源，確保教育活動能夠正常進(jìn)行。學(xué)生和家長做到積極配合學(xué)校的應(yīng)急措施，遵循安全指導(dǎo)，確保個人安全，共同應(yīng)對環(huán)境風(fēng)險事件。

進(jìn)入恢復(fù)管理階段，首要的是恢復(fù)正常的教學(xué)和學(xué)習(xí)環(huán)境，包括對受損的教育設(shè)施進(jìn)行全面檢查，進(jìn)行必要的修復(fù)或升級。學(xué)校也對整個風(fēng)險事件進(jìn)行詳細(xì)評估，分析事件發(fā)生的原因，評估應(yīng)對措施的有效性，更新和完善風(fēng)險防范措施。同時，及時與師生和家長溝通，傳達(dá)恢復(fù)進(jìn)度和后續(xù)安排，減輕他們的擔(dān)憂并獲得支持和配合。

（四）人件相關(guān)倫理風(fēng)險的防范

在人件相關(guān)風(fēng)險的防范中，關(guān)鍵在于通過教育和培訓(xùn)加強師生及家長對人工智能技術(shù)及其潛在風(fēng)險的理解。針對學(xué)生在使用教育人工智能可能會產(chǎn)生的問題，在縮減管理階段，一是確保他們接觸到適齡內(nèi)容并防范不良影響，二是鼓勵他們摒棄對人工智能工具的過度依賴，培養(yǎng)獨立思考和深度學(xué)習(xí)的習(xí)慣，三是在教育中增強人際交互和情感教育的內(nèi)容。政府、人工智能企業(yè)、學(xué)校、學(xué)生及家長將做到各司其職，共同努力，確保教育人工智能應(yīng)用中人件相關(guān)風(fēng)險得到有效防范。例如，人工智能企業(yè)確保產(chǎn)品的適齡性和安全性，開發(fā)和提供適合不同年齡段學(xué)生的教育應(yīng)用，并加入相應(yīng)的內(nèi)容過濾和父母控制功能，減少不良信息的傳播；學(xué)校強化對學(xué)生的監(jiān)督和引導(dǎo)，定期進(jìn)行信息素養(yǎng)和網(wǎng)絡(luò)安全教育，培養(yǎng)學(xué)生的獨立思考和批判性分析能力。教師則做到因材施教，重視學(xué)生的情感體驗，確保學(xué)生之間及師生之間有充足的人際互動時間；學(xué)生自身則要增強自我保護意識，培養(yǎng)獨立思考和深度學(xué)習(xí)的習(xí)慣，避免過度依賴人工智能工具；

進(jìn)入預(yù)備管理階段，通過定期的培訓(xùn)和演練，增強師生和家長面對數(shù)據(jù)泄露、網(wǎng)絡(luò)攻擊等突發(fā)事件的應(yīng)對能力；同時，建立一個支持性的網(wǎng)絡(luò)以加強家校社之間的協(xié)作溝通，便于風(fēng)險發(fā)生時，所有相關(guān)方能夠迅速、有效地聯(lián)合行動。

進(jìn)入反應(yīng)管理階段，及時通知師生和家長有關(guān)風(fēng)險事件的細(xì)節(jié)、潛在影響和應(yīng)對措施，以便他們能夠快速做出反應(yīng)。對于受事件影響的師生，學(xué)校提供必要的心理支持和輔導(dǎo)服務(wù)，例如提供專業(yè)的心理咨詢、設(shè)立心理支持熱線或組織團體輔導(dǎo)活動，幫助其應(yīng)對可能出現(xiàn)的心理壓力或焦慮。

進(jìn)入恢復(fù)管理階段，學(xué)校通過推廣面對面授課和實地體驗學(xué)習(xí)，平衡教學(xué)方法，減少對技術(shù)的過度依賴；引入情感智力和社交技能課程，增加師生互動，彌補技術(shù)使用中的情感聯(lián)系缺失。同時，加強網(wǎng)絡(luò)安全和個人信息保護教育，提升學(xué)生的安全意識。

五、結(jié)語

教育人工智能倫理風(fēng)險防范已成為社會各領(lǐng)域重點關(guān)注的議題。教育人工智能倫理風(fēng)險可能削弱學(xué)生隱私保護、加劇教育不平等，并影響學(xué)生的全面發(fā)展，對教育系統(tǒng)的公正性和可持續(xù)性構(gòu)成挑戰(zhàn)。智慧教育時代，妥善應(yīng)對倫理風(fēng)險，確保產(chǎn)品服務(wù)盡責(zé)，已成為當(dāng)務(wù)之急。本研究基于SHEL風(fēng)控模型，教育人工智能應(yīng)用的倫理風(fēng)險可歸納為軟件相關(guān)、硬件相關(guān)、環(huán)境相關(guān)和人件相關(guān)四類風(fēng)險，倫理風(fēng)險防范現(xiàn)存三個短板急需化解；借鑒4R危機管理模型，構(gòu)建了一個多方參與、全程管理、高效協(xié)同的倫理風(fēng)險防范體系，設(shè)計四層實踐路徑，并結(jié)合實例闡述了風(fēng)險防范的實現(xiàn)方式，以期應(yīng)對迅速發(fā)展的人工智能技術(shù)，更好地促進(jìn)教育公平與教育包容，實現(xiàn)教育人工智能的健康發(fā)展，構(gòu)筑人機和諧共生的教育生態(tài)系統(tǒng)。當(dāng)然，在智能化時代，教育人工智能的倫理風(fēng)險防范是一個持續(xù)的過程。教育人工智能應(yīng)用的倫理風(fēng)險不僅限于本文所提及的四類，未來還可能出現(xiàn)更多目前尚未被充分認(rèn)識的風(fēng)險。因此，未來亟需更精細(xì)化地對學(xué)生群體分類，因材施教，量身定制教育方案；更深入地剖析倫理風(fēng)險，規(guī)避潛在危害，確保教育實踐的道德正當(dāng)性，完善技術(shù)標(biāo)準(zhǔn)在多樣化風(fēng)險場景中的實踐落地，優(yōu)化教育與人工智能協(xié)同發(fā)展的現(xiàn)實路徑。

參考文獻(xiàn)：

[1] 曹培杰，謝陽斌等.教育大模型的發(fā)展現(xiàn)狀、創(chuàng)新架構(gòu)及應(yīng)用展望[J].現(xiàn)代教育技術(shù)，2024，34（2）：5-12.

[2] 顧小清.當(dāng)現(xiàn)實逼近想象：人工智能時代預(yù)見未來教育研究[J].開放教育研究，2021，27（1）：4-12.

[3] Tao B，Díaz V，Guerra Y.Artificial intelligence and education， challenges and disadvantages for the teacher [J].Arctic Journal，2019，72（12）：30-50.

[4] 于秋月，劉堅.“人工智能+教育”的倫理分析及主體重塑[J].學(xué)術(shù)探索，2024，（1）：148-156.

[5] 鄒開亮，劉祖兵.生成式人工智能個人信息安全挑戰(zhàn)及敏捷治理[J].征信，2024，42（1）：41-50+57.

[6] 唐漢衛(wèi).人工智能時代教育將如何存在[J].教育研究，2018，39（11）：18-24.

[7] 吳永和，吳慧娜等.推動人工智能向善發(fā)展：教育與人工智能共同的責(zé)任[J].中國電化教育，2024，（1）：51-58.

[8] 王茹俊，王丹.ChatGPT介入醫(yī)學(xué)教育的倫理風(fēng)險及應(yīng)對策略[J].醫(yī)學(xué)與哲學(xué)，2024，45（2）：76-81.

[9] 雷宏振，劉超等.論生成式人工智能的技術(shù)創(chuàng)新倫理周期——以ChatGPT為例[J].陜西師范大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2024，53（1）：97-107.

[10] 王穎捷.認(rèn)知癥老年人機構(gòu)照護環(huán)境風(fēng)險防范設(shè)計研究——基于SHEL風(fēng)險控制理論模型分析[J].南京藝術(shù)學(xué)院學(xué)報，2023，（2）：183-187.

[11] Chang Y H，Yang H H，Hsiao Y J.Human risk factors associated with pilots in runway excursions [J].Accident Analysis & Prevention，2016，94：227-237.

[12] 蘭國帥，杜水蓮等.生成式人工智能教育：關(guān)鍵爭議、促進(jìn)方法與未來議題——UNESCO《生成式人工智能教育和研究應(yīng)用指南》報告要點與思考[J].開放教育研究，2023，29（6）：15-26.

[13] 馮銳，孫佳晶等.人工智能在教育應(yīng)用中的倫理風(fēng)險與理性抉擇[J].遠(yuǎn)程教育雜志，2020，38（3）：47-54.

[14] 李曉靜.數(shù)字鴻溝的新變：多元使用、內(nèi)在動機與數(shù)字技能——基于豫滬學(xué)齡兒童的田野調(diào)查[J].現(xiàn)代傳播（中國傳媒大學(xué)學(xué)報），2019，41（8）：12-19.

[15] 高益民，李宗宸.日本預(yù)防和減少教育信息化不良影響的基本對策[J].外國教育研究，2022，49（8）：3-22.

[16] 孫立會.人工智能之于教育決策的主體性信任危機及其規(guī)避[J].電化教育研究，2023，44（3）：21-27+43.

[17] 白鈞溢，于偉.教育人工智能倫理原則的有限性及其補正——兼論“原則-美德-法律”框架[J].中國電化教育，2024，（2）：23-31.

[18][27] 杜嚴(yán)勇.人工智能倫理風(fēng)險防范研究中的若干基礎(chǔ)性問題探析[J].云南社會科學(xué)，2022，（3）：12-19.

[19] 羅藝杰.中美未成年人信息素養(yǎng)教育比較研究[J].圖書館，2023，（12）：67-76.

[20] 吳建華，郭靜等.我國信息素質(zhì)教育的主要問題、成因與對策分析——基于中美基礎(chǔ)教育階段課程標(biāo)準(zhǔn)的比較[J].情報科學(xué)，2012，30（7）：967-973.

[21] 白鈞溢.教育人工智能倫理治理：現(xiàn)實挑戰(zhàn)與實現(xiàn)路徑[J].重慶高教研究，2024，12（2）：37-47.

[22] 郭勝男，錢雨等.面向未成年人的AI安全風(fēng)險：風(fēng)險澄思、根源透析與治理進(jìn)路[J].中國遠(yuǎn)程教育，2023，43（7）：39-46.

[23][26] 張林華，鄒潤霞.基于4R危機管理理論的檔案應(yīng)急服務(wù)保障模式研究[J].檔案與建設(shè)，2022，（7）：30-33.

[24] 張玉亮，楊英甲.基于4R危機管理理論的政府網(wǎng)絡(luò)輿情危機應(yīng)對手段研究[J].現(xiàn)代情報，2017，37（9）：75-80+92.

[25] 余豐民，周衛(wèi)華等.基于4R模型的高校圖書館文獻(xiàn)服務(wù)應(yīng)急保障策略探討[J].圖書館工作與研究，2020，（11）：25-31.

[28] 王娟，柳輝艷.4R危機管理視角下的公立醫(yī)院網(wǎng)絡(luò)輿情與危機管理對策探析[J].中國醫(yī)院，2024，28（2）：95-97.

[29][32] 胡元聰，李雨益.企業(yè)社會責(zé)任視域下人工智能產(chǎn)品風(fēng)險防范研究[J].當(dāng)代經(jīng)濟管理，2020，42（4）：19-26.

[30][33] 王曉茜.4R危機管理下高校應(yīng)對新型肺炎疫情的策略探析——以同濟大學(xué)為例[J].中國高?？萍迹?020，（8）：22-25.

[31] 王佑鎂，王旦等.基于風(fēng)險性監(jiān)管的AIGC教育應(yīng)用倫理風(fēng)險治理研究[J].中國電化教育，2023，（11）：83-90.

[34] 王佑鎂，王旦等.敏捷治理：教育人工智能倫理治理新模式[J].電化教育研究，2023，44（7）：21-28.

作者簡介：

王佑鎂：教授，博士生導(dǎo)師，研究方向為教育人工智能、智慧教育、數(shù)字閱讀。

利朵：在讀碩士，研究方向為教育人工智能。

王旦：在讀博士，研究方向為教育人工智能。

柳晨晨：博士，副教授，研究方向為教育人工智能。

Construction of Ethical Risk Prevention System for Educational Artificial Intelligence Based on 4R Crisis Management Model

Wang Youmei1， Li Duo1， Wang Dan2 ， Liu Chenchen1

1.Research Center for Big Data and Smart Education， Wenzhou University， Wenzhou 325035， Zhejiang 2.Department of Educational Information Technology， East China Normal University， Shanghai 200062

Abstract： The rapid development of artificial intelligence technology is profoundly affecting and changing thgL3uqdDzHg2ABrlo2gl3Dy6MTC9nLtKZ5SLoOqMrjIg=e field of education and teaching. Because of its intelligence， autonomy and interactivity， while the application of artificial intelligence in education brings many conveniences and advantages， it also triggers many ethical risks and challenges， which need to be dealt with carefully and actively resolved. Based on the SHEL risk control model， the ethical risks of educational artificial intelligence applications can be summarized into four types of risks： software-related， hardware-related， environment-related and human-ware-related risks. There are three existing shortcomings in ethical risk prevention that need to be resolved； Drawing on the 4R Crisis Management Model， an ethical risk prevention system with multi-party participation， whole process management， and efficient synergy is constructed， a four-layer practice path is designed， and the realization of risk prevention is elaborated in the light of practice， so as to innovatively cope with the issue of ethical risk prevention of the application of AI in education， and to boost the sustainable and healthy development of AI in education.

Keywords： educational AI； ethical risk； SHEL risk control model； 4R crisis management model

收稿日期：2024年5月21日

責(zé)任編輯：趙云建