樂惠驍 賈積有
【摘 要】??? 本文從人機合作的角度對智能教學系統(tǒng)中的學習者的自主度進行了探討。通過梳理人機交互設計領域和行為決策領域的相關研究,結合教學場景中的相關實驗案例,討論了智能教學系統(tǒng)中學習者自主度設計的大致原則:一方面,應保證學習者適當?shù)淖灾鞫?,以滿足其自主性的心理需要,同時授予其部分修正系統(tǒng)錯誤的能力,減少算法厭惡的發(fā)生;另一方面,過多或不恰當?shù)膶W習者自主度也無益于學習,可能導致無法為學習者的學習提供適當?shù)闹С?,以及選擇過載和選擇困難的發(fā)生。最后,本文提出了設計智能教學系統(tǒng)中學習者自主度的三條具體建議:關注學習者特征,根據(jù)學習者特征設計合適的自主度;增加系統(tǒng)和算法的透明度,使得用戶能理解智能系統(tǒng)的決策邏輯,或授予用戶部分修改算法的權限,以減少算法厭惡的發(fā)生;為學習者提供必要的自主學習支持,而非簡單地將某些學習過程的控制權交給學習者。
【關鍵詞】? 人工智能;智能教學系統(tǒng);自主度;人機合作;自我調(diào)節(jié)學習;選擇與決策;算法厭惡;選擇過載;在線學習;學習支持
【中圖分類號】? G434? ? ? ? ?【文獻標識碼】? A? ?【文章編號】? 1009-458x(2021)9-0049-10
一、引言
自其研究伊始,智能教學系統(tǒng)研究的一大初衷即模仿人類教師的教學(Self, 1990)。從1970年的第一個智能教學系統(tǒng)開始,智能教學系統(tǒng)已在各種教學場景中有著豐富的應用。時至今日,智能教學系統(tǒng)已發(fā)展出形形色色的智能形式:或?qū)W習者內(nèi)隱的思考過程進行推斷,并給予即時的支持(VanLehn, et al., 2005; Anderson, et al., 1995),或用自然語言與學習者對話(Jia, 2009; Nye, et al., 2014),或可識別用戶的表情并給予適當?shù)姆答仯ˋrroyo, et al., 2014)。Vanlehn(2011)的研究表明智能教學系統(tǒng)的教學效果(d=0.76)已經(jīng)接近人類教師(d=0.79),從性能這一角度來說模仿者與被模仿者的差距已經(jīng)很小,智能教學系統(tǒng)近50年來的研究已取得巨大成功。
在模仿人類教師的這一愿景的驅(qū)動下,學習者與計算機的交互正從學習者與媒體的交互漸漸轉向?qū)W習者與另一智能主體間的交互。在學習的過程中,智能教學系統(tǒng)可以有不同的角色隱喻,如輔導者、教練、評價者等(張志禎, 等, 2019)。在不同的系統(tǒng)中,智能教學系統(tǒng)承擔著不同的角色,相應地,學習者也有著不一樣的角色。如果換一個視角,這些隱喻暗示了理解智能教學系統(tǒng)的另一種可能:智能教學系統(tǒng)的設計者大可不必將智能教學系統(tǒng)的設計與開發(fā)理解為創(chuàng)造出一個全知全能的教學專家,智能教學系統(tǒng)與學習者共同完成學習任務可以被理解為一種人機合作的問題。
在工業(yè)領域,生產(chǎn)場景中的人機合作問題,尤其是其中的績效問題已得到關注。例如,在一條半自動的工業(yè)流水線上,哪些環(huán)節(jié)和工作由機器自動完成,哪些環(huán)節(jié)由人類工人負責,才能獲得更高的生產(chǎn)效率。從績效上說,單純的機器工作的效率低于人機合作(張異繁, 2017)。然而在許多場景中,人機合作問題并不僅僅是一個機械地拼合人和機器的工作能力的問題。對于完成任務的人類參與者來說,其所感受到的在任務中享有的自主度的多少將影響其內(nèi)部動機和合作體驗。有研究發(fā)現(xiàn),過多的機器操作會降低用戶使用機器的動機和滿意度(Kim, et al., 2011),而內(nèi)部動機和合作(用戶)體驗的變化最終將影響整個任務的績效。
在人機交互的研究中,自主度(Autonomy)是一個關鍵概念,指的是在一個團隊中團隊成員在工作中所體驗到的自由度(freedom)、獨立性(independence)和決定權(discretion)(Kim & Hinds, 2006)。舉例來說,在學習者與智能教學系統(tǒng)交互的過程中,一個擔任著教練角色的系統(tǒng)比一個擔任同伴角色的系統(tǒng)享有更大的自主度,相應地,學習者在教練系統(tǒng)中的自主度就更小。擔任教練角色的系統(tǒng),如Cognitive Tutor(Ritter, et al., 2007),需要根據(jù)學習者的情況分解復雜問題,一步步引導學習者進行下一步的學習。在此過程中,教學內(nèi)容的選擇、學習者當前狀態(tài)的評估、教學材料的呈現(xiàn)方式都是由系統(tǒng)自行選擇的,而學習者則處于“任人擺布”的狀態(tài)。而一個擔任同伴角色的系統(tǒng),如LuCy(Goodman, Linton, & Gaimari, 2016),更多的只是鼓勵學習者在學習過程中進行反思。那么,在使用智能教學系統(tǒng)的過程中,學習者享有的不同自主度對學習效果會有影響嗎?
目前,關于智能教學系統(tǒng)的研究大多只關注提升系統(tǒng)的自動性,即增強計算機系統(tǒng)的自動化程度,使其在學習科學與信息技術的支持下對學習場景中的各種信息進行感知和推斷,自動地做出下一步?jīng)Q策。然而,很少有研究關注學習過程中的主體——學習者的自主度在這一人機合作過程中所產(chǎn)生的影響?;谝陨媳尘?,本文旨在討論智能教學系統(tǒng)中學習者擁有的自主度對學習效果的可能影響,以此明確怎樣的人機合作才能更好地提升學習者使用智能教學系統(tǒng)的效果。
為討論這一問題,之后將延下述邏輯展開論述。
為什么學習者在使用智能教學系統(tǒng)時需要一定的自主度?自我決定理論(self-determination theory)較為成熟地闡述了個體對于自主度的需求。也有一些教育學研究者從該理論出發(fā),討論學習者在教學場景中對于自主度的需要(Niemiec & Ryan, 2009; Black & Deci, 2000)。本文將借鑒自我決定理論,深入探討智能教學系統(tǒng)中學習者和自主度之間的復雜關系。
智能教學系統(tǒng)給予學習者的自主度并非是毫無邊界的,過多或過少的學習者自主度都會對學習產(chǎn)生負面影響。本文將通過論述在學習者獲得過多或過少自主度造成的后果,嘗試構造一個智能教學系統(tǒng)中學習者應享有的“適度”的自主度邊界。由于自主度這一概念在智能教學系統(tǒng)中的研究較少,缺少直接的來自實證研究的證據(jù),本文主要從學習效果的一個重要預測因素即學習動機入手,討論不同的智能教學系統(tǒng)設計對于學習者的學習動機和用戶體驗的影響。另外,結合行為決策(Judgement and Decision Making)領域在關于人機交互問題上的實證研究成果,如選擇過載和算法厭惡等,探討某一計算機系統(tǒng)中不同的自主度設計對用戶的影響,并結合教育學領域?qū)嵶C研究的結果來推論教學場景中這一類影響是否依然有可能發(fā)生。本文關注的智能教學系統(tǒng)主要以智能資源推薦、智能導學系統(tǒng)為主。
本文最后根據(jù)上述討論的結果,提出優(yōu)化智能教學系統(tǒng)設計的若干建議。
二、學習者的自主度——人與機器的合作與沖突
用機器代替人類教師是智能教學系統(tǒng)發(fā)展的目標。目前主流的研究方向是增強系統(tǒng)的智能性,使其成為一個“全知全能”的專家型教師,實現(xiàn)各種復雜任務的交互。但是越來越多的學者認識到,在當前人工智能的發(fā)展水平下,學習者與智能教學之間的關系更多的是一種人機合作關系。貝克(Baker, 2016)認為當前的智能教學系統(tǒng)的發(fā)展與其初始的愿景發(fā)生了某種割裂:現(xiàn)有的真正在教育一線場景中使用的智能教學系統(tǒng)并沒有很強的智能性,與研究中展示的系統(tǒng)的智能性相去甚遠。這種割裂表明,有的智能教學系統(tǒng)的發(fā)展方式可能遇到了某種瓶頸,以至于成熟的智能系統(tǒng)無法在實際教學中部署使用。機器善于處理復雜信息,而人則更善于思考。是否在當前這種發(fā)展模式之外,還存在著一條人工智能與教育結合的出路——人機合作的模式?
將學習者在智能教學系統(tǒng)中的學習理解成一種人機合作是本文的基本出發(fā)點,但有必要區(qū)分這種人機合作的形式與一般工業(yè)場景中的人機合作。施里丹等(Sheridan & Verplank, 1978)用圖1表示人與電腦之間的關系。在合作處理任務時,有這樣幾種合作模式:①完全人工處理任務;②人在計算機的幫助下處理任務(如高強度的科學計算);③計算機承擔一部分人的工作(如批處理任務);④計算機為人類工作做好備份;⑤計算機完全替代人類進行工作。
但是在智能教學系統(tǒng)中,學習者與系統(tǒng)的關系又有所不同。學習者與系統(tǒng)的共同目標應是學習者本人行為和行為潛能的改變,這就意味著計算機不可能代替學習者去學習,學習者也并非獨自完成這一目標,所以學習者與系統(tǒng)的合作模式是共享對學習過程的控制權,即施里丹等總結的第二種和第三種合作模式。
自我調(diào)節(jié)學習理論認為學習者在自主學習中會使用一些策略來幫助自己學習。自我調(diào)節(jié)學習的能力對學習者來說十分重要,學習者是否能進行自我調(diào)節(jié)學習與其最終的學業(yè)表現(xiàn)高度相關。自我調(diào)節(jié)學習可以分為幾個階段:①評估自己的狀態(tài),激活先前知識,設定自己的學習目標并規(guī)劃學習;②在學習過程中監(jiān)控自己的學習行為和狀態(tài);③在學習過程中控制自己的學習行為、狀態(tài)和外部環(huán)境;④學習結束后進行自我評價和反思(Pintrich, 2000)。在一個智能教學系統(tǒng)中,計算機時常會介入其中的某幾個階段,甚至代替學習者做出決策。例如智能教學系統(tǒng)會幫助學習者選擇適合其能力的學習內(nèi)容(階段1),監(jiān)控學習者的當前情感(階段2),監(jiān)督學習者的不良學習行為(階段3),分析學習者的學習過程并進行歸因(階段4)。對于一些學習者,系統(tǒng)在某些階段的接管對學習過程的控制權是有利的,但是對于另外一些自主學習者,可能這種控制反而會降低其使用體驗——學習者和智能教學系統(tǒng)的合作與沖突就在這一過程中產(chǎn)生了。在這樣的關系中,我們能否劃清學習者與系統(tǒng)各自擁有的對學習過程的控制權限,使得二者達成更高效的合作?
(一)學習者對自主度的需求
1. 自我決定理論與學習動機
人有著追求自由的天性。自我決定理論(self-determination theory,SDT)是Deci和Ryan(2000)提出的關于人類行為的動機理論,其核心思想是將人類的動機歸結為內(nèi)在傾向與外部環(huán)境有機結合、共同作用的結果。自我決定理論提出了人的幾個基本心理需要,即勝任(competence)、自主(autonomy)與關系(relatedness),大部分個體都為了滿足這三大需要而努力(張劍等, 2010)。自我決定理論認為外部環(huán)境與個體內(nèi)在共同作用,通過滿足三大心理需求促進內(nèi)部動機和外部動機的內(nèi)化,從而影響個體的行為和心理健康。
在三大心理需要中,自主需要指的是個體有先天的、傾向于自己做選擇的需要。在環(huán)境中,物質(zhì)獎勵、監(jiān)督、評價、時間期限等規(guī)定常常使得個體感到自己的行為受到其他主體或環(huán)境的控制,自主需要無法得到滿足,從而導致內(nèi)部動機的下降。而一個支持個體自主決策的環(huán)境則有助于提升個體對于任務的內(nèi)部動機(Deci, et al., 1994)。人機交互的實證研究證實:機器過多介入人類的操作過程將降低其對操作過程的滿意程度(Kim, et al., 2011)。
賈利維蒂等(Jolivette, et al., 2002)的一項課堂觀察研究發(fā)現(xiàn),學習者確實會在課堂中自發(fā)地尋求一些做選擇的機會。許多研究也確認了在傳統(tǒng)課堂教學中給予學習者更多的選擇機會有利于提升其學習動機。例如,麥勒(Myrow, 1979)的研究發(fā)現(xiàn)給予學習者選擇學習主題的機會有助于提升其學習動機:一組學生可以在6個學習主題中進行選擇,另一組學生只能選擇被隨機分配的學習主題進行學習。研究發(fā)現(xiàn)擁有選擇學習主題自主度的學生對于學習內(nèi)容有更高的熱情,并更愿意繼續(xù)就這一主題進行學習。此外,科恩等(Kern, Bambara, & Fogt, 2002)的研究也發(fā)現(xiàn)在教學過程中給學習者提供選擇能提升其30%的參與度。
在智能教學系統(tǒng)的相關研究中,對于教學代理(pedagogical agents)的系統(tǒng)綜述研究也揭示了這樣一種矛盾的現(xiàn)象:相對于沒有教學代理(與學習者互動的屏幕上的虛擬形象)的系統(tǒng)來說,有教學代理的系統(tǒng)能催生更好的學習效果,但是學習者的動機卻降低了(Schroeder & Adesope, 2014)。雖然施羅德等(Schroeder, et al., 2014)將動機降低的這一效應解釋為一部分學習者并不喜歡這一類系統(tǒng),但是近期的一些研究為我們理解這一問題提供了新的視角:金等(Kim, Chen, & Zhang, 2016)的研究發(fā)現(xiàn),即使是給電腦界面畫上一個笑臉更改其擬人程度(圖2),用戶的使用體驗也會有顯著的降低。其原因在于用戶感知到當前環(huán)境中有另一個主體在與自己爭奪系統(tǒng)的控制權,其自主度受到了威脅,從而導致用戶體驗下降。教學代理對學習者動機的副作用也許可以通過這一路徑得到解釋。
2. 算法厭惡
除了能否自己做選擇外,學習者是否認同系統(tǒng)做出的選擇也是值得考量的因素。許多智能教學系統(tǒng)往往扮演輔導者的角色,為學習者的學習提供建議(張志禎, 等, 2019)。從性能上來看,基于統(tǒng)計學的預測系統(tǒng)的預測能力遠遠超越人類專家,其工作效率也遠超人類(賈積有, 2018a; 賈積有, 2018b)。然而,行為決策領域的相關研究發(fā)現(xiàn),即使個體認識到了智能決策系統(tǒng)提供的建議的準確度超過人類決策者,但是其更傾向于選擇人類決策者來幫助自己進行決策,這一現(xiàn)象被稱為“算法厭惡”(algorithm aversion)(Eastwood, Snook, & Luther, 2012)。
迪特沃斯特等(Dietvorst, Simmons, & Massey, 2015)的研究用一系列實驗來探究決策者在何種情況下會自主做出決策,在何種情況下會選擇采納算法的決策結果。其研究發(fā)現(xiàn),在預測任務中,個體更傾向于相信自己的判斷而非輔助的預測算法的輸出結果。甚至即使有時被試已經(jīng)意識到算法預測精度高于自己,但仍會選擇自己的預測結果作為最終答案。
后續(xù)更多的研究表明這一現(xiàn)象廣泛存在于許多決策場景中。例如,在醫(yī)療場景中,相較于醫(yī)用人工智能,病人更喜歡人類醫(yī)生開出的處方(Longoni, et al., 2019);在一個以應用統(tǒng)計學考試為場景的實驗中,考生在面臨預測股市走向的任務時更愿意用人類專家而非統(tǒng)計模型給出的結果來修正自己的結果,在綜合多種決策結果時,他們也對人類專家給出的結果賦予更高的權重(?nkal, et al., 2009)。
雖然在智能教學系統(tǒng)的應用場景中,仍未有充分的實證研究探討算法厭惡在這一類系統(tǒng)中是否存在。但可以預見的是,至少對于部分能進行自我調(diào)節(jié)學習(self-regulated learning)的學習者來說,學習也是一個需要學習者進行選擇與決策的場景(Zimmerman, 1989),當智能教學系統(tǒng)的判斷與學習者自己的判斷相左,系統(tǒng)卻依然“我行我素”地執(zhí)行程序邏輯時,學習者的內(nèi)部動機就會下降。
3. 系統(tǒng)的錯誤決策
必須承認,在某些方面,如今智能教學系統(tǒng)的一些預測結果依然存在著相當?shù)恼`差。例如,目前聲音識別算法的識別準確率最高也只能到60%左右(Latif, et al., 2019),在許多時候,或許學習者會比系統(tǒng)更了解自己的狀態(tài)。這樣的“絕對”誤差帶來的后果更為嚴重。一方面,系統(tǒng)做出了錯誤的決策,給出了錯誤的干預;另一方面,學習者感知到了系統(tǒng)的錯誤,會產(chǎn)生更嚴重的算法厭惡(Dietvorst, et al., 2015),進一步降低學習動機。所以,給予學習者更多的自主度也是給予他們手動糾正系統(tǒng)錯誤的機會。
(二)過多/不恰當?shù)淖灾鞫?/p>
前文討論了智能教學系統(tǒng)中學習者對于自主度的要求。一方面,從自我決定理論出發(fā),學習者天然地追求在學習過程中進行選擇和決策的權力,在教學過程中賦予學習者一定的選擇空間有利于提升其學習動機;另一方面,算法厭惡的相關研究表明,如果將學習者看作是自己學習計劃的決策者,相比于智能教學系統(tǒng)的建議,他可能更相信自己的判斷,而機器與人的兩種判斷的不一致也會導致學習動機的下降。從以上討論中可以發(fā)現(xiàn),保證智能教學系統(tǒng)中學習者適度的自主度有助于提升學習者的學習動機。
但是,事物總有其兩面性。接下來,我們將論證給予學習者過多的自主度或錯誤地給學習者提供選擇的機會,也將妨礙其學習動機和學習效果。
1. 缺少學習支持
在傳統(tǒng)課堂中,即使有一些自學者對學習內(nèi)容很感興趣,但其最終的學習效果很難與接受課堂中教師系統(tǒng)教學的學習者相比,原因在于后者的學習過程經(jīng)過了科學、系統(tǒng)的教學設計。一般的學習者不是教學法的專家,他們在學習過程中做出的決策以及使用的策略很難與智能教學系統(tǒng)相媲美,因為后者是科學的教學設計的產(chǎn)物。所以這樣就引出了一個問題:在智能教學系統(tǒng)中,賦予學習者更多的自主度往往意味著系統(tǒng)提供了更少的學習支持,許多關于自身學習的決策需要學習者自己做出。
如上文所述,一些研究者在傳統(tǒng)課堂中研究了賦予學習者更多選擇機會對其學習動機和效果的影響,但是也有許多研究同時揭示了這一類場景中學習動機與學習效果之間的割裂:雖然給予學習者更多的選擇有利于提升其學習動機,但是其最終的學習效果并沒有顯著的變化。例如,麥勒(Myrow, 1979)的研究發(fā)現(xiàn),雖然有選擇學習主題權力的那一組的學習者的學習動機增強了,但是其在學習效果上與對照組并無顯著差別。納卡穆拉等(Nakamura, Phung, & Reinders, 2020)的研究發(fā)現(xiàn),在課堂中給予外語學習者更多的選擇機會雖然能有效提升學習者在學習過程中的體驗,但是在學習者投入的大多數(shù)維度上,有更多選擇機會的學習者與選擇機會更少的學習者之間并無顯著差異。
雖然麥勒(Myrow, 1979)將這一情況歸咎于提供的選擇自由度不夠“徹底”,即其只提供了6種學習材料以供選擇(這一點將之后展開討論),但是學習者缺少自主學習能力也是一個可能的原因。需要注意的是,如果將學習動機看作是學習效果的自變量,從主效應上來說,內(nèi)部動機的強度與學習效果之間有一定程度的正相關,但是內(nèi)部動機的增強并不一定導致學習效果的提升,績效是內(nèi)部動機和外部動機共同作用的結果(Cerasoli, et al., 2014)。許多時候,更多的學習者自主度往往意味著更少的學習引導和支持。本研究認為,學習者缺少與其自主度相匹配的自我學習能力是一個可能的原因。
在軟件的交互設計中,為“新手型”用戶設計交互與為“專家型”用戶設計交互的思路往往是不同的(Cooper, et al., 2014)。同樣,對一個“專家型”學習者來說,更多的自主度意味著內(nèi)部動機的提升,且其可以使用自己熟悉的學習策略來規(guī)劃自己的學習,而一個“新手型”學習者雖然自主度的需求得到滿足,但可能因為缺少教學者的引導而不知所措。
從整個學習者群體來看,并不是所有學習者都有自我調(diào)節(jié)學習的能力。一部分學習者可以自主完成自我學習策略的幾個階段,但是另一部分學習者則可能需要計算機介入其中的幾個學習階段并引導或代替其做出決策,才能取得更好的學習效果。
這一點或許可以通過對比麥勒(Myrow, 1979)與赫斯卡等(Huéscar, et al., 2019)的兩個實驗得到一定程度上的印證。后者實驗中實驗組的干預方式并不是簡單地給予學習者更多的選擇,而是采用支持學習者自主度的方式(autonomy supportive)進行的,即教師鼓勵實驗組中的學習者參與活動、參與小組討論,直到學習者發(fā)展出能自己組織學習的能力。相較于另一組簡單按照教師的想法執(zhí)行教學的對照組,在前后測中實驗組的學習效果有顯著的變化,感知到的自主度有很大的提升,而對照組則無顯著的變化。該實驗與麥勒(Myrow, 1979)研究的不同之處在于其中設計了對學習者自主學習的支持機制,使得學習者在獲得更多的自主度的同時并不會因為缺少必要的學習支持而阻礙學習效果的提升。
2. 選擇過載
正如麥勒(Myrow, 1979)將提供選擇機會后未能提升學習效果解釋為提供的選擇機會不夠“徹底”、選擇集不夠龐大一樣,2000年前的行為心理學理論一直認為給主體的選擇空間應當是多多益善的,越是多樣的選擇越能滿足主體對于自主度的追求,從而獲得更正面的行為與動機。
然而,近年來的行為心理學研究逐漸推翻了這一論斷。伊恩格等(Iyenger & Lepper, 2000)發(fā)現(xiàn),正如麥勒(Myrow, 1979)的實驗中對于選擇數(shù)量的設計一樣,以往的心理學關于選擇的實驗中呈現(xiàn)的選擇集的大小大多在2~6個選擇??紤]到人的短時工作記憶容量是7左右(Lisman & Idiart, 1995),包含2~6個選擇的選擇集并不足以對短時工作記憶造成很大的負荷,故個體在這一量級的選擇集中進行選擇是一件相對更愉悅的事。但是,一旦個體面臨的選擇數(shù)量遠遠超過短時工作記憶可以處理的容量時,增加選擇集的數(shù)量只會降低個體的內(nèi)部動機。這一現(xiàn)象被稱為“選擇過載”(Choice Overload)。
在伊恩格等(Iyenger & Lepper, 2000)的研究中,有一個相似的教育場景下的實驗設計:在一堂社會心理學課程上,193位大學生被隨機分成兩組,完成同一項課程的附加作業(yè)。一組學生可以在6個作業(yè)主題中選擇一個主題,另一組學生則可以在30個作業(yè)主題中選擇一個主題。結果顯示在作業(yè)的質(zhì)量和完成率上前者均高于后者。由于學習者需要在太多的可選擇項之間進行取舍(trade-off),太多的選擇對其工作記憶造成過大的認知負荷,反而降低了其完成任務的動機。同樣,在教學場景下布魯克斯等(Brooks & Young, 2011)的實驗中也有類似發(fā)現(xiàn),即在實體課堂中給予學習者提供更多選擇的機會未必提升學習者的動機。相反,在一定的邊界條件下過多的選擇反而會有副作用。
伊恩格等(Iyenger & Lepper, 2000)認為,選擇過載之所以發(fā)生,是因為個體在進行決策時需要對不同選擇的結果進行考量,如需要考量做出錯誤選擇的后果,需要了解和評估每個備選項的優(yōu)劣,等等,這一切都對其認知造成了一定的負荷。同樣,在教學場景中,這樣的情況也有可能發(fā)生。舉一個典型的例子:學習者在選擇接下來的學習內(nèi)容時,需要綜合評估自身的狀況與學習內(nèi)容的屬性,還需要考量情境中的各種因素以對各選擇的好壞進行評估??梢?,在這種場景中提供太多的備擇項也會造成認知負荷的上升,導致學習動機的下降。
3. 兩難選擇削弱學習動機
同樣在決策與選擇領域,博迪(Botti, 2004)的研究揭示了這樣一種矛盾的現(xiàn)象:雖然個體都更傾向于自己做出決策,但是并非所有擁有選擇機會的個體的滿意度都會高于沒有選擇機會的個體。如果選擇集中的各備選項都符合選擇者的喜好,那么相對于沒有選擇機會的個體來說,選擇者體驗到的滿意度會高于沒有選擇機會的個體。但是,如果備選項并不能很好地符合選擇者的喜好,那么他們體驗到的滿意度甚至比那些沒有選擇機會的個體低。換句話說,雖然從主效應看選擇者能體驗到更多選擇的自主度,有更強的動機,但是當其面臨一個兩難選擇時,其對于選擇過程的滿意度甚至不如沒有選擇機會的個體。
相似的情況可能同樣會發(fā)生在教學場景中。扎克等(Zach & Yanovich, 2015)的研究也得到了一種與自我決定理論相悖的結果:在體育課上,一組學生可以在5~8種運動中選擇自己想?yún)⑴c的運動,而另一組學生沒有選擇的機會。最后的結果顯示,沒有選擇機會的學生在選擇滿意度上反而高于有選擇機會的學生。由于場地的限制,許多學生最喜歡的體育課程都無法開展,而有選擇機會的學生之所以選擇了某樣課程可能“并不是因為喜歡這種運動,而只是更不喜歡其他運動”。所以,當選擇者面臨兩難選擇后,他們對于選擇過程和結果的滿意度就會下降。有理由相信在智能教學系統(tǒng)中相似的情況也會發(fā)生。當學習者必須在多種與自己的偏好不一致的備選項中做出選擇時,其學習動機就有可能會下降。
三、學習者自主度的邊界
從以上的討論中,我們大致從學習者選擇的角度勾勒出了智能教學系統(tǒng)中學習者自主度的一個輪廓,如圖3。
一方面,從自我決定理論出發(fā),學習者需要有一定的自主度。此外,算法厭惡的相關研究顯示個體在許多時候并不信賴機器的決策結果。如果系統(tǒng)處處僭越學習者的選擇和決策,學習者的動機水平就會下降。另一方面,如果給予學習者過多的或者不恰當?shù)淖灾鞫?,學習者的學習動機也有可能降低,妨礙學習效果的提升。更多的學習者自主度往往意味著更少的學習支持,如果僅僅通過更多的自由度提高學習者的動機水平而沒有相應支持其自主學習,并不一定能提高其最終的學習效果。此外,過于復雜的選擇可能使學習者選擇過載,降低其學習動機水平;呈現(xiàn)給學習者與其偏好不一致的可選擇項也有可能降低其對學習內(nèi)容選擇過程和結果的滿意度。
由此可以發(fā)現(xiàn),在智能教學系統(tǒng)中恰當設計學習者自主度的關鍵,在于在學習者的自主度和人工智能系統(tǒng)的自主度之間尋求某種平衡。然而,由于缺少本領域相關實證證據(jù)的支持,這個平衡點難以確切界定?;诖?,在接下來的討論中,本文將嘗試援引自主調(diào)節(jié)學習和用戶交互、行為決策領域的相關研究成果,為智能教學系統(tǒng)的設計提出若干建議。
1. 關注不同學習者對自主度的不同需要
如同教學設計的模型一樣,學習者特征的前端分析也應是智能教學系統(tǒng)設計中的一項重要工作(Dick, 1996)。總體來說,在設計智能教學系統(tǒng)時,由學習者確定學習者需要多大的自主度可以從兩方面來考慮:①學習者是否對自己的學習有明確的目標與規(guī)劃;②學習者對于學習內(nèi)容的熟悉程度。
從學習目標與規(guī)劃來說,自我調(diào)節(jié)學習理論給出了一個對學習者進行分類的視角:如果說所有學習者都有學習目標的話,一部分學習者可以自主、有效地對自己的學習過程進行規(guī)劃,而另一部分學習者則可能在自我調(diào)節(jié)學習的某幾個階段需要系統(tǒng)幫助甚至替代其進行決策。對于前者而言,賦予其更多的自主度有利于提升其學習動機,同時可以更少地犧牲學習效果,因為這部分學習者相對來說需要更少的學習支持,如果在此時對其學習過程加以過多的約束和外在規(guī)劃,其學習動機水平反而會下降。對于后者來說,賦予其更多的自主度卻往往意味著讓無法有效掌控自己學習的學習者來冒險進行決策。選擇過載發(fā)生的內(nèi)部心理機制在于評估過于復雜的備選項和選擇集需要占用大量的認知資源,引起個體對選擇活動本身的厭煩和內(nèi)部動機水平的下降。切訥夫等(Chernev, B?ckenholt, & Goodman, 2015)在元分析中提出了引發(fā)選擇過載的四個因素:兩個外部因素為選擇集復雜、選擇任務過難;兩個內(nèi)部因素為不明確自身選擇偏好、不明確選擇的目的。從這一角度來說,自我調(diào)節(jié)學習更強的學習者更明確為何選擇,也更擅長評估當前的學習環(huán)境(Pintrich, 2000; Shah & Oppenheimer, 2008),這也使得他們更不易選擇過載。
所以學習者的自我調(diào)節(jié)學習能力可以是判斷學習者需要多大程度自主度的一個理想指標。同時,豐富的已有研究和量表等工具使得這一指標的使用在工程上也易于實現(xiàn)。舉例來說,用戶剛進入系統(tǒng)時用自我調(diào)節(jié)學習量表對其自我學習能力進行一個簡單的分類,之后針對性地賦予不同程度的自主度,也可能有效促進其學習(Zimmerman & Pons, 1986; Zimmerman, et al., 1992)。
同時,學習者對于學習內(nèi)容的熟悉程度也是一個重要的決定因素。對于熟悉學習內(nèi)容的學習者來說,選擇集和選擇任務的困難度會有一定程度的下降,此外他們對于自身的選擇偏好也更清晰。切訥夫(Chernev, 2003)的研究認為,在面臨選擇任務時,在任務開始之前心中已有理想選擇項的決策者更不易發(fā)生選擇困難。而在智能教學系統(tǒng)中,學習者構造出這樣一個希望學習的“理想型”需要一定的過往經(jīng)驗的支持,需要對學習內(nèi)容有更多的了解。
所以,能否有效地鑒別“新手型”和“專家型”學習者,能否鑒別有明確學習目的的學習者是智能教學系統(tǒng)自主度設計的一個關鍵問題。應根據(jù)不同的學習者特征決定在何種程度上干預或指導學習者學習。在工程上,動態(tài)自主度(Dynamic Autonomy)是人機交互領域提高人機合作效率的一種解決方案,即由當前系統(tǒng)評估人類操作者的操作是否能完成任務目標,并決定是否等待人類的操作指令或是自主做出響應(Schermerhorn & Scheutz, 2009; Hardian, et al., 2006)。對于一個學習者背景多元的智能教學系統(tǒng)來說,也可以按照相似的思路進行設計,感知當前學習者的行為和狀態(tài),并決定是否給予適當?shù)母深A、如何提供個性化的交互和學習支持。
2. 采納更透明的算法和系統(tǒng)
迪特沃斯特等(Dietvorst, et al., 2015)的研究指出,決策者出現(xiàn)算法厭惡的一個先決條件是發(fā)現(xiàn)算法犯錯??紤]到目前智能教學系統(tǒng)的發(fā)展水平,在學習者使用系統(tǒng)的過程中很難避免系統(tǒng)犯錯(如推薦不恰當?shù)馁Y源、對話中文不對題等),那么增加算法系統(tǒng)的透明度就成了為數(shù)不多的解決方案之一,即讓學習者看到算法內(nèi)部更多的信息,包括該算法如何運行、可以調(diào)節(jié)哪些參數(shù)來調(diào)整結果等。
迪特沃斯特等(Dietvorst, Simmons, & Massey, 2018)的研究發(fā)現(xiàn)了克服算法厭惡的一種方案:相比那些自己無法控制、無法理解其內(nèi)部邏輯的算法,人們更喜歡使用那些自己可以調(diào)整的“不完美”的算法。即使在預測精度上有所偏差,但是只要有一點修改算法的權限,也可以極大地提升其使用動機水平。所以,如果在智能教學系統(tǒng)中開放系統(tǒng)的一小部分權限,能使學習者通過調(diào)節(jié)一些簡單參數(shù)“定制”自己的系統(tǒng),或許也將有顯著的積極效果。例如,在一個電腦擔任輔助者的系統(tǒng)中,學習者設置解題提示出現(xiàn)的邏輯和方式;原先系統(tǒng)判定學習者的當前能力未達到某一閾值就彈出提示,學習者可以小幅度修改這一閾值以配合自己的學習規(guī)劃。
伯格等(Berger, et al., 2020)也提出了克服算法厭惡的一種新思路:向用戶展示系統(tǒng)所使用的算法正在錯誤中“吸取教訓”,隨著用戶的使用精度變高,能有效降低算法厭惡程度。所以,在智能教學系統(tǒng)中向?qū)W習者展示算法正在錯誤中進步,也能有效提升學習者的內(nèi)部動機水平以及使用系統(tǒng)的意愿。
此外,增加系統(tǒng)決策的透明度,在用戶能理解的程度上向其解釋為何這樣決策,能幫助用戶理解系統(tǒng)決策的邏輯,還可以給手動修正系統(tǒng)的錯誤決策提供可能。更透明的算法能幫助學習者判斷機器是否做出了正確的決策。如果學習者有相應的自主度和控制權,他們可以手動修正系統(tǒng)的決策結果,從而獲得更優(yōu)的學習效果和體驗。此外,在系統(tǒng)并不確定對當前學習者的狀態(tài)評估是否準確時,可以征求學習者的輸入,輔助其進行判斷,以減少錯誤決策。
3. 增加學習者自主學習的支持
雖然在許多情況下更高的學習者的自主度往往意味著更少的學習支持,但是值得注意的是,系統(tǒng)能提供的學習支持與學習者的自主度之間并不是零和的,通過適當?shù)脑O計可以在提升學習者自主度的同時依然提供必要的學習支持。
正如赫斯卡等(Huéscar, et al., 2019)在傳統(tǒng)課堂中取得成功的方式一樣,在智能教學系統(tǒng)中添加支持學習者自主學習的設計是一個可行的方案(Wong, et al., 2019)。例如,可以在學習者選擇學習內(nèi)容之前呈現(xiàn)一些提示,刻意引導其使用自我調(diào)節(jié)學習的策略評估自己當前的狀態(tài),或基于系統(tǒng)的判斷給出一些建議,之后再做出決策(Bannert & Reimann, 2012)。這種設計既滿足了學習者對于學習自主性的要求,又給“新手型”的學習者提供了必要的支持。與系統(tǒng)動態(tài)自主度的設計策略不同,這種策略的一大特點在于并非通過改變系統(tǒng)的設計去迎合不同類型的學習者的需要,而是通過塑造學習者的自我調(diào)節(jié)學習能力等方式在使用的過程中改變其對于自主度的需要,使得學習者適應系統(tǒng)的自主度設計。
4. 以適當?shù)姆绞浇M織和呈現(xiàn)信息
如果能夠通過一些策略提供關于每個選擇的必要信息(如備選項的難度、復雜度),或以適當形式來呈現(xiàn)選擇項的信息(如以知識圖譜的方式呈現(xiàn)學習內(nèi)容),也有助于學習者進行選擇,防止選擇過載的發(fā)生(Chernev, 2006)。這其中的核心在于降低學習者在決策過程中的認知負荷。
四、結論
本文從人機合作的角度對智能教學系統(tǒng)中的學習者的自主度進行了探討,通過梳理人機交互設計領域以及行為決策領域的相關研究,結合教學場景中的相關實驗案例,討論了在智能教學系統(tǒng)中學習者自主度設計的大致原則:一方面,應保證學習者適當?shù)淖灾鞫?,以滿足其自主性的心理需要,授予其部分修正系統(tǒng)錯誤的能力,減少算法厭惡的發(fā)生;另一方面,過多的或不恰當?shù)膶W習者自主度也無益于學習,可能導致無法為學習者的學習提供適當?shù)闹С郑约斑x擇過載和選擇困難的發(fā)生。最后,本文提出了設計智能教學系統(tǒng)中學習者自主度的三條具體建議:①關注學習者特征,根據(jù)學習者特征設計合適的自主度;②增加系統(tǒng)和算法的透明度,使得學習者能理解智能系統(tǒng)的決策邏輯,或授予學習者部分修改算法的權限,以減少算法厭惡的發(fā)生;③為學習者提供必要的自主學習支持,而非簡單地將某些學習過程的控制權交給學習者。
由于智能教學系統(tǒng)相關領域的學習者選擇和自主度研究較少,本文在論證過程中引用了行為決策領域和人機交互領域的一些研究結果,為了保證這些結論適用于智能教學系統(tǒng)的場景,另結合實體課堂中學習者選擇機會與學習動機、學習效果的相關研究進行推論。但是這些結論仍然需相關實證研究做進一步的驗證。此外,本文未能給出一個明確的學習者自主度的定義,對自主度的探討大多從學習者在學習過程中的選擇與決策進行,未來研究可以從更多角度展開討論。在許多場景下,智能教學系統(tǒng)使用中的人機交互并不只限于單個學習者與系統(tǒng)之間的交互,還有可能包含其他利益相關者,如教師在智能教學系統(tǒng)的幫助下確定學習者的學習內(nèi)容,未來的研究可以針對這些更多主體的更復雜的智能教學系統(tǒng)中的主體自主度進行探討。
最后,一些批判的聲音應該是有益的(Baker, 2016; 李芒, 張華陽, 2020)。智能教學系統(tǒng)研究的目的是“育人”而非“造人”,應是提升學習者的智能而非本末倒置地去創(chuàng)造一個全知全能的機器教師。相比那個看似宏大的用機器代替人類教師的愿景,如何促進教學才應是智能教學系統(tǒng)研究的初心。在這個意義上,一種全新的以學習者為中心的智能教學系統(tǒng)的發(fā)展范式可能正逐漸浮現(xiàn)在我們面前,其中的人機合作、自主度等概念都值得進一步研究。
[參考文獻]
賈積有. 2018a 人工智能與教育的辯證關系[J]. 上海師范大學學報(哲學社會科學版),047(3):25-33.
賈積有. 2018b. 人工智能賦能教育與學習[J]. 遠程教育雜志,36(1):39-47.
李芒,張華陽. 2020. 對人工智能在教育中應用的批判與主張[J]. 電化教育研究,41(3):29-39.
張劍,張建兵,李躍,Edward L. Deci. 2010. 促進工作動機的有效路徑:自我決定理論的觀點[J]. 心理科學進展,18(5):752-759.
張異繁. 2017. 人機合作決策中效率與信任問題的研究[D]. 武漢:華中科技大學.
張志禎,張玲玲,徐雪迎,劉佳林. 2019. 人工智能的教學角色隱喻分析——以人工智能教育應用領域高影響力項目為例[J]. 中國遠程教育,(11):24-37,57,93.
Arroyo, I., Woolf, B. P., Burelson, W., Muldner, K., Rai, D., & Tai, M. (2014). A multimedia adaptive tutoring system for mathematics that addresses cognition, metacognition and affect. International Journal of Artificial Intelligence in Education, 24(4), 387-426.
Baker, R. S. (2016). Stupid tutoring systems, intelligent humans. International Journal of Artificial Intelligence in Education, 26(2), 600-614.
Berger, B., Adam, M., Rühr, A., & Benlian, A. (2020). Watch Me Improve—Algorithm Aversion and Demonstrating the Ability to Learn. Business & Information Systems Engineering, 1-14.
Black, A. E., & Deci, E. L. (2000). The effects of instructors autonomy support and students autonomous motivation on learning organic chemistry: A self-determination theory perspective. Science education, 84(6), 740-756.
Botti, S. (2004). The psychological pleasure and pain of choosing: when people prefer choosing at the cost of subsequent outcome satisfaction. Journal of personality and social psychology, 87(3), 312.
Brooks, C. F., & Young, S. L. (2011). Are Choice-Making Opportunities Needed in the Classroom? Using Self-Determination Theory to Consider Student Motivation and Learner Empowerment. International Journal of Teaching and Learning in Higher Education, 23(1), 48-59.
Cerasoli, C. P., Nicklin, J. M., & Ford, M. T. (2014). Intrinsic motivation and extrinsic incentives jointly predict performance: A 40-year meta-analysis. Psychological bulletin, 140(4), 980.
Chernev, A. (2003). When more is less and less is more: The role of ideal point availability and assortment in consumer choice. Journal of consumer Research, 30(2), 170-183.
Chernev, A. (2006). Decision focus and consumer choice among assortments. Journal of Consumer Research, 33(1), 50-59.
Chernev, A., B?ckenholt, U., & Goodman, J. (2015). Choice overload: A conceptual review and meta-analysis. Journal of Consumer Psychology, 25(2), 333-358.
Choi, S., & Clark, R. E. (2006). Cognitive and affective benefits of an animated pedagogical agent for learning English as a second language. Journal of educational computing research, 34(4), 441-466.
Cooper, A., Reimann, R., Cronin, D., & Noessel, C. (2014). About face: the essentials of interaction design. John Wiley & Sons.
Deci, E. L., Eghrari, H., Patrick, B. C., & Leone, D. R. (1994). Facilitating internalization: The self-determination theory perspective. Journal of Personality, 62, 119-142.
Deci, E. L., & Ryan, R. M. (2000). The “what” and “why” of goal pursuits: Human needs and the self-determination of behavior. Psychological Inquiry, 11, 227-268.
Dick, W. (1996). The Dick and Carey model: Will it survive the decade? Educational technology research and development, 44(3), 55-63.
Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err. Journal of Experimental Psychology: General, 144(1), 114.
Dietvorst, B. J., Simmons, J. P., & Massey, C. (2018). Overcoming algorithm aversion: People will use imperfect algorithms if they can (even slightly) modify them. Management Science, 64(3), 1155-1170.
Eastwood, J., Snook, B., & Luther, K. (2012). What people want from their professionals: Attitudes toward decision-making strategies. Journal of Behavioral Decision Making, 25(5), 458-468.
Goodman, B., Linton, F., & Gaimari, R. (2016). Encouraging student reflection and articulation using a learning companion: a commentary. International Journal of Artificial Intelligence in Education, 26(1), 474-488.
Hardian, B., Indulska, J., & Henricksen, K. (2006, March). Balancing autonomy and user control in context-aware systems-a survey. In Fourth Annual IEEE International Conference on Pervasive Computing and Communications Workshops (PERCOMW'06) (pp. 6-pp). IEEE.
Huéscar, E., Moreno-Murcia, J. A., Domenech, J. F., & Nú?ez, J. L. (2019). Effects of an Autonomy-Supportive Physical Activity Program for Compensatory Care Students During Recess Time. Frontiers in Psychology, 10.
Iyengar, S. S., & Lepper, M. R. (2000). When choice is demotivating: Can one desire too much of a good thing? Journal of personality and social psychology, 79(6), 995.
Jia, J. (2009). An AI framework to teach English as a foreign language: CSIEC. AI Magazine, 30(2), 59-71.
Jolivette, K., Stichter, J. P., Sibilsky, S., Scott, T. M., & Ridgley, R. (2002). Naturally occurring opportunities for preschool children with or without disabilities to make choices. Education and Treatment of Children, 396-414.
Kern, L., Bambara, L., & Fogt, J. (2002). Class-wide curricular modification to improve the behavior of students with emotional behavioral disorders. Behavioral Disorders, 27, 317-326.
Kim, D. J., Hazlett-Knudsen, R., Culver-Godfrey, H., Rucks, G., Cunningham, T., Portee, D., ... & Behal, A. (2011). How autonomy impacts performance and satisfaction: Results from a study with spinal cord injured subjects using an assistive robot. IEEE Transactions on Systems, Man, and Cybernetics-Part A: Systems and Humans, 42(1), 2-14.
Kim, S., Chen, R. P., & Zhang, K. (2016). Anthropomorphized helpers undermine autonomy and enjoyment in computer games. Journal of Consumer Research, 43(2), 282-302.
Kim, T., & Hinds, P. (2006, September). Who should I blame? Effects of autonomy and transparency on attributions in human-robot interaction. In ROMAN 2006-The 15th IEEE International Symposium on Robot and Human Interactive Communication (pp. 80-85). IEEE.
Latif, S., Rana, R., Khalifa, S., Jurdak, R., Epps, J., & Schuller, B. W. (2019). Multi-Task Semi-Supervised Adversarial Autoencoding for Speech Emotion Recognition. arXiv preprint arXiv:1907.06078.
Lisman, J. E., & Idiart, M. A. (1995). Storage of 7+/-2 short-term memories in oscillatory subcycles. Science, 267(5203), 1512-1515.
Longoni, C., Bonezzi, A., & Morewedge, C. K. (2019). Resistance to medical artificial intelligence. Journal of Consumer Research, 46(4), 629-650.
Myrow, D. L. (1979). Learner choice and task engagement. The Journal of Experimental Education, 47(3), 200-207.
Nakamura, S., Phung, L., & Reinders, H. (2020). The effect of learner choice on L2 task engagement. Studies in Second Language Acquisition, 1-14.
Niemiec, C. P., & Ryan, R. M. (2009). Autonomy, competence, and relatedness in the classroom: Applying self-determination theory to educational practice. Theory and research in Education, 7(2), 133-144.
Nye, B. D., Graesser, A. C., & Hu, X. (2014). AutoTutor and family: A review of 17 years of natural language tutoring. International Journal of Artificial Intelligence in Education, 24(4), 427-469.
?nkal, D., Goodwin, P., Thomson, M., G?nül, S., & Pollock, A. (2009). The relative influence of advice from human experts and statistical methods on forecast adjustments. Journal of Behavioral Decision Making, 22(4), 390-409.
Pintrich, P. R. (2000). The role of goal orientation in self-regulated learning. In Handbook of self-regulation (pp. 451-502). Academic Press.
Ritter, S., Anderson, J. R., Koedinger, K. R., & Corbett, A. (2007). Cognitive Tutor: Applied research in mathematics education. Psychonomic bulletin & review, 14(2), 249-255.
Schermerhorn, P., & Scheutz, M. (2009). Dynamic robot autonomy: Investigating the effects of robot decision-making in a human-robot team task. In Proceedings of the 2009 international conference on multimodal interfaces (pp. 63-70).
Schroeder, N. L., & Adesope, O. O. (2014). A systematic review of pedagogical agents persona, motivation, and cognitive load implications for learners. Journal of Research on Technology in Education, 46(3), 229-251.
Self, J. A. (1990). Theoretical foundations of intelligent tutoring systems. Journal of Artificial Intelligence in Education, 1(4), 3-14.
Shah, A. K., & Oppenheimer, D. M. (2008). Heuristics made easy: An effort-reduction framework. Psychological bulletin, 134(2), 207.
Sheridan, T. B., & Verplank, W. L. (1978). Human and computer control of undersea teleoperators. Massachusetts Inst of Tech Cambridge Man-Machine Systems Lab.
VanLehn, (2011). The relative effectiveness of human tutoring, intelligent tutoring systems, and other tutoring systems. Educational Psychologist, 46(4), 197-221.
VanLehn, K., Lynch, C., Schulze, K., Shapiro, J. A., Shelby, R., Taylor, L., Treacy, D., Weinstein, A., &Wintersgill, M. (2005). The. Andes physics tutoring system: Lessons learned, International Journal of Artificial Intelligence in Education, 15(3), 1-47.
Wong, J., Baars, M., Davis, D., Van Der Zee, T., Houben, G. J., & Paas, F. (2019). Supporting self-regulated learning in online learning environments and MOOCs: A systematic review. International Journal of Human-Computer Interaction, 35(4-5), 356-373.
Zach, S., & Yanovich, E. (2015). Autonomy, Choice, and Pupils Motivation—Are They Really Related?. Advances in Physical Education, 5(02), 84.
Zimmerman, B. J. (1989). Models of self-regulated learning and academic achievement. In Self-regulated learning and academic achievement (pp. 1-25). New York: Springer.
Zimmerman, B. J., Bandura, A., & Martinez-Pons, M. (1992). Self-motivation for academic attainment: The role of self-efficacy beliefs and personal goal setting. American educational research journal, 29(3), 663-676.
Zimmerman, B. J., & Pons, M. M. (1986). Development of a structured interview for assessing student use of self-regulated learning strategies. American educational research journal, 23(4), 614-628.
收稿日期:2020-11-06
定稿日期:2020-12-10
作者簡介:樂惠驍,博士研究生;賈積有,博士,教授,博士生導師。北京大學教育學院教育技術系(100871)。
責任編輯 郝 丹