国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

人機協(xié)同的敏捷教育建模及實踐應(yīng)用

2021-08-23 02:05:04鄭勤華郭利明
現(xiàn)代遠程教育研究 2021年4期
關(guān)鍵詞:人機協(xié)同人工智能

鄭勤華 郭利明

摘要:將教育理論模型轉(zhuǎn)為可操作的數(shù)據(jù)模型是智能技術(shù)支持教與學(xué)變革的關(guān)鍵。多場景、多維度的教育教學(xué)要素主體的可測度問題是破解教育建模問題的重心,其與目前人工智能技術(shù)的局限共同決定了人機協(xié)同是教育建模的必然之路。人機協(xié)同的教育建模是一個敏捷的教育建模流程,是充分整合領(lǐng)域?qū)<抑腔叟c機器智能優(yōu)勢以構(gòu)建教育模型的過程,重點在于將教育建模所需要的多方主體力量進行歸一化統(tǒng)整,形成合力。其流程大致可以分為梳理建模目標(biāo)、確定教育目標(biāo)類型、選取指標(biāo)或特征提取、調(diào)節(jié)參數(shù)、訓(xùn)練與建模、數(shù)據(jù)科學(xué)驗證、真實教育場景可用性驗證7個階段。然而,以敏捷教育建模理念為指導(dǎo),進而輸出教育模型服務(wù)的過程中,還需解決連接領(lǐng)域?qū)<液图夹g(shù)專家知識的“中間件”問題。鑒于此種思路,人機增強智能支持下的敏捷教育建模平臺DMTS應(yīng)運而生,旨在結(jié)合專家的領(lǐng)域知識、經(jīng)驗、理論和機器的數(shù)據(jù)、算法、算力優(yōu)勢,快速構(gòu)建能真正理解教育場景的可解釋教育模型,為微觀個體學(xué)習(xí)、中觀學(xué)校管理以及宏觀區(qū)域教育治理提供科學(xué)且可操作的模型服務(wù)。實踐表明,整合領(lǐng)域?qū)<液蜋C器學(xué)習(xí)的教育建模支撐技術(shù)體系,能夠為教育工作者和技術(shù)工作者搭建教育建模的生產(chǎn)系統(tǒng),從而為我國教育領(lǐng)域人工智能技術(shù)的深層次應(yīng)用提供支持和借鑒。

關(guān)鍵詞:人工智能;人機協(xié)同;教育建模;教育模型;DMTS

中圖分類號:G434? ?文獻標(biāo)識碼:A? ? 文章編號:1009-5195(2021)04-0043-08? doi10.3969/j.issn.1009-5195.2021.04.005

基金項目:科技創(chuàng)新2030“新一代人工智能”重大項目“混合增強在線教育關(guān)鍵技術(shù)與系統(tǒng)研究”(2020AAA0108804);北京師范大學(xué)2020—2021學(xué)年博一學(xué)科交叉基金項目“多模態(tài)數(shù)據(jù)支持的在線學(xué)習(xí)情感投入建模與應(yīng)用研究”(BNUXKJC2004)。

作者簡介:鄭勤華,博士,教授,博士生導(dǎo)師,北京師范大學(xué)遠程教育研究中心(北京 100875);郭利明,博士研究生,北京師范大學(xué)遠程教育研究中心(北京 100875)。

一、引言

隨著我國經(jīng)濟和社會的持續(xù)快速發(fā)展,教育的變革與創(chuàng)新成為國家下一階段發(fā)展的重中之重。《中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標(biāo)綱要》把發(fā)展高質(zhì)量教育納入規(guī)劃當(dāng)中,提出要建設(shè)高質(zhì)量教育體系(新華社,2021)。實際上,近年來一系列的政策文件都對高質(zhì)量教育體系建設(shè)的多個維度進行了重要闡述,比如《深化新時代教育評價改革總體方案》提出“改進結(jié)果評價,強化過程評價,探索增值評價,健全綜合評價,充分利用信息技術(shù),提高教育評價的科學(xué)性、專業(yè)性、客觀性”,同時改革黨委和政府、學(xué)校、教師、學(xué)生以及用人的評價(新華社,2020);《義務(wù)教育質(zhì)量評價指南》提出義務(wù)教育質(zhì)量評價包括縣域、學(xué)校、學(xué)生三個層面,即縣域義務(wù)教育質(zhì)量評價、學(xué)校辦學(xué)質(zhì)量評價以及學(xué)生發(fā)展質(zhì)量評價,三者緊緊圍繞貫徹黨的教育方針,以促進學(xué)生全面發(fā)展為目標(biāo),各有側(cè)重、相互銜接、內(nèi)在統(tǒng)一,構(gòu)成完整的義務(wù)教育質(zhì)量評價體系(教育部,2021)。顯然,從國家頒布的重大政策文件中可以看出教育改革發(fā)展的方向,即當(dāng)前我國教育改革的基本主線是促進公平和提高質(zhì)量,未來教育改革的重心是建設(shè)高質(zhì)量的教育體系(薛二勇等,2021)。而信息技術(shù)助力乃至部分引領(lǐng)該體系的建立,成為教育信息化領(lǐng)域的重大使命。2020年12月7日,國際人工智能與教育大會上,教育部部長陳寶生提出在應(yīng)用新技術(shù)上著力,推動教育教學(xué)方法創(chuàng)新,探索運用新技術(shù)開展多元化、過程化評價(教育部,2020)。

建設(shè)高質(zhì)量教育體系需要從質(zhì)量觀、質(zhì)量標(biāo)準、質(zhì)量要素與質(zhì)量指標(biāo)等方面對教育教學(xué)的主體、過程以及結(jié)果要素進行清晰而準確的定位,并且這種定位要具有政策的指導(dǎo)性、理論的科學(xué)性、實踐的可行性,方能真正支持高質(zhì)量教育體系的構(gòu)建。這是一項系統(tǒng)化的工程,需要研究者與實踐者緊貼國家政策導(dǎo)向,選擇適切教育理論,進而開展技術(shù)工程實踐,最后輸出教育服務(wù),推動實現(xiàn)政策、理論、工程以及服務(wù)的一體化發(fā)展。這當(dāng)中教育模型起著“中間橋梁”的重要作用,它將政策、理論與技術(shù)研發(fā)、實踐服務(wù)進行銜接,使得概念、理論等能夠在信息技術(shù)的支撐下轉(zhuǎn)化成具體的可操作實踐。

然而,雖然技術(shù)發(fā)展迅速,但由于目前人工智能的智能性還尚未達到理想的程度,再加上有些教育要素難以量化,甚至有些教育目標(biāo)根本沒有明確的評價規(guī)則(鄭勤華等,2019)(如創(chuàng)新思維能力包含哪些維度?這些維度如何確定?各維度中包含哪些要素?),導(dǎo)致目前純粹從數(shù)據(jù)科學(xué)和計算機科學(xué)的角度開展模型構(gòu)建還存在一定困難。人工智能技術(shù)的教育應(yīng)用,始于對學(xué)習(xí)者發(fā)展規(guī)律的認識,需要教育學(xué)、心理學(xué)、腦科學(xué)、系統(tǒng)科學(xué)等多學(xué)科協(xié)同探索,構(gòu)建出清晰的評量、匹配、干預(yù)規(guī)則,進而整合領(lǐng)域知識與機器學(xué)習(xí)構(gòu)建模型體系。因此,人機協(xié)同是教育模型構(gòu)建的必由之路?;诖耍狙芯苛⒆阌谥悄軙r代背景,深度探討人機如何協(xié)同以構(gòu)建教育模型、人機協(xié)同構(gòu)建的教育模型如何在實踐中應(yīng)用以及解決什么樣的教育問題,期望能夠為推動人工智能的深層次教育應(yīng)用、促進我國人工智能教育的發(fā)展提供參考。

二、教育建模的內(nèi)涵與外延

建模,即建立模型。智能時代背景下,教育領(lǐng)域所談及的模型更多是指諸如數(shù)學(xué)模型、結(jié)構(gòu)模型等在內(nèi)的虛擬模型類型,是電子數(shù)據(jù)通過數(shù)字表現(xiàn)形式構(gòu)成的形體及其他實效性表現(xiàn)(王薇等,2021)。從這個層面上講,教育建模不是指將紛繁復(fù)雜的教育過程簡化為一種教育模式,因為這種教育模式既無實踐的解釋力也無實踐的指導(dǎo)力,不具有解釋力和指導(dǎo)力的建模是失敗的建模(楊開城等,2020)。本研究認為,教育建模是從教育學(xué)、心理學(xué)、學(xué)習(xí)科學(xué)的理論和規(guī)律出發(fā),基于教育教學(xué)過程中產(chǎn)生的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),利用各類算法綜合解讀教育要素主體的模式化和數(shù)據(jù)化的過程,是從教育場景出發(fā)的理論建模與數(shù)據(jù)建模相結(jié)合的建構(gòu)過程。

理論模型是將教育問題的相關(guān)主體要素(如學(xué)生的學(xué)習(xí)動機、學(xué)習(xí)風(fēng)格、學(xué)習(xí)投入、學(xué)習(xí)態(tài)度等,教師的教學(xué)投入、教學(xué)成效、教學(xué)策略,以及學(xué)校的教育資源、教育水平等教育教學(xué)相關(guān)變量)進行提煉,形成多維結(jié)構(gòu)化的體系。理論模型構(gòu)建一般依賴于理論演繹法和專家訪談法,自上而下挖掘不同維度的信息。基本的建構(gòu)流程為:首先需要確定模型類型(如是層次分析模型還是規(guī)律探索模型等),然后通過理論演繹等方式確定模型下的不同維度,最后需要通過專家評估等方式為每個維度選擇合適的指標(biāo),確保每一個維度之下的不同指標(biāo)具有代表性和可操作性。因此,一個理論模型在結(jié)構(gòu)上會包含多個維度,每個維度下會包含多個指標(biāo)。比如本研究團隊在開發(fā)學(xué)生綜合評價參考模型(Student-Systematically Evaluation Reference Indicator,S-SERI)時便是從理論模型入手,通過理論演繹和專家訪談得到了包含投入度、完成度、主動性、調(diào)控度以及聯(lián)通度等5個維度若干指標(biāo)的理論模型(鄭勤華等,2016a)。

數(shù)據(jù)模型是對理論模型進行操作化處理,為理論模型的指標(biāo)找到可測量、可計算的數(shù)據(jù)指標(biāo),提煉出相應(yīng)的數(shù)學(xué)結(jié)構(gòu),進而為應(yīng)用模型進行量化評估提供參考和依據(jù)。數(shù)據(jù)模型構(gòu)建與理論模型構(gòu)建的出發(fā)點往往相反,一般自下而上,從數(shù)據(jù)出發(fā),結(jié)合傳統(tǒng)量化研究的系列方法,以及人工智能領(lǐng)域的機器學(xué)習(xí)和深度學(xué)習(xí)算法,以求獲得一個解釋相應(yīng)教育要素的數(shù)學(xué)方程,比如利用貝葉斯算法對知識點掌握情況的探究(李景奇等,2018),利用認知網(wǎng)絡(luò)分析對交互水平的分析(馬志強等,2020),基于神經(jīng)網(wǎng)絡(luò)分析學(xué)生的情緒水平(Zhang et al.,2017;陳子健等,2019),利用序列分析對學(xué)生學(xué)習(xí)路徑的探討(Wu et al.,2015;胡丹妮等,2019),等等。

建模是從內(nèi)部邏輯分析教育問題的最好方式。教育建模是對教育問題的真切表達,而且表達的是一種真相性事實,這種真相性事實必然與現(xiàn)實有著某種聯(lián)系。因此,從根源上講,教育模型是能夠操作且能夠用于計算的。然而教育建模具有典型的復(fù)雜系統(tǒng)特征,既有的教育理論和教育規(guī)律,往往從社會科學(xué)的角度建立概念框架對人的發(fā)展進行解讀,據(jù)此構(gòu)建的理論模型在信息化實踐應(yīng)用中難以落地;既有的數(shù)據(jù)模型,往往又缺失了系統(tǒng)性的教育理論支持。因此,教育建模不僅要關(guān)注理念化的流程與策略化的描述,同時更要關(guān)注可測量、可計算的數(shù)據(jù)指標(biāo),只有二者的結(jié)合才算是一個成功的建模。

在智能時代復(fù)雜多變的教育情境下,成功的教育建模離不開人機協(xié)同,畢竟個體無法通曉機器算法與掌握機器算力,機器也無法完全理解與明白領(lǐng)域知識。這正是教育建模概念在當(dāng)下的外延所在。比如要對教師在線教學(xué)質(zhì)量成效進行評價,就需要人機協(xié)同構(gòu)建一個評價模型。首先,依據(jù)教育專家的知識和經(jīng)驗,構(gòu)建教學(xué)的投入、促進、調(diào)控以及認可等一級維度(粗粒度指標(biāo)),并初步構(gòu)建能反映一級維度的二級行為指標(biāo)(如投入度是從活躍性、持續(xù)性等方面對教師的在線教學(xué)投入程度進行評價)。然后,基于多源在線教學(xué)數(shù)據(jù),教育專家對所獲得的數(shù)據(jù)指標(biāo)進行人工標(biāo)注,形成教師評價經(jīng)驗數(shù)據(jù)池,機器采用主動學(xué)習(xí)方法對已標(biāo)注的數(shù)據(jù)指標(biāo)進行訓(xùn)練,得到新的數(shù)據(jù)指標(biāo)并補充到教育專家構(gòu)建的指標(biāo)體系中,實現(xiàn)粗粒度指標(biāo)向細粒度指標(biāo)的拓展和細化;在此基礎(chǔ)之上,機器采用神經(jīng)網(wǎng)絡(luò)算法初步建立細粒度指標(biāo)與粗粒度高階指標(biāo)的映射關(guān)系,并對映射關(guān)系質(zhì)量的判斷設(shè)置置信度,保留高置信度的映射關(guān)系,由教育專家對低置信度的映射關(guān)系進行判斷,決定是否保留該映射關(guān)系。最后,采用強化學(xué)習(xí)方法實現(xiàn)對細粒度指標(biāo)的篩選與聚合,以此形成可解釋、可操作的教師在線教學(xué)質(zhì)量成效評價模型。

三、人機協(xié)同的教育建模流程

人機協(xié)同系統(tǒng)正在全面滲入人類的工作與生活,社會正快速地人機協(xié)同化(蔡連玉等,2021),教育領(lǐng)域也不例外。人工智能的邏輯性與教育利益相關(guān)者的靈活性相結(jié)合,共同實現(xiàn)為教育增知增智(祝智庭等,2021)。隨著教育的不斷發(fā)展,教育問題呈現(xiàn)多樣化趨勢,教育建模實質(zhì)就是將多樣化的教育問題依據(jù)實際教育場景轉(zhuǎn)化為數(shù)據(jù)化的結(jié)構(gòu)模型,從而能更有針對性地提供解決方案。因此,本研究認為,教育建模需要以真實的教育問題為切入點,通過借助專家智慧和機器智能,將不同類型的教育問題梳理成特定的描述、診斷、預(yù)測、干預(yù)的教育建模目標(biāo),進而開展人機協(xié)同的教育建模,具體建模流程如圖1所示。人腦圖標(biāo)的環(huán)節(jié)是以人類智慧為核心的建模要素,機器圖標(biāo)的環(huán)節(jié)是以機器智能為重點的建模要素??梢钥闯?,整個建模流程是人機協(xié)同完成對教育要素的理論和數(shù)據(jù)建模。所有建模的出發(fā)點都是圍繞教育實際應(yīng)用的場景。在真實的教育應(yīng)用場景中,建模問題一般可以梳理為兩類:一類是已經(jīng)在教育學(xué)、心理學(xué)或者學(xué)習(xí)科學(xué)等領(lǐng)域有了比較明確的理論體系,并且在已有研究成果中形成了標(biāo)準的測量目標(biāo),比如學(xué)習(xí)風(fēng)格、學(xué)習(xí)路徑、知識掌握水平等;另一類是尚未形成有扎實理論體系和公信力的測量目標(biāo),但又是新的發(fā)展時期教育特別關(guān)注且對未來發(fā)展十分重要的新型目標(biāo),比如核心素養(yǎng)體系、能力體系等。兩類目標(biāo)的建模方式有著明顯的不同。

1.易測量目標(biāo)的教育建模

有著清晰、明確、可量化標(biāo)準的教育目標(biāo)更容易建立機器規(guī)則,其所對應(yīng)的教育教學(xué)環(huán)節(jié)是目前人工智能在教育應(yīng)用中的主要場景,其中典型的代表是以發(fā)展學(xué)生知識習(xí)得水平的教育目標(biāo)。基于該目標(biāo),有研究通過采集學(xué)習(xí)者學(xué)習(xí)行為海量過程數(shù)據(jù),設(shè)計開發(fā)學(xué)習(xí)者學(xué)業(yè)預(yù)警系統(tǒng)(Arnold et al.,2012);也有研究通過采集學(xué)習(xí)者答題數(shù)據(jù),并基于領(lǐng)域?qū)<覙?biāo)注的學(xué)科知識圖譜,判斷其知識掌握程度,以此形成個性化的習(xí)題推薦系統(tǒng)等(Piech et al.,2015)。這類教育目標(biāo)已經(jīng)在教育教學(xué)領(lǐng)域建立了以分數(shù)、正確率、百分比等標(biāo)準化測試成績?yōu)榱炕瘶?biāo)準的評價。

首先,在領(lǐng)域知識范疇,已經(jīng)建立了對特定目標(biāo)的多維度理論模型,教育專家首先要做的就是選取可測量目標(biāo)各維度的數(shù)據(jù)指標(biāo)集合,測量該目標(biāo)的不同維度。這里的數(shù)據(jù)指標(biāo)集合是在教育教學(xué)流程中生成的各類結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)經(jīng)過基本的測算后形成的指標(biāo)池,比如將學(xué)生登錄平臺的數(shù)據(jù)換算成日均登錄時長等原子指標(biāo),在此基礎(chǔ)上,形成抽象為特定教育要素的基本數(shù)據(jù)指標(biāo)體系(如將日均登錄時長、視頻訪問次數(shù)、作業(yè)次數(shù)等聚合成學(xué)生日常學(xué)習(xí)投入指標(biāo)等)。如果教育專家在具體建模時認為某個特定目標(biāo)維度是學(xué)生的日常學(xué)習(xí)投入,則可以直接將該指標(biāo)引入下一步建模。

其次,在特定維度計算已經(jīng)明晰的前提下,依據(jù)具體的教育應(yīng)用場景,教育專家可以調(diào)節(jié)該目標(biāo)不同維度的指標(biāo)權(quán)重。易測量教育目標(biāo)維度指標(biāo)權(quán)重設(shè)定的常用方法包括專家人工賦權(quán)的層次分析法與算法賦權(quán)的熵權(quán)法等。教育專家可以根據(jù)實際需要和數(shù)據(jù)體系的支撐能力,靈活調(diào)節(jié)權(quán)重,形成初步的計算模型。

最后,基于目標(biāo)的海量測量數(shù)據(jù)和指標(biāo)權(quán)重的確定,機器發(fā)揮算力、算法等作用對該可測量目標(biāo)不斷進行訓(xùn)練與建模,并通過建模之初預(yù)留的測試集數(shù)據(jù),對該模型進行數(shù)據(jù)科學(xué)驗證。若數(shù)據(jù)科學(xué)驗證通過,則最終嵌入日常的教育應(yīng)用中。教育專家通過在真實的教育情境中應(yīng)用該模型以驗證其可用性,進而針對教育問題提供相應(yīng)的教育教學(xué)服務(wù)。若數(shù)據(jù)科學(xué)驗證不通過,則返回參數(shù)調(diào)節(jié),教育專家根據(jù)真實的教育情境調(diào)節(jié)目標(biāo)不同維度的指標(biāo)權(quán)重,機器再進行訓(xùn)練與建模,直至通過機器的數(shù)據(jù)科學(xué)驗證為止。

2.難測度目標(biāo)的教育建模

在教育實際應(yīng)用場景中,還有一類建模目標(biāo)目前沒有清晰的可量化規(guī)則,例如元認知能力、自我管理能力、學(xué)習(xí)能力、創(chuàng)新能力等。這類目標(biāo)以往需要通過開發(fā)問卷測試工具或者主觀觀測等方式進行測量,但這些問卷和觀測指標(biāo)還無法量化成機器所能理解的規(guī)則。因此,對于這類教育目標(biāo),如果要實現(xiàn)人工智能的自動化教育應(yīng)用,就需要對原始要素體系中的測量指標(biāo)進行量化操作。

首先,教育專家采用理論演繹、專家訪談等方法對難測度目標(biāo)進行領(lǐng)域知識理論模型構(gòu)建,包括該類目標(biāo)的多級維度劃分、可測量指標(biāo)的數(shù)據(jù)等。這一階段,由于教育目標(biāo)難測度,獲取指標(biāo)因變量的值較為困難,因此往往采用無監(jiān)督機器學(xué)習(xí)方法,對數(shù)據(jù)指標(biāo)進行分析。要完成這種分析,需要先將專家知識通過某種方式傳授給機器,再由機器完成教育專家所不能夠完成的整合分析(鄭勤華等,2016a)。比如分析學(xué)習(xí)者的活躍度這一指標(biāo)可以找到在線時長、登錄次數(shù)等特征數(shù)據(jù)進行表征。為充分發(fā)揮人機協(xié)同作用,可以先由教育專家為不同活躍水平的學(xué)習(xí)者打上標(biāo)簽,再由機器對各類活躍水平的學(xué)習(xí)者進行聚類等分析。

其次,經(jīng)歷過理論建模之后,通過教育特征提取和數(shù)據(jù)指標(biāo)特征提取兩種方式,教育專家可以再構(gòu)建新知識算法模型。其中,教育特征提取是教育專家依據(jù)教育領(lǐng)域知識來人工選取能夠反映該類目標(biāo)不同維度的特征變量,指標(biāo)特征提取是機器采用有監(jiān)督機器學(xué)習(xí)對該類目標(biāo)不同維度之下的相應(yīng)數(shù)據(jù)指標(biāo)特征進行提取。需要說明的是,進行特征變量選取的原因是不相關(guān)的變量會對模型訓(xùn)練產(chǎn)生干擾,而且有可能會使得訓(xùn)練出來的模型過擬合。另外在數(shù)據(jù)量越來越多的情況下,過多的變量會降低模型的訓(xùn)練和計算效率。

最后,基于測試數(shù)據(jù),機器驗證新知識算法模型。若通過驗證,則嵌入日常教育應(yīng)用進行可用性驗證;若不通過驗證,則教育專家依據(jù)具體的教育情境調(diào)節(jié)目標(biāo)不同維度的指標(biāo)權(quán)重,機器再進行訓(xùn)練與建模,直至通過機器的數(shù)據(jù)科學(xué)驗證為止。

總體來看,圍繞教育問題,梳理教育建模目標(biāo),進而開展人機協(xié)同的教育建模,有以下三點值得注意:

第一,關(guān)于可測量教育目標(biāo)指標(biāo)集合的選取。這里涉及指標(biāo)計算的方式,具體步驟為:(1)基于獲取的教育大數(shù)據(jù)(包含教、學(xué)、管、評、測等線上線下的數(shù)據(jù)),教育專家對反映該測量目標(biāo)的數(shù)據(jù)進行人工標(biāo)注,形成人工標(biāo)注的數(shù)據(jù)集;(2)采用有監(jiān)督的機器學(xué)習(xí)方法(比如人工神經(jīng)網(wǎng)絡(luò))來獲得指標(biāo)因變量的值;(3)基于有監(jiān)督的機器學(xué)習(xí)進行聚類等分析后,教育專家梳理匯聚成原子指標(biāo)池,用于存放最初始的數(shù)據(jù)指標(biāo);(4)結(jié)合可測量目標(biāo)的不同維度需要,從原子指標(biāo)池中調(diào)用數(shù)據(jù)指標(biāo),并對指標(biāo)進行計算(如對兩個單一指標(biāo)進行計算轉(zhuǎn)化形成復(fù)合指標(biāo)),進而形成數(shù)據(jù)指標(biāo)集合。

第二,關(guān)于難測度教育目標(biāo)指標(biāo)特征提取。先由領(lǐng)域?qū)<疫x擇該難測度目標(biāo)的人工標(biāo)注數(shù)據(jù)集,再經(jīng)有監(jiān)督的機器學(xué)習(xí)進行分析,進而梳理生成原子指標(biāo)池,再根據(jù)需要對指標(biāo)進行計算,最后為機器的指標(biāo)特征提取服務(wù)。

第三,關(guān)于新知識算法模型生成。在訓(xùn)練與建模階段,當(dāng)數(shù)據(jù)結(jié)構(gòu)較為復(fù)雜的時候,機器采用深度學(xué)習(xí)算法來自動識別特征變量,從大規(guī)模未標(biāo)注的數(shù)據(jù)集中學(xué)習(xí)數(shù)據(jù)本質(zhì)特征(鄭勤華等,2016b),教育專家進而可以構(gòu)建新知識算法模型。這一階段,經(jīng)過深度學(xué)習(xí),數(shù)據(jù)從無序變成有序,從無標(biāo)注變成有標(biāo)注,最終也能服務(wù)于數(shù)據(jù)指標(biāo)計算,為教育建模目標(biāo)的指標(biāo)集選取和指標(biāo)特征提取奠定基礎(chǔ)。另外,新知識算法生成模型也需要經(jīng)數(shù)據(jù)科學(xué)驗證方可嵌入日常的教育應(yīng)用中,否則就要重新依據(jù)具體的教育情境調(diào)整目標(biāo)不同維度的指標(biāo)權(quán)重,進而進行模型訓(xùn)練與建模。

整體而言,人機協(xié)同的教育建模是一個敏捷化的教育建模流程,大致可以分為梳理建模目標(biāo)、確定教育目標(biāo)類型、選取指標(biāo)或特征提取、調(diào)節(jié)參數(shù)、訓(xùn)練與建模、數(shù)據(jù)科學(xué)驗證、真實教育場景可用性驗證7個階段。敏捷教育建模是充分整合領(lǐng)域?qū)<抑腔叟c機器智能優(yōu)勢以構(gòu)建教育模型的過程,重點在于將教育建模所需要的多方主體力量進行歸一化統(tǒng)整,形成合力,突破傳統(tǒng)教育建模主體力量單一化(如數(shù)據(jù)工程師、算法工程師)的局限,解決傳統(tǒng)教育建模成本高、難度大、模型解釋力度不足等現(xiàn)實問題。相對于傳統(tǒng)依托單一化主體力量對教育進行建模的方式,敏捷教育建模應(yīng)對真實教育場景的解釋性較強,并且具有成本低、難度較低、易操作且可操作等典型特征。

然而,以敏捷教育建模理念為指導(dǎo)進而輸出教育模型服務(wù)的過程中還需解決一個關(guān)鍵問題,即通過什么樣的載體來連接在敏捷教育建模過程中發(fā)揮作用的教育專家與技術(shù)專家。為了讓二者優(yōu)勢互補、相互促進、形成整體,需要有一個“中間件”來連接二者,并沉淀二者的領(lǐng)域知識,讓不懂技術(shù)或不懂教育的人依托這個“中間件”都能夠構(gòu)建基于真實教育場景的可解釋性模型。

四、敏捷教育建模實踐應(yīng)用

教育是一個非常復(fù)雜的系統(tǒng),完全依靠機器解決教育實踐問題目前還只是理想狀態(tài)。但是,依托機器的數(shù)據(jù)、算力和算法來延伸人們的認知、提升人們的能力、增強人們的智慧已經(jīng)成為了一種共識,這能幫助人們在教育場景更好地理解教育本身,進而更好地為教育問題提供解決方案。通過借鑒此種思路,并完全融合上述人機協(xié)同的教育建模流程,本研究團隊設(shè)計研發(fā)了人機增強智能支持下的敏捷教育建模平臺,并針對真實的小范圍教育場景開展了實踐。

1.敏捷教育建模平臺——DMTS

為了解決教育目標(biāo)可測量、難測度兩類教育場景的教育建模問題,我們充分結(jié)合領(lǐng)域?qū)<抑R、經(jīng)驗、理論和機器的數(shù)據(jù)、算法、算力優(yōu)勢,研發(fā)了人機增強智能支持下的敏捷教育建模平臺——DMTS。其中D代表數(shù)據(jù)(Data),表示匯聚多源、多維、多類教育大數(shù)據(jù);M代表模型(Model),表示支持人機增強智能的半自動化快速建模;T代表任務(wù)(Task),表示教育問題場景導(dǎo)向的任務(wù)式建模流程;S代表服務(wù)(Service),表示為教育相關(guān)利益者提供全方位、系統(tǒng)化服務(wù)。DMTS平臺通過建立協(xié)同機制,充分發(fā)揮領(lǐng)域?qū)<遗c機器的最大合力作用,在建模的不同階段引入不同領(lǐng)域?qū)<遥沟媒逃龑<遗c技術(shù)專家之間的知識能夠連接,實現(xiàn)敏捷化教育建模。

DMTS平臺支持以模型構(gòu)建為核心業(yè)務(wù)的適應(yīng)性學(xué)習(xí)、科學(xué)決策、精準管理、區(qū)域教育治理,全方位、系統(tǒng)化地依據(jù)真實教育問題有效構(gòu)建教育模型,為教育大數(shù)據(jù)應(yīng)用提供支撐。并且,作為一種敏捷教育建模平臺,DMTS在教育大數(shù)據(jù)生態(tài)體系中處于中間層的位置,下層連接大數(shù)據(jù)平臺,上層連接教育大數(shù)據(jù)應(yīng)用系統(tǒng),輸送專業(yè)化的教育服務(wù)。具體而言,DMTS依托底層大數(shù)據(jù)平臺的數(shù)據(jù)進行模型構(gòu)建,通過人機協(xié)同的教育建模流程構(gòu)建出更理解教育場景的專業(yè)化教育模型,進而生成評價報告,為微觀個體發(fā)展層面、中觀學(xué)校教育管理層面以及宏觀區(qū)域教育治理層面面向教育問題提供專業(yè)化的解決方案,從而滿足差異化的教育需求(王懷波等,2020)。

需要強調(diào)的是,基于DMTS平臺,不懂技術(shù)的領(lǐng)域?qū)<乙材軌驑?gòu)建出比較專業(yè)化的教育模型,因為數(shù)據(jù)的采集與處理等工作已經(jīng)由底層大數(shù)據(jù)平臺完成。比如一位課程與教學(xué)論的專家經(jīng)過多年在教學(xué)一線的實踐,已經(jīng)形成了一整套成熟的理論、規(guī)律以及方法,但是由于不懂?dāng)?shù)據(jù)科學(xué)等領(lǐng)域的知識使得這些理論、規(guī)律以及方法難以轉(zhuǎn)化成可量化的數(shù)據(jù),進而更為科學(xué)、精準、高效地服務(wù)學(xué)習(xí)者。借助DMTS平臺,課程與教學(xué)論專家只需選擇預(yù)先經(jīng)過科學(xué)設(shè)計的理論模型,導(dǎo)入能夠測量指標(biāo)的數(shù)據(jù),生成算法模型,經(jīng)過數(shù)據(jù)科學(xué)驗證之后就能夠形成具有可操作性的課程評估模型。

2.實踐案例

基于國內(nèi)第一門聯(lián)通主義慕課課程“互聯(lián)網(wǎng)+教育:理論與實踐的對話”,本研究依托DMTS平臺對知識主題、學(xué)習(xí)狀態(tài)分別進行了建模分析,為課程的優(yōu)化與改善提供了較為科學(xué)的依據(jù)。

(1)利用非結(jié)構(gòu)化數(shù)據(jù)形成對知識主題的建模

聯(lián)通主義慕課課程與傳統(tǒng)的慕課課程有所不同,它是以群體智能的生存和演化為導(dǎo)向,沒有一個完全特定的教學(xué)目標(biāo)與教學(xué)評價方案,更多強調(diào)的是群體在這種社區(qū)中的交互,以及在交互的基礎(chǔ)之上群體形成的新知識和知識的演化。因此,知識如何形成以及演化就變得非常關(guān)鍵?;谶@樣一個場景,本研究在課程第四期中作了主題知識的建模分析,即如何發(fā)現(xiàn)課程中學(xué)習(xí)者通過交流討論形成的知識主題。研究通過采集課程第四期中的所有文本數(shù)據(jù),整合聯(lián)通主義專家領(lǐng)域知識和主題挖掘算法,以人機交互增強的方式訓(xùn)練算法,快速構(gòu)建主題分析模型,并通過不斷迭代發(fā)現(xiàn)知識主題,具體的人機分工如圖2所示。

具體建模流程如下:第一,將“如何發(fā)現(xiàn)課程中學(xué)習(xí)者通過交流討論形成的知識主題?”這一教育問題梳理成建模目標(biāo)——知識主題聚類。第二,選擇課程第四期的所有文本數(shù)據(jù)導(dǎo)入到建模平臺中,建模平臺的底層大數(shù)據(jù)平臺采用無監(jiān)督的機器學(xué)習(xí)對所有的文本數(shù)據(jù)進行清洗,形成原始數(shù)據(jù)集。第三,根據(jù)課程中不同主題知識情境選擇專家詞庫和停用詞庫,并導(dǎo)入建模平臺中,便于機器進行切詞分析。第四,機器經(jīng)過一輪切詞分析生成新知識,研究者根據(jù)知識內(nèi)容修正專家詞庫和停用詞庫,并導(dǎo)入建模平臺進行新一輪切詞分析(本質(zhì)上是調(diào)參的過程)。第五,依據(jù)聯(lián)通主義的教育情境,選擇需要聚類的主題類型,再由建模平臺發(fā)揮其在數(shù)據(jù)和算法方面的優(yōu)勢來進行知識主題學(xué)習(xí)與訓(xùn)練,最后生成知識主題模型。通過上述步驟,基于知識主題的建模完成,研究者就可以發(fā)現(xiàn)平臺上的學(xué)習(xí)者都在討論哪些問題與內(nèi)容,以及討論的問題中包含哪些知識、新生成了什么知識等。

(2)利用綜合指標(biāo)形成對特定學(xué)習(xí)狀態(tài)的建模

開放的在線學(xué)習(xí)空間中,如何實現(xiàn)對學(xué)習(xí)者的有效診斷、監(jiān)測與評價,進而做出干預(yù),這是“互聯(lián)網(wǎng)+教育:理論與實踐的對話”這門聯(lián)通主義慕課課程改進過程中不斷思考的問題。學(xué)習(xí)者的過程性評價通過分析建模達成,這是精準化學(xué)習(xí)評價過程中至關(guān)重要的一步(黃濤等,2021)?;诖?,本研究在課程第五期中對在線學(xué)習(xí)者的學(xué)習(xí)狀態(tài)進行了建模分析。研究通過采集該期課程平臺上所有學(xué)習(xí)者的學(xué)習(xí)行為數(shù)據(jù),依托DMTS平臺,構(gòu)建學(xué)習(xí)者類型評價模型,如圖3(左圖)所示。在不同的維度當(dāng)中,研究通過統(tǒng)一處理學(xué)習(xí)者的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù),并結(jié)合領(lǐng)域知識,生成一個每日更新的可視化簡單報告,這樣就可以看出學(xué)習(xí)者的類型,最終為其推薦相應(yīng)的資源等服務(wù)。

圖3 基于DMTS的學(xué)習(xí)者類型診斷與監(jiān)測

具體建模流程如下:第一,將教育問題梳理成建模目標(biāo),即將“如何對在線學(xué)習(xí)環(huán)境下學(xué)習(xí)者的學(xué)習(xí)過程進行監(jiān)測與診斷?”這一教育問題梳理成“學(xué)習(xí)者類型診斷與監(jiān)測”這一建模目標(biāo)。第二,通過查詢相關(guān)文獻資料,并咨詢領(lǐng)域?qū)<遥瑥睦碚搶用鏄?gòu)建了囊括分享型、創(chuàng)新型、反思型以及互動型在內(nèi)的學(xué)習(xí)者類型評價模型。在這一過程當(dāng)中,研究通過設(shè)定特定計算公式(每種學(xué)習(xí)者類型都有相應(yīng)的計算公式)讓機器能夠采用有監(jiān)督機器學(xué)習(xí)算法對課程平臺上已標(biāo)注的相關(guān)數(shù)據(jù)或者行為進行分析,進而形成數(shù)據(jù)指標(biāo)集合。第三,通過選取表征不同學(xué)習(xí)者類型維度的數(shù)據(jù)指標(biāo),基于設(shè)定的計算公式,形成初步的計算模型。最后,將模型導(dǎo)入研發(fā)的建模平臺進行教育應(yīng)用可行性驗證。建模平臺利用底層大數(shù)據(jù)平臺采集“互聯(lián)網(wǎng)+教育:理論與實踐的對話”第五期中學(xué)習(xí)者的所有學(xué)習(xí)行為數(shù)據(jù)(如發(fā)表的博客數(shù)、資源數(shù)、案例數(shù)、博客評論數(shù)、博客點贊數(shù)等),按照計算公式(如分享型=高質(zhì)量資源和案例×次數(shù)+高質(zhì)量評論×次數(shù)+高質(zhì)量回帖×次數(shù)①)對相應(yīng)的學(xué)習(xí)行為數(shù)據(jù)進行分析,進而得出相應(yīng)學(xué)習(xí)者類型的得分。如圖3(左圖)所示,通過平臺的建模分析,這位學(xué)習(xí)者在互動維度上得分最高,因此我們可以認為其屬于互動型聯(lián)通主義學(xué)習(xí)者。進一步地,結(jié)合學(xué)習(xí)者類型診斷,建模平臺基于設(shè)定的推薦機制還可以為這位學(xué)習(xí)者提供比較個性化的學(xué)習(xí)建議,如圖3(右圖)所示。

通過上述兩個案例的實踐表明,人工智能的賦能作用為人們理解真實且復(fù)雜教育場景中的問題提供了新的視角,一定程度上實現(xiàn)了人們認知的外包以及能力的提升,有助于學(xué)習(xí)者提供更好的教育服務(wù)。人機協(xié)同作為智能時代教育未來發(fā)展的必然途徑(孫眾等,2020),目前只有把領(lǐng)域知識和機器智能有機結(jié)合起來,才能夠真正地實現(xiàn)在不同場景下的因材施教,進而滿足學(xué)習(xí)者多樣且個性化的學(xué)習(xí)需求。這才是人工智能在教育應(yīng)用中的最大價值。

五、結(jié)語

由于教育的復(fù)雜性、動態(tài)性、全域性以及不確定性,單純通過人工智能等技術(shù)去解決與人的發(fā)展相關(guān)的教育建模問題,目前來看還有較大的困難,有必要在教育建模過程中更多地引入領(lǐng)域知識,實現(xiàn)人機協(xié)同。機器的數(shù)據(jù)、算法和算力將成為強大的創(chuàng)新驅(qū)動力,人類的行為、認知和能力將被增強(沈陽等,2020),使得越來越多真實且復(fù)雜教育場景下的教育問題都將能夠形成可解釋、可操作性的教育模型。這一過程中,教育建模離不開中間工具的作用以打破領(lǐng)域?qū)<液图夹g(shù)專家“兩張皮”現(xiàn)象的困境。領(lǐng)域?qū)<覍逃龁栴}有較好理解但在計算機科學(xué)和數(shù)據(jù)科學(xué)應(yīng)用上存在困難,而技術(shù)專家能在工具層面提供有力支持但對于教育問題的把握不足。這就需要為二者搭建對話和實操的工具橋梁。本研究正是在這種思路的指導(dǎo)下,立足智能時代背景,對人機協(xié)同教育建模流程進行了探討,提出用“中間件”來連接教育建模過程中的領(lǐng)域?qū)<液图夹g(shù)專家之間的知識。

隨著對實踐需求的回應(yīng),教育建模的重點不僅要關(guān)照教育理論和數(shù)據(jù)科學(xué)問題,同時也要更加重視實踐的迭代應(yīng)用。只有經(jīng)過“理論—技術(shù)—應(yīng)用—理論”的多輪迭代,持續(xù)優(yōu)化教育建模過程,才能為教育現(xiàn)實問題提供更好的教育模型服務(wù)。然而既有教育建模的準確性與有效性,我們常常用算法的準確率、召回率等技術(shù)指標(biāo)來表征。但在真實的教育場景中,尤其是在沒有明晰的監(jiān)督變量的情況下(如表征能力、素養(yǎng)等教育目標(biāo)的測量準確性時),這些技術(shù)指標(biāo)還遠遠不夠。因此,需要在“建?!獞?yīng)用”的不斷迭代過程中,優(yōu)化教育模型,增強其可解釋性,為實踐提供真正有價值的技術(shù)支持。

注釋:

① 高質(zhì)量資源和案例指資源或案例被cMOOC周報收錄,賦值10分;高質(zhì)量評論指評論字數(shù)≥20字且不是水評論,賦值5分;高質(zhì)量回帖指回帖字數(shù)≥20字且不是水帖,賦值5分。

參考文獻:

[1]蔡連玉,劉家玲,周躍良(2021).人機協(xié)同化與學(xué)生發(fā)展核心素養(yǎng)——基于社會智能三維模型的分析[J].開放教育研究,27(1):24-31.

[2]陳子健,朱曉亮(2019).基于面部表情的學(xué)習(xí)者情緒自動識別研究——適切性、現(xiàn)狀、現(xiàn)存問題和提升路徑[J].遠程教育雜志,37(4):64-72.

[3]胡丹妮,章夢瑤,鄭勤華(2019).基于滯后序列分析法的在線學(xué)習(xí)者活動路徑可視化分析[J].電化教育研究,40(5):55-63.

[4]黃濤,趙媛,耿晶等(2021).數(shù)據(jù)驅(qū)動的精準化學(xué)習(xí)評價機制與方法[J].現(xiàn)代遠程教育研究,33(1):3-12.

[5]教育部(2020).承擔(dān)教育使命 共同謀劃教育未來 陳寶生出席國際人工智能與教育會議[EB/OL].[2021-02-17].http://www.moe.gov.cn/jyb_xwfb/gzdt_gzdt/moe_1485/202012/t20201207_503933.html.

[6]教育部(2021).教育部等六部門關(guān)于印發(fā)《義務(wù)教育質(zhì)量評價指南》的通知[EB/OL].[2021-04-06].http://www.moe.gov.cn/srcsite/A06/s3321/202103/t20210317_520238.html.

[7]李景奇,卞藝杰,方征(2018).基于BKT模型的網(wǎng)絡(luò)教學(xué)跟蹤評價研究[J].現(xiàn)代遠程教育研究,(5):104-112.

[8]馬志強,管秀(2020).面向多維關(guān)聯(lián)的社會認知網(wǎng)絡(luò)分析——協(xié)作學(xué)習(xí)交互研究的新進展[J].遠程教育雜志,38(6):96-103.

[9]沈陽,田浩,黃云平(2020).智能增強時代推進新一輪學(xué)習(xí)革命——訪中國科學(xué)院院士吳朝暉教授[J].電化教育研究,41(8):5-10.

[10]孫眾,呂愷悅,駱力明等(2020).基于人工智能的課堂教學(xué)分析[J].中國電化教育,(10):15-23.

[11]王懷波,李冀紅,孫洪濤等(2020).基于模型的教育大數(shù)據(jù)應(yīng)用框架設(shè)計[J].現(xiàn)代教育技術(shù),30(6):5-12.

[12]王薇,張鑫(2021).學(xué)校評價結(jié)果解釋模型的建構(gòu)[J].中國考試,(1):89-94.

[13]新華網(wǎng)(2020).中共中央 國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》[EB/OL]. [2021-04-06].http://www.xinhuanet.com/2020-10/13/c_1126601551.htm.

[14]新華社(2021).中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標(biāo)綱要[EB/OL].[2021-04-06].http://www.xinhuanet.com/2021-03/13/c_1127205564.htm.

[15]薛二勇,李?。?021).新時代教育規(guī)劃的形勢、挑戰(zhàn)與任務(wù)[J].中國教育學(xué)刊,(3):19-24.

[16]楊開城,陳潔(2020).論教育作為一種工程性實踐[J].現(xiàn)代遠程教育研究,32(6):3-8,51.

[17]鄭勤華,陳耀華,孫洪濤等(2016a).基于學(xué)習(xí)分析的在線學(xué)習(xí)測評建模與應(yīng)用——學(xué)習(xí)者綜合評價參考模型研究[J].電化教育研究,37(9):33-40.

[18]鄭勤華,孫洪濤,陳耀華等(2016b).基于學(xué)習(xí)分析的在線學(xué)習(xí)測評建模與應(yīng)用——綜合建模方法研究[J].電化教育研究,37(12):40-45.

[19]鄭勤華,熊潞穎,胡丹妮(2019).任重道遠:人工智能教育應(yīng)用的困境與突破[J].開放教育研究,25(4):10-17.

[20]祝智庭,韓中美,黃昌勤(2021).教育人工智能(eAI):人本人工智能的新范式[J].電化教育研究,42(1):5-15.

[21]Arnold, K. E., & Pistilli, M. D. (2012). Course Signals at Purdue: Using Learning Analytics to Increase Student Success[C]// Proceedings of the 2nd International Conference on Learning Analytics and Knowledge:267-270.

[22]Piech, C., Spencer, J., & Huang, J. et al. (2015). Deep Knowledge Tracing[J]. Computer Science, 3(3):19-23.

[23]Wu, S. Y., & Hou, H. T. (2015). How Cognitive Styles Affect the Learning Behaviors of Online Problem-Solving Based Discussion Activity: A Lag Sequential Analysis[J]. Journal of Educational Computing Research, 52(2):277-298.

[24]Zhang, K., Huang, Y., & Du, Y. et al. (2017). Facial Expression Recognition Based on Deep Evolutional Spatial-Temporal Networks[J]. IEEE Transactions on Image Processing, 26(9):4193-4203.

收稿日期 2021-04-26責(zé)任編輯 汪燕

Agile Educational Modeling and Practical Application Supported by Human-Machine Collaboration

ZHENG Qinhua, GUO Liming

Abstract: The shift from theoretical models to operable data models is the key for intelligent technology to support the reform of teaching and learning. The measurability of multi-scenario and multi-dimensional education and teaching elements is the focus of solving the problem of educational modeling. And together with the current limitations of artificial intelligence technologies, it determines that human-machine collaboration is the inevitable way of educational modeling. Human-machine collaborative educational modeling is an agile educational modeling process, which is a process of fully integrating the domain experts wisdom and the advantages of machine intelligence to construct an educational model. Its key point is to normalize and integrate the multi-agent forces required for educational modeling to form a joint force. The process of human-machine collaborative educational modeling can be roughly divided into seven stages: sorting out modeling goals, determining the types of educational goals, selecting indicators or feature extraction, adjusting parameters, training and modeling, scientific validation of data, and usability validation of real educational scenarios. However, in the process of exporting educational model services under the guidance of agile educational modeling concepts, it is necessary to solve the “middleware” problem that connects domain experts and technical experts. Given this idea, the agile educational modeling platform DMTS supported by human-machine enhanced intelligence came into being. It aims to combine experts domain knowledge, experience, theory and data, algorithms and arithmetic advantages of machines to quickly build interpretable education models that truly understand educational scenarios, which provides scientific and operational modeling services for micro-individual learning, meso-school management and macro-regional education governance. The practice has shown that the educational modeling support technology system that combines domain experts and machine learning can build a production system of educational modeling for educators and technical workers, thereby providing support and reference for the in-depth application of artificial intelligence technologies in the educational field in our country.

Keywords: Artificial Intelligence; Human-Machine Collaboration; Educational Modeling; Educational Models; DMTS

猜你喜歡
人機協(xié)同人工智能
我校新增“人工智能”本科專業(yè)
2019:人工智能
商界(2019年12期)2019-01-03 06:59:05
人工智能與就業(yè)
智能制造人機協(xié)同制造系統(tǒng)安全問題及其應(yīng)對措施
機器人新聞寫作的應(yīng)用、前景及應(yīng)對
中國廣播(2018年11期)2018-01-22 11:37:50
人工智能環(huán)境下新聞報道的新趨勢
大觀(2017年10期)2017-12-19 09:20:21
從NLG到機器新聞寫作
今傳媒(2017年10期)2017-11-04 16:23:12
數(shù)讀人工智能
小康(2017年16期)2017-06-07 09:00:59
下一幕,人工智能!
下一幕,人工智能!
苍南县| 金沙县| 凤阳县| 美姑县| 通许县| 宁城县| 万全县| 三原县| 安仁县| 滦平县| 得荣县| 公主岭市| 宁夏| 福清市| 巴马| 玉屏| 柞水县| 中超| 英吉沙县| 罗定市| 鹿邑县| 百色市| 象州县| 青神县| 广昌县| 扎鲁特旗| 囊谦县| 德钦县| 枣阳市| 娱乐| 平远县| 抚顺市| 恩施市| 永登县| 集贤县| 沾化县| 祁门县| 从化市| 马龙县| 西充县| 宁都县|