馬志強(qiáng) 王文秋

面向協(xié)作知識(shí)建構(gòu)會(huì)話的智能觀點(diǎn)分類研究——基于深度神經(jīng)網(wǎng)絡(luò)與會(huì)話分析的融合方法

馬志強(qiáng) 王文秋

（江南大學(xué) 江蘇“互聯(lián)網(wǎng)+教育”研究基地，江蘇無錫 214100）

在面向知識(shí)建構(gòu)的會(huì)話智能分析研究中，如何改善原有互動(dòng)行為分析視角的局限，從會(huì)話觀點(diǎn)的角度精準(zhǔn)描述會(huì)話的語義特征以實(shí)現(xiàn)對(duì)會(huì)話進(jìn)行自動(dòng)分類，是研究者關(guān)注的核心問題?；诖耍恼氯诤仙疃壬窠?jīng)網(wǎng)絡(luò)與會(huì)話分析方法，構(gòu)建了包含相關(guān)度、縱深度、聚斂度三種會(huì)話分類特征的面向協(xié)作知識(shí)建構(gòu)會(huì)話的智能觀點(diǎn)分類框架，并設(shè)計(jì)包含六個(gè)環(huán)節(jié)的智能觀點(diǎn)分類流程，引入到自然語言處理領(lǐng)域的BERT、TextCNN、Fasttext模型，從精確率、召回率、F1值、準(zhǔn)確率四個(gè)指標(biāo)對(duì)三種模型的會(huì)話分類特征進(jìn)行比較，發(fā)現(xiàn)BERT模型在整體語義特征、單一會(huì)話類型的分類性能上均擁有更高的準(zhǔn)確率。文章探索數(shù)智融合的會(huì)話分析框架與分析路徑，證明了深度神經(jīng)網(wǎng)絡(luò)在協(xié)作知識(shí)建構(gòu)會(huì)話智能量化分析中的可行性，有助于改善智能會(huì)話分析的質(zhì)量與效率。

人工智能教育；學(xué)習(xí)分析；會(huì)話分析；知識(shí)建構(gòu)；觀點(diǎn)改進(jìn)

一 研究現(xiàn)狀

大數(shù)據(jù)、人工智能等新興信息技術(shù)的進(jìn)步，為教育評(píng)價(jià)帶來了新的發(fā)展契機(jī)，不斷推動(dòng)教育評(píng)價(jià)向科學(xué)化、精準(zhǔn)化、智能化的方向發(fā)展[1]。在復(fù)雜、真實(shí)的教育評(píng)價(jià)實(shí)踐中，師生、生生之間的交流會(huì)話是實(shí)現(xiàn)教與學(xué)互動(dòng)的關(guān)鍵手段，也是新興技術(shù)賦能教學(xué)評(píng)價(jià)的重要著力點(diǎn)[2][3]。這是因?yàn)闀?huì)話蘊(yùn)含著復(fù)雜、動(dòng)態(tài)的教學(xué)互動(dòng)信息，能夠體現(xiàn)個(gè)體或群體獨(dú)特的思想意識(shí)、價(jià)值與立場(chǎng)，技術(shù)賦能的會(huì)話分析能夠發(fā)展更具準(zhǔn)確性與解釋性的評(píng)測(cè)方法，來揭示會(huì)話隱含的教與學(xué)互動(dòng)規(guī)律，并為教學(xué)改進(jìn)提供充分依據(jù)[4]。

具體到協(xié)作知識(shí)建構(gòu)教學(xué)中，會(huì)話是群體內(nèi)部觀點(diǎn)共享與意義協(xié)商的中介，對(duì)于理解多主體間的耦合作用關(guān)系和知識(shí)制品的形成發(fā)展過程具有重要價(jià)值[5]。協(xié)作知識(shí)建構(gòu)會(huì)話分析是分析學(xué)習(xí)者協(xié)作知識(shí)建構(gòu)過程與狀態(tài)的重要方法，目前主要從會(huì)話過程、會(huì)話類別、會(huì)話質(zhì)量三個(gè)角度開展。其中，會(huì)話過程分析將會(huì)話理解為群體成員觀點(diǎn)共享、協(xié)商、升華等一系列認(rèn)知參與活動(dòng)，旨在分析其流程與關(guān)鍵環(huán)節(jié)[6]；會(huì)話類別分析關(guān)注協(xié)作知識(shí)建構(gòu)會(huì)話所達(dá)成的認(rèn)知與社會(huì)性互動(dòng)功能[7]；會(huì)話質(zhì)量分析從可讀性、相關(guān)度、聚斂度、縱深度和探究度等維度，評(píng)價(jià)會(huì)話對(duì)于觀點(diǎn)建構(gòu)與意義協(xié)商的促進(jìn)作用[8]。綜合上述研究成果，可知目前面向協(xié)作知識(shí)建構(gòu)的會(huì)話分析重于對(duì)會(huì)話特征進(jìn)行定性描述，而缺乏對(duì)會(huì)話量化特征的定義，導(dǎo)致編碼一致性較低，影響了分類算法的準(zhǔn)確性，難以應(yīng)用于大規(guī)模、伴隨式的會(huì)話分析場(chǎng)景之中。

鑒于此，有研究者提出了面向協(xié)作知識(shí)建構(gòu)會(huì)話智能化分析的基本路徑，其實(shí)現(xiàn)的關(guān)鍵路徑是從觀點(diǎn)分類的角度精準(zhǔn)描述會(huì)話的語義特征，揭示會(huì)話內(nèi)容中持續(xù)的觀點(diǎn)改進(jìn)進(jìn)程[9][10]。也有研究者認(rèn)為，目前智能技術(shù)支持的協(xié)作知識(shí)建構(gòu)會(huì)話分析實(shí)現(xiàn)的主要路徑是將會(huì)話表示為相應(yīng)交互行為的集合，將會(huì)話分析問題轉(zhuǎn)化為行為單元及其相互關(guān)系分析[11]。此外，有研究者采用會(huì)話內(nèi)容聚類、話題演化等方法，針對(duì)會(huì)話詞語層級(jí)的含義進(jìn)行分析，但詞語層級(jí)的分析脫離了具體會(huì)話情境，忽略了會(huì)話語句中語義的功能指向[12]；有研究者開始嘗試基于自然語言處理中的觀點(diǎn)分類方法，以觀點(diǎn)制品為分析對(duì)象，開展智能觀點(diǎn)分類研究[13]。自然語言處理的觀點(diǎn)分類方法旨在識(shí)別會(huì)話內(nèi)容中表達(dá)的觀點(diǎn)和立場(chǎng)，主要通過傳統(tǒng)機(jī)器學(xué)習(xí)模型與深度神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)文本分類[14]。而相較于傳統(tǒng)機(jī)器學(xué)習(xí)方法，深度神經(jīng)網(wǎng)絡(luò)基于對(duì)詞語在不同情境中指向不同對(duì)象而表達(dá)出特定含義的理解，注重相鄰詞語之間的關(guān)聯(lián)，在理解語義結(jié)構(gòu)方面具有更好的性能[15]。有少數(shù)研究者對(duì)此進(jìn)行了初步探索，如宋宇等[16]首先提出了面向知識(shí)建構(gòu)的課堂對(duì)話編碼體系，具體包含基礎(chǔ)知識(shí)、個(gè)體表達(dá)、分析、歸納、推理與遷移、回應(yīng)與拓展、認(rèn)同、質(zhì)疑、指導(dǎo)九大類，為會(huì)話類別賦予知識(shí)建構(gòu)的內(nèi)涵，并圍繞以上編碼體系，采用人工編碼和機(jī)器學(xué)習(xí)相結(jié)合的方法對(duì)真實(shí)課堂中的協(xié)作知識(shí)建構(gòu)會(huì)話文本進(jìn)行分類，應(yīng)用機(jī)器學(xué)習(xí)的方法創(chuàng)設(shè)了基于深度學(xué)習(xí)的行為類別自動(dòng)序列標(biāo)注模型CNN-BiLSTM，實(shí)現(xiàn)對(duì)話語文本的語義進(jìn)行理解和自動(dòng)識(shí)別，在會(huì)話類型識(shí)別方面取得了高于70%的準(zhǔn)確率。然而，此研究會(huì)話數(shù)據(jù)來源于網(wǎng)絡(luò)平臺(tái)匯集的、以教師為中心的中小學(xué)課堂，無法代表真實(shí)的知識(shí)建構(gòu)學(xué)習(xí)情境，此外，分類效果也需進(jìn)一步優(yōu)化。鑒于上述研究空缺，本研究融合深度神經(jīng)網(wǎng)絡(luò)與會(huì)話分析方法，圍繞協(xié)作知識(shí)建構(gòu)的觀點(diǎn)改進(jìn)過程，從相關(guān)度、縱深度、聚斂度三個(gè)會(huì)話語義特征，構(gòu)建面向協(xié)作知識(shí)建構(gòu)會(huì)話的智能觀點(diǎn)分類框架，并提煉智能觀點(diǎn)分類的基本路徑，以實(shí)現(xiàn)從會(huì)話語義特征層面對(duì)會(huì)話類型進(jìn)行精準(zhǔn)識(shí)別[17]。

二 面向協(xié)作知識(shí)建構(gòu)會(huì)話的智能觀點(diǎn)分類框架

協(xié)作知識(shí)建構(gòu)會(huì)話的核心功能是通過分享、協(xié)商觀點(diǎn)、達(dá)成共識(shí)等環(huán)節(jié)進(jìn)行觀點(diǎn)改進(jìn)，使知識(shí)建構(gòu)過程與知識(shí)制品得以完成。因此，觀點(diǎn)改進(jìn)是知識(shí)建構(gòu)會(huì)話的主要功能指向。同時(shí)，還存在支持觀點(diǎn)改進(jìn)過程的其他會(huì)話，包括協(xié)調(diào)任務(wù)的安排與進(jìn)度、技術(shù)問題的交流與解決。此外，還包括極少數(shù)與知識(shí)建構(gòu)任務(wù)無關(guān)聯(lián)的會(huì)話，可能會(huì)影響觀點(diǎn)改進(jìn)的進(jìn)度與效率。

基于此，本研究參考劉黃玲子等[18]提出的交互分析編碼框架進(jìn)行構(gòu)建，以蔣紀(jì)平等[19]提出的知識(shí)建構(gòu)觀點(diǎn)分析框架指導(dǎo)觀點(diǎn)改進(jìn)會(huì)話的分類，并以Zhu[20]的知識(shí)建構(gòu)交互分析框架中提出的信息檢索與討論性兩大類問題來支撐其中的共享型觀點(diǎn)分類，以Pena-Shaff等[21]的在線討論知識(shí)建構(gòu)過程評(píng)估框架中對(duì)沖突與支持的細(xì)致分類來支撐其中的協(xié)商型觀點(diǎn)分類。此外，本研究還綜合考慮了在線學(xué)習(xí)環(huán)境，為此提出技術(shù)型會(huì)話，最終從會(huì)話語義特征的角度對(duì)會(huì)話進(jìn)行分類描述，以觀點(diǎn)改進(jìn)為核心，凝練出相關(guān)度、縱深度、聚斂度三種會(huì)話分類特征，并構(gòu)建了面向協(xié)作知識(shí)建構(gòu)會(huì)話的智能觀點(diǎn)分類框架，如圖1所示。

圖1 面向協(xié)作知識(shí)建構(gòu)會(huì)話的智能觀點(diǎn)分類框架

本研究根據(jù)會(huì)話內(nèi)容與觀點(diǎn)改進(jìn)的相關(guān)度，對(duì)協(xié)作知識(shí)建構(gòu)會(huì)話進(jìn)行第一層級(jí)分類。同時(shí)，觀點(diǎn)改進(jìn)會(huì)話本身存在階段性的變化，為了對(duì)觀點(diǎn)改進(jìn)會(huì)話進(jìn)行更深入的挖掘，因此本研究根據(jù)縱深度對(duì)觀點(diǎn)改進(jìn)會(huì)話進(jìn)行第二層級(jí)分類。另外，不同觀點(diǎn)改進(jìn)深度的達(dá)成由多個(gè)觀點(diǎn)類型推動(dòng)，每一深度的多個(gè)觀點(diǎn)類型屬于并行關(guān)系，但存在邏輯順序的差異，因此本研究根據(jù)聚斂度對(duì)觀點(diǎn)改進(jìn)三個(gè)深度的會(huì)話進(jìn)一步分類。三種會(huì)話分類特征均以觀點(diǎn)改進(jìn)為核心，并逐步分解、逐層深入。

第一種會(huì)話分類特征是相關(guān)度，指會(huì)話內(nèi)容與協(xié)作知識(shí)建構(gòu)觀點(diǎn)改進(jìn)任務(wù)的相關(guān)程度，具體分為三個(gè)類目：①觀點(diǎn)改進(jìn)會(huì)話，是指與最終知識(shí)制品直接相關(guān)的會(huì)話觀點(diǎn)，包括共享型觀點(diǎn)、協(xié)商型觀點(diǎn)、升華型觀點(diǎn)。②觀點(diǎn)改進(jìn)支持會(huì)話，是指在知識(shí)建構(gòu)過程中起到支持作用的會(huì)話，具體分為協(xié)調(diào)型會(huì)話、技術(shù)型會(huì)話兩類。其中，協(xié)調(diào)型會(huì)話是指小組內(nèi)部圍繞小組任務(wù)進(jìn)行計(jì)劃、監(jiān)督、協(xié)調(diào)而推動(dòng)觀點(diǎn)改進(jìn)的會(huì)話；技術(shù)型會(huì)話則指小組排除技術(shù)因素的干擾，相互支持的會(huì)話——由于本研究采集的是基于在線同步協(xié)作知識(shí)建構(gòu)會(huì)話，因此成員需要解決技術(shù)障礙完成會(huì)話交流。③無關(guān)聯(lián)會(huì)話，是指過于簡(jiǎn)短且不包含明確觀點(diǎn)或與協(xié)作知識(shí)建構(gòu)任務(wù)無關(guān)的會(huì)話，與觀點(diǎn)改進(jìn)沒有直接關(guān)聯(lián)。

第二種會(huì)話分類特征是縱深度，用于區(qū)分觀點(diǎn)改進(jìn)會(huì)話的作用深度，將觀點(diǎn)改進(jìn)會(huì)話進(jìn)行分類描述，具體分為三種觀點(diǎn)：①共享型觀點(diǎn)，是指成員之間的詢問與解釋，旨在對(duì)需要解決的任務(wù)與問題統(tǒng)一認(rèn)知，并清楚掌握彼此觀點(diǎn)的含義；②協(xié)商型觀點(diǎn)是指在掌握彼此觀點(diǎn)含義的基礎(chǔ)上，對(duì)自己的觀點(diǎn)進(jìn)行維護(hù)和對(duì)他人的觀點(diǎn)表明立場(chǎng)，旨在對(duì)任務(wù)拆解的問題方案達(dá)成初步一致；③升華型觀點(diǎn)是指小組成員對(duì)已經(jīng)達(dá)成的方案和觀點(diǎn)進(jìn)行梳理、匯總與優(yōu)化，并對(duì)自身知識(shí)建構(gòu)認(rèn)知能力的提升情況進(jìn)行反思。

第三種會(huì)話分類特征是聚斂度，針對(duì)觀點(diǎn)改進(jìn)會(huì)話進(jìn)行細(xì)分，指觀點(diǎn)圍繞對(duì)應(yīng)深度的聚斂程度。共享型觀點(diǎn)對(duì)應(yīng)的是共享信息、提出問題、闡釋解讀、表達(dá)觀點(diǎn)。其中，共享信息是指組員之間對(duì)查閱資料內(nèi)容的分享、對(duì)當(dāng)前協(xié)作知識(shí)建構(gòu)任務(wù)內(nèi)容的說明、對(duì)已有研究成果的表述、對(duì)他人觀點(diǎn)的轉(zhuǎn)述等；提出問題是指對(duì)術(shù)語概念解釋的請(qǐng)求、對(duì)任務(wù)問題的拆解；闡釋解讀是指對(duì)術(shù)語概念與觀點(diǎn)含義的闡釋、對(duì)任務(wù)問題的解讀；表達(dá)觀點(diǎn)則指對(duì)資料、他人觀點(diǎn)的想法，以及對(duì)他人拋出的問題的回答。協(xié)商型觀點(diǎn)對(duì)應(yīng)的是分歧、支持。其中，分歧是指對(duì)他人觀點(diǎn)的質(zhì)疑、面對(duì)質(zhì)疑的自我辯護(hù)；支持是指對(duì)他人觀點(diǎn)表示贊同且表達(dá)自己贊成的理由。而升華型觀點(diǎn)對(duì)應(yīng)的是整合、改進(jìn)。其中，整合是指小組成員對(duì)當(dāng)前知識(shí)建構(gòu)成果的匯總；改進(jìn)是指對(duì)協(xié)作知識(shí)建構(gòu)成果進(jìn)行完善與修改，以完成最終的知識(shí)制品。

三 面向協(xié)作知識(shí)建構(gòu)會(huì)話的智能觀點(diǎn)分類流程

智能觀點(diǎn)分類的基本流程旨在依照智能觀點(diǎn)分類框架，實(shí)現(xiàn)自動(dòng)化的觀點(diǎn)分類，主要分為六個(gè)環(huán)節(jié)（如圖2所示）：①第一個(gè)環(huán)節(jié)是分類框架構(gòu)建。框架用于描述知識(shí)建構(gòu)會(huì)話基于語義特征的功能指向。②第二個(gè)環(huán)節(jié)是數(shù)據(jù)采集與清洗。以錄音形式對(duì)各小組會(huì)話進(jìn)行采集，通過機(jī)器轉(zhuǎn)錄與人工清洗，最終以一系列具有完整語義的會(huì)話作為分類對(duì)象。③第三個(gè)環(huán)節(jié)是特征提取與標(biāo)注。編碼者按照會(huì)話觀點(diǎn)分類框架，考慮會(huì)話內(nèi)容表達(dá)的語義特征，對(duì)數(shù)據(jù)進(jìn)行編碼。④第四個(gè)環(huán)節(jié)是分類模型訓(xùn)練，以編碼完成的數(shù)據(jù)作為數(shù)據(jù)集，采用預(yù)先選擇的三個(gè)模型進(jìn)行觀點(diǎn)分類訓(xùn)練。⑤第五個(gè)環(huán)節(jié)是模型效果評(píng)價(jià)。使用精確率、召回率、F1值、準(zhǔn)確率四個(gè)指標(biāo)作為模型分類效果的評(píng)價(jià)依據(jù)，并對(duì)比分析各模型的分類性能。⑥第六個(gè)環(huán)節(jié)是分類模型優(yōu)化。針對(duì)分類效果，通過數(shù)據(jù)增強(qiáng)、組合模型等方式進(jìn)行分類方法優(yōu)化。本研究以實(shí)踐案例形式對(duì)具體環(huán)節(jié)進(jìn)行說明，第一個(gè)環(huán)節(jié)采用上述第一部分提出的面向協(xié)作知識(shí)建構(gòu)會(huì)話的智能觀點(diǎn)分類框架，下文對(duì)第二個(gè)、第三、第四個(gè)環(huán)節(jié)進(jìn)行重點(diǎn)分析，第五環(huán)節(jié)將在第三部分具體描述，第六環(huán)節(jié)將在討論部分進(jìn)行初步探索。

圖2 智能觀點(diǎn)分類流程圖

1 數(shù)據(jù)采集與清洗

本研究的數(shù)據(jù)來源于2020年～2021年新冠肺炎疫情防控期間江蘇省無錫市J大學(xué)人文學(xué)院教育技術(shù)學(xué)專業(yè)開設(shè)的“教育技術(shù)研究方法”課程。該課程以小組協(xié)作的形式開展，每組4～5人開展協(xié)作知識(shí)建構(gòu)活動(dòng)[22]。首先，小組成員圍繞“技術(shù)支持的協(xié)作學(xué)習(xí)”主題，對(duì)小組選擇的研究議題開展分析與論證。同時(shí)，各小組組長(zhǎng)通過錄音，對(duì)小組協(xié)作知識(shí)建構(gòu)會(huì)話數(shù)據(jù)（包含實(shí)時(shí)在線會(huì)話數(shù)據(jù)、實(shí)時(shí)面對(duì)面會(huì)話數(shù)據(jù)等）進(jìn)行采集。隨后，研究者按照時(shí)間順序?qū)Ω餍〗M會(huì)話錄音進(jìn)行整理后，通過機(jī)器轉(zhuǎn)錄獲得錄音文本。最后，研究者對(duì)錄音文本進(jìn)行人工校對(duì)，對(duì)口語化數(shù)據(jù)的表述邏輯、疊詞、口頭禪等進(jìn)行適當(dāng)?shù)脑黾印h除、替換、交換等清洗操作，清洗操作案例如表1所示。通過對(duì)數(shù)據(jù)的清洗操作，本研究最終整理出有效會(huì)話數(shù)據(jù)6933條。

表1 清洗操作案例

2 特征提取與標(biāo)注

在本研究中，編碼者按照已構(gòu)建的智能觀點(diǎn)分類框架進(jìn)行編碼，在編碼過程中提取觀點(diǎn)改進(jìn)會(huì)話內(nèi)容的語義特征，以實(shí)現(xiàn)對(duì)特征的量化描述。從會(huì)話數(shù)據(jù)中隨機(jī)選擇5%的文本，由本研究團(tuán)隊(duì)的兩名成員分別進(jìn)行編碼。編碼結(jié)束后，計(jì)算編碼者間一致性系數(shù)（Cohen’s Kappa），得到相關(guān)度編碼一致性達(dá)到0.89、縱深度編碼一致性達(dá)到0.89、聚斂度編碼一致性達(dá)到0.89，說明編碼結(jié)果的信度可以接受。隨后，兩名編碼者協(xié)商存在分歧的編碼，明確各指標(biāo)含義，直至達(dá)成一致意見。最后，照此方式完成剩余數(shù)據(jù)的編碼。

編碼完成后的每一條數(shù)據(jù)都對(duì)應(yīng)三種會(huì)話語義特征，而完成編碼的數(shù)據(jù)將用于三種模型的訓(xùn)練。本研究從總數(shù)據(jù)集中取出20%作為測(cè)試集來評(píng)估模型預(yù)測(cè)效果，剩余的80%數(shù)據(jù)作為訓(xùn)練集。模型通過對(duì)訓(xùn)練集會(huì)話語義特征與語法的提取，調(diào)整參數(shù)使模型反映現(xiàn)實(shí)，進(jìn)而預(yù)測(cè)未來或其他未知的信息，而測(cè)試集用來評(píng)估模型預(yù)測(cè)性能。數(shù)據(jù)集中各會(huì)話分布情況如表2所示。

表2 數(shù)據(jù)集中各會(huì)話分布情況

3 分類模型訓(xùn)練

本研究選擇了在自然語言處理領(lǐng)域中表現(xiàn)較為優(yōu)異的BERT、TextCNN、Fasttext三種模型算法來進(jìn)行訓(xùn)練。其中BERT是Google在2018年提出的NLP預(yù)訓(xùn)練模型，在NLP領(lǐng)域的11個(gè)方向都取得了優(yōu)秀成果[23]。TextCNN模型是由Kim在2014年提出的一種深層前饋神經(jīng)網(wǎng)絡(luò)模型，其將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到文本分類任務(wù)，驗(yàn)證了TextCNN在文本分類問題上有更加卓越的表現(xiàn)[24]。Fasttext是Facebook開源的一個(gè)詞向量與文本分類工具，屬于概率語言模型，典型應(yīng)用場(chǎng)景是“帶監(jiān)督的文本分類問題”，其性能可比肩深度學(xué)習(xí)算法且速度更快[25]。

值得注意的是，三種模型在特征提取方式、所基于的數(shù)據(jù)集方面存在差異。分類模型的主要作用，就是通過特征提取掌握字符的構(gòu)造特征。BERT模型主要使用多層Transformer結(jié)構(gòu)，該結(jié)構(gòu)使用Attention機(jī)制對(duì)輸入的向量進(jìn)行特征提取與計(jì)算權(quán)重，識(shí)別出更能代表會(huì)話語義的詞向量，并賦予其更大的權(quán)重[26]；TextCNN模型利用卷積實(shí)現(xiàn)特征的提取，對(duì)文本淺層詞語級(jí)特征的抽取能力很強(qiáng)[27]；而Fasttext利用n-gram進(jìn)行特征的提取，對(duì)字符級(jí)特征的抽取能力很強(qiáng)[28]。此外，數(shù)據(jù)的樣本數(shù)量在訓(xùn)練模型時(shí)十分重要。根據(jù)大數(shù)定律，樣本數(shù)量越多時(shí)，頻率越接近于概率；而樣本數(shù)量很少時(shí)，模型的準(zhǔn)確率就相對(duì)比較低。三個(gè)模型中，只有BERT模型利用了極大量的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行了預(yù)訓(xùn)練，使預(yù)訓(xùn)練模型已經(jīng)學(xué)會(huì)了中文的語義表達(dá)與語法結(jié)構(gòu)，并在此基礎(chǔ)上基于本地語料庫對(duì)模型的參數(shù)進(jìn)行了微調(diào)，本地語料庫存儲(chǔ)著本研究采集到的協(xié)作知識(shí)建構(gòu)這一特定領(lǐng)域的會(huì)話數(shù)據(jù)，可能會(huì)提高模型識(shí)別的準(zhǔn)確性。而其他兩個(gè)模型只根據(jù)本地?cái)?shù)據(jù)庫對(duì)模型進(jìn)行了訓(xùn)練。

四 數(shù)據(jù)分析結(jié)果

本研究使用精確率（Precision）、召回率（Recall）、F1值（F1-score）和準(zhǔn)確率（Accuracy），作為協(xié)作知識(shí)建構(gòu)會(huì)話觀點(diǎn)分類效果的評(píng)價(jià)指標(biāo)。精確率表示每一類別中被預(yù)測(cè)為正類的樣本中實(shí)際正類的比例；召回率表示每一類別中所有正類樣本中被預(yù)測(cè)為正類的比例；而F1值表示在調(diào)和精確率和召回率之后，對(duì)分類器性能的綜合評(píng)判，可以代表各個(gè)類別的分類準(zhǔn)確率；準(zhǔn)確率代表的是分類器的整體準(zhǔn)確率[29]。F1值和準(zhǔn)確率是評(píng)價(jià)分類器性能的核心指標(biāo)。

1 相關(guān)度分析結(jié)果

對(duì)相關(guān)度而言，三種模型訓(xùn)練分類結(jié)果比較如表3所示，可以看出：BERT模型的整體準(zhǔn)確率為85%，高于其他兩個(gè)模型；其次是Fasttext模型，準(zhǔn)確率為81%；最后是TextCNN模型，準(zhǔn)確率為77%；同時(shí)，BERT模型的F1值相較于其他兩個(gè)模型更高。此外，從縱向視角即具體會(huì)話類型上各模型的表現(xiàn)來看，BERT模型在6個(gè)會(huì)話類型的F1值均明顯高于TextCNN模型、Fasttext模型；而Fasttext模型在大部分類別上高于TextCNN模型，僅在協(xié)商型觀點(diǎn)、非任務(wù)型會(huì)話的F1值與TextCNN模型持平。而從橫向視角即每個(gè)模型對(duì)6個(gè)會(huì)話類型的分類表現(xiàn)來看，BERT模型中5個(gè)會(huì)話類型的F1值均高于80%，其中3個(gè)會(huì)話類型的F1值接近甚至大于90%，僅協(xié)商型觀點(diǎn)的分類表現(xiàn)上較差；而TextCNN模型與Fasttext模型中均存在多個(gè)會(huì)話類型的F1值低于80%的情況。由此可見，BERT模型在分類模型整體表現(xiàn)、單一會(huì)話類型分類性能上均優(yōu)于TextCNN模型和Fasttext模型。

表3 相關(guān)度三種模型訓(xùn)練分類結(jié)果比較

2 縱深度分析結(jié)果

對(duì)縱深度而言，三種模型訓(xùn)練分類結(jié)果比較如表4所示，可以看出：BERT模型的整體準(zhǔn)確率為87%，高于其他兩個(gè)模型；其次是Fasttext模型，準(zhǔn)確率為80%；最后是TextCNN模型，準(zhǔn)確率為79%。同時(shí)，BERT模型的F1值相較于其他兩個(gè)模型更高。此外，從縱向視角即具體會(huì)話觀點(diǎn)類型上各模型的表現(xiàn)來看，BERT模型在4個(gè)會(huì)話觀點(diǎn)類型的F1值均明顯高于TextCNN模型、Fasttext模型，F(xiàn)asttext模型在共享型觀點(diǎn)、無縱深度會(huì)話上的F1值高于TextCNN模型，而在協(xié)商型觀點(diǎn)、升華型觀點(diǎn)上的F1值略低于TextCNN模型。從橫向視角即每個(gè)模型對(duì)4個(gè)會(huì)話觀點(diǎn)類型的分類表現(xiàn)來看，BERT模型中3個(gè)會(huì)話觀點(diǎn)類型的F1值均高于85%，僅協(xié)商型觀點(diǎn)的分類表現(xiàn)上較差，而TextCNN模型、Fasttext模型均存在在協(xié)商型觀點(diǎn)與升華型觀點(diǎn)兩個(gè)類型上F1值較低的情況。由此可見，BERT模型在分類模型整體表現(xiàn)、單一會(huì)話類型分類性能上均優(yōu)于TextCNN模型和Fasttext模型。

表4 縱深度三種模型訓(xùn)練分類結(jié)果比較

3 聚斂度分析結(jié)果

對(duì)聚斂度而言，三種模型訓(xùn)練分類結(jié)果比較如表5所示，可以看出：BERT模型的整體準(zhǔn)確率為83%，高于其他兩個(gè)模型；其次是Fasttext模型，準(zhǔn)確率為76%；最后是TextCNN模型，準(zhǔn)確率為69%。同時(shí)，BERT模型的F1值相較于其他兩個(gè)模型更高。此外，從縱向視角即具體會(huì)話觀點(diǎn)類型上各模型的表現(xiàn)來看，BERT模型在9個(gè)會(huì)話觀點(diǎn)類型的F1值均高于TextCNN模型、Fasttext模型；Fasttext模型在提出問題、闡釋解讀、表達(dá)觀點(diǎn)、分歧、無聚斂度會(huì)話5個(gè)會(huì)話觀點(diǎn)類型的F1值高于TextCNN模型，而在共享信息、整合、改進(jìn)3個(gè)會(huì)話觀點(diǎn)類型的F1值略低于TextCNN模型，僅在支持的F1值與TextCNN模型持平。而從橫向視角即每個(gè)模型對(duì)9個(gè)會(huì)話觀點(diǎn)類型的分類表現(xiàn)來看，BERT模型在7個(gè)會(huì)話觀點(diǎn)類型的F1值均高于70%，其中3個(gè)會(huì)話觀點(diǎn)類型的F1值甚至高于85%；但在共享信息、闡釋解讀兩個(gè)會(huì)話觀點(diǎn)類型的分類表現(xiàn)上較差，低于70%。由此可見，BERT模型在分類模型整體表現(xiàn)、單一會(huì)話類型分類性能上均優(yōu)于TextCNN模型和Fasttext模型。

表5 聚斂度三種模型訓(xùn)練分類結(jié)果比較

五 討論

本研究針對(duì)會(huì)話分析，建立了相關(guān)度、縱深度、聚斂度三個(gè)特征相結(jié)合的智能觀點(diǎn)分類框架。相對(duì)于已有會(huì)話分類框架從行為表現(xiàn)角度分析，忽略了對(duì)會(huì)話內(nèi)容的語義特征及其功能指向的描述[30][31]；重在刻畫會(huì)話的認(rèn)知特征，忽略了知識(shí)建構(gòu)中大量存在的非認(rèn)知會(huì)話內(nèi)容[32][33]。同時(shí)本研究采用觀點(diǎn)改進(jìn)為核心的功能指向來描述會(huì)話的語義特征，兼顧考慮認(rèn)知與非認(rèn)知會(huì)話，并詳細(xì)定義會(huì)話的特征，滿足依據(jù)觀點(diǎn)進(jìn)行會(huì)話自動(dòng)分類場(chǎng)景的基本需求。

本研究選取了兩個(gè)經(jīng)典深度神經(jīng)網(wǎng)絡(luò)以及一個(gè)可以與深度神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率相媲美的模型，探索深度神經(jīng)網(wǎng)絡(luò)這類模型在知識(shí)建構(gòu)會(huì)話智能分類上的可行性。結(jié)果表明，BERT模型相較于Fasttext與TextCNN存在一定的優(yōu)勢(shì)，更適合協(xié)作知識(shí)建構(gòu)會(huì)話的智能觀點(diǎn)分類。BERT模型通過多層特征轉(zhuǎn)換將非結(jié)構(gòu)化數(shù)據(jù)變成更高層級(jí)、更抽象的表示，從而實(shí)現(xiàn)對(duì)數(shù)據(jù)的類別預(yù)測(cè)與識(shí)別，其本身算法結(jié)構(gòu)更具優(yōu)勢(shì)。另外，BERT模型基于龐大的預(yù)訓(xùn)練數(shù)據(jù)庫，分類的質(zhì)量與效率較高。為了進(jìn)一步提升分類準(zhǔn)確率，本研究還選擇采用數(shù)據(jù)增強(qiáng)方法，在對(duì)原數(shù)據(jù)分詞的基礎(chǔ)上，通過同義詞替換、隨機(jī)插入或刪除、交換實(shí)現(xiàn)數(shù)據(jù)量快速擴(kuò)充[34]。研究結(jié)果顯示，上述增強(qiáng)方法并未顯著提升分類的準(zhǔn)確率，原因可能是協(xié)作知識(shí)建構(gòu)會(huì)話中的詞語及其順序攜帶了重要的語義與句法信息，單純進(jìn)行同義詞替換、交換等很可能改變?cè)行g(shù)語及語義，導(dǎo)致增加了無效數(shù)據(jù)，對(duì)機(jī)器學(xué)習(xí)產(chǎn)生了干擾，因此沒有能夠?qū)Ψ诸惖臏?zhǔn)確性產(chǎn)生足夠影響。

而本研究建立的會(huì)話智能觀點(diǎn)分類流程融合深度神經(jīng)網(wǎng)絡(luò)與會(huì)話分析方法，建立了包含六個(gè)環(huán)節(jié)的循環(huán)模型。會(huì)話分析主要體現(xiàn)在流程的前三個(gè)環(huán)節(jié)，深度神經(jīng)網(wǎng)絡(luò)主要體現(xiàn)在流程的后四個(gè)環(huán)節(jié)。其中第三個(gè)環(huán)節(jié)特征提取與標(biāo)注是深度神經(jīng)網(wǎng)絡(luò)與人工會(huì)話分析融合的關(guān)鍵銜接環(huán)節(jié)。編碼者根據(jù)智能觀點(diǎn)分類框架提取出會(huì)話中的特征，從而完成編碼標(biāo)注。而模型利用人工已編碼的數(shù)據(jù)，提取并學(xué)習(xí)到每一個(gè)會(huì)話類型中應(yīng)用的語義特征，從而順利完成訓(xùn)練。

六 總結(jié)與展望

本研究將會(huì)話分析與深度神經(jīng)網(wǎng)絡(luò)方法融合，從會(huì)話分析模型、分析過程以及分析算法角度探索了面向協(xié)作知識(shí)建構(gòu)的智能觀點(diǎn)分類方法。未來針對(duì)分類框架，可對(duì)非認(rèn)知會(huì)話進(jìn)行更加細(xì)致、清晰的描述，以提升方法對(duì)非認(rèn)知會(huì)話內(nèi)容分類的準(zhǔn)確性。此外，在分類模型訓(xùn)練上，還要考慮會(huì)話前后語境的作用，通過組合模型，建立句與句之間的關(guān)聯(lián)，增強(qiáng)機(jī)器對(duì)語義的進(jìn)一步理解，提高分類的準(zhǔn)確率，并挖掘會(huì)話在話題層級(jí)的語義特征[35]。最后，研究者可以嘗試將智能觀點(diǎn)分類模型嵌入教學(xué)平臺(tái)，前設(shè)置知識(shí)建構(gòu)會(huì)話實(shí)時(shí)轉(zhuǎn)錄功能獲得數(shù)據(jù)，后設(shè)置模型預(yù)測(cè)功能導(dǎo)出分類結(jié)果數(shù)據(jù)，實(shí)現(xiàn)對(duì)知識(shí)建構(gòu)會(huì)話內(nèi)容的伴隨式分析。

[1]胡小勇,孫碩,楊文杰,等.人工智能賦能教育高質(zhì)量發(fā)展:需求、愿景與路徑[J].現(xiàn)代教育技術(shù),2022,(1):5-15.

[2]鄭旭東,吳秀圓.教育研究取向轉(zhuǎn)變進(jìn)程中的會(huì)話分析:真實(shí)場(chǎng)景下教學(xué)研究的一種工具性支持[J].電化教育研究,2015,(1):18-22.

[3][16][33]宋宇,鄔寶嫻,郝天永.面向知識(shí)建構(gòu)的課堂對(duì)話規(guī)律探析[J].電化教育研究,2021,(3):111-119.

[4]凌建侯.話語的對(duì)話性——巴赫金研究概說[J].外語教學(xué)與研究,2000,(3):176-181、239.

[5][10][19]蔣紀(jì)平,胡金艷,張義兵.知識(shí)建構(gòu)學(xué)習(xí)社區(qū)中“觀點(diǎn)改進(jìn)”的發(fā)展軌跡研究[J].電化教育研究,2019,(2):21-29.

[6]Gunawardena C N, Lowe C A, Anderson T. Analysis of a global online debate and the development of an interaction analysis model for examining social construction of knowledge in computer conferencing[J]. Journal of Educational Computing Research, 1997,(4):397-431.

[7]Fransen J, Weinberger A, Kirschner P. Team effectiveness and team development in CSCL[J]. Educational Psychologist, 2013,(1):9-24.

[8][9][13]王麗英,張義兵.融合知識(shí)建構(gòu)和機(jī)器學(xué)習(xí)的觀點(diǎn)質(zhì)量評(píng)價(jià)[J].現(xiàn)代教育技術(shù),2020,(11):62-69.

[11]胡金艷,蔣紀(jì)平,陳羽潔,等.知識(shí)建構(gòu)社區(qū)中觀點(diǎn)改進(jìn)的機(jī)理研究:知識(shí)進(jìn)化的視角[J].電化教育研究,2021,(5):47-54.

[12]Hayati H, Chanaa A, Idrissi M K, et al. Doc2Vec &Na?ve Bayes: Learners’ cognitive presence assessment through asynchronous online discussion TQ transcripts[J]. International Journal of Emerging Technologies in Learning, 2019,(8):70-81.

[14]吳春葉.基于半監(jiān)督學(xué)習(xí)的觀點(diǎn)挖掘算法的研究與實(shí)現(xiàn)[D].北京:北京郵電大學(xué),2019:7.

[15]Liu G, Guo J. Bidirectional LSTM with attention mechanism and convolutional layer for text classification[J]. Neurocomputing, 2019,(337):325-338.

[17]李舟軍,范宇,吳賢杰.面向自然語言處理的預(yù)訓(xùn)練技術(shù)研究綜述[J].計(jì)算機(jī)科學(xué),2020,(3):162-173.

[18]劉黃玲子,朱伶俐,陳義勤,等.基于交互分析的協(xié)同知識(shí)建構(gòu)的研究[J].開放教育研究,2005,(2):31-37.

[20]Zhu E. Meaning negotiation, knowledge construction, and mentoring in a distance learning course[A]. Proceedings of Selected Research and Development Presentations at the 1996 National Convention of the Association for Educational Communications and Technology[C]. Indeanapolis: Available from ERIC Documents, 1996:821-844.

[21]Pena-Shaff J B, Nicholls C. Analyzing student interactions and meaning construction in computer bulletin board discussions[J]. Computers & Education, 2004,(3):243-265.

[22]張義兵.知識(shí)建構(gòu):新教育公平視野下教與學(xué)的變革[M].南京:南京師范大學(xué)出版社,2018:90-91.

[23][26]Devlin J, Chang M W, Lee K, et al. BERT: Pre-training of deep bidirectional transformers for language understanding[OL].

[24]Kim Y. Convolutional neural networks for sentence classification[OL].

[25]Rospocher M. Explicit song lyrics detection with subword-enriched word embeddings-ScienceDirect[J]. Expert Systems with Applications, 2021,(163):113749.

[27][29]甄園宜,鄭蘭琴.基于深度神經(jīng)網(wǎng)絡(luò)的在線協(xié)作學(xué)習(xí)交互文本分類方法[J].現(xiàn)代遠(yuǎn)程教育研究,2020,(3):104-112.

[28]Joulin A, Grave E, Bojanowski P, et al. Bag of tricks for efficient text classification[OL].

[30]鄭勤華,郭利明.人機(jī)協(xié)同的敏捷教育建模及實(shí)踐應(yīng)用[J].現(xiàn)代遠(yuǎn)程教育研究,2021,(4):43-50.

[31]馬志強(qiáng).從相互依賴到協(xié)同認(rèn)知——信息化環(huán)境下的協(xié)作學(xué)習(xí)研究[M].北京:中國社會(huì)科學(xué)出版社,2019:223-231.

[32]馬志強(qiáng),郭文欣,王萌.面向協(xié)作知識(shí)建構(gòu)會(huì)話內(nèi)容的智能挖掘分析[J].現(xiàn)代遠(yuǎn)距離教育,2022,(1):3-13.

[34]Sun X, He J. A novel approach to generate a large scale of supervised data for short text sentiment analysis[J]. Multimedia Tools Appl, 2020,(79):5439-5459.

[35]馬志強(qiáng).社會(huì)認(rèn)知互動(dòng)的多維刻畫:協(xié)作學(xué)習(xí)投入理論構(gòu)建與實(shí)踐探索[M].北京:中國社會(huì)科學(xué)出版社,2021:156-158.

Research on Intelligent Viewpoint Classification for Collaborative Knowledge Construction Discourse——Based on the Fusion Method of Deep Neural Network and Discourse Analysis

MA Zhi-qiang WANG Wen-qiu

In the research of discourse intelligence analysis for knowledge construction, how to improve the limitations of the original interactive behavior analysis perspective, and accurately describe the semantic features of discourse from the discourse perspective, so as to realize automatic classification of discourse is the core concern of researchers. Based on this, fused with the deep neural network and discourse analysis method, an intelligent viewpoint classification framework for collaborative knowledge construction discourse was constructed, which contained three discourse classification features of relevance, depth, and convergence. Meanwhile, an intelligent viewpoint classification process consisting of six steps was designed, and further the process was introduced into the BERT, TextCNN, and Fasttext models of natural language processing, and the discourse classification characteristics of the three models were compared in terms of four indicators, namely precision, recall, F1-score, and accuracy. It was found that the BERT model has higher accuracy in overall semantic features and classification performance of single discourse type. This paper explored the analysis framework and analysis path of discourse analysis of the fusion of data and intelligence, which proved the feasibility of the deep neural network in the intelligence quantitative analysis of collaborative knowledge construction discourse, and was helpful for improving the quality and efficiency of intelligent discourse analysis.

artificial intelligence education; learning analysis; discourse analysis; knowledge construction; viewpoint improvement

G40-057

A

1009—8097（2022）06—0005—10

10.3969/j.issn.1009-8097.2022.06.001

馬志強(qiáng)，博士，教授，研究方向?yàn)橛?jì)算機(jī)支持的協(xié)作學(xué)習(xí)、學(xué)習(xí)分析與評(píng)價(jià)的研究，郵箱為mzq1213@jiangnan.edu.cn。

2022年1月20日

編輯：小時(shí)