周炫余 劉林 陳圓圓 洪嘉玲 盧笑

[摘? ?要] 快速準(zhǔn)確地評(píng)估大學(xué)生心理健康狀況是高校心理健康教育的重要任務(wù)，也是高校心理工作實(shí)現(xiàn)精準(zhǔn)干預(yù)和提供個(gè)性化教育服務(wù)的基礎(chǔ)。傳統(tǒng)評(píng)估方法存在評(píng)估實(shí)時(shí)性不高、單一模態(tài)數(shù)據(jù)評(píng)估效果差、社會(huì)稱許性反應(yīng)偏誤等問(wèn)題。研究基于生態(tài)瞬時(shí)評(píng)估理論，以深度學(xué)習(xí)算法為手段，提出了一種基于多模態(tài)數(shù)據(jù)融合計(jì)算的大學(xué)生心理健康自動(dòng)評(píng)估方法。該方法在自構(gòu)建的多模態(tài)心理評(píng)估數(shù)據(jù)集（JA-IPAD）上測(cè)試表明：該模型能夠精準(zhǔn)評(píng)估大學(xué)生的心理健康狀態(tài)，在智慧學(xué)習(xí)環(huán)境中具有良好的應(yīng)用前景，能為完善學(xué)生心理檔案、精準(zhǔn)干預(yù)學(xué)生心理、優(yōu)化心理健康服務(wù)提供決策依據(jù)和技術(shù)支撐，也能為促進(jìn)高校智慧化心理健康教育作出貢獻(xiàn)。

[關(guān)鍵詞] 心理健康教育; 自動(dòng)評(píng)估; 多模態(tài)融合計(jì)算; 深度學(xué)習(xí); 生態(tài)瞬時(shí)評(píng)估

[中圖分類號(hào)] G434? ? ? ? ? ? [文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 周炫余（1987—），男，湖南邵陽(yáng)人。講師，博士，主要從事基于人工智能視角下教育過(guò)程自動(dòng)評(píng)價(jià)、智慧學(xué)習(xí)環(huán)境構(gòu)建研究。E-mail：zhouxuanyu@whu.edu.cn。

一、引? ?言

心理狀態(tài)對(duì)人的行為起支配作用，在學(xué)習(xí)活動(dòng)中能影響學(xué)習(xí)者的學(xué)習(xí)意志和效率。健康的心理狀態(tài)是學(xué)習(xí)者形成嚴(yán)謹(jǐn)邏輯思維和開(kāi)展創(chuàng)造性活動(dòng)的前提和保障。大學(xué)生是一個(gè)較為特殊的群體，處在認(rèn)知尚不成熟階段，易出現(xiàn)焦慮、抑郁等心理問(wèn)題[1]。尤其是新冠肺炎疫情暴發(fā)后，許多大學(xué)生因社交活動(dòng)減少、家庭關(guān)系緊張、學(xué)習(xí)就業(yè)壓力大等多重因素影響，心理健康問(wèn)題逐漸凸顯[2]。大學(xué)生由心理問(wèn)題引發(fā)的極端惡性事件逐漸增多，如何準(zhǔn)確評(píng)估心理健康狀態(tài)，既是保障學(xué)生順利開(kāi)展學(xué)習(xí)活動(dòng)的重要任務(wù)，亦是高校開(kāi)展智慧化心理健康教育的重要依據(jù)。

隨著“互聯(lián)網(wǎng)+”時(shí)代的到來(lái)，以人工智能為代表的新技術(shù)力量正在撬動(dòng)傳統(tǒng)教育封閉的大門(mén)，并逐步重構(gòu)教育服務(wù)體系[3-4]。網(wǎng)絡(luò)與教育之間的交互趨向頻繁，為高校心理健康教育的智慧化發(fā)展帶來(lái)新機(jī)遇。據(jù)《2018中國(guó)大學(xué)生日常生活及網(wǎng)絡(luò)習(xí)慣調(diào)研報(bào)告》調(diào)查顯示，以00后為代表的大學(xué)生習(xí)慣在新浪微博、騰訊說(shuō)說(shuō)、微信朋友圈等社交網(wǎng)絡(luò)平臺(tái)上使用文本、圖像或者表情等多種模態(tài)數(shù)據(jù)發(fā)表自己的觀點(diǎn)或宣泄情緒[5]。若能從多種模態(tài)的網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)中挖掘?qū)W生的意念觀點(diǎn)、情緒傾向，將有助于更加精準(zhǔn)地獲知學(xué)生的心理健康狀況。技術(shù)賦能教育，相關(guān)理論的成熟和智能技術(shù)手段的迅猛發(fā)展使自動(dòng)評(píng)估學(xué)生心理健康成為可能。目前，傳統(tǒng)的心理健康評(píng)估主要是基于自評(píng)問(wèn)卷和結(jié)構(gòu)化訪談[6]，通過(guò)面對(duì)面的人際互動(dòng)模式從被評(píng)估者處獲取數(shù)據(jù)信息，并以此來(lái)評(píng)估被評(píng)估者的心理健康狀況。這類傳統(tǒng)的心理健康評(píng)估方法從量表[7]的角度主觀獲取被試的心理健康狀態(tài)，但在實(shí)施過(guò)程和評(píng)估工作中存在社會(huì)稱許性反應(yīng)偏誤[8-9]、評(píng)估實(shí)時(shí)性不高[10]、評(píng)估工作被動(dòng)等問(wèn)題[11]。針對(duì)傳統(tǒng)心理健康評(píng)估方式存在的問(wèn)題，以及大學(xué)生所發(fā)布在社交網(wǎng)絡(luò)平臺(tái)數(shù)據(jù)的特點(diǎn)，有研究者開(kāi)始嘗試將生態(tài)瞬時(shí)評(píng)估理論[12]和社交網(wǎng)絡(luò)數(shù)據(jù)應(yīng)用于心理健康評(píng)估工作中。該方法通過(guò)專家分析或自評(píng)量表的方式標(biāo)注數(shù)據(jù)標(biāo)簽以構(gòu)成數(shù)據(jù)集，提取數(shù)據(jù)特征并訓(xùn)練模型，從而實(shí)現(xiàn)心理健康自動(dòng)評(píng)估[13-17]。雖然上述方法已取得不錯(cuò)的效果，但是仍存在網(wǎng)絡(luò)行為數(shù)據(jù)難以采集[18]、單一模態(tài)數(shù)據(jù)語(yǔ)義表述不全面[19]等問(wèn)題，難以精準(zhǔn)捕獲被評(píng)估者的心理健康狀態(tài)。因此，針對(duì)上述問(wèn)題，提出一種基于多模態(tài)數(shù)據(jù)融合計(jì)算的大學(xué)生心理健康評(píng)估模型。

二、核心概念界定與理論基礎(chǔ)

（一）心理健康評(píng)估

心理健康是個(gè)體各項(xiàng)心理功能處于平衡運(yùn)轉(zhuǎn)情況的一種和諧狀態(tài)，心理健康異常狀態(tài)最常見(jiàn)的是焦慮和抑郁[1]。大學(xué)生處在校園和社會(huì)的交接階段，面臨著來(lái)自各方的壓力，易產(chǎn)生各種心理問(wèn)題，其中，抑郁問(wèn)題尤為突出[20]。抑郁問(wèn)題按程度的不同分為抑郁情緒、抑郁傾向、抑郁障礙（抑郁癥）三種，而大學(xué)生群體的抑郁問(wèn)題一般為抑郁情緒和抑郁傾向。當(dāng)受到外界負(fù)面刺激源影響時(shí)，個(gè)體就可能產(chǎn)生抑郁情緒，其持續(xù)時(shí)間較短;而抑郁傾向是指受負(fù)面情緒或行為引起的個(gè)體抑郁，表現(xiàn)為個(gè)體處于相對(duì)持久的愉悅感缺失狀態(tài)。論文主要針對(duì)大學(xué)生的抑郁傾向進(jìn)行評(píng)估，即通過(guò)處理分析學(xué)生一段時(shí)間內(nèi)的多模態(tài)網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)，判斷其情緒是否處于抑郁狀態(tài)。

（二）多模態(tài)數(shù)據(jù)

多模態(tài)數(shù)據(jù)是指包含兩種及以上不同形式或不同來(lái)源的數(shù)據(jù)[21-22]。文字和圖像是人類頭腦與心理作用結(jié)果的外在表現(xiàn)形式，可以反映出個(gè)體的心理狀態(tài)。在互聯(lián)網(wǎng)高度發(fā)達(dá)的現(xiàn)代社會(huì)，大學(xué)生傾向于在社交平臺(tái)上同時(shí)發(fā)布文本、圖像或表情等多種模態(tài)數(shù)據(jù)以表達(dá)個(gè)人意念、抒發(fā)情感。不同模態(tài)數(shù)據(jù)存在互補(bǔ)作用，能提供更多解釋信息，通過(guò)融合多模態(tài)數(shù)據(jù)并對(duì)其進(jìn)行理解，可實(shí)現(xiàn)對(duì)學(xué)生心理健康狀況更為全面、系統(tǒng)的剖析評(píng)估。

（三）自動(dòng)評(píng)估模型構(gòu)建理論基礎(chǔ)

本研究以生態(tài)瞬時(shí)評(píng)估（Ecological Momentary Assessment， EMA）和深度學(xué)習(xí)為基礎(chǔ)構(gòu)建自動(dòng)評(píng)估模型，實(shí)現(xiàn)自然環(huán)境下實(shí)時(shí)評(píng)估學(xué)生心理。生態(tài)瞬時(shí)評(píng)估是由心理學(xué)家Shiffman提出的一種對(duì)自然環(huán)境下被試者的相關(guān)行為和經(jīng)驗(yàn)進(jìn)行實(shí)時(shí)采樣并測(cè)量評(píng)估的生態(tài)方法[12]，它具有較高的真實(shí)性和動(dòng)態(tài)性，更能準(zhǔn)確反映被評(píng)估者的心理特征。深度學(xué)習(xí)是目前人工智能領(lǐng)域研究的熱點(diǎn)和重點(diǎn)，它通過(guò)建構(gòu)多層神經(jīng)網(wǎng)絡(luò)提取特征，然后組合低層特征形成更加抽象的高層特征，以學(xué)習(xí)各類數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，獲取其隱含的深層次語(yǔ)義知識(shí)。

三、基于多模態(tài)融合計(jì)算的心理健康評(píng)估模型構(gòu)建

模型設(shè)計(jì)依據(jù)系統(tǒng)方法理念[22]，分析確定評(píng)估等級(jí)，設(shè)計(jì)自動(dòng)評(píng)估框架，選擇評(píng)估策略，實(shí)施模型評(píng)估，評(píng)價(jià)模型評(píng)估效果，修正模型參數(shù)并加以應(yīng)用。為實(shí)現(xiàn)多種模態(tài)數(shù)據(jù)信息的融合，模型從以下四個(gè)部分進(jìn)行設(shè)計(jì)：數(shù)據(jù)清洗及預(yù)處理、基于文本的情感計(jì)算、基于圖像的情感計(jì)算、心理健康評(píng)估模型生成。

多模態(tài)融合計(jì)算的心理健康評(píng)估模型是通過(guò)挖掘?qū)W生的文本、圖像和表情等模態(tài)數(shù)據(jù)背后隱含的真實(shí)情緒，綜合考慮學(xué)生一段時(shí)間內(nèi)的心理變化，實(shí)現(xiàn)快速、準(zhǔn)確地識(shí)別學(xué)生的心理健康等級(jí)的過(guò)程?；诖?，構(gòu)建了基于多模態(tài)數(shù)據(jù)融合的大學(xué)生心理健康自動(dòng)評(píng)估模型，模型框架如圖1所示。

（一）數(shù)據(jù)清洗及預(yù)處理

收集的學(xué)生網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)無(wú)法直接用于心理特征的處理分析，需對(duì)這些原始數(shù)據(jù)進(jìn)行清洗以及預(yù)處理。首先對(duì)抑郁自評(píng)問(wèn)卷獲得的數(shù)據(jù)進(jìn)行清洗，即去除問(wèn)卷分?jǐn)?shù)為零或滿分、填寫(xiě)時(shí)間少于3分鐘的被試;其次，對(duì)網(wǎng)絡(luò)爬蟲(chóng)手段獲取的數(shù)據(jù)進(jìn)行清理，即去除網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)數(shù)量低于閾值的被試;最后在計(jì)算機(jī)處理前將多模態(tài)數(shù)據(jù)進(jìn)行預(yù)處理并轉(zhuǎn)換成模型可識(shí)別符號(hào)。例如：刪除文本數(shù)據(jù)中的無(wú)關(guān)符號(hào)、對(duì)字體進(jìn)行轉(zhuǎn)換等操作;對(duì)圖像數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、尺寸調(diào)整、標(biāo)準(zhǔn)化及歸一化處理等。

（二）基于文本的情感計(jì)算

文字信息是人類傳達(dá)情感、表達(dá)思想的基礎(chǔ)信息，是個(gè)體心理狀態(tài)的重要外在表現(xiàn)形式。因此，挖掘個(gè)體發(fā)布內(nèi)容時(shí)的心理狀態(tài)和情感態(tài)度[23]，對(duì)準(zhǔn)確識(shí)別心理健康狀況起重要作用。文本是典型的序列數(shù)據(jù)，若能捕捉句子上下文信息，基于語(yǔ)義理解便能很好地挖掘文本的情感傾向，因此，本研究建立了詞嵌入層—雙向長(zhǎng)短時(shí)記憶（Bi-LSTM）層—密集連接層的三層神經(jīng)網(wǎng)絡(luò)框架，跨越上下文間隔學(xué)習(xí)到句子隱含的情感信息，基于文本的情感計(jì)算流程如圖2所示。

文本向量化處理有one-hot編碼表示和分布式表示兩種，分布式的代表“詞嵌入”能將詞映射成密集低維的向量并保證語(yǔ)義相近的詞在向量空間距離更近，比one-hot編碼表示更適于處理情感分析任務(wù)。由于微博文本與說(shuō)說(shuō)文本在表達(dá)上均有口語(yǔ)化、短小精悍等特點(diǎn)，使用基于微博語(yǔ)料庫(kù)訓(xùn)練出的Skip-gram預(yù)訓(xùn)練詞嵌入模型[24]作為模型的詞嵌入層，使說(shuō)說(shuō)文本向量表示更為精準(zhǔn)貼切。

LSTM因其獨(dú)特的門(mén)控結(jié)構(gòu)和記憶單元能避免長(zhǎng)期依賴和梯度消失問(wèn)題而聞名，但在學(xué)習(xí)文本序列特征時(shí)信息只能單向傳播。為深入理解說(shuō)說(shuō)語(yǔ)義并習(xí)得有效的情感特征表示，論文設(shè)計(jì)雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)層以充分掌握說(shuō)說(shuō)文本的上下文信息。t時(shí)刻的說(shuō)說(shuō)特征表示ot需要獲取t時(shí)刻前向隱狀態(tài)ht和后向隱狀態(tài)h't，其中，⊕表示以拼接方式整合二者; t時(shí)刻的前向隱狀態(tài)ht是由t時(shí)刻的輸入xt、t-1時(shí)刻的隱狀態(tài)信息計(jì)算得出;t時(shí)刻的后向隱狀態(tài)h't是由t時(shí)刻的輸入xt、t+1時(shí)刻的隱狀態(tài)信息計(jì)算得出，其中，f函數(shù)為L(zhǎng)STM非線性函數(shù)，W，U，W'，U'表示函數(shù)的權(quán)重，b，b'表示函數(shù)的偏置。具體如公式1、公式2和公式3所示：

（三）基于圖像的情感計(jì)算

圖像信息是對(duì)文本信息的重要補(bǔ)充，大學(xué)生發(fā)表言論時(shí)往往附帶圖像以分享生活狀態(tài)、增強(qiáng)情感表達(dá)，甚至利用圖像表達(dá)語(yǔ)言無(wú)法描繪形容的心理狀態(tài)，因此，準(zhǔn)確識(shí)別圖像模態(tài)中的隱含情感有利于在文本的基礎(chǔ)上更加精準(zhǔn)地評(píng)估個(gè)體的心理健康狀況。VGG16網(wǎng)絡(luò)是牛津大學(xué)視覺(jué)組提出的具有16層結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，在圖像特征表示和泛化能力上有不俗效果，本研究以VGG16為基準(zhǔn)模型，通過(guò)微調(diào)策略構(gòu)建CNN模型，以捕捉圖像背后隱藏的情感傾向，基于圖像的情感計(jì)算如圖3所示。

基于圖像的情感計(jì)算是個(gè)復(fù)雜視覺(jué)問(wèn)題，CNN唯有學(xué)習(xí)到大量參數(shù)和有效特征，才能準(zhǔn)確地計(jì)算學(xué)生在發(fā)布圖像時(shí)的心理情感。利用遷移學(xué)習(xí)技術(shù)解決帶標(biāo)簽數(shù)據(jù)的規(guī)模困境，將基于ImageNet大規(guī)模數(shù)據(jù)集訓(xùn)練的VGG16卷積基作為圖像情感計(jì)算的預(yù)訓(xùn)練模型以學(xué)習(xí)圖像的通用特征表示，更改原有密集連接層設(shè)置以適應(yīng)圖像情感計(jì)算任務(wù)，修改后的模型結(jié)構(gòu)包括13層卷積層、5個(gè)池化層以及2層全連接層。

卷積基中較底部卷積層學(xué)習(xí)的是圖像的局部通用特征，而較頂層學(xué)習(xí)的是較為抽象、專業(yè)的特征表示。本研究訓(xùn)練CNN時(shí)釋放VGG第五個(gè)卷積塊的權(quán)重以學(xué)習(xí)圖像情感表示，既能使網(wǎng)絡(luò)結(jié)構(gòu)更適于計(jì)算圖像情感，也避免過(guò)擬合風(fēng)險(xiǎn)。卷積基學(xué)習(xí)到說(shuō)說(shuō)圖像的情感表示后，經(jīng)由密集連接層整合和softmax分類即可獲得圖像的情感傾向值，具體計(jì)算如公式4所示：

（四）心理健康評(píng)估模型生成

依據(jù)生態(tài)瞬時(shí)評(píng)估的生態(tài)性原則，獲取自然狀態(tài)下學(xué)生的網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)，試圖對(duì)這些數(shù)據(jù)進(jìn)行處理分析以提取心理特征，從而評(píng)估其心理健康狀況。為達(dá)成這一目標(biāo)，需完成兩個(gè)任務(wù)：一是融合多模態(tài)數(shù)據(jù)在情感表達(dá)上的互補(bǔ)信息;二是考慮學(xué)生在一段時(shí)間內(nèi)的情緒、情感變化。采用最大值規(guī)則融合計(jì)算多模態(tài)數(shù)據(jù)，利用隱條件隨機(jī)場(chǎng)算法（HCRF）考慮學(xué)生特定時(shí)間段內(nèi)的心理變化，以準(zhǔn)確評(píng)估出個(gè)體的心理健康等級(jí)，心理健康評(píng)估模型流程如圖4所示。

有效融合多模態(tài)信息是多模態(tài)情感計(jì)算的一個(gè)核心問(wèn)題，采用最大值規(guī)則計(jì)算文本、圖像情感傾向值，充分考慮兩種模態(tài)的情感成分以準(zhǔn)確決策學(xué)生發(fā)表說(shuō)說(shuō)時(shí)的心理狀態(tài)，具體計(jì)算過(guò)程如公式5和6所示：

其中，i和j為分類器數(shù)和類別數(shù)，Pj（n）為該說(shuō)說(shuō)第j類情感類別的概率值。

心理健康是一種隨著時(shí)間推移變化程度較大的狀態(tài)型心理特征[25]，實(shí)現(xiàn)準(zhǔn)確評(píng)估需考慮學(xué)生在當(dāng)前時(shí)間點(diǎn)前一段時(shí)間的網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)。論文基于HCRF算法提出時(shí)序分析模型，意圖挖掘一段時(shí)間內(nèi)不同心理健康等級(jí)的內(nèi)在發(fā)展規(guī)律，發(fā)現(xiàn)情感變化與心理健康間的關(guān)系。x={x1，x2，……，xn}對(duì)應(yīng)學(xué)生時(shí)間段內(nèi)每條說(shuō)說(shuō)數(shù)據(jù)的情感分?jǐn)?shù)，為時(shí)序模型的一組觀測(cè)序列;h={h1，h2，……，hn}對(duì)應(yīng)觀測(cè)序列中習(xí)得的規(guī)律特征，為時(shí)序模型的一組隱隨機(jī)變量;y表示學(xué)生一組觀測(cè)序列對(duì)應(yīng)的心理健康等級(jí)隨機(jī)變量。當(dāng)給出學(xué)生時(shí)間段內(nèi)的一組網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)觀測(cè)序列x，心理健康等級(jí)變量y的條件概率計(jì)算如公式7所示：

其中，由θ參數(shù)化的勢(shì)函數(shù)ψ（y，h，x;θ）用于度量一個(gè)等級(jí)類別、一組隱狀態(tài)序列和觀測(cè)序列之間的兼容性。

四、實(shí)驗(yàn)與結(jié)果分析

（一）實(shí)驗(yàn)數(shù)據(jù)集的構(gòu)建

本研究以湖南某大學(xué)學(xué)生為實(shí)驗(yàn)對(duì)象，發(fā)放根據(jù)CES-D量表設(shè)計(jì)的抑郁自評(píng)問(wèn)卷，并與其簽署數(shù)據(jù)保密協(xié)議，收集對(duì)象的網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)。在數(shù)據(jù)清洗的基礎(chǔ)上依據(jù)抑郁自評(píng)問(wèn)卷的分?jǐn)?shù)等級(jí)標(biāo)注對(duì)象的抑郁程度類別，邀請(qǐng)領(lǐng)域?qū)＜腋鶕?jù)情感傾向性標(biāo)注多模態(tài)數(shù)據(jù)的正負(fù)情緒類別，從而構(gòu)成用于隱式心理評(píng)估的聯(lián)合標(biāo)注數(shù)據(jù)集（JA-IPAD）。其中，多模態(tài)數(shù)據(jù)的情感傾向標(biāo)注示例見(jiàn)表1。

為訓(xùn)練并驗(yàn)證模型性能，處理并劃分多模態(tài)數(shù)據(jù)，具體數(shù)據(jù)分布如下：文本情感計(jì)算模型的情感類別包括正面、負(fù)面兩類，其訓(xùn)練集、驗(yàn)證集和測(cè)試集分別為4000條、500條和500條的文本內(nèi)容數(shù)據(jù);圖像情感計(jì)算模型的情感類別包括正面、負(fù)面兩類，其訓(xùn)練集、驗(yàn)證集和測(cè)試集分別為4000條、500條和500條的圖像內(nèi)容數(shù)據(jù);經(jīng)多名領(lǐng)域?qū)＜医徊婧瞬楹螅u(píng)估模型的心理健康等級(jí)包括健康、可能抑郁、存在抑郁三種情況，三類人群分布狀況分別為128人（61.0%）、57人（27.1%）、25人（11.9%），從中隨機(jī)抽取180人所發(fā)表的多模態(tài)數(shù)據(jù)為訓(xùn)練集、30人所發(fā)表的多模態(tài)數(shù)據(jù)為測(cè)試集。

（二）評(píng)價(jià)指標(biāo)

文本情感計(jì)算模型和圖像情感計(jì)算模型的數(shù)據(jù)分布較為平均，選用通用評(píng)價(jià)指標(biāo)對(duì)模型效果進(jìn)行評(píng)價(jià)以分析精準(zhǔn)率P、召回率R和F值。心理健康評(píng)估模型的學(xué)生數(shù)量較少且不同心理等級(jí)的數(shù)據(jù)分布不均，為確保結(jié)果的可信度，采用分層交叉驗(yàn)證策略，保持各個(gè)等級(jí)類別的原始比例以進(jìn)行 5 折分層交叉驗(yàn)證，并選用準(zhǔn)確率指標(biāo)對(duì)模型效果進(jìn)行評(píng)估。

（三）實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證所提出的多模態(tài)數(shù)據(jù)融合計(jì)算模型的有效性，設(shè)計(jì)以下對(duì)比實(shí)驗(yàn)：（1）Bi-LSTM（T），即使用雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)針對(duì)文本模態(tài)進(jìn)行情感計(jì)算的模型;（2）微調(diào)CNN（V），即采用微調(diào)策略遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像模態(tài)進(jìn)行情感計(jì)算的模型;（3）Bi-LSTM+微調(diào)CNN+AVER（T+V），即采用均值規(guī)則對(duì)圖文模態(tài)數(shù)據(jù)進(jìn)行融合計(jì)算的模型;（4）Bi-LSTM+微調(diào)CNN+MAX（T+V），即采用最大值規(guī)則對(duì)圖文模態(tài)數(shù)據(jù)進(jìn)行融合計(jì)算的模型。上述幾類算法在JA-IPAD數(shù)據(jù)集上的結(jié)果見(jiàn)表2。

從表2可知，圖文多模態(tài)融合的情感計(jì)算結(jié)果均優(yōu)于單一模態(tài)，均值規(guī)則和最大值規(guī)則的融合計(jì)算方式在精準(zhǔn)率上超單一文本模態(tài)約2.2%。結(jié)果表明，在文本模態(tài)基礎(chǔ)上引入圖像模態(tài)，能有效補(bǔ)充單一模態(tài)情感信息不足的問(wèn)題，且多模態(tài)數(shù)據(jù)很好地解決了表達(dá)上的多義性問(wèn)題，能成功捕捉到學(xué)生發(fā)表這些自述內(nèi)容時(shí)的真實(shí)情感傾向。除此之外，最大值規(guī)則比均值規(guī)則的融合計(jì)算方式在精準(zhǔn)率上高出1.6%。這表明，在文本和圖像情感計(jì)算結(jié)果存在差距的情況下，依靠情感計(jì)算得出更為準(zhǔn)確一方的最大值規(guī)則比平等看待二者的均值規(guī)則在模態(tài)融合上更顯優(yōu)越。在基于最大值規(guī)則的融合計(jì)算模型中，文本模態(tài)因情感計(jì)算結(jié)果不俗，較圖像模態(tài)占有更大的比重，但說(shuō)說(shuō)帖子的配圖在情感表達(dá)上強(qiáng)烈、直接，有助于融合多模態(tài)的情感計(jì)算模型以精準(zhǔn)識(shí)別學(xué)生的情感、情緒。

為驗(yàn)證心理健康評(píng)估模型的有效性，將量表分?jǐn)?shù)與模型評(píng)估結(jié)果進(jìn)行對(duì)比獲得準(zhǔn)確率，實(shí)驗(yàn)結(jié)果見(jiàn)表3。

健康類別的識(shí)別準(zhǔn)確率較高，抑郁類別尚可，可能抑郁類別相對(duì)較低。健康類別和抑郁類別屬于兩向極端，在縱向時(shí)間發(fā)展上，健康類別的學(xué)生情緒大部分時(shí)候處于正面積極狀態(tài)，而存在抑郁傾向類別的學(xué)生情緒持續(xù)低落，對(duì)外界刺激持消極態(tài)度，因而模型能較好地捕獲兩種類別的心理特征，有效判斷學(xué)生是否存在抑郁傾向。但可能抑郁類別處在健康與抑郁間的模糊地帶，特征并不鮮明，模型在進(jìn)行評(píng)估時(shí)容易因?qū)W生近幾次的說(shuō)說(shuō)情感傾向而發(fā)生誤判，導(dǎo)致準(zhǔn)確率相對(duì)較低。心理健康評(píng)估模型在驗(yàn)證集上有84.85%的平均準(zhǔn)確率，說(shuō)明模型在判斷學(xué)生是否存在抑郁傾向上具有較強(qiáng)的區(qū)分力，能準(zhǔn)確發(fā)現(xiàn)心理問(wèn)題的個(gè)體，具有實(shí)際應(yīng)用價(jià)值。與已有研究相比，本研究采用深度學(xué)習(xí)算法處理網(wǎng)絡(luò)內(nèi)容數(shù)據(jù)，能獲取文本、圖像等多種模態(tài)數(shù)據(jù)的深層次語(yǔ)義知識(shí)和真實(shí)的情感極性，且在評(píng)估耗時(shí)上比傳統(tǒng)機(jī)器學(xué)習(xí)算法更具優(yōu)勢(shì)，通過(guò)實(shí)時(shí)分析學(xué)生發(fā)表的網(wǎng)絡(luò)內(nèi)容，可以實(shí)現(xiàn)對(duì)學(xué)生心理健康狀態(tài)的快速定位和持續(xù)跟蹤，做到及時(shí)給高校工作者反饋學(xué)生狀況，為智慧教育時(shí)代下完善學(xué)生心理檔案、精準(zhǔn)干預(yù)學(xué)生心理、優(yōu)化心理健康服務(wù)[26]提供了技術(shù)支撐。

五、結(jié)? ?語(yǔ)

本研究針對(duì)學(xué)生社交網(wǎng)絡(luò)平臺(tái)數(shù)據(jù)的特點(diǎn)，構(gòu)建了一種多模態(tài)融合計(jì)算的大學(xué)生心理健康自動(dòng)評(píng)估模型。該模型在JA-IPAD數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果顯示，融合了多模態(tài)數(shù)據(jù)的模型相比于單一模態(tài)數(shù)據(jù)在準(zhǔn)確率上有顯著提高。這說(shuō)明除文本信息以外，圖像信息也是大學(xué)生心理健康評(píng)估的重要依據(jù)。融合模型的平均精確度達(dá)到了84.85%，說(shuō)明該模型能精準(zhǔn)地把握學(xué)生的心理健康水平，有效揭示學(xué)生心理特征的連續(xù)變化趨勢(shì)。同時(shí)，這也符合“人工智能+教育”的發(fā)展方向，為高校心理健康教育的智慧化發(fā)展帶來(lái)新機(jī)遇。

[參考文獻(xiàn)]

[1] 祁雙翼，西英俊，馬辛.中國(guó)人心理健康研究綜述[J].中國(guó)健康心理學(xué)雜志，2019，27（6）：947-953.

[2] 昌敬惠，袁愈新，王冬.新型冠狀病毒肺炎疫情下大學(xué)生心理健康狀況及影響因素分析[J].南方醫(yī)科大學(xué)學(xué)報(bào)，2020，40（2）：171-176.

[3] 陳麗.“互聯(lián)網(wǎng)+教育”的創(chuàng)新本質(zhì)與變革趨勢(shì)[J].遠(yuǎn)程教育雜志，2016，34（4）：3-8.

[4] 黃榮懷，陳麗，田陽(yáng)，等.互聯(lián)網(wǎng)教育智能技術(shù)的發(fā)展方向與研發(fā)路徑[J].電化教育研究，2020，41（1）：10-18.

[5] 微博校園.《2018中國(guó)大學(xué)生日常生活及網(wǎng)絡(luò)習(xí)慣調(diào)研報(bào)告》全面摸底大學(xué)生新媒體使用習(xí)慣[EB/OL].（2019-02-25）[2021-05-01].http：//ln.qq.com/a/20190225/004681.htm.

[6] 孟健男，司維，邵杰.大學(xué)新生SCL-90心理測(cè)評(píng)研究——以某中醫(yī)藥大學(xué)藥學(xué)院2017級(jí)新生為例[J].中國(guó)社會(huì)醫(yī)學(xué)雜志，2019， 36（4）：388-391.

[7] 方曉義，袁曉嬌，胡偉，等.中國(guó)大學(xué)生心理健康篩查量表的編制[J].心理與行為研究，2018，16（1）：111-118.

[8] 奚曉嵐，程灶火.基于神經(jīng)網(wǎng)絡(luò)的大學(xué)生心理健康評(píng)估模型[J].中國(guó)臨床心理學(xué)雜志，2011，19（6）：746-747，733.

[9] 郭菲，趙琳，連志鑫.大學(xué)生自我報(bào)告的學(xué)習(xí)投入可靠嗎——大學(xué)生群體的社會(huì)稱許性反應(yīng)及對(duì)自陳式問(wèn)卷調(diào)查的影響[J].華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2018，36（4）：53-61，163.

[10] 夏徐書(shū).湖南省某師范大學(xué)新生抑郁和自殺意念的流行病學(xué)調(diào)查[D].長(zhǎng)沙：湖南師范大學(xué)，2019.

[11] 朱廷劭.大數(shù)據(jù)時(shí)代的心理學(xué)研究及應(yīng)用[M].北京：科學(xué)出版社，2016.

[12] SAUL S， ARTHUR A S， MICHAEL R H. Ecological momentary assessment[J]. Annual review of clinical psychology，2008（4）：1-32.

[13] 李昂，郝碧波，白朔天，等.基于網(wǎng)絡(luò)數(shù)據(jù)分析的心理計(jì)算：針對(duì)心理健康狀態(tài)與主觀幸福感[J].科學(xué)通報(bào)，2015，60（11）：994-1001.

[14] RINALDI A， FOX T J， CHATURVED S. Predicting depression in screening interviews from latent categorization of interview prompts[C]// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： ACL Press，2020：7-18.

[15] 劉德喜，邱家洪，萬(wàn)常選，等.利用準(zhǔn)私密社交網(wǎng)絡(luò)文本數(shù)據(jù)檢測(cè)抑郁用戶的可行性分析[J].中文信息學(xué)報(bào)，2018，32（9）：93-102.

[16] 劉德喜，夏先益，萬(wàn)常選，等.基于多特征融合的在線論壇用戶心理健康自動(dòng)評(píng)估[J].計(jì)算機(jī)學(xué)報(bào)，2019，42（7）：1553-1569.

[17] CHENG Q J， LI T M.H， KWORK C-L， et al. Assessing suicide risk and emotional distress in Chinese social media： a text mining and machine learning study[J]. Journal of medical internet research，2017，19（7）：243-250.

[18] 于亞新，劉夢(mèng)，張宏宇.Twitter社交網(wǎng)絡(luò)用戶行為理解及個(gè)性化服務(wù)推薦算法研究[J].計(jì)算機(jī)研究與發(fā)展，2020，57（7）：1369-1380.

[19] 張國(guó)標(biāo)，李潔.融合多模態(tài)內(nèi)容語(yǔ)義一致性的社交媒體虛假新聞檢測(cè)[J].數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)，2021，5（5）：21-29.

[20] 張芮，楊晨韻，張耀東.中國(guó)大學(xué)生抑郁影響因素的Meta分析[J].中國(guó)全科醫(yī)學(xué)，2020，23（35）：4497-4502.

[21] 汪維富，毛美娟.多模態(tài)學(xué)習(xí)分析：理解與評(píng)價(jià)真實(shí)學(xué)習(xí)的新路向[J].電化教育研究，2021，42（2）：25-32.

[22] 麻益通.基于多模態(tài)的在線學(xué)習(xí)情感分析模型設(shè)計(jì)與實(shí)現(xiàn)[D].南京：南京師范大學(xué)，2019.

[23] 劉三女牙，彭晛，劉智，等.基于文本挖掘的學(xué)習(xí)分析應(yīng)用研究[J].電化教育研究，2016，37（2）：23-30.

[24] LI S， ZHAO Z， HU R， et al. Analogical reasoning on Chinese morphological and semantic relations[C]// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Melbourne： ACL Press， 2018： 138-143.

[25] HAMBURGER Y. A， BEN-ARTZI E. The relationship between extraversion and neuroticism and the different uses of the Internet [J]. Computers in human behavior. 2000，16（4）： 441-449.

[26] 俞國(guó)良，侯瑞鶴.論學(xué)校心理健康服務(wù)及其體系建設(shè)[J].教育研究，2015，36（8）：125-132.