武法提 王兆雪

一、引言

設(shè)計(jì)是一種創(chuàng)造性活動(dòng)，是國(guó)家核心競(jìng)爭(zhēng)力的重要組成部分，旨在產(chǎn)生創(chuàng)造性結(jié)果或創(chuàng)造性地解決問(wèn)題，是實(shí)現(xiàn)創(chuàng)新的重要途徑和有效方式（山丹, 2021）。21 世紀(jì)以來(lái)，設(shè)計(jì)類問(wèn)題在各大領(lǐng)域中頻繁出現(xiàn)，具備設(shè)計(jì)類問(wèn)題解決能力可以幫助人們解決各類復(fù)雜問(wèn)題與生活議題。因此，設(shè)計(jì)類問(wèn)題的解決能力成為21 世紀(jì)學(xué)習(xí)者必備的關(guān)鍵技能。研究表明，對(duì)其進(jìn)行測(cè)評(píng)，有助于面向智能時(shí)代創(chuàng)新型人才的培養(yǎng)（王兆雪& 武法提, 2022）。同時(shí)，設(shè)計(jì)類問(wèn)題解決是一種協(xié)作問(wèn)題解決活動(dòng)。在這種協(xié)作問(wèn)題解決活動(dòng)中，設(shè)計(jì)思維是貫穿設(shè)計(jì)類問(wèn)題解決過(guò)程的思維策略，協(xié)作交流是貫穿設(shè)計(jì)類問(wèn)題解決過(guò)程的重要途徑。

目前對(duì)于設(shè)計(jì)類問(wèn)題解決能力測(cè)評(píng)主要基于數(shù)據(jù)驅(qū)動(dòng)的多模態(tài)測(cè)評(píng)方式，這種方式可以獲取全方位數(shù)據(jù)，兼顧外在行為數(shù)據(jù)與內(nèi)在生理數(shù)據(jù)，是精準(zhǔn)化測(cè)評(píng)的重要手段（胡航&楊旸,2022）。設(shè)計(jì)思維重點(diǎn)考察設(shè)計(jì)認(rèn)知方面的情況，主要采用心理學(xué)量表、真實(shí)情景的計(jì)算機(jī)測(cè)試或多模態(tài)數(shù)據(jù)進(jìn)行測(cè)評(píng)，如蓋勒等（Gero&Milovanovic,2020）以設(shè)計(jì)認(rèn)知為研究主題，收集學(xué)習(xí)者在設(shè)計(jì)過(guò)程中的眼動(dòng)數(shù)據(jù)和情緒數(shù)據(jù)，分析生理層面的設(shè)計(jì)認(rèn)知，同時(shí)收集EEG 腦電波數(shù)據(jù)、功能性近紅外光譜和功能性磁共振成像數(shù)據(jù)，分析神經(jīng)層面的設(shè)計(jì)認(rèn)知。協(xié)作交流主要考察社會(huì)技能，如協(xié)同進(jìn)行信息共享并共同完成任務(wù)的情況，主要采用社交網(wǎng)絡(luò)特征、交互式文本分析或心率皮膚電等數(shù)據(jù)變化來(lái)測(cè)評(píng)，如格羅弗等（Grover et al.,2020）通過(guò)收集協(xié)作過(guò)程中的視頻、音頻、點(diǎn)擊流和屏幕捕獲數(shù)據(jù)，對(duì)合作能力進(jìn)行多模態(tài)測(cè)評(píng)，最終達(dá)到44%的預(yù)測(cè)準(zhǔn)確率。施奈德等（Schneider&Blikstein,2014）利用雙手協(xié)調(diào)數(shù)據(jù)、身體同步數(shù)據(jù)和身體距離數(shù)據(jù)來(lái)評(píng)判學(xué)習(xí)者的協(xié)作學(xué)習(xí)結(jié)果。

為了實(shí)現(xiàn)精準(zhǔn)化的設(shè)計(jì)類問(wèn)題解決能力測(cè)評(píng)，如何將多種來(lái)源、通道和場(chǎng)景的數(shù)據(jù)進(jìn)行融合是目前多模態(tài)學(xué)習(xí)分析的難點(diǎn)（彭紅超&姜雨晴,2022）。在高階能力測(cè)評(píng)研究中，多模態(tài)數(shù)據(jù)融合主要有三種方法：1）數(shù)據(jù)融合，將多個(gè)模態(tài)的數(shù)據(jù)融合成單一的特征矩陣，輸入機(jī)器學(xué)習(xí)的分類器中進(jìn)行訓(xùn)練（王一巖&鄭永和,2022）；2）特征融合，提取數(shù)據(jù)特征，并基于這些特征規(guī)則進(jìn)行融合（Majumder et al.,2018）；3）決策融合，也是能力測(cè)評(píng)中最常用的一種數(shù)據(jù)融合方案，先對(duì)每個(gè)模態(tài)的數(shù)據(jù)單獨(dú)進(jìn)行處理、訓(xùn)練和判斷，最后對(duì)所有決策結(jié)果進(jìn)行融合（丁繼紅, 2023）。決策融合的優(yōu)勢(shì)在于需要融合的數(shù)據(jù)來(lái)自不同的數(shù)據(jù)分類器或模態(tài)結(jié)果，每個(gè)模態(tài)的數(shù)據(jù)之間互不影響，可單獨(dú)計(jì)算，錯(cuò)誤不會(huì)累計(jì)。三種方法各有利弊，但在設(shè)計(jì)類問(wèn)題解決能力的測(cè)評(píng)中，不同融合方式的效果還需要探索。

因此，本研究對(duì)學(xué)習(xí)者在設(shè)計(jì)過(guò)程中的全過(guò)程數(shù)據(jù)進(jìn)行記錄與分析，并運(yùn)用恰當(dāng)?shù)乃惴ǚ治鼋徊骝?yàn)證設(shè)計(jì)類問(wèn)題解決能力各維度的狀態(tài)，對(duì)設(shè)計(jì)類問(wèn)題解決能力進(jìn)行多模態(tài)數(shù)據(jù)表征，從而打開(kāi)設(shè)計(jì)的“黑箱”，為設(shè)計(jì)類問(wèn)題解決能力測(cè)評(píng)提供更加精準(zhǔn)的方法，為培養(yǎng)學(xué)生的創(chuàng)新能力提供支撐。

二、多模態(tài)數(shù)據(jù)表征的設(shè)計(jì)類問(wèn)題解決能力測(cè)評(píng)模型實(shí)證分析

（一）測(cè)評(píng)模型構(gòu)建

本研究試圖剖析設(shè)計(jì)類問(wèn)題解決能力的關(guān)鍵要素，通過(guò)采集學(xué)習(xí)者在設(shè)計(jì)類問(wèn)題解決過(guò)程中的多模態(tài)數(shù)據(jù)，對(duì)設(shè)計(jì)類問(wèn)題解決能力進(jìn)行多模態(tài)數(shù)據(jù)表征，為其個(gè)性化、精準(zhǔn)化測(cè)評(píng)提供新的解決方案。王兆雪和武法提（2022）在關(guān)于設(shè)計(jì)類問(wèn)題解決能力的研究中，從認(rèn)知與協(xié)作兩個(gè)維度進(jìn)行分析，提出“設(shè)計(jì)思維是貫穿設(shè)計(jì)類問(wèn)題解決過(guò)程的思維策略與協(xié)作交流，是貫穿設(shè)計(jì)類問(wèn)題解決過(guò)程的重要途徑”兩個(gè)重要觀點(diǎn)，并將其劃分為反思調(diào)節(jié)、觀點(diǎn)建構(gòu)、組織協(xié)調(diào)和同理心四個(gè)子維度。本研究對(duì)上述設(shè)計(jì)類問(wèn)題解決能力多模態(tài)測(cè)評(píng)框架進(jìn)行修改與完善，通過(guò)采集心理量表、生物傳感數(shù)據(jù)和行為言語(yǔ)數(shù)據(jù)，構(gòu)建了多模態(tài)數(shù)據(jù)表征的設(shè)計(jì)類問(wèn)題解決能力測(cè)評(píng)模型，如表1所示。

表1 多模態(tài)數(shù)據(jù)表征的設(shè)計(jì)類問(wèn)題解決能力測(cè)評(píng)模型

（二）實(shí)驗(yàn)設(shè)計(jì)與數(shù)據(jù)采集

實(shí)驗(yàn)在北京師范大學(xué)多模態(tài)學(xué)習(xí)分析實(shí)驗(yàn)室中展開(kāi)，被試為校內(nèi)學(xué)生。首先進(jìn)行預(yù)實(shí)驗(yàn)，隨機(jī)召集被試三組，共9人，年齡為18—22 歲。預(yù)實(shí)驗(yàn)的目的主要是對(duì)實(shí)驗(yàn)設(shè)備的有效性、學(xué)習(xí)任務(wù)和學(xué)習(xí)支架的可靠性進(jìn)行檢驗(yàn)。正式實(shí)驗(yàn)選取被試181人，3—4人一組進(jìn)行實(shí)驗(yàn)，要求學(xué)習(xí)者在給定空地上建造一個(gè)合理用水的生態(tài)海綿校園。主試在后方全程監(jiān)督，在不干擾被試的前提下確保被試順利完成學(xué)習(xí)任務(wù)。

在學(xué)習(xí)者完成設(shè)計(jì)的過(guò)程中，主試進(jìn)行問(wèn)題解決全過(guò)程的數(shù)據(jù)采集，包括會(huì)話文本數(shù)據(jù)、心理問(wèn)卷數(shù)據(jù)和生理數(shù)據(jù)。對(duì)于生理數(shù)據(jù)，本研究使用Empatica 公司開(kāi)發(fā)的E4 手環(huán)，以4Hz 的采樣率獲取皮膚電數(shù)據(jù)，以64Hz 的采樣率獲取心率數(shù)據(jù)。對(duì)于文本數(shù)據(jù)，研究使用科大訊飛智能錄音筆進(jìn)行會(huì)話過(guò)程的錄制與文本轉(zhuǎn)寫(xiě)，并進(jìn)行后期人工校對(duì)。討論結(jié)束后，主試引導(dǎo)被試填寫(xiě)后測(cè)問(wèn)卷（包含同理心問(wèn)卷、引領(lǐng)度問(wèn)卷等）。

三、數(shù)據(jù)分析

本研究通過(guò)多模態(tài)數(shù)據(jù)分析，以期探求設(shè)計(jì)問(wèn)題解決過(guò)程中的教育新規(guī)律與新發(fā)現(xiàn)。圖1呈現(xiàn)了設(shè)計(jì)類問(wèn)題解決能力測(cè)評(píng)分析的總體工作流程，主要展現(xiàn)了測(cè)評(píng)過(guò)程中不同維度下被試的分布情況，以及各維度所運(yùn)用的分析方法，直觀地將數(shù)據(jù)分析流程體現(xiàn)出來(lái)。其中，數(shù)據(jù)分析建模部分共用到103 位學(xué)習(xí)者的數(shù)據(jù)，而數(shù)據(jù)融合部分共用到68 位學(xué)習(xí)者數(shù)據(jù)，彼此間數(shù)據(jù)互不相同、互不交叉。

圖1 多模態(tài)數(shù)據(jù)表征的設(shè)計(jì)類問(wèn)題解決能力表征模型分析路線圖

（一）反思調(diào)節(jié)維度

學(xué)習(xí)者在協(xié)作設(shè)計(jì)中的言語(yǔ)、行為等可以反映其在解決問(wèn)題過(guò)程中反思與調(diào)節(jié)的情況，因此，本研究抽取學(xué)習(xí)者在問(wèn)題解決過(guò)程中動(dòng)態(tài)的、有過(guò)程傾向的行為與言語(yǔ)數(shù)據(jù)，構(gòu)建基于深度學(xué)習(xí)的反思調(diào)節(jié)維度交互文本分類模型，從啟發(fā)性、構(gòu)思性、實(shí)施性和反思度四種維度對(duì)設(shè)計(jì)類問(wèn)題解決過(guò)程的認(rèn)知情況進(jìn)行分析。

1.文本編碼

在啟發(fā)階段，學(xué)習(xí)者一般從問(wèn)題的定義出發(fā)，通過(guò)小組成員之間的頭腦風(fēng)暴進(jìn)行靈感的迸發(fā)，激活自身信念，為學(xué)習(xí)做好準(zhǔn)備，對(duì)任務(wù)進(jìn)行分析從而設(shè)定目標(biāo)和戰(zhàn)略規(guī)劃。在構(gòu)思階段，學(xué)習(xí)者通過(guò)自我控制和自我觀察，集中精力完成任務(wù)并使用有效的策略來(lái)實(shí)現(xiàn)共同體的目標(biāo)，主要關(guān)注學(xué)習(xí)者如何綜合運(yùn)用已有的學(xué)科知識(shí)和問(wèn)題解決能力進(jìn)行方案設(shè)計(jì)。在實(shí)施階段，更加關(guān)注學(xué)習(xí)者如何推動(dòng)設(shè)計(jì)進(jìn)展，使方案更加完善和科學(xué)。在反思階段，學(xué)習(xí)者通過(guò)監(jiān)控感知到的信息，根據(jù)計(jì)劃階段設(shè)定的目標(biāo)進(jìn)行自我評(píng)估，并對(duì)結(jié)果進(jìn)行歸因。本研究設(shè)計(jì)的反思調(diào)節(jié)編碼框架如表2所示。

表2 反思調(diào)節(jié)維度數(shù)據(jù)標(biāo)注方案

2.文本標(biāo)注與預(yù)處理

本研究采用先人工、后機(jī)器的方式預(yù)測(cè)言語(yǔ)數(shù)據(jù)所屬的類別。在人工階段，本研究選取兩位專家背對(duì)背將單獨(dú)的句子作為分析單元進(jìn)行編碼，每句話分為具有啟發(fā)性、構(gòu)思性、實(shí)施性、反思度和無(wú)關(guān)言語(yǔ)五類。當(dāng)學(xué)習(xí)者的言語(yǔ)與測(cè)評(píng)指標(biāo)中的編碼規(guī)則重合，則記為1，若發(fā)言但沒(méi)有與編碼規(guī)則中的句子重合，則記為0，最終將每個(gè)指標(biāo)的頻次累計(jì)作為該指標(biāo)的得分。這種編碼方式不僅可以避免不同專家之間的差異，還可以更快地處理大量的數(shù)據(jù)。然后，計(jì)算文本數(shù)據(jù)的Kappa系數(shù)，編碼一致性系數(shù)達(dá)到0.85及以上，則證明本研究編碼有效，可以進(jìn)行下一步的自動(dòng)化編碼。

本研究主要從以下四個(gè)方面對(duì)數(shù)據(jù)進(jìn)行預(yù)處理：一是刪除無(wú)效和冗余數(shù)據(jù)，二是進(jìn)行文本分詞，三是文本向量化，四是數(shù)據(jù)采樣。

3.算法模型訓(xùn)練

本研究選取當(dāng)前文本分類中較為常見(jiàn)的Bi-LSTM+self-Attention 和BERT 深度學(xué)習(xí)算法訓(xùn)練文本分類算法模型。

Bi-LSTM在LSTM（Zhou et al.,2016）模型的基礎(chǔ)上能夠同時(shí)考慮前向和后向的時(shí)序信息；注意力機(jī)制可以更好地處理輸入序列中的重要信息。因此Bi-LSTM+Attention模型進(jìn)一步提升了模型對(duì)時(shí)間序列數(shù)據(jù)的處理能力。這種方法在自然語(yǔ)言處理、語(yǔ)音識(shí)別、圖像處理等領(lǐng)域取得了良好的效果（甄園宜&鄭蘭琴,2020）。

BERT 通過(guò)對(duì)大規(guī)模文本語(yǔ)料進(jìn)行預(yù)訓(xùn)練，學(xué)習(xí)總結(jié)出通用的文本表征，從而能夠在各種自然語(yǔ)言處理任務(wù)中進(jìn)行微調(diào)，取得優(yōu)秀的效果（Devlin et al.,2018）。本研究采用的兩種算法模型如圖2和圖3所示。

圖2 Bi-LSTM+self-Attention算法模型示意圖

圖3 BERT算法模型示意圖

4.文本分類效果

本研究將數(shù)據(jù)集隨機(jī)分為80%訓(xùn)練集與20%測(cè)試集。利用訓(xùn)練集數(shù)據(jù)對(duì)上述2個(gè)文本分類器模型進(jìn)行訓(xùn)練，獲得的分類模型在測(cè)試集上進(jìn)行分類測(cè)試的各項(xiàng)指標(biāo)如表3所示。

表3 兩種深度學(xué)習(xí)算法在測(cè)試集上的分類結(jié)果

由表3 可知，BERT 模型的整體準(zhǔn)確率較高，表明BERT 模型可以更好地提取實(shí)施類、反思類和無(wú)關(guān)類的語(yǔ)義信息，而在啟發(fā)類和構(gòu)思類的語(yǔ)義信息識(shí)別上還有待改進(jìn)。本研究采用BERT模型作為反思調(diào)節(jié)維度的文本分類最終算法。

5.反思調(diào)節(jié)維度得分計(jì)算方法

BERT 模型在訓(xùn)練集和驗(yàn)證集中的準(zhǔn)確率和Loss 值的變化曲線如圖4所示。訓(xùn)練輪次設(shè)置為20 輪。Loss 值逐漸減小，而準(zhǔn)確率逐漸升高，最終驗(yàn)證集上最高的分類準(zhǔn)確率達(dá)到82%。

圖4 訓(xùn)練集和驗(yàn)證集的準(zhǔn)確率和Loss值變化趨勢(shì)圖

圖5 為BERT 模型經(jīng)歸一化處理后的混淆矩陣分析結(jié)果，其橫坐標(biāo)代表預(yù)測(cè)標(biāo)簽（Predicted Label），即分類結(jié)果，縱坐標(biāo)代表正確標(biāo)簽（True Label），即實(shí)際類型，坐標(biāo)中的0—4 分別代表啟發(fā)類、構(gòu)思類、實(shí)施類、反思類和無(wú)關(guān)信息類5種類型的設(shè)計(jì)類問(wèn)題解決能力言語(yǔ)交互文本，矩陣中的數(shù)值表示該類交互文本的召回率。從混淆矩陣分析結(jié)果可以看出，對(duì)角線上的分類預(yù)測(cè)情況較好，在各個(gè)維度上均表現(xiàn)較優(yōu)，表明BERT分類器具有較好的分類效果。但僅能判斷學(xué)習(xí)者的話語(yǔ)屬于哪一個(gè)維度還不能完全評(píng)判其得分，因此，最終將每個(gè)指標(biāo)的頻次累計(jì)作為該學(xué)生的指標(biāo)得分，以此實(shí)現(xiàn)個(gè)體和群體的得分計(jì)算。

圖5 BERT模型分類混淆矩陣

（二）觀點(diǎn)建構(gòu)維度

雖然知識(shí)構(gòu)建是一種群體現(xiàn)象，但貢獻(xiàn)來(lái)自可識(shí)別的個(gè)人。如何度量知識(shí)貢獻(xiàn)是提高知識(shí)構(gòu)建活動(dòng)質(zhì)量的關(guān)鍵。然而，衡量知識(shí)建構(gòu)過(guò)程中的貢獻(xiàn)在教學(xué)實(shí)踐和研究領(lǐng)域都很困難。信息論提供了一種定量的方法來(lái)衡量信息相關(guān)系統(tǒng)中信息的內(nèi)容（Vrankoviet al.，2020）。如果某學(xué)習(xí)者的交互文本中包含了對(duì)此次主題式設(shè)計(jì)有用的信息，則該學(xué)習(xí)者就做出了知識(shí)貢獻(xiàn)，并減少了這個(gè)小信息系統(tǒng)產(chǎn)生的不確定性。交互文本信息內(nèi)容可以通過(guò)其中所有關(guān)鍵詞的信息之和來(lái)衡量。這種方法命名為“知識(shí)貢獻(xiàn)的信息度量（IMKC） ”（Wu et al.，2021）。在本研究中，采用這種方法探索設(shè)計(jì)問(wèn)題可解決學(xué)習(xí)者觀點(diǎn)的科學(xué)性、創(chuàng)新性和系統(tǒng)性。本研究構(gòu)建了基于海綿校園主題的關(guān)鍵詞匯總表，共66 個(gè)關(guān)鍵詞，當(dāng)學(xué)習(xí)者交互文本中出現(xiàn)關(guān)鍵詞匯時(shí)，會(huì)進(jìn)行下一步的計(jì)算。觀點(diǎn)建構(gòu)維度下三個(gè)量化指標(biāo)的計(jì)算方法如下。

1.科學(xué)性

根據(jù)香農(nóng)的信息論，學(xué)習(xí)者互動(dòng)文本的總信息量是指文本中所有關(guān)鍵詞的信息量之和，通過(guò)分析可知，學(xué)習(xí)者所提出的方案的科學(xué)性越好，則說(shuō)明學(xué)習(xí)者提出的觀點(diǎn)中涉及的知識(shí)關(guān)鍵詞越準(zhǔn)確，因此本研究采用準(zhǔn)確關(guān)鍵詞的信息總量來(lái)表征科學(xué)性。其中M 指學(xué)習(xí)者人數(shù)，n 指每個(gè)人的句子數(shù)，freij指第i 個(gè)學(xué)習(xí)者第j 句話中關(guān)鍵詞出現(xiàn)的頻率，frek指第k個(gè)學(xué)習(xí)者出現(xiàn)關(guān)鍵詞的頻率，pk指第k個(gè)人所說(shuō)的話中包含關(guān)鍵詞的總概率，見(jiàn)式（1）。

2.創(chuàng)新性

觀點(diǎn)的創(chuàng)新性越好，則說(shuō)明學(xué)習(xí)者更具創(chuàng)造力，可以提出不同的知識(shí)觀點(diǎn)，因此采用言語(yǔ)文本的關(guān)鍵詞信息增益進(jìn)行評(píng)價(jià)。將關(guān)于“海綿校園”主題的一個(gè)組別的所有文本數(shù)據(jù)都放置在一個(gè)時(shí)間軸上。具體算法如下：當(dāng)學(xué)生在討論中出現(xiàn)與先前不同的新的關(guān)鍵詞時(shí)，就將該關(guān)鍵詞納入進(jìn)來(lái)。D指上一句話中關(guān)鍵詞的個(gè)數(shù)，R 指下一句話中關(guān)鍵詞個(gè)數(shù)，card|R-D|指新增的關(guān)鍵詞個(gè)數(shù)；ΔI指新增關(guān)鍵詞的信息增益。由于每組學(xué)生為3人，交互式文本中有對(duì)話的情況，因此我們建構(gòu)了式（3），其中下標(biāo)i代表第i個(gè)學(xué)習(xí)者，ΔIi為第i個(gè)學(xué)習(xí)者的信息增益，見(jiàn)式（2）和式（3）。

3.系統(tǒng)性

通過(guò)分析得知，知識(shí)點(diǎn)覆蓋度越高，代表學(xué)生在合作過(guò)程中能更充分地認(rèn)識(shí)到問(wèn)題涉及的知識(shí)面，因此采用關(guān)鍵詞的覆蓋比例表征學(xué)生在討論中觀點(diǎn)的系統(tǒng)性。freij表示第i 個(gè)人說(shuō)到第j 個(gè)關(guān)鍵詞的詞頻，N 是關(guān)鍵詞總數(shù)，uni函數(shù)是對(duì)詞頻的記錄，sys函數(shù)則是對(duì)關(guān)鍵詞覆蓋程度的表征，見(jiàn)式（4）和式（5）。

（三）組織協(xié)調(diào)維度

組織協(xié)調(diào)維度主要表征協(xié)作過(guò)程中學(xué)習(xí)者之間溝通交流的情況，學(xué)習(xí)者對(duì)小組活動(dòng)參與越多，投入度越高，則信任感和歸屬感越高（馬志強(qiáng)等,2022），從而有助于小組內(nèi)部的知識(shí)構(gòu)建和知識(shí)分享。合作學(xué)習(xí)中的協(xié)調(diào)被定義為“和諧與合作藝術(shù)”。協(xié)調(diào)是為了使一個(gè)團(tuán)體或個(gè)人獲得預(yù)期目標(biāo)而進(jìn)行的相互作用。協(xié)調(diào)包括與團(tuán)隊(duì)成員合作，并且針對(duì)團(tuán)隊(duì)成員建立了一系列彼此相關(guān)的計(jì)劃活動(dòng)（Malone &Crowston,1994）。有效協(xié)調(diào)是合作的關(guān)鍵，并依賴于服務(wù)與組織間和系統(tǒng)間有效工作關(guān)系的建立（Entin&Serfaty,1999）。

由于設(shè)計(jì)思維維度已經(jīng)考慮了協(xié)作過(guò)程中的認(rèn)知情況，故本節(jié)僅考慮協(xié)作問(wèn)題解決過(guò)程中學(xué)習(xí)者交互的情況。本研究采用心理問(wèn)卷的組間互評(píng)與自評(píng)來(lái)對(duì)組織協(xié)調(diào)維度進(jìn)行表征。

1.協(xié)調(diào)度

劉紅（2022）在協(xié)作能力提升項(xiàng)目的研究中提出了包括協(xié)作態(tài)度、組織協(xié)調(diào)和溝通交流的協(xié)作能力三維測(cè)評(píng)框架，并編制了測(cè)評(píng)量表。其中組織協(xié)調(diào)包含評(píng)價(jià)、規(guī)則、組織工作、調(diào)控四個(gè)要素。在此基礎(chǔ)上，本研究完善了調(diào)控維度的問(wèn)卷，將其作為協(xié)調(diào)度的表征問(wèn)卷，用《協(xié)作能力問(wèn)卷》中的量表來(lái)表征學(xué)習(xí)者在協(xié)作設(shè)計(jì)中組織協(xié)調(diào)組間關(guān)系，維護(hù)組間穩(wěn)定的情況，即協(xié)調(diào)度。量表共14 題，克隆巴赫系數(shù)≥0.7，Bartlett 球形度檢驗(yàn)p＜0.01，問(wèn)卷的信效度較好，可以用于測(cè)評(píng)。

2.響應(yīng)度

以往的研究表明，通過(guò)參與者與同伴或老師的互動(dòng)來(lái)衡量其參與度是可行的。因此本研究采用《基于項(xiàng)目化學(xué)習(xí)的協(xié)作能力測(cè)評(píng)》中“協(xié)作態(tài)度維度”的測(cè)評(píng)量表對(duì)協(xié)作過(guò)程中的響應(yīng)度進(jìn)行測(cè)評(píng)（劉紅,2022,p.22）。問(wèn)卷包括承擔(dān)責(zé)任、寬容性、協(xié)作性和協(xié)作意愿四項(xiàng)，共12題，克隆巴赫系數(shù)≥0.7，Bartlett球形度檢驗(yàn)p＜0.01，問(wèn)卷的信效度較好，可以用于測(cè)評(píng)。

3.引領(lǐng)度

本研究采用《青少年領(lǐng)導(dǎo)力問(wèn)卷（中文版）》對(duì)學(xué)習(xí)者在協(xié)作過(guò)程中的領(lǐng)導(dǎo)力進(jìn)行測(cè)量（李敏, 2013, pp.95-96）?！额I(lǐng)導(dǎo)技能量表（中文版（LSI-C））》是以凱特和湯曾德（Carter & Townscend, 1983）《領(lǐng)導(dǎo)技能量表（修訂版）》為藍(lán)本，經(jīng)過(guò)翻譯修訂和檢驗(yàn)的量表，包括團(tuán)隊(duì)工作、理解自我、溝通、決策和領(lǐng)導(dǎo)五個(gè)分量表，共21 題，克隆巴赫系數(shù)為0.91，Bartlett球形度檢驗(yàn)p＜0.05，問(wèn)卷的信效度較好，可以用于測(cè)評(píng)。

（四）同理心維度

在同理心維度，將構(gòu)建兩個(gè)機(jī)器學(xué)習(xí)分類模型，分別為理解力表征的分類模型和體驗(yàn)度表征的分類模型，采用特征工程的方法分別對(duì)理解力和體驗(yàn)度進(jìn)行表征。同理心維度的表征流程圖如圖6所示。

圖6 同理心維度多模態(tài)表征流程示意圖

首先，本研究對(duì)心率、心跳間期、血容量脈沖和皮膚電的數(shù)據(jù)從頻域特征、時(shí)域特征、非線性特征等方面進(jìn)行特征提?。ㄎ浞ㄌ岬?2022），共提取170 個(gè)特征值。時(shí)域特征包括各類信號(hào)的標(biāo)準(zhǔn)差、均值、一階差分最大值和最小值、二階差分最大值和最小值、四分位距、絕對(duì)中位差、偏度、峰度、最大最小值差等；頻域特征包括自回歸方法、傅里葉方法、Lomb-Scargle周期圖法提取的高低頻特征（李幼軍, 2018, pp.22-27）；非線性包括龐加萊圖和去趨勢(shì)波動(dòng)分析所提取的特征等（楊敏,2013,pp.15-22）。

其次，以同理心問(wèn)卷（IRI）的認(rèn)知共情和情緒共情兩個(gè)維度的心理測(cè)驗(yàn)分?jǐn)?shù)的分類值作為標(biāo)準(zhǔn)得分，分別對(duì)理解力和體驗(yàn)度進(jìn)行機(jī)器學(xué)習(xí)分類算法模型的構(gòu)建。IRI 問(wèn)卷是對(duì)同理心進(jìn)行多維評(píng)估的經(jīng)典問(wèn)卷（Davis,1983），量表共有28 道題，以5 點(diǎn)李克特式計(jì)分。隨后，對(duì)問(wèn)卷數(shù)據(jù)進(jìn)行歸一化，將70 分以下設(shè)為C 類，70—85 分設(shè)為B 類，85—100分設(shè)為A類。每位學(xué)習(xí)者有一組對(duì)應(yīng)的標(biāo)簽和若干組特征值，以此提取有效性高的特征值。在計(jì)算特征值后，采用相關(guān)分析中的皮爾孫系數(shù)對(duì)若干特征進(jìn)行篩選。特征值與體驗(yàn)度、理解力的相關(guān)系數(shù)的絕對(duì)值低于0.3 的特征被刪除，其中“理解力模型”和“體驗(yàn)度模型”分別篩選出18 個(gè)和23 個(gè)重要特征值。

最后，本研究以同理心問(wèn)卷的認(rèn)知共情和情緒共情維度水平為驗(yàn)證標(biāo)簽，選用支持向量機(jī)、決策樹(shù)、隨機(jī)森林、樸素貝葉斯、貝葉斯網(wǎng)絡(luò)、邏輯回歸、K 最近鄰七種機(jī)器學(xué)習(xí)算法進(jìn)行分類模型構(gòu)建。在驗(yàn)證階段，本研究選用70%訓(xùn)練集和30%測(cè)試集，并將這70%訓(xùn)練集采用十折交叉驗(yàn)證的方法進(jìn)行分類模型的訓(xùn)練和測(cè)試，采用模型的預(yù)測(cè)準(zhǔn)確率（Accuracy）、各類別的平均預(yù)測(cè)精準(zhǔn)率（Precision）與召回率（Recall）以及F1分?jǐn)?shù)（精準(zhǔn)率與召回率的調(diào)和均值）。

對(duì)于同理心的理解力維度和體驗(yàn)度維度的得分預(yù)測(cè)，隨機(jī)森林法表現(xiàn)最佳，且預(yù)測(cè)準(zhǔn)確率分別達(dá)到了77%和65%，因此，本研究采用隨機(jī)森林法作為數(shù)據(jù)分類模型算法，分類效果如表4所示。

表4 理解力與體驗(yàn)度的機(jī)器學(xué)習(xí)分類模型準(zhǔn)確率

四、設(shè)計(jì)類問(wèn)題解決能力多模態(tài)數(shù)據(jù)的融合分析

多渠道獲取的數(shù)據(jù)主要存在數(shù)據(jù)類型不同、數(shù)據(jù)時(shí)間難以對(duì)齊等問(wèn)題，如心率、皮膚電的數(shù)據(jù)為時(shí)間序列的連續(xù)數(shù)據(jù)，而行為言語(yǔ)編碼的數(shù)據(jù)為離散數(shù)據(jù)，這兩種數(shù)據(jù)不能直接進(jìn)行融合評(píng)價(jià)。因此將多種來(lái)源、通道和場(chǎng)景的數(shù)據(jù)進(jìn)行融合是目前多模態(tài)學(xué)習(xí)分析的難點(diǎn)。本研究將前面四個(gè)維度所訓(xùn)練得到的問(wèn)題解決能力各維度模型，通過(guò)權(quán)重分配融合為一個(gè)確定的問(wèn)題解決能力測(cè)量值，以解決該難點(diǎn)。為了保證數(shù)據(jù)決策模型的有效性和科學(xué)性，本研究選取了68 位被試的數(shù)據(jù)進(jìn)行數(shù)據(jù)融合模型的搭建與測(cè)試，為了避免數(shù)據(jù)擬合情況過(guò)好，所選取的測(cè)試數(shù)據(jù)與前面模型構(gòu)建時(shí)的數(shù)據(jù)集完全不同。具體流程如圖7所示。

圖7 設(shè)計(jì)類問(wèn)題解決能力決策級(jí)融合流程

融合模型的標(biāo)簽為專家對(duì)學(xué)生設(shè)計(jì)類問(wèn)題解決能力設(shè)計(jì)方案的主觀評(píng)分和小組內(nèi)自評(píng)與互評(píng)的加權(quán)求和。專家的主觀評(píng)分采用了背對(duì)背評(píng)分的方式，當(dāng)兩位專家評(píng)分之差超過(guò)5分時(shí)進(jìn)入第二輪打分，研討評(píng)分原因，并得到最終得分，以保證評(píng)分的公平公正，避免由一人評(píng)分導(dǎo)致的偶然性。

本研究選取多元線性回歸法中的最小二乘法進(jìn)行數(shù)據(jù)的預(yù)測(cè)擬合，探究本研究所提出的四維度的設(shè)計(jì)類問(wèn)題解決能力的多模態(tài)測(cè)評(píng)模型是否能夠在真正意義上表征學(xué)習(xí)者在合作過(guò)程中的問(wèn)題解決能力。

首先，需要計(jì)算因變量與自變量的關(guān)系的正態(tài)分布情況和散點(diǎn)圖，以此確定因變量與自變量的關(guān)系。同時(shí)，需要分析殘差是否符合正態(tài)分布?；貧w標(biāo)準(zhǔn)化殘差在區(qū)間（-2, 2）內(nèi)波動(dòng)，則說(shuō)明擬合程度好。自變量和因變量之間呈現(xiàn)線性關(guān)系。

其次，多元回歸模型分析結(jié)果顯示，本研究所采用的回歸模型R2=0.725，說(shuō)明可以解釋72%的因變量變異。

接下來(lái)對(duì)模型的顯著性進(jìn)行檢驗(yàn)，方差為F=59.509（p＜0.05），說(shuō)明模型顯著，拒絕回歸系數(shù)為0 的原假設(shè)，因此模型基本滿足要求。通過(guò)多元回歸模型，我們得知，該模型可以運(yùn)用多模態(tài)數(shù)據(jù)表征設(shè)計(jì)類問(wèn)題解決能力。

在明確模型能夠表征設(shè)計(jì)類問(wèn)題解決能力后，需要明確每個(gè)要素的權(quán)重，以便了解影響問(wèn)題解決能力的具體要素及其比重。從標(biāo)準(zhǔn)化系數(shù)來(lái)看，在統(tǒng)計(jì)學(xué)中將設(shè)計(jì)類問(wèn)題解決能力的回歸方程為：設(shè)計(jì)類問(wèn)題解決能力得分=-0.223×構(gòu)思性+0.165×啟發(fā)性-0.127×實(shí)施性+0.144×反思度+0.225×領(lǐng)導(dǎo)力+0.097×協(xié)調(diào)性+0.221×響應(yīng)度+0.118×系統(tǒng)性+0.194×科學(xué)性+0.227×創(chuàng)新性+0.234×識(shí)別度+0.167×體驗(yàn)度。

標(biāo)準(zhǔn)化回歸方程可以解釋不同變量間的影響程度。標(biāo)準(zhǔn)化系數(shù)越大則變量對(duì)因變量的影響越大。由回歸方程可知，同理心維度和反思的程度對(duì)設(shè)計(jì)類問(wèn)題解決能力的影響比較大，因此學(xué)習(xí)者需要加強(qiáng)在問(wèn)題解決過(guò)程中對(duì)同伴的理解與共情以及不斷地反思與迭代的能力。圖8展示了本次模型的原始數(shù)據(jù)圖、模型擬合值、模型預(yù)測(cè)值。由圖8 可知，模型擬合情況較好。

圖8 回歸模型的擬合效果圖

至此，基于多模態(tài)數(shù)據(jù)的設(shè)計(jì)類問(wèn)題解決能力表征完成。

五、討論

設(shè)計(jì)問(wèn)題具有復(fù)雜性、社會(huì)性等特性。設(shè)計(jì)類問(wèn)題解決能力涉及多個(gè)維度，從學(xué)習(xí)者的內(nèi)隱心理和外顯行為，到社會(huì)文化情境中身份、存在感和社會(huì)關(guān)系等。本研究以多模態(tài)數(shù)據(jù)設(shè)計(jì)類問(wèn)題解決能力的測(cè)評(píng)為主題，拓寬了問(wèn)題解決等高階思維的測(cè)評(píng)范式，也為精準(zhǔn)化能力提升與干預(yù)的發(fā)展帶來(lái)重要轉(zhuǎn)機(jī)。

（一）精準(zhǔn)的數(shù)據(jù)采集和特征提取是基于多模態(tài)數(shù)據(jù)的設(shè)計(jì)類問(wèn)題解決能力測(cè)評(píng)的基礎(chǔ)

首先，本研究基于已有的測(cè)評(píng)框架開(kāi)展了設(shè)計(jì)類問(wèn)題解決能力的測(cè)評(píng)實(shí)驗(yàn)，招募了181位被試，并收集了其在討論過(guò)程中的文本、生理和心理問(wèn)卷的過(guò)程性數(shù)據(jù)。通過(guò)從過(guò)程的視角進(jìn)行測(cè)評(píng)，可以更全面地了解學(xué)生在設(shè)計(jì)類問(wèn)題解決過(guò)程中的思考和表現(xiàn)。這為教育者提供了一個(gè)深入了解學(xué)生學(xué)習(xí)過(guò)程的機(jī)會(huì)，從而更好地調(diào)整教學(xué)策略和課程內(nèi)容，以促進(jìn)學(xué)生的設(shè)計(jì)能力和問(wèn)題解決能力的發(fā)展。其次，研究采用BERT算法、隨機(jī)森林算法和關(guān)鍵詞詞頻分析法等數(shù)據(jù)挖掘方法對(duì)數(shù)據(jù)進(jìn)行了分析。這表明設(shè)計(jì)類問(wèn)題解決能力是一種可測(cè)的能力，教育者可以借助機(jī)器學(xué)習(xí)和數(shù)據(jù)分析的工具和方法，提供精細(xì)化的測(cè)評(píng)和個(gè)性化的反饋。這有助于教育者更好地了解學(xué)生的學(xué)習(xí)情況，為他們提供更具針對(duì)性和更有效果的教育支持。因此，本研究基于多模態(tài)設(shè)計(jì)類問(wèn)題解決能力測(cè)評(píng)實(shí)證，總結(jié)出基于多模態(tài)測(cè)評(píng)設(shè)計(jì)類問(wèn)題解決能力精準(zhǔn)測(cè)評(píng)的基礎(chǔ)——數(shù)據(jù)獲取與特征提取。每個(gè)環(huán)節(jié)都需要用感知技術(shù)、識(shí)別技術(shù)和融合技術(shù)等關(guān)鍵技術(shù)來(lái)提取和處理多模態(tài)交互信息，以實(shí)現(xiàn)對(duì)參與者行為、社交和認(rèn)知等方面變化的聚合判斷。與現(xiàn)有研究中單一和靜態(tài)的分析方法相比，這種方法彌補(bǔ)了這一缺陷。

（二）多模態(tài)融合有助于設(shè)計(jì)類問(wèn)題解決能力表征的準(zhǔn)確性和可解釋性

深度學(xué)習(xí)技術(shù)因其以數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)的特點(diǎn)，在自然語(yǔ)言處理、圖像處理、語(yǔ)音識(shí)別等領(lǐng)域取得了巨大成就（任澤裕 等, 2021）。但將大量的多模態(tài)數(shù)據(jù)進(jìn)行整合分析存在較多困難，且費(fèi)時(shí)費(fèi)力。因此，多模態(tài)數(shù)據(jù)融合分析既是多模態(tài)學(xué)習(xí)分析的核心，也是難點(diǎn)。本研究通過(guò)各類算法將學(xué)習(xí)者各維度得分計(jì)算后進(jìn)行決策級(jí)融合，采用回歸分析的方法，確定不同維度的權(quán)重分配。首先，采用算法和數(shù)據(jù)分析的手段，更全面地了解學(xué)習(xí)者在各個(gè)維度上的表現(xiàn)，這有助于教育工作者更準(zhǔn)確地評(píng)估學(xué)生的學(xué)習(xí)情況，并對(duì)其進(jìn)行有針對(duì)性的指導(dǎo)。如通過(guò)算法分析，我們可以發(fā)現(xiàn)學(xué)生在某一維度上表現(xiàn)不佳，從而幫助教育者識(shí)別并解決學(xué)生的學(xué)習(xí)障礙。其次，通過(guò)決策級(jí)融合的方法將不同維度的得分綜合起來(lái)，可以得出一個(gè)更準(zhǔn)確和更綜合的評(píng)估結(jié)果，這有助于消除單一維度評(píng)估的片面性，更全面地了解學(xué)生的學(xué)習(xí)能力和水平。通過(guò)分析和融合多個(gè)維度的數(shù)據(jù)，教育者可以更好地了解學(xué)生的優(yōu)勢(shì)和不足，以制定更有針對(duì)性的教學(xué)計(jì)劃。此外，決策級(jí)融合方法的數(shù)據(jù)均來(lái)自不同的數(shù)據(jù)分類器或模態(tài)結(jié)果，每個(gè)模態(tài)的數(shù)據(jù)之間互不影響，可單獨(dú)計(jì)算，錯(cuò)誤不會(huì)累計(jì)，這也提升了分析模型的準(zhǔn)確性和容錯(cuò)率。通過(guò)合理地分配權(quán)重，教育者可以更好地理解學(xué)生在各個(gè)維度上的重要性，從而在制定教學(xué)計(jì)劃和課程安排時(shí)更加科學(xué)和有效，更好地滿足學(xué)生的學(xué)習(xí)需求，提升整體教育質(zhì)量。

采用合理有效的多模態(tài)融合方法可以充分利用多模態(tài)信息之間的互補(bǔ)性，獲得更完整、更好的特征表達(dá)，從而在保證模型效果的情況下，在學(xué)習(xí)的過(guò)程中針對(duì)不同的特征實(shí)現(xiàn)不同程度的強(qiáng)化，這對(duì)深度學(xué)習(xí)的可解釋性有一定的幫助，也為深入表征設(shè)計(jì)類問(wèn)題解決能力提供了清晰的方法體系。

（三）問(wèn)題情境創(chuàng)設(shè)是設(shè)計(jì)類問(wèn)題解決能力測(cè)評(píng)的前提

在設(shè)計(jì)類問(wèn)題解決能力的測(cè)評(píng)中，問(wèn)題情境創(chuàng)設(shè)至關(guān)重要。由于設(shè)計(jì)問(wèn)題是一種復(fù)雜、開(kāi)放的問(wèn)題，設(shè)計(jì)類問(wèn)題解決能力測(cè)評(píng)情境的創(chuàng)設(shè)需要考慮學(xué)習(xí)者在設(shè)計(jì)過(guò)程中綜合利用其他資源和相關(guān)知識(shí)，并運(yùn)用各類工具動(dòng)手實(shí)踐的水平。因此，設(shè)計(jì)問(wèn)題解決能力的測(cè)評(píng)需要為學(xué)生提供一個(gè)有效的問(wèn)題思考情境，這種情境使得測(cè)評(píng)不僅僅是對(duì)學(xué)生知識(shí)的考核，更是對(duì)他們理解、應(yīng)用、分析、評(píng)估和創(chuàng)造知識(shí)能力的綜合評(píng)價(jià)。問(wèn)題情境應(yīng)模擬現(xiàn)實(shí)生活中的復(fù)雜問(wèn)題，如環(huán)境保護(hù)、城市規(guī)劃、可持續(xù)發(fā)展等。本研究以海綿校園為情境進(jìn)行設(shè)計(jì)問(wèn)題解決測(cè)評(píng)，涵蓋了地理、物理、化學(xué)等多個(gè)學(xué)科領(lǐng)域的知識(shí)。這種綜合學(xué)科的情境設(shè)計(jì)有助于打破學(xué)科之間的界限，促進(jìn)跨學(xué)科思維和學(xué)科知識(shí)的綜合運(yùn)用。

研究表明，僅關(guān)注整體的設(shè)計(jì)思維和協(xié)作水平是不夠的，還需要多維度、分層次對(duì)學(xué)習(xí)者的設(shè)計(jì)過(guò)程進(jìn)行表征和干預(yù)。在設(shè)計(jì)類問(wèn)題解決活動(dòng)中，教學(xué)者應(yīng)注重培養(yǎng)學(xué)生的啟發(fā)思維、反思能力、領(lǐng)導(dǎo)力、應(yīng)變能力、系統(tǒng)思考能力、科學(xué)探究能力、創(chuàng)新意識(shí)和問(wèn)題識(shí)別能力，從而綜合提升他們的設(shè)計(jì)類問(wèn)題解決能力，有助于提升他們的創(chuàng)新能力和適應(yīng)未來(lái)挑戰(zhàn)的能力。

六、總結(jié)

未來(lái)的研究中，設(shè)計(jì)類問(wèn)題解決能力的培養(yǎng)和測(cè)評(píng)應(yīng)聚焦于幾個(gè)關(guān)鍵領(lǐng)域。首先，提升數(shù)據(jù)采集的精準(zhǔn)性和降低入傾性是基本出發(fā)點(diǎn)，要確保獲得的信息準(zhǔn)確反映學(xué)生的實(shí)際表現(xiàn)和能力。隨著數(shù)據(jù)量的增長(zhǎng)和復(fù)雜性的提高，自動(dòng)化數(shù)據(jù)預(yù)處理工具的研發(fā)將成為重要的研究方向，旨在減輕處理大量多模態(tài)數(shù)據(jù)的負(fù)擔(dān)。其次，不斷迭代和優(yōu)化測(cè)評(píng)模型，提高其信效度，以應(yīng)對(duì)學(xué)生表現(xiàn)的偶然性和多樣性，是確保評(píng)估結(jié)果準(zhǔn)確性和有效性的關(guān)鍵。這種測(cè)評(píng)不僅關(guān)注學(xué)生的設(shè)計(jì)思維和創(chuàng)新能力，還將評(píng)估他們的批判性思維、問(wèn)題識(shí)別、團(tuán)隊(duì)協(xié)作和領(lǐng)導(dǎo)力等高階能力。此外，隨著計(jì)算技術(shù)的進(jìn)步，大規(guī)模計(jì)算機(jī)輔助測(cè)評(píng)將成為可能，不僅能提高評(píng)估效率，還能為每個(gè)學(xué)生提供個(gè)性化的反饋和指導(dǎo)?？傮w來(lái)看，未來(lái)的設(shè)計(jì)類問(wèn)題解決能力測(cè)評(píng)將更加精準(zhǔn)、高效和全面，更好地促進(jìn)學(xué)生在復(fù)雜多變的世界中發(fā)展創(chuàng)新能力和高階思維能力?；诙嗄B(tài)數(shù)據(jù)的智能化測(cè)評(píng)是一種新興的研究方式，需要研究者通過(guò)不斷的改良和優(yōu)化推動(dòng)其發(fā)展。