孫丹 朱城聰 許作棟 徐光濤

[摘 ? 要] 生成式人工智能可以為教育提供高效且個(gè)性化的智能化服務(wù)和技術(shù)支持。作為典型的生成式人工智能語(yǔ)言模型，ChatGPT在編程中的應(yīng)用已然獲得業(yè)界的廣泛關(guān)注。然而，鮮有學(xué)者從實(shí)證研究的層面探究學(xué)習(xí)者如何利用ChatGPT來(lái)進(jìn)行編程學(xué)習(xí)。研究通過(guò)細(xì)粒度地采集學(xué)習(xí)者的編程行為和知識(shí)探究問(wèn)題，對(duì)36位學(xué)習(xí)者的編程過(guò)程進(jìn)行分析。研究結(jié)果表明：（1）學(xué)習(xí)者將ChatGPT視為有用的編程學(xué)習(xí)資源，依賴其指導(dǎo)學(xué)習(xí)過(guò)程，并傾向于將代碼或調(diào)試錯(cuò)誤信息拷貝至ChatGPT，進(jìn)而復(fù)制其反饋信息；（2）高績(jī)效組主要在前期使用ChatGPT輔助編程，低績(jī)效組在整個(gè)編程過(guò)程中更頻繁地使用ChatGPT進(jìn)行編程；（3）學(xué)習(xí)者在使用ChatGPT時(shí)主要關(guān)注淺層和中層知識(shí)的探究，其中，高績(jī)效組通過(guò)自主提問(wèn)獲得ChatGPT的反饋，中低績(jī)效組則依賴對(duì)ChatGPT反饋內(nèi)容的追問(wèn)獲得問(wèn)題解決方案。研究針對(duì)如何利用ChatGPT輔助大學(xué)生開展編程學(xué)習(xí)提出了相關(guān)的建議，以期為提高編程學(xué)習(xí)效率提供參考。

[關(guān)鍵詞] ChatGPT； 編程學(xué)習(xí)； 學(xué)習(xí)行為； 學(xué)習(xí)分析； 大學(xué)生

[中圖分類號(hào)] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

[作者簡(jiǎn)介] 孫丹（1992—），女，浙江溫州人。講師，博士，主要從事智能教育、編程教育、學(xué)習(xí)分析、計(jì)算思維研究。E-mail：dansun@hznu.cn。徐光濤為通訊作者，E-mail：xuguangtao@hznu.edu.cn。

一、研究背景

近年來(lái)，隨著科技的飛速發(fā)展，生成式人工智能技術(shù)在各個(gè)領(lǐng)域中得到了廣泛的應(yīng)用。在教育領(lǐng)域，生成式人工智能工具 ChatGPT（Chat Generative Pre-trained Transformer）的推出引起了熱議。作為一種基于大語(yǔ)言模型的智能對(duì)話系統(tǒng)，ChatGPT 可以通過(guò)自然語(yǔ)言文本的輸入、交互和生成來(lái)輔助學(xué)習(xí)和教學(xué)，為學(xué)生和教師提供更為便捷、高效的學(xué)習(xí)工具[1-3]。其中，ChatGPT 所具有的高效代碼生成能力使得它可以輔助程序員完成編程過(guò)程中的各項(xiàng)任務(wù)，如代碼完善、從文本生成代碼等，并且ChatGPT可以集成在編程環(huán)境中，以此提高開發(fā)人員的工作效率[4]。盡管大家對(duì)編程教育的興趣與日俱增，但對(duì)于大學(xué)階段的學(xué)習(xí)者來(lái)說(shuō)，學(xué)習(xí)編程仍然是一個(gè)具有挑戰(zhàn)性的復(fù)雜過(guò)程。在程序編寫的過(guò)程中，學(xué)習(xí)者難以調(diào)試所編寫程序中的錯(cuò)誤，他們往往需要一定的支持和指導(dǎo)[5]。生成式人工智能工具（如ChatGPT）可以通過(guò)快速給出基本正確的答案，為學(xué)習(xí)者在編程中遇到的問(wèn)題提供解決方案，并為他們提供支持和指導(dǎo)[6]。此外，深入分析學(xué)習(xí)者編程過(guò)程，可以幫助教師和學(xué)習(xí)者采取更為有效的教學(xué)策略和學(xué)習(xí)方式[7]。因此，本研究以ChatGPT為例，通過(guò)行為分析的視角，對(duì)學(xué)習(xí)者在使用ChatGPT進(jìn)行編程過(guò)程中的學(xué)習(xí)行為和知識(shí)探究問(wèn)題進(jìn)行分析。采用多種學(xué)習(xí)分析方法，探索不同績(jī)效學(xué)習(xí)者的行為模式和知識(shí)探究質(zhì)量，并研究ChatGPT在大學(xué)編程教育中的應(yīng)用效果，以期為提高程序設(shè)計(jì)課程教學(xué)效果提供新的思路。

二、研究現(xiàn)狀

（一）ChatGPT 融入編程教育

不同于傳統(tǒng)的編程工具，作為一種人工智能語(yǔ)言模型，ChatGPT 可以使用自然語(yǔ)言與用戶進(jìn)行交流，即使是沒(méi)有編程經(jīng)驗(yàn)的學(xué)習(xí)者也可以使用它。OpenAI公司指出，ChatGPT 通過(guò)程序理解用戶需求并作出響應(yīng)[8]。傳統(tǒng)編程工具，通常由軟件開發(fā)環(huán)境、編程語(yǔ)言、庫(kù)和其他相關(guān)組件組成，需要學(xué)習(xí)者具備特定的編程知識(shí)。例如，Python IDE只針對(duì) Python語(yǔ)言設(shè)計(jì)，需要學(xué)習(xí)者掌握該語(yǔ)言的基本概念和操作。然而，雖然跨平臺(tái)的集成開發(fā)環(huán)境如 Flutter 或 Microsoft Visual Studio 支持多種語(yǔ)言，但它們?nèi)匀恍枰獙W(xué)習(xí)者掌握特定的語(yǔ)法和概念才能進(jìn)行操作。

關(guān)于 ChatGPT 在編程教育中的有效性仍存在著不同的觀點(diǎn)。一方面，研究人員強(qiáng)調(diào)了 ChatGPT 與其他編程工具相比所具有的各種優(yōu)勢(shì)，例如，提供便捷訪問(wèn)、提供快速響應(yīng)、促進(jìn)個(gè)性化學(xué)習(xí)、支持多種語(yǔ)言、提供清晰的解釋和編程示例、允許查詢和搜索以及提供高級(jí)主題資源，增強(qiáng)學(xué)生的計(jì)算思維、編程自我效能感和學(xué)習(xí)動(dòng)力等。研究人員發(fā)現(xiàn)，在ChatGPT等工具的支持下（主要是通過(guò)提供代碼解釋和調(diào)試），編程培訓(xùn)可以有效提高學(xué)生的編程技能。另一方面，ChatGPT 在編程教育方面的應(yīng)用也有局限性。研究強(qiáng)調(diào)了相關(guān)的局限性，例如，非結(jié)構(gòu)化學(xué)習(xí)、由于缺乏應(yīng)用程序而依賴于輔助工具和環(huán)境、對(duì)數(shù)據(jù)結(jié)構(gòu)和算法的支持有限等[4]，以及缺乏常識(shí)、潛在偏見(jiàn)、難以進(jìn)行復(fù)雜推理以及無(wú)法處理視覺(jué)信息等[9]問(wèn)題。研究人員還強(qiáng)調(diào)，與ChatGPT相關(guān)的倫理問(wèn)題（如偏見(jiàn)、歧視、隱私、安全、技術(shù)濫用、透明度和社會(huì)影響）錯(cuò)綜復(fù)雜，需要認(rèn)真對(duì)待。

（二）編程學(xué)習(xí)過(guò)程分析

盡管編程成績(jī)通常是編程教育中的主要關(guān)注點(diǎn)，但使用多種學(xué)習(xí)分析方法對(duì)編程過(guò)程進(jìn)行評(píng)估也愈加受到關(guān)注。學(xué)習(xí)過(guò)程的評(píng)價(jià)可以突顯出通過(guò)實(shí)踐促進(jìn)學(xué)習(xí)者編程質(zhì)量的本質(zhì)[10]。研究強(qiáng)調(diào)，過(guò)程性評(píng)價(jià)和終結(jié)性評(píng)價(jià)相輔相成，可以全面地洞察學(xué)習(xí)者的編程過(guò)程和表現(xiàn)。在綜合評(píng)價(jià)的支持下，研究者可以更好地理解編程現(xiàn)象和影響編程過(guò)程的潛在因素[11]。因此，在對(duì)編程教育的評(píng)價(jià)中，除了關(guān)注最終成果，還要注重學(xué)生在編程學(xué)習(xí)過(guò)程中的表現(xiàn)，并使用多種分析方法來(lái)評(píng)價(jià)學(xué)生的編程能力。

以往的實(shí)證研究采用了多種分析方法來(lái)展示編程學(xué)習(xí)過(guò)程的各個(gè)方面。吳林靜等將編程過(guò)程分析的研究分為三個(gè)大類，分別是編程過(guò)程認(rèn)知模型的研究，編程環(huán)境和支持資源的研究以及編程教育促進(jìn)學(xué)習(xí)者能力發(fā)揮的研究[7]。Turkle等人研究指出，在編程學(xué)習(xí)過(guò)程中，修補(bǔ)型學(xué)習(xí)者通常通過(guò)小增量式的反復(fù)調(diào)試和修改代碼而逐步構(gòu)建解決方案，而計(jì)劃型學(xué)習(xí)者則傾向于在計(jì)劃出較完整的解決方案后再進(jìn)行編碼，并且每次編輯較大段的代碼[12]。Sun等使用點(diǎn)擊流分析、滯后序列分析和定量?jī)?nèi)容分析分析了三個(gè)小組的結(jié)對(duì)編程行為、話語(yǔ)和認(rèn)知水平。研究表明，高中低水平小組在社交互動(dòng)、認(rèn)知參與和最終編程表現(xiàn)方面具有不同的特點(diǎn)[13]。上述研究表明，可以使用多種學(xué)習(xí)分析方法對(duì)學(xué)生的編程學(xué)習(xí)過(guò)程進(jìn)行分析，這有利于展示編程學(xué)習(xí)效果的不同維度。

鑒于當(dāng)前學(xué)習(xí)者在利用ChatGPT開展編程學(xué)習(xí)過(guò)程中的特征尚未得到充分探究，本研究目的在于運(yùn)用學(xué)習(xí)分析技術(shù)，對(duì)學(xué)習(xí)者在學(xué)習(xí)過(guò)程中的編程行為和知識(shí)探究問(wèn)題進(jìn)行細(xì)粒度的采集、分析和挖掘，并通過(guò)探究其原因來(lái)提出利用ChatGPT輔助編程學(xué)習(xí)的指導(dǎo)意見(jiàn)，研究問(wèn)題如下：

（1）在使用ChatGPT輔助編程學(xué)習(xí)時(shí)，學(xué)習(xí)者存在怎么樣的行為模式？

（2）在使用ChatGPT輔助編程學(xué)習(xí)時(shí)，不同績(jī)效學(xué)習(xí)者的編程行為具有哪些特點(diǎn)？

（3）在使用ChatGPT輔助編程學(xué)習(xí)時(shí)，學(xué)習(xí)者的探究問(wèn)題質(zhì)量如何？

三、研究設(shè)計(jì)

（一）研究對(duì)象

本研究以某師范大學(xué)2023年春季的“面向?qū)ο蟪绦蛟O(shè)計(jì)”課程中的36名教育技術(shù)學(xué)專業(yè)大二學(xué)生為研究對(duì)象。研究采集了他們?cè)诶肅hatGPT進(jìn)行編程學(xué)習(xí)過(guò)程中的行為數(shù)據(jù)作為樣本。課程共涉及五個(gè)課時(shí)，學(xué)生在前四節(jié)課中學(xué)習(xí)了Python編程的基本概念，并體驗(yàn)了ChatGPT的應(yīng)用。在最后一節(jié)課中，要求學(xué)生利用ChatGPT進(jìn)行編程項(xiàng)目制作。根據(jù)學(xué)生最終項(xiàng)目的完成質(zhì)量（評(píng)價(jià)標(biāo)準(zhǔn)包括代碼正確性、功能完整性和美觀性），得出的成績(jī)數(shù)據(jù)近似于正態(tài)分布?；诰岛蜆?biāo)準(zhǔn)差，我們將成績(jī)?cè)?0.25至99.43之間的學(xué)生分為高績(jī)效組（11人），將成績(jī)?cè)?9.33至79.45之間的學(xué)生分為中績(jī)效組（14人），將成績(jī)?cè)?5.21至58.33之間的學(xué)生分為低績(jī)效組（11人）。

（二）數(shù)據(jù)編碼

在本研究中，主要采用PyCharm作為Python的集成開發(fā)環(huán)境。在ChatGPT的使用方面，本研究采用了自行部署開源項(xiàng)目ChatGPT Next Web，該項(xiàng)目基于OpenAI提供的開放應(yīng)用接口（API）開發(fā)，并以一個(gè)功能獨(dú)立完整的網(wǎng)站形式呈現(xiàn)；所有學(xué)生均使用了gpt-3.5-turbo模型。研究主要收集了學(xué)習(xí)者在編程過(guò)程中的行為數(shù)據(jù)以及與ChatGPT交流的探究問(wèn)題，以此為基礎(chǔ)進(jìn)行分析。

第一，研究通過(guò)運(yùn)行電腦屏幕錄制程序（無(wú)聲音）記錄了學(xué)生的編程行為，選擇最后一堂課（雷達(dá)圖任務(wù)）作為本次研究的視頻數(shù)據(jù)（60分鐘/學(xué)習(xí)者；共計(jì)2160分鐘）。選擇最后一堂課收集行為數(shù)據(jù)的原因有二：一是，這堂課是綜合性編程項(xiàng)目制作，可以捕捉到學(xué)生如何將 ChatGPT 融入編程問(wèn)題解決的全過(guò)程，更好地展示他們的編程能力；二是，隨著前期課程的體驗(yàn)，學(xué)生對(duì) ChatGPT 的使用更加熟悉，因此他們?cè)谶@節(jié)課上更加投入。我們使用點(diǎn)擊流分析法來(lái)分析這些數(shù)據(jù)，以確定學(xué)生的編程行為。視頻分析采用迭代編碼流程，該流程基于之前驗(yàn)證過(guò)的編碼框架[7，11]。兩名編碼員首先分別觀看電腦屏幕運(yùn)行視頻，確定編程行為的初始編碼，其次，進(jìn)行討論，就最終編碼框架達(dá)成一致意見(jiàn)（見(jiàn)表1）。最后，兩名編碼員根據(jù)編碼框架，按照時(shí)間順序再次對(duì)數(shù)據(jù)進(jìn)行獨(dú)立編碼，每10秒鐘標(biāo)記一次學(xué)習(xí)者行為，并相互核對(duì)編碼結(jié)果。兩名編碼員之間的評(píng)分可靠性為0.80，說(shuō)明該編碼表分類清晰，具有較好的一致性。因此，研究人員以該編碼表為標(biāo)準(zhǔn)，標(biāo)注了采集到的編程學(xué)習(xí)過(guò)程樣本，作為后續(xù)分析的數(shù)據(jù)源。

第二，研究通過(guò)ChatGPT平臺(tái)的日志記錄了學(xué)習(xí)者在ChatGPT中的知識(shí)探究問(wèn)題。針對(duì)此類數(shù)據(jù)，研究對(duì)Ouyang和Dai對(duì)知識(shí)探究開放編碼形成的框架進(jìn)行了改編，從淺中深三個(gè)層面對(duì)學(xué)習(xí)者的初始提問(wèn)（知識(shí)探究）和對(duì)ChatGPT反饋內(nèi)容繼續(xù)提問(wèn)（反饋內(nèi)容探究）的質(zhì)量進(jìn)行分析[14]。首先，將所有的數(shù)據(jù)按照學(xué)習(xí)者、績(jī)效水平、提問(wèn)內(nèi)容的順序整理到Excel中；其次，識(shí)別學(xué)習(xí)者所提出的問(wèn)題并依據(jù)提問(wèn)的順序劃分單元，共形成446個(gè)編碼單元。然后兩位研究人員依據(jù)編碼表進(jìn)行人工編碼，確定最終編碼類別（見(jiàn)表2），并進(jìn)行一致性比較（評(píng)分可靠性為0.83）；最后，將所有的數(shù)據(jù)轉(zhuǎn)化為認(rèn)知網(wǎng)絡(luò)分析[15]所要求的格式，采用在線認(rèn)知網(wǎng)絡(luò)分析工具（webENA）進(jìn)行數(shù)據(jù)分析。

四、研究發(fā)現(xiàn)

（一）編程學(xué)習(xí)行為分布分析

1. 編程學(xué)習(xí)行為描述性分析

36名學(xué)生共計(jì)產(chǎn)生4125個(gè)行為轉(zhuǎn)換序列，各行為頻次及分布情況見(jiàn)表3。根據(jù)統(tǒng)計(jì)結(jié)果顯示，學(xué)習(xí)者的行為分布具有以下特征：（1）編寫代碼類行為（包括編輯代碼和ChatGPT輔助編程類行為）在整個(gè)行為分布中占據(jù)了最多的頻次，其次是其他行為，出現(xiàn)頻次最少的是資源類行為，這與課程內(nèi)容的屬性較為符合。（2）在編輯代碼類行為中，頻次最高的行為是“編輯代碼”（CP），其次是“理解代碼”（UPC）和“閱讀ChatGPT的反饋”（RF）。這說(shuō)明學(xué)習(xí)者在程序編寫過(guò)程中不斷地理解和編寫代碼，并且通過(guò)與ChatGPT的交互來(lái)獲取幫助。（3）在ChatGPT輔助編程類行為中，除了“閱讀ChatGPT的反饋”（RF）之外，出現(xiàn)頻次較多的行為是“提出新的問(wèn)題”（ANQ）和“粘貼錯(cuò)誤信息”（PCM）。這表明學(xué)習(xí)者將ChatGPT視為解決編程問(wèn)題的工具，尤其是用于幫助他們理解程序的報(bào)錯(cuò)信息。

2. 編程學(xué)習(xí)行為的序列轉(zhuǎn)換分析

為了分析學(xué)習(xí)者在利用ChatGPT進(jìn)行編程學(xué)習(xí)過(guò)程中的行為，本研究采用了滯后序列分析法（LsA）對(duì)編碼結(jié)果進(jìn)行分析，呈現(xiàn)編程學(xué)習(xí)行為之間的過(guò)渡頻率和可視化網(wǎng)絡(luò)表征（如圖1所示）。本研究使用的分析軟件為Rstudio，利用LagSeq包對(duì)行為編程進(jìn)行分析。本研究使用Yule's Q來(lái)表示過(guò)渡關(guān)聯(lián)的強(qiáng)度，該參數(shù)具有一定的描述性（范圍從-1到+1，其中0表示無(wú)關(guān)聯(lián)）。此外，本研究還利用網(wǎng)絡(luò)可視化方法將LsA結(jié)果可視化為網(wǎng)絡(luò)，其中節(jié)點(diǎn)表示編碼行為（節(jié)點(diǎn)上標(biāo)注其出現(xiàn)的頻率），邊表示過(guò)渡關(guān)系的Yule's Q值，并從箭頭指向另一個(gè)節(jié)點(diǎn)的節(jié)點(diǎn)讀取編碼行為過(guò)渡的方向。

從圖 1中可以發(fā)現(xiàn)，學(xué)習(xí)者的行為轉(zhuǎn)換序列（除去節(jié)點(diǎn)內(nèi)部的轉(zhuǎn)換序列）存在以下典型特征：（1）“復(fù)制和粘貼ChatGPT 中的代碼→調(diào)試代碼→閱讀控制臺(tái)中的錯(cuò)誤信息” （CPC→DP：Yule's Q=0.96；DP→RCM：Yule's Q=0.94），即學(xué)習(xí)者經(jīng)常復(fù)制和粘貼 ChatGPT 中的代碼，調(diào)試以測(cè)試其正確性，然后閱讀輸出控制臺(tái)窗口中的調(diào)試信息。這表明這些學(xué)習(xí)者一定程度上依靠ChatGPT來(lái)指導(dǎo)他們的編程學(xué)習(xí)過(guò)程，并將其視為編程學(xué)習(xí)的有用資源。他們花費(fèi)大量時(shí)間來(lái)從ChatGPT中獲取信息和指導(dǎo)意見(jiàn)，以加深對(duì)編程問(wèn)題的理解，同時(shí)還會(huì)積極參與調(diào)試代碼以發(fā)現(xiàn)錯(cuò)誤并解決問(wèn)題。這種學(xué)習(xí)方式需要不斷地與ChatGPT進(jìn)行交互，學(xué)習(xí)者可能會(huì)認(rèn)為這是一種有效的學(xué)習(xí)方法。

（2） “復(fù)制和粘貼Python代碼到ChatGPT→復(fù)制控制臺(tái)中的錯(cuò)誤信息到ChatGPT”（PPC→PCM：Yule's Q=0.85），即學(xué)習(xí)者喜歡復(fù)制Python代碼和控制臺(tái)中的錯(cuò)誤信息到 ChatGPT，這意味著學(xué)習(xí)者傾向于將Python代碼復(fù)制并粘貼到 ChatGPT 以快速獲取幫助，特別是當(dāng)他們無(wú)法理解或修改代碼時(shí)，或者遇到一些他們不理解的錯(cuò)誤信息時(shí)。然而，需要注意的是，這種學(xué)習(xí)方式容易導(dǎo)致學(xué)習(xí)者過(guò)度依賴ChatGPT 來(lái)解決問(wèn)題，而不思考解決具體問(wèn)題的方法或理解代碼的含義。

（3）“閱讀ChatGPT中的反饋信息→拷貝ChatGPT 中的代碼”（RF→CPC：Yule's Q=0.85），即學(xué)習(xí)者花費(fèi)大量時(shí)間閱讀ChatGPT給出的反饋信息，包括代碼示例等，并將其復(fù)制到 PyCharm 軟件中進(jìn)行測(cè)試。盡管這種方法反映出學(xué)習(xí)者對(duì) ChatGPT 給出的反饋和代碼示例具有一定的信任，愿意嘗試驗(yàn)證其準(zhǔn)確性，但這種復(fù)制粘貼的方式也可能存在一些問(wèn)題。由于缺乏對(duì)代碼細(xì)節(jié)的深入理解，學(xué)習(xí)者可能無(wú)法解決與復(fù)制的代碼有關(guān)的錯(cuò)誤或問(wèn)題，只是簡(jiǎn)單地模擬代碼。在嘗試修改或調(diào)整代碼時(shí)，學(xué)習(xí)者很容易遇到更多的錯(cuò)誤，甚至導(dǎo)致問(wèn)題更加復(fù)雜。

（4）“粘貼錯(cuò)誤信息到 ChatGPT→遇到技術(shù)問(wèn)題”（PCM→FC， Yule's Q=0.79），即學(xué)習(xí)者在使用 ChatGPT 解決程序調(diào)試錯(cuò)誤信息時(shí)，可能遇到一些技術(shù)問(wèn)題，而這可能表明這類ChatGPT平臺(tái)的使用穩(wěn)定性仍存在一定的提升空間。

（二）不同績(jī)效組的編程學(xué)習(xí)行為分析

通過(guò)對(duì)課程不同階段中高中低績(jī)效學(xué)習(xí)者的行為進(jìn)行編碼分析，得到了編程行為分布表。通過(guò)表4可以發(fā)現(xiàn)，不同績(jī)效學(xué)習(xí)者在課程不同階段表現(xiàn)出的各類編程行為分布占比有所不同。整體而言，低績(jī)效組在編程的前中后期擁有最多的編程行為，而高績(jī)效組則擁有最少的編程行為。其中，在編程前期，低績(jī)效組擁有最多的“編輯代碼類”行為和“ChatGPT輔助編程類”行為，中績(jī)效組擁有最多的“資源類”行為和“其他類行為”；在編程中期，低績(jī)效組擁有最多的“編輯代碼類”行為、“資源類”行為以及“其他類行為”，而中績(jī)效組擁有最多的“ChatGPT輔助編程類”行為；在編程后期，低績(jī)效組在四類編程行為上的頻次依舊占據(jù)首位。

由桑基圖可視化結(jié)果（如圖2所示）可知，隨著編程過(guò)程的不斷開展，高績(jī)效組能夠在前中后期相對(duì)均衡地編輯代碼，并且在前期主要使用ChatGPT來(lái)輔助編程；而中績(jī)效組則隨著編程過(guò)程的推進(jìn)，不斷提高編輯代碼的次數(shù)，在前期和中期頻繁使用ChatGPT輔助編程，并且伴隨一些無(wú)關(guān)行為。而低績(jī)效組則在前中后期都會(huì)頻繁地使用ChatGPT輔助編程，同時(shí)常常會(huì)出現(xiàn)一些無(wú)關(guān)行為，并在編程中期時(shí)更頻繁地參考教師提供的學(xué)習(xí)資源。

（三）學(xué)習(xí)者在ChatGPT中的知識(shí)探究問(wèn)題分析

如圖3（a）所示，學(xué)習(xí)者主要集中于淺層和中層知識(shí)探究（SKI/MKI）之間建立連接，以及在淺層知識(shí)探究和淺層反饋內(nèi)容探究（SKI/SIC）上建立連接，而在深層知識(shí)探究（DKI）或反饋內(nèi)容探究（DIC）上的連接較為薄弱。

此外，研究還呈現(xiàn)了高中低績(jī)效組的平均認(rèn)知網(wǎng)絡(luò)〔如圖3（b）、（c）、（d）所示〕，并通過(guò)獨(dú)立樣本t檢驗(yàn)，發(fā)現(xiàn)高績(jī)效組和低績(jī)效組在第二維度上有顯著性差異（m高績(jī)效組=0.19，m低績(jī)效組=-0.35；p<0.05，t=1.18）。從整體上看，中績(jī)效組和低績(jī)效組建立的認(rèn)知連接要多于高績(jī)效組，高績(jī)效組在不同元素之間建立的連接（尤其是自主知識(shí)探究維度）最多；中績(jī)效組和低績(jī)效組則主要在反饋內(nèi)容探究維度（SIC/DIC）建立較多的連接。由此我們可以推測(cè)，高績(jī)效組主要通過(guò)自主提問(wèn)來(lái)獲取ChatGPT的反饋，而中低績(jī)效組主要通過(guò)對(duì)ChatGPT反饋內(nèi)容的深入提問(wèn)來(lái)獲取問(wèn)題的解決方案，其中，低績(jī)效組有更多的淺層知識(shí)探究和反饋內(nèi)容探究（SIC/SKI）。

五、研究結(jié)論與啟示

（一）ChatGPT能夠輔助學(xué)生進(jìn)行編程學(xué)習(xí)

從編程行為分析結(jié)果中可以發(fā)現(xiàn)，學(xué)習(xí)者傾向于復(fù)制和粘貼 ChatGPT 中的代碼，并通過(guò)調(diào)試和閱讀錯(cuò)誤信息來(lái)驗(yàn)證代碼的正確性。這一發(fā)現(xiàn)呼應(yīng)了Chen等人的結(jié)論，表明學(xué)習(xí)者將 ChatGPT 視為有用的編程學(xué)習(xí)資源，并依賴它來(lái)指導(dǎo)他們的學(xué)習(xí)過(guò)程[16]。學(xué)習(xí)者喜歡直接復(fù)制并粘貼 Python 代碼和控制臺(tái)窗口中的錯(cuò)誤信息到 ChatGPT，以獲取幫助和答案。這顯示學(xué)習(xí)者對(duì) ChatGPT 的快速響應(yīng)和準(zhǔn)確性有一定的信任。此外，學(xué)習(xí)者花費(fèi)大量時(shí)間閱讀 ChatGPT 中的反饋信息，并將其復(fù)制到開發(fā)環(huán)境中進(jìn)行測(cè)試。盡管這種方法可能存在一些問(wèn)題，例如反饋內(nèi)容的正確性[4]，但學(xué)習(xí)者對(duì) ChatGPT 給出的反饋和代碼示例具有一定的信任。因此，對(duì)于學(xué)習(xí)者而言，在利用ChatGPT進(jìn)行編程學(xué)習(xí)時(shí)，應(yīng)當(dāng)注意以下幾個(gè)方面：首先，在編程的初期階段，可以充分利用ChatGPT的輔助功能，以加深對(duì)編程問(wèn)題的理解并進(jìn)行解決。其次，隨著學(xué)習(xí)的進(jìn)展，應(yīng)逐漸增加自主編輯代碼的頻率，以提升編程能力和熟練度。最后，需謹(jǐn)防過(guò)度依賴ChatGPT，以免產(chǎn)生無(wú)關(guān)行為，務(wù)必確立明確的學(xué)習(xí)目標(biāo)和任務(wù)，正確運(yùn)用ChatGPT來(lái)輔助學(xué)習(xí)和解決編程問(wèn)題。

（二）ChatGPT輔助編程學(xué)習(xí)中存在潛在問(wèn)題

在使用ChatGPT進(jìn)行編程學(xué)習(xí)時(shí)，學(xué)習(xí)者常常會(huì)復(fù)制粘貼代碼或錯(cuò)誤信息，但這種做法可能阻礙學(xué)習(xí)者解決問(wèn)題并減弱對(duì)代碼的理解和掌握能力。ChatGPT強(qiáng)大的算力也可能帶來(lái)"代替學(xué)生思考"和"過(guò)度技術(shù)依賴"的限制[17]。當(dāng)學(xué)習(xí)者只是機(jī)械地復(fù)制和粘貼代碼時(shí)，他們可能無(wú)法理解代碼的邏輯和功能，從而無(wú)法進(jìn)行必要的修改或調(diào)試[6]。因此，為了更有效地利用ChatGPT進(jìn)行編程學(xué)習(xí)，學(xué)習(xí)者要學(xué)會(huì)（1）理解代碼邏輯，不僅僅復(fù)制粘貼代碼，而是仔細(xì)閱讀和理解代碼的邏輯和功能；（2）主動(dòng)思考和解決問(wèn)題，不僅依賴ChatGPT的答案，而是嘗試自己獨(dú)立思考和解決問(wèn)題；（3）修改和調(diào)試代碼，主動(dòng)進(jìn)行代碼的修改和調(diào)試，通過(guò)觀察結(jié)果的變化來(lái)深入理解代碼的功能；（4）提出具體問(wèn)題，向ChatGPT提問(wèn)時(shí)提供具體問(wèn)題和上下文信息，以獲取更準(zhǔn)確地解決方案。此外，學(xué)習(xí)者在使用 ChatGPT 輔助編程學(xué)習(xí)時(shí)可能會(huì)遇到技術(shù)問(wèn)題。有時(shí)候ChatGPT可能無(wú)法提供準(zhǔn)確或完整的答案（甚至是錯(cuò)誤的答案），這表明 ChatGPT 平臺(tái)的使用穩(wěn)定性仍有提升空間[4]。ChatGPT存在自然語(yǔ)言生成技術(shù)所普遍存在的“幻覺(jué)”問(wèn)題，會(huì)導(dǎo)致它可能無(wú)法提供準(zhǔn)確或完整的答案，這需要大型語(yǔ)言模型的開發(fā)者對(duì)模型進(jìn)行不斷地迭代來(lái)逐步改善[18]。

（三）不同績(jī)效組在利用ChatGPT時(shí)存在行為模式上的差異

根據(jù)編程行為分布表和?；鶊D結(jié)果，我們觀察到不同績(jī)效組在編程學(xué)習(xí)中有不同的行為特點(diǎn)。低績(jī)效組在編程的整個(gè)過(guò)程中使用ChatGPT的頻率最高，而高績(jī)效組則使用頻率最低。此外，低績(jī)效組在中期階段更頻繁地使用ChatGPT進(jìn)行輔助編程。中績(jī)效組在前期和中期使用ChatGPT輔助編程的頻率較高，后期逐漸減少。高績(jī)效組在前期主要使用ChatGPT輔助編程，后期使用頻率較低。這表明ChatGPT可以作為學(xué)習(xí)者在編程學(xué)習(xí)中的有用工具，但學(xué)習(xí)者應(yīng)根據(jù)自身績(jī)效水平和學(xué)習(xí)階段合理使用，逐漸培養(yǎng)獨(dú)立思考和解決問(wèn)題的能力，以提高編程技能和學(xué)習(xí)效果。針對(duì)不同績(jī)效水平的學(xué)習(xí)者，在使用ChatGPT進(jìn)行編程學(xué)習(xí)時(shí)可以采取以下策略：（1）高績(jī)效學(xué)習(xí)者可以將ChatGPT作為輔助工具，用于提供解決復(fù)雜問(wèn)題的思路；（2）中績(jī)效學(xué)習(xí)者可以在前期和中期較頻繁地使用ChatGPT進(jìn)行輔助編程，但也要嘗試?yán)米陨碇R(shí)來(lái)思考問(wèn)題，并自己編寫代碼解決問(wèn)題。此外，可以利用多種學(xué)習(xí)資源來(lái)彌補(bǔ)知識(shí)的不足，如書籍、教程等，來(lái)解決問(wèn)題[19]；（3）低績(jī)效學(xué)習(xí)者可以充分利用ChatGPT的輔助功能，在前期使用ChatGPT獲取編程思路和指導(dǎo)，在后期積極實(shí)踐并通過(guò)調(diào)試和改進(jìn)代碼提升技能。同時(shí)，積極與同伴或教師交流以獲得及時(shí)的幫助和輔導(dǎo)[13]。

（四）探究問(wèn)題質(zhì)量會(huì)影響利用ChatGPT開展編程學(xué)習(xí)的效果

從知識(shí)探究問(wèn)題上可以看出，學(xué)習(xí)者在使用ChatGPT時(shí)主要集中在淺層和中層知識(shí)的探究上，而在深層知識(shí)探究和反饋內(nèi)容探究上的比例相對(duì)較少。根據(jù)認(rèn)知網(wǎng)絡(luò)分析結(jié)果發(fā)現(xiàn)，高績(jī)效學(xué)習(xí)者主要通過(guò)自主提問(wèn)來(lái)獲取ChatGPT的反饋，中績(jī)效學(xué)習(xí)者通過(guò)對(duì)ChatGPT反饋內(nèi)容進(jìn)行提問(wèn)來(lái)獲取問(wèn)題的解決方案，低績(jī)效學(xué)習(xí)者則更多地從淺層知識(shí)探究和反饋內(nèi)容探究中進(jìn)行學(xué)習(xí)。因此，在利用ChatGPT輔助編程學(xué)習(xí)的過(guò)程中，學(xué)習(xí)者應(yīng)注重問(wèn)題的質(zhì)量和深度，通過(guò)提出具有挑戰(zhàn)性和開放性的問(wèn)題，激發(fā)ChatGPT提供更深入的知識(shí)[9]。還可以通過(guò)嘗試提出與深層知識(shí)相關(guān)的問(wèn)題，并追問(wèn)ChatGPT以獲取更深入的解釋和指導(dǎo)。此外，學(xué)習(xí)者可以通過(guò)使用提示詞（Prompt）來(lái)明確他們的問(wèn)題、需求或者期望的回答形式，來(lái)提高ChatGPT的回答質(zhì)量和準(zhǔn)確性。例如吳恩達(dá)在《ChatGPT Prompt Engineering for Developers》課程中指出，通過(guò)“提示清晰和給AI更多思考時(shí)間”兩條準(zhǔn)則來(lái)設(shè)計(jì)提示詞[20]，可以提升探究問(wèn)題的質(zhì)量。此外，學(xué)習(xí)者還可以設(shè)計(jì)或借助開放性的提示詞資源（例如ChatGPT等平臺(tái)預(yù)設(shè)的面具或身份），促使ChatGPT提供更深入和創(chuàng)造性的回答。

六、結(jié) ? 語(yǔ)

本研究以某師范大學(xué)36名大二學(xué)生為研究對(duì)象，通過(guò)錄屏和平臺(tái)日志的方式采集其編程任務(wù)中的學(xué)習(xí)過(guò)程數(shù)據(jù)，并采用不同的學(xué)習(xí)分析方法，對(duì)學(xué)習(xí)者的編程學(xué)習(xí)過(guò)程和知識(shí)探究問(wèn)題進(jìn)行了分析和比較。通過(guò)分析學(xué)習(xí)者的編程過(guò)程，制定了編程行為和探究問(wèn)題編碼表，用于分析學(xué)習(xí)者的編程行為分布、不同績(jī)效學(xué)習(xí)者的行為模式差異以及探究問(wèn)題質(zhì)量的差異。針對(duì)這些差異，本研究提出了關(guān)于如何更好地利用ChatGPT進(jìn)行編程學(xué)習(xí)的建議，以提升編程學(xué)習(xí)效果和促進(jìn)高階思維能力的發(fā)展。本研究也存在一些不足，如樣本量較小、學(xué)習(xí)者的年齡和專業(yè)分布單一等，這些不足將在后續(xù)研究中進(jìn)行探究和完善。未來(lái)的研究將進(jìn)一步探索和完善這些限制，以更好地利用生成式人工智能這一強(qiáng)大的工具支持學(xué)生的編程學(xué)習(xí)。

[參考文獻(xiàn)]

[1] 楊宗凱，王俊，吳砥，等.ChatGPT/生成式人工智能對(duì)教育的影響探析及應(yīng)對(duì)策略[J].華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2023，41（7）：26-35.

[2] 張絨.生成式人工智能技術(shù)對(duì)教育領(lǐng)域的影響——關(guān)于ChatGPT的專訪[J].電化教育研究，2023，44（2）：5-14.

[3] 董艷，夏亮亮，李心怡，等. ChatGPT賦能學(xué)生學(xué)習(xí)的路徑探析[J].電化教育研究，2023，44（12）：14-20，34.

[4] YILMAZ R， KARAOGLAN Y F G. Augmented intelligence in programming learning： examining student views on the use of ChatGPT for programming learning[J]. Computers in human behavior： artificial humans， 2023，1（2）：100005.

[5] 孫立會(huì)，胡琳琳.編程真的能促進(jìn)兒童的個(gè)體發(fā)展嗎？——基于28項(xiàng)實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)研究的元分析[J].華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2021，39（11）：45-58.

[6] 盧宇，余京蕾，陳鵬鶴，等.生成式人工智能的教育應(yīng)用與展望——以ChatGPT系統(tǒng)為例[J].中國(guó)遠(yuǎn)程教育，2023，43（4）：24-31.

[7] 吳林靜，劉清堂，邊佳琪，等.學(xué)習(xí)分析視域下學(xué)習(xí)者編程過(guò)程分析研究[J].現(xiàn)代遠(yuǎn)距離教育，2020（2）：68-75.

[8] OPENAI. Introducing ChatGPT[EB/OL]. [2023-08-10]. https：//openai.com/blog/chatgpt.

[9] RAHMAN M M， WATANOBE Y. ChatGPT for education and research： opportunities， threats， and strategie[J]. Applied sciences， 2023，13（9）：5783.

[10] PEREIRA F D， OLIVEIRA E H， OLIVEIRA D B， et al. Using learning analytics in the Amazonas： understanding students' behaviour in introductory programming[J]. British journal of educational technology， 2020，51（4）：955-972.

[11] SUN D， OUYANG F， LI Y， ZHU C. Comparing learners' knowledge， behaviors， and attitudes between two instructional modes of computer programming in secondary education[J]. International journal of STEM education， 2021，8（1）：54.

[12] TURKLE S， PAPERT S. Epistemological pluralism and the revaluation of the concrete[J]. Journal of mathematical behavior， 1992， 11（1）：3-33．

[13] SUN D， OUYANG F， LI Y， CHEN H. Three contrasting pairs' collaborative programming processes in China's secondary education[J]. Journal of educational computing research， 2021，1（8）：54.

[14] OUYANG F， DAI X. Using a three-layered social-cognitive network analysis framework for understanding online collaborative discussions[J]. Australasian journal of educational technology， 2022，38（1）：164-181.

[15] SHAFFER D W， COLLIER W， RUIS A R. A tutorial on epistemic network analysis： analyzing the structure of connections in cognitive， social， and interaction data[J]. Journal of learning analytics， 2016，3（3）：9-45.

[16] CHEN E， HUANG R，CHEN H S， TSENG Y H， LI L Y. GPTutor： a ChatGPT powered programming tool for code explanation [EB/OL]. [2023-08-10]. https：/arxiv.org/abs/2305.01863.

[17] 鄭永和，周丹華，張永和，等.計(jì)算教育學(xué)視域下的ChatGPT：內(nèi)涵、主題、反思與挑戰(zhàn)[J].華東師范大學(xué)學(xué)報(bào)（教育科學(xué)版），2023，41（7）：91-102.

[18] GODDARD J. Hallucinations in ChatGPT： a cautionary tale for biomedical researchers[J]. The American journal of medicine，2023， 136（11）：1059-1060.

[19] 朱光輝，王喜文.ChatGPT的運(yùn)行模式、關(guān)鍵技術(shù)及未來(lái)圖景[J].新疆師范大學(xué)學(xué)報(bào)（哲學(xué)社會(huì)科學(xué)版），2023，44（4）：113-122.

[20] DEEPLEARNING. AI [EB/OL]. [2023-08-10]. https：//www.deeplearning.ai/short-courses/chatgpt-prompt-engineering-for-developers/.

A Study on Analysis of College Students' Programming Learning Behavior

Based on Generative Artificial Intelligence

SUN Dan1， ?ZHU Chengcong2， ?XU Zuodong1， ?XU Guangtao1

（1.Chinese Education Modernization Research Institute， Hangzhou Normal University， Hangzhou Zhejiang 311121; 2.Zhejiang Xiaoshan High School， Hangzhou Zhejiang 311201）

[Abstract] Generative artificial intelligence can provide efficient and personalized intelligent services and technical support for education. As a typical generative artificial intelligence language model， the application of ChatGPT in programming has been widely concerned by the industry. However， few scholars have explored how learners use ChatGPT to learn programming from the level of empirical research. Through fine-grained analysis of learners' programming behaviors and knowledge inquiry coding methods， this study has analyzed the programming process of 36 learners. The results show that：（1） learners view ChatGPT as a useful programming learning resource， rely on it to guide the learning process， and tend to copy code or debug errors to ChatGPT， and then copy its feedback; （2） the high-performance group mainly use ChatGPT to assist programming in the early stages， while the low-performance group use ChatGPT more frequently throughout the programming process; （3） learners mainly focus on exploring shallow and middle-level knowledge when using ChatGPT. The high-performance group obtain feedback from ChatGPT by asking questions independently， while the medium- and low- performance group obtain problem solutions by asking questions about feedback from ChatGPT. The study puts forward some suggestions on how to use ChatGPT to assist college students in programming learning， with a view to providing references for improving the efficiency of programming learning.

[Keywords] ?ChatGPT; Programming Learning; Learning Behavior; Learning Analytics; College Students