摘要:深入剖析公眾對生成式人工智能(Generative Artificial Intelligence,GAI)的認知狀況,給人工智能政策制定、風險治理提供數(shù)據(jù)支持和策略建議。以微博為數(shù)據(jù)源,首先提出Zero-shot_M3E_BERTopic模型,識別GAI話題下的公眾認知主題;其次運用ERNIE 3.0模型進行情感分析,量化主題的關注度和滿意度,探究其動態(tài)變化特征;最后基于IPA模型構建“關注度—滿意度”分析框架,并通過關鍵詞共現(xiàn)網(wǎng)絡對公眾認知進行分區(qū)細粒度分析。研究發(fā)現(xiàn),GAI話題下的公眾認知涉及4個維度,共17個主題,其中問答質(zhì)量、情感洞察和教學輔助為主要弱勢領域,而就業(yè)市場、網(wǎng)絡安全、知識產(chǎn)權等5個主題為次要弱勢領域。從政府、企業(yè)和公眾3個方面給出以下建議:政府強化引導監(jiān)管,筑牢發(fā)展后盾;企業(yè)加速技術創(chuàng)新,打造中國特色GAI;公眾提升信息素養(yǎng),合理運用GAI工具。
關鍵詞:生成式人工智能;IPA模型;關注度—滿意度框架;BERTopic;ERNIE 3.0;主題聚類;情感分析
中圖分類號:TP391 DOI:10.3772/j.issn.1673-2286.2024.10.002
引文格式:李冠,孫靈芝,何明祥. 生成式人工智能話題下公眾認知的“關注度—滿意度”量化分析:以微博平臺為例[J]. 數(shù)字圖書館論壇,2024,20(10):9-21.
生成式人工智能(Generative Artificial Intelligence,GAI)的快速發(fā)展正深刻影響社會各領域,深入分析公眾對GAI的關注度和滿意度,了解社會對新技術的認知,能夠為制定人工智能技術規(guī)范、防范技術風險提供數(shù)據(jù)支持。目前,關于GAI公眾認知的研究在樣本規(guī)模、主題聚類模型以及多維特征分析框架等方面仍存在局限性,需要進一步探究。因此,本研究采集GAI話題下的95 669條微博數(shù)據(jù),提出并運用Zeroshot_M3E_BERTopic模型識別公眾認知主題。采用ERNIE 3.0模型進行情感分析,量化主題的關注度和滿意度?;贗PA模型原理構建“關注度—滿意度”分析框架,系統(tǒng)分析GAI話題下的公眾認知,為政府制定政策、GAI企業(yè)發(fā)展和社會公眾提升信息素養(yǎng)提供策略建議。
1 相關研究
隨著人工智能的快速發(fā)展,GAI已成為新的研究熱點。GAI話題下公眾認知分析的相關文獻主要運用質(zhì)性研究、主題挖掘和多維特征分析3種方法。①質(zhì)性研究多以扎根理論為基礎,對少量訪談樣本進行編碼,并結合UTAUT、ISM和MICMAC等模型,分析ChatGPT接受度[1]、人工智能生成內(nèi)容(Artificial Intelligence Generated Content,AIGC)采納意愿的影響因素[2]等。該方法雖能深入挖掘個體觀點,但小樣本量限制了其對社會公眾的整體認知。②主題挖掘方法相關研究主要借助機器學習和深度學習模型,針對網(wǎng)絡文本開展主題的單維分析。例如,翟其玲等[3]通過LDA模型分析AIGC微博輿情熱點。盡管LDA在降維和保持類別信息方面表現(xiàn)良好,但可能忽視詞匯位置信息和主題可解釋性[4]。賀超城等[5]通過K-means算法拼接BERT和DTM模型,解讀元宇宙公眾認知演化規(guī)律。雖增強了語義特征捕捉能力和主題解釋性,但仍需人工確定聚類數(shù)量,且復雜嵌入可能降低聚類效率。因此,有學者采用BERTopic模型提煉用戶交流主題[6-7],該模型基于深度學習預訓練模型的語義向量嵌入,改進了傳統(tǒng)主題模型的短語依賴性和語義模糊性等不足,并通過UMAP和HDBSCAN算法進行降維聚類,解決了基于密度聚類和中心采樣聚類的兼容問題,實現(xiàn)了高效自動聚類[8-9],最終通過C-TF-IDF和MMR算法生成易于解釋的主題分布[10]。研究表明,BERTopic在可解釋性、連貫性和多樣性方面優(yōu)于LDA和Top2Vec等主題模型[11-14],已成功應用于多種文本數(shù)據(jù)[15-17]。但使用BERTopic進行主題聚類時,需要平衡離群點和主題簇規(guī)模,且語義嵌入模型和主題微調(diào)算法也需根據(jù)語料特點進行調(diào)整。③融合多維特征分析的研究著重圍繞公眾認知話語體系中的主題、情感、社會網(wǎng)絡等多維度展開特征分析。例如,劉天麗等[18]采用LDA、百度Senta和SnowNLP庫,分析“ChatGPT+教育”話題下公眾認知的主題、情感和詞匯特征。吳江等[19]提出集成BERTDTM、社會網(wǎng)絡分析和LIWC情感分析的三維AIGC網(wǎng)絡輿情傳播分析模型。聶思言等[20]使用BERT-LDA和BERT模型挖掘公眾對ChatGPT主題的情感與整體感知。多維特征分析能更全面地解析公眾意見,但現(xiàn)有研究缺少理論框架支撐,且所用情感分析方法在理解長文本和復雜句子結構方面存在局限,可能影響情感分類的準確度。
綜上所述,現(xiàn)有研究的主要問題包括:小樣本量研究缺乏對公眾整體認知的代表性;使用BERTopic進行主題聚類時需平衡離群點和主題簇規(guī)模;尚未形成系統(tǒng)性的多維特征分析框架。對此,本研究大規(guī)模爬取微博數(shù)據(jù),利用零樣本提示(Zero-shot)技術改進BERTopic模型,實現(xiàn)可解釋性強的高效自動主題聚類,并運用情感分析算法,將公眾認知量化為主題關注度與主題滿意度,構建公眾認知“關注度—滿意度”分析框架,通過關鍵詞共現(xiàn)網(wǎng)絡進行細粒度分析,全面揭示公眾認知的多維特征。
2 研究設計
2.1 研究框架
研究框架分為4個部分,如圖1所示。首先,數(shù)據(jù)采集與預處理。微博作為開放性社交媒體平臺,具有用戶規(guī)模大、實時性強等特點,能及時反映公眾對GAI的認知和態(tài)度,因此,爬取GAI話題相關的微博數(shù)據(jù),去除無效和重復數(shù)據(jù),進行去停用詞和分詞處理。其次,通過Zero-shot_M3E_BERTopic模型對預處理后的微博文本進行主題聚類,識別公眾認知主題,并利用微博數(shù)量、評論數(shù)量、轉(zhuǎn)發(fā)數(shù)量和點贊數(shù)量量化主題關注度,分析主題關注度演化特征。再次,通過ERNIE 3.0模型分析微博文本情感值,量化主題滿意度,分析主題滿意度演化特征。最后,基于IPA模型構建“關注度—滿意度”分析框架,進行主題定位分析,并通過關鍵詞共現(xiàn)網(wǎng)絡對公眾認知進行分區(qū)細粒度分析。
2.2 研究方法
2.2.1 Zero-shot_M3E_BERTopic模型
鑒于GAI話題討論體量龐大、討論群體多樣、涉及領域廣泛,直接進行主題聚類易受數(shù)據(jù)高維性、多義性和噪聲等因素影響,可能出現(xiàn)主題邊界模糊和關鍵信息遺漏等問題,提出Zero-shot_M3E_BERTopic模型。引入Zero-shot方法,利用先驗知識引導模型關注特定的語義空間,提高主題識別的準確性。采用在處理高維稀疏文本數(shù)據(jù)方面具有一定優(yōu)勢的BERTopic模型,使主題聚類更為連貫、可解釋性更強。如圖2所示,模型包括輸入、文檔嵌入、文檔聚類、主題表征、輸出5個模塊,具體闡述如下。
(1)輸入層:LDA模型基于生成模型框架,能從大量文本中揭示潛在主題結構,為后續(xù)聚類提供可靠的先驗知識。采用LDA模型對GAI微博文本進行初步主題聚類,得到主題集Z。通過人工審查,篩選出具有研究價值的主題,形成先驗知識集Z’,并為每個篩選出的主題選擇5個代表性詞匯,構建Zero-shot提示詞集W’。
(2)文檔嵌入:通過M3E模型對微博文本序列D和Zero-shot提示詞集W’進行嵌入處理。M3E模型由哈工大訊飛聯(lián)合實驗室基于Roberta系列模型開發(fā),通過12個注意力頭及隱藏層,保留文檔的獨特語義和位置信息,將文本轉(zhuǎn)換為768維向量,特別適用于夾雜少量英文的GAI微博文本的語義特征提取。
(3)文檔聚類:首先,采用Zero-shot技術,通過計算文檔與Zero-shot提示詞間的余弦相似度,識別出與提示詞相似度超過閾值的文檔,并據(jù)此確定其主題分布Tz。其次,對于未達到相似度閾值的剩余文檔,采用UMAP算法進行降維處理,以便進一步應用HDBSCAN算法進行主題聚類,得到剩余文檔的主題分布Tb和離群點。
(5)輸出層:輸出GAI微博數(shù)據(jù)的文檔—主題、主題—關鍵詞對應分布。
2.2.2 ERNIE 3.0模型
2.2.3 基于IPA模型的“關注度—滿意度”分析框架
IPA模型由Martilla等[22]提出,最初應用于市場營銷領域,通過評估各屬性在用戶認知中的重要性和用戶使用后的滿意度,劃分劣勢區(qū)、優(yōu)勢區(qū)、改進區(qū)和保持區(qū),指導產(chǎn)品/服務的改進[23]。已有學者基于在線評論,將情感分析引入IPA模型,用于品牌營銷口碑調(diào)查[24]、景區(qū)服務質(zhì)量評估[25-26]和企業(yè)輿情分析[27]。IPA模型能為公眾對GAI話題的不同認知提供統(tǒng)一量化框架,通過將關注度和滿意度映射到不同區(qū)域,獲得直觀視覺表示,為改進和保持公眾認知提供明確指導。借鑒已有研究構建GAI公眾認知“關注度—滿意度”分析框架,步驟如下。
①關注度計算:第i個主題的關注度Ii通過微博數(shù)量Wi、評論數(shù)量Ci、轉(zhuǎn)發(fā)數(shù)量Ri和點贊數(shù)量Li進行量化。結合前人研究[28]和微博數(shù)據(jù)特性,采用Min-Max歸一化和函數(shù)賦權技術計算,權重系數(shù)α= 0.5、β=0.2、γ=0.2、δ=0.1,四者之和為1,具體見式(1)。
(3)構建以關注度為縱軸、滿意度為橫軸的坐標系,并基于所有主題的關注度和滿意度平均值劃分4個區(qū)域:高關注—高滿意區(qū)、高關注—低滿意區(qū)、低關注—低滿意區(qū)和低關注—高滿意區(qū)。在此基礎上,根據(jù)主題Ti的關注度Ii和滿意度Pi,標定其在坐標系中的位置。
3 實證研究與結果分析
3.1 數(shù)據(jù)采集與預處理
以ChatGPT、文心一言、訊飛星火等GAI工具名稱為檢索詞,以48小時為周期,自2022年12月1日0時起至2024年2月29日24時,從微博平臺爬取120 569條文本數(shù)據(jù),包含微博發(fā)布時間、發(fā)布者、轉(zhuǎn)發(fā)數(shù)量、評論數(shù)量、點贊數(shù)量、微博文本等字段,經(jīng)預處理后獲得95 669條有效數(shù)據(jù)。由圖4可知,ChatGPT發(fā)布之初,由于訪問限制,公眾對GAI話題的討論相對較少。隨著2023年2—4月國內(nèi)GAI工具集中發(fā)布,公眾接觸和體驗這些工具的機會顯著增加,引發(fā)了GAI相關話題討論熱度的急劇上升。盡管后續(xù)公眾討論量有所波動,但整體仍處于較高水平。
3.2 基于Zero-shot_M3E_BERTopic的關注度分析
3.2.1 主題聚類模型對比實驗
為驗證Zero-shot_M3E_BERTopic模型的性能,采用LDA(迭代50次和100次)、Top2Vec和BERTopic等模型作為對比,對GAI微博數(shù)據(jù)進行主題聚類實驗。評估指標包括主題數(shù)、主題連貫性、主題一致性[29]以及模型訓練時長。實驗結果見表1(表1中,所有小數(shù)均在四舍五入后保留小數(shù)點后3位,數(shù)值加粗表示該模型在當前評估指標下效果最佳),結果顯示:Zeroshot_M3E_BERTopic模型的主題連貫性和主題一致性均顯著高于其他模型,表明其內(nèi)部主題詞具有更高的連貫性和一致性。此外,該模型生成的主題數(shù)適中,其更能兼顧主題的多樣性和可解釋性。盡管訓練時長受LDA模型先驗知識獲取的影響略有增加,但整體而言,Zero-shot_M3E_BERTopic模型仍展現(xiàn)出顯著優(yōu)勢。
3.2.2 公眾認知主題聚類
基于LDA模型的聚類結果,篩選出14個主題作為先驗知識集Z’,并構建Zero-shot提示詞集W’。將文檔與W’的余弦相似度閾值設定為0.7,UMAP模型的n_ neighbors參數(shù)為100,min_dist參數(shù)為0.5,將語義向量降維至128維。HDBSCAN模型的最小聚類簇數(shù)量設置為124,進行Zero-shot_M3E_BERTopic模型聚類。如表2所示,模型最終識別出17個公眾認知主題,編號為T0~T16,每個主題通過其前10個關鍵詞進行主題描述,并據(jù)此歸納為用戶反饋、未來趨勢、應用場景和風險感知4個認知維度。
3.2.3 公眾認知關注度演化分析
根據(jù)式(1)計算得到2022年12月—2024年2月各主題的每月關注度,見圖5,以2023年2月為例說明其計算過程,如表3所示。
圖5按認知維度分別展示了2022年12月—2024年2月主題關注度隨時間變化的趨勢。整體上,用戶反饋和未來趨勢維度備受公眾矚目,均有主題多次達到最高關注度值1.0。相比之下,應用場景維度的關注度處于中等水平,而風險感知維度的關注度均低于0.5。
在用戶反饋維度,T0的關注度呈波動下降態(tài)勢,而T3和T5則表現(xiàn)出波動上升趨勢。ChatGPT和國產(chǎn)GAI工具發(fā)布的初期,公眾主要關注AIGC的質(zhì)量,但隨著體驗加深,對問答質(zhì)量的把握程度提升,關注點逐漸轉(zhuǎn)向GAI內(nèi)含情感和使用體驗。
在未來趨勢維度,T1雖保持較高關注度但波動顯著,而T2、T7、T10和T14的關注度均呈下降趨勢。公眾對GAI技術展望的關注度隨技術更新而波動,對金融行情、競爭格局、能源需求以及搜索進化的興趣逐漸衰減。
在應用場景維度,關注度呈現(xiàn)3種狀態(tài):T4、T6和T8的關注度適中,介于0.2~0.8且波動上升;T13和T15的關注度持續(xù)低迷,始終低于0.1;T16雖關注度較低,但出現(xiàn)了幾個關注高峰。公眾對GAI應用場景維度的認知受所涉場景的日常性和專業(yè)性影響,對教育、科研和藝術創(chuàng)作場景的關注度逐步提升,對駕駛場景的關注度跟隨智能技術變化波動,而對醫(yī)療和檢索領域則關注有限。
在風險感知維度,T9、T11和T12的初始關注度均低于0.1,并隨時間推移表現(xiàn)出不同程度的上升趨勢,但整體仍處于較低水平。公眾對GAI的風險感知較低,且存在明顯滯后性。
3.3 基于ERNIE 3.0的滿意度分析
3.3.1 GAI微博文本情感分類
運用微調(diào)后的ERNIE 3.0模型進行GAI微博文本情感分類,其情感占比分布以及積極、消極情感的月均值變化情況如圖6所示。從情感占比的月分布看,公眾對GAI整體持積極態(tài)度,但多數(shù)月份的消極情感占比超過35%。2023年2月起,消極情感占比呈波動式上升,表明GAI仍有待改進。情感月均值顯示,消極情感均值分布在0.1~0.3,積極情感均值分布在0.7~0.9,兩者強度均較高。隨著時間推移,消極情感均值呈下降趨勢,而積極情感均值則呈上升趨勢,表明公眾態(tài)度逐漸兩極分化。
3.3.2 公眾認知滿意度演化分析
根據(jù)式(2)計算得到2022年12月—2024年2月各主題的每月滿意度,見圖7,以2023年2月的T0主題為例說明其計算過程,如表4所示。
圖7展示了2022年12月—2024年2月,公眾在4個維度上對各主題滿意度的時間演化趨勢。253個氣泡(T16自2023年2月出現(xiàn))的滿意度均值為0.585,深色氣泡表示該主題該月滿意度高于平均值,淺色氣泡表示低于平均值,氣泡大小與滿意度成正比。整體來看,未來趨勢和風險感知維度的主題滿意度演化較為平穩(wěn),前者基本穩(wěn)定在平均值之上,后者則基本穩(wěn)定在平均值之下。而在用戶反饋和應用場景維度中,主題滿意度與具體主題有關。
在用戶反饋維度,T0和T3的滿意度始終低于平均水平,且T0的滿意度呈下降趨勢,表明公眾對GAI問答質(zhì)量愈發(fā)不滿。相對而言,GAI工具升級更新迅速,給公眾帶來了良好的使用體驗,故T5的滿意度盡管存在波動,但整體高于平均水平。
在未來趨勢維度,公眾對GAI行業(yè)未來發(fā)展趨勢呈樂觀態(tài)度,T1和T2的滿意度較高。由于公眾對能源需求的擔憂,以及在對比國內(nèi)外GAI工具和新舊搜索工具后產(chǎn)生失望情緒,T7、T10和T14在部分月份的滿意度跌至平均值以下。
在應用場景維度,T4、T8和T13的滿意度整體較低,且均呈下降趨勢。T6的滿意度穩(wěn)定在平均值以上,T15的滿意度呈現(xiàn)出前低后高的變化趨勢,而T16雖出現(xiàn)時間較晚,但其滿意度最高。各主題滿意度總體排序表明,公眾對GAI應用場景的滿意度與場景日常性、專業(yè)性、嚴肅性密切相關。
在風險感知維度,隨著GAI工具及其衍生盜版插件增多,T9和T12的滿意度下降。T11滿意度雖持續(xù)低于平均值,但有上升趨勢,這可能是因為公眾在使用GAI工具的過程中逐漸認識到其在復雜決策、人際交往、創(chuàng)造性工作等方面的局限性,從而減輕了對GAI替代崗位的擔憂。
3.4 基于IPA與詞共現(xiàn)的“關注度—滿意度”分析
依據(jù)2.2.3節(jié)的闡述,建立“關注度—滿意度”分析框架,并使用式(1)和式(2)計算主題T0~T16的總體關注度和滿意度。以各主題的平均關注度0.306和平均滿意度0.596為界,將坐標系劃分為4個區(qū)域,表征各主題的關注度和滿意度水平,結果如圖8所示。
高關注—低滿意區(qū)共有3個認知主題。其中,T0和T3屬于用戶反饋維度,T4屬于應用場景維度。此區(qū)域中高關注度與低滿意度并存,意味著這些主題是公眾關注焦點,但其實際表現(xiàn)未能達到公眾預期,揭示了GAI行業(yè)當前的共性劣勢。我國GAI企業(yè)應重點在這些領域投入研發(fā)資源,擺脫行業(yè)共性劣勢,以提高市場競爭力。高關注—高滿意區(qū)包含6個認知主題。其中,T1、T2、T7和T14屬于未來趨勢維度,反映了公眾對GAI行業(yè)發(fā)展普遍持滿意和樂觀態(tài)度,滿意度與關注度相互促進,高關注度表明公眾對行業(yè)前景較為重視,而高滿意度又進一步強化關注,形成良性循環(huán)。T5和T6分別是用戶反饋維度和應用場景維度中唯一同時獲得高關注度和高滿意度的主題,是GAI行業(yè)的共性優(yōu)勢,我國GAI企業(yè)應鞏固并強化這些優(yōu)勢,以確保在全球競爭中保持領先地位。低關注—低滿意區(qū)共有5個認知主題。其中,T9、T11和T12隸屬于風險感知維度,盡管公眾對技術風險的關注度不高,但這類主題滿意度較低,是政策制定和輿情管理者應長期持續(xù)關注的領域。T8和T13是應用場景維度中專業(yè)性較高的主題,吸引了對GAI專業(yè)性有較高要求的特定群體,更適合資源充足的大型GAI企業(yè)或特定領域的GAI企業(yè)進行研發(fā),以開發(fā)滿足特定需求的專門型GAI工具,開拓新的市場機會。低關注—高滿意區(qū)共有3個認知主題。其中,T10屬于未來趨勢維度,T15和T16屬于應用場景維度。低關注度說明公眾對這些領域的重視程度有限,高滿意度則反映出這些領域現(xiàn)階段的實際表現(xiàn)尚可接受,說明相關場景的功能研發(fā)并不迫切,GAI企業(yè)應根據(jù)市場需求合理分配資源,優(yōu)先投入公眾關注度高且滿意度低的領域,改進產(chǎn)品或服務。對于T15和T16這兩個主題,企業(yè)可采取維持現(xiàn)狀的策略,并在時機成熟時逐步推動其發(fā)展。
為更細粒度地分析公眾對GAI的認知,利用Python和Jieba分詞工具對GAI相關微博文本做進一步處理。分別提取高滿意區(qū)主題積極文本的前30個高頻詞匯和低滿意區(qū)主題消極文本的前30個高頻詞匯,構建關鍵詞共現(xiàn)網(wǎng)絡,得出各區(qū)域所含主題的關鍵詞?;诖私Y果,下面從4個區(qū)域分別進行公眾認知分析。
3.4.1 高關注—低滿意區(qū)公眾認知分析
高關注—低滿意區(qū)對應IPA模型的劣勢區(qū),是GAI相關方需要重點改進的方面。T0主題滿意度僅為0.469,公眾普遍表達了對GAI問答可靠性的不滿,答案、邏輯、數(shù)據(jù)、能力、中文等關鍵詞突顯了公眾關注GAI的問題處理能力、內(nèi)容邏輯性和語言適應性等方面。T3主題以0.823的關注度成為公眾最關注的主題,凸顯了公眾對GAI情感交流和理解能力的極高期待,但其滿意度低于平均值,人類、世界、抑郁、愛等關鍵詞表明公眾期望GAI能理解并回應復雜的情感狀態(tài),但GAI目前的情感表達還無法滿足公眾期望。T4主題的滿意度接近整體均值,顯示了公眾對GAI輔助潛力與潛在問題(如抄襲和依賴性)的雙重看法,從作業(yè)、論文、幫、學生、老師、發(fā)現(xiàn)等關鍵詞可見,GAI確實為教育帶來了不少便捷,但也可能被學生濫用,制約其成長。這3個主題所暴露的問題普遍且易于識別,因而受到廣泛關注,也是當前迫切需要改進的關鍵點。
3.4.2 高關注—高滿意區(qū)公眾認知分析
高關注—高滿意區(qū)對應IPA模型的優(yōu)勢區(qū),GAI企業(yè)應繼續(xù)保持產(chǎn)品和服務中的相關優(yōu)點。T1主題因其高關注度和滿意度而備受矚目,公眾討論主要集中在GAI相關行業(yè)的動態(tài)信息,期待GAI技術提升生活質(zhì)量和工作效率,關鍵詞技術、行業(yè)、未來、中國等反映了公眾看好中國GAI行業(yè)潛力。T2主題的滿意度為0.747,公眾話題多圍繞GAI概念股股票漲?,F(xiàn)象,發(fā)展、公司、科技、市場等關鍵詞顯示了公眾對GAI市場前景的積極預期。T5中,功能、版本、免費、插件、更新等關鍵詞說明公眾非??粗谿AI的使用價值,且插件擴展、版本更新等服務和功能滿足了公眾當前的期待。T6中,公眾表達了對低風險低成本創(chuàng)作的需求,重視交流生成作品的社交價值,繪畫、視頻、文本、作品等關鍵詞體現(xiàn)出公眾對基于GAI進行編曲、文本轉(zhuǎn)動畫、繪畫等創(chuàng)作經(jīng)歷的滿意。T7中,科技、中國、美國、華為等關鍵詞反映了公眾對國內(nèi)GAI企業(yè)競爭力的積極評價。T14中,微軟、智能、技術、生成等關鍵詞表明相較于傳統(tǒng)搜索引擎,公眾更偏愛GAI搜索的智能性、相關性和個性化體驗。
3.4.3 低關注—低滿意區(qū)公眾認知分析
低關注—低滿意區(qū)對應IPA模型的改進區(qū),是GAI相關方需要改進的次要方面。T8主題的討論群體主要是學生,論文、代碼、學術、數(shù)據(jù)、文獻等關鍵詞表達了對GAI超越人類代碼改寫能力的恐懼及對學術誠信的擔憂。T9中,技術、數(shù)據(jù)、隱私、訴訟、禁止等關鍵詞反映了公眾在考試、知識產(chǎn)權保護、個人隱私和商業(yè)秘密保護等方面對GAI影響的憂慮,暴露了GAI在法律和倫理層面的挑戰(zhàn)。T11中,圍繞失業(yè)、取代、技術等關鍵詞,討論集中于GAI可能改變某些行業(yè)就業(yè)結構,部分公眾表達了對特定崗位可能被GAI工具取代的擔憂,反映了技術進步與就業(yè)保障間的沖突。T12主題的滿意度僅為0.307,謠言、詐騙、視頻、假等關鍵詞表明GAI可能成為網(wǎng)絡犯罪的新工具,凸顯了信息安全和網(wǎng)絡安全風險。T13中,許多公眾質(zhì)疑GAI在醫(yī)療領域的可靠性,關鍵詞醫(yī)生、癥狀、診斷、信息、劑量等表明醫(yī)療決策的高度復雜性使公眾對GAI技術的醫(yī)療場景應用持謹慎態(tài)度。
3.4.4 低關注—高滿意區(qū)公眾認知分析
低關注—高滿意區(qū)對應IPA模型的保持區(qū),GAI企業(yè)可不必刻意追求相關產(chǎn)品和服務的改進。T10主題涉及算力、芯片、人工智能、需求等專業(yè)術語,顯示出該話題受眾較為固定。公眾對GAI在推動人工智能服務器和芯片市場繁榮,以及提升國內(nèi)算力水平方面的貢獻表示較滿意。T15主題關注度極低,僅為0.007,結合參考、資料、提高、環(huán)境、確保等關鍵詞可知,GAI在信息檢索和輔助方面已滿足公眾基本需求。T16主題滿意度高達0.901,極越01、車型、駕駛、功能等關鍵詞顯示出相關討論主要圍繞現(xiàn)有的智能駕駛汽車“極越01”展開,且公眾對GAI在駕駛場景的應用極為滿意。
4 結論與建議
4.1 研究結論
在公眾認知關注度演化方面,各維度主題呈現(xiàn)出不同的變化軌跡。用戶反饋維度,公眾在初期主要關注問答質(zhì)量,但隨著對GAI工具的深入了解,關注點逐漸轉(zhuǎn)向情感洞察和使用體驗,顯示出公眾期望的升級。未來趨勢維度中,盡管主題整體關注度高,但受技術和市場波動影響明顯。應用場景維度中,場景特性對關注度的影響顯著。風險感知維度的關注度相對較低但呈上升趨勢,表明公眾對GAI潛在風險的認知存在滯后性,但其關乎GAI發(fā)展的可持續(xù)性以及對社會多層面的潛在影響,是不容忽視的關鍵部分。
在公眾認知滿意度演化方面,不同維度主題滿意度受多因素影響走勢各異。用戶反饋維度中,使用體驗的滿意度隨工具升級而提高,而問答質(zhì)量因與公眾期望存在差距,滿意度低且呈下降趨勢。未來趨勢維度中,盡管多數(shù)主題因公眾對行業(yè)的樂觀預期而保持較高滿意度,但在面對現(xiàn)實因素時滿意度也會下滑。應用場景維度的滿意度與場景的日常性、專業(yè)性和嚴肅性密切相關,專業(yè)性強的場景的滿意度更容易受到影響。風險感知維度中,知識產(chǎn)權和網(wǎng)絡安全主題的滿意度多次下滑,而就業(yè)市場主題的滿意度雖低于平均值但有上升趨勢。
從“關注度—滿意度”分析框架來看,高關注—低滿意區(qū)的主題顯示公眾期望與實際表現(xiàn)之間存在顯著差距,意味著GAI在對應領域需著力提升性能、優(yōu)化用戶體驗。高關注—高滿意區(qū)的主題揭示了GAI在這些領域的卓越表現(xiàn),企業(yè)應鞏固強化優(yōu)勢。低關注—低滿意區(qū)涉及的法律倫理、就業(yè)保障和信息安全等深層次問題尚未引起足夠重視,需通過完善法規(guī)、加強監(jiān)管、改進技術等方式解決。低關注—高滿意區(qū)中,GAI已滿足相應領域的公眾需求,但企業(yè)仍需持續(xù)關注這些專業(yè)領域的市場動態(tài),以保持競爭優(yōu)勢。
4.2 研究建議
(1)政府層面:強化引導監(jiān)管,筑牢發(fā)展后盾。公眾對GAI問答質(zhì)量不滿,可能是因為GAI模型質(zhì)量欠佳及公眾提問、表述存在問題。同時,公眾對低關注—低滿意區(qū)風險感知維度主題認知滯后。對此,政府需多面發(fā)力。①加強公眾教育與信息普及。利用在線教育平臺、自媒體、研討會和學校等渠道,普及GAI基礎知識,增強公眾對GAI模型的理解能力、提問和信息辨別能力以及對潛在風險的認知,引導公眾自身加強獨立思考,正確使用GAI工具。②完善法律框架與倫理原則。政府需優(yōu)化知識產(chǎn)權、信息安全相關政策、法規(guī)和問責機制,保護個人隱私、商業(yè)機密和國家安全,并制定GAI倫理原則,確保其發(fā)展與應用遵循社會主義核心價值觀。③建設風險治理監(jiān)管體系。針對網(wǎng)絡安全風險,政府應構建全面的風險治理監(jiān)管體系,明確監(jiān)管規(guī)則,設立專門監(jiān)管機構,加強對GAI內(nèi)容的審核與監(jiān)管,防止虛假和有害信息的傳播。④搭建數(shù)據(jù)開放共享平臺。政府應搭建GAI治理的數(shù)據(jù)開放共享平臺,以收集公眾意見、發(fā)布風險評估報告、協(xié)調(diào)跨部門合作,鼓勵公眾參與和多部門組織協(xié)作,高效應對GAI相關風險。
(2)企業(yè)層面:加速技術創(chuàng)新,打造中國特色GAI。情感洞察主題受高度關注,暴露了GAI復雜情感理解能力的缺口。此外,公眾在使用體驗、創(chuàng)作啟迪方面有廣泛需求,部分群體對科研支持、智能醫(yī)療有專業(yè)功能需求。對此,GAI研發(fā)企業(yè)應從以下方面發(fā)力。①增強算力和算法投資。針對問答質(zhì)量主題滿意度低下的問題,應大力提升自然語言處理算法的性能,改善模型的上下文推理、語義理解和生成能力,以提高響應速度。②提升訓練數(shù)據(jù)質(zhì)量。引入更精確、真實且全面的訓練數(shù)據(jù),尤其是符合中華文化語境的情感表達、中國背景知識以及國民特有的表達習慣,以促進模型的本土化,增強情感理解與模擬能力。③收集與分析用戶數(shù)據(jù)。在確保用戶隱私安全的前提下,定期收集和分析國內(nèi)用戶的歷史數(shù)據(jù)、使用習慣和偏好,以深入理解用戶的個性化需求。④融入中華文化元素。開發(fā)融入中華文化特色的交互界面和功能,打造具有中國特色的GAI。⑤定制化研發(fā)GAI應用。針對特定行業(yè)需求,研制定制化的GAI應用,并通過法律、道德、政治和倫理的多重審查,確保算法和訓練數(shù)據(jù)的合規(guī)性,避免錯誤和偏見,為醫(yī)療、法律、計算機等領域提供專業(yè)的解決方案。
(3)公眾層面:提升信息素養(yǎng),合理運用工具。問答質(zhì)量、知識產(chǎn)權、就業(yè)市場、網(wǎng)絡安全等主題滿意度較低,反映公眾自身信息素養(yǎng)不足,而問答質(zhì)量、情感洞察和教學輔助主題的高關注度、低滿意度情況或暴露出公眾對GAI功能、用途存在非理性認識。對此,公眾可采取以下措施。①提升提問質(zhì)量。公眾提問時采用規(guī)范、清晰、具體的語言表達,在主體、風格、信息量等方面給予GAI適當?shù)囊龑?,以便GAI更準確地理解問題的核心。②合理設定期望。公眾需認識到GAI在處理特定內(nèi)容和情感方面的能力限制,避免對GAI期望過高。③樹立主體意識。公眾應理性看待GAI在工作和學習中的輔助角色,依據(jù)任務需求合理運用AIGC拓展思維,保持獨立思考,不過度依賴,使用時尊重知識產(chǎn)權,遵循法律與道德準則。④增強自我效能。公眾可借助GAI工具發(fā)現(xiàn)自身潛在的優(yōu)勢和有待提升的技能點,利用其信息、思路發(fā)展強化個人技能,提升專業(yè)素養(yǎng)與獨特價值,增強面對技術變革的不可替代性,實現(xiàn)與GAI良性互動、協(xié)同發(fā)展。
參考文獻
[1] MENON D,SHILPA K. “Chatting with ChatGPT”:analyzing the factors influencing users’ intention to use the open AI’s ChatGPT using the UTAUT model[J]. Heliyon,2023,9(11):e20962.
[2] 毛太田,湯淦,馬家偉,等. 人工智能生成內(nèi)容(AIGC)用戶采納意愿影響因素識別研究:以ChatGPT為例[J/OL]. 情報科學:1-15[2024-03-29]. https://kns.cnki.net/kcms/detail/22.1264. G2.20231103.1005.010.html.
[3] 翟其玲,張佳怡,劉寶瑞,等. 基于LDA主題模型對AIGC的影響力分析[J]. 數(shù)據(jù)挖掘,2023,13(4):366-375.
[4] AO Z Q,HORVáTH G,SHENG C Y,et al. Skill requirements in job advertisements:a comparison of skill-categorization methods based on wage regressions[J]. Information Processing Management,2023,60(2):103185.
[5] 賀超城,黃茜,李欣儒,等. 元宇宙的冷與熱:融合BERT與動態(tài)主題模型的微博文本分析[J]. 數(shù)據(jù)分析與知識發(fā)現(xiàn),2023,7(9):25-38.
[6] OH Y K,YI J S,KIM J. What enhances or worsens the usergenerated metaverse experience? an application of BERTopic to Roblox user eWOM[J]. Internet Research,2024,34(5):1800-1817.
[7] 嚴煒煒,曹燦瑜. 多平臺視角下用戶知識交流主題挖掘與畫像分析:以ChatGPT話題為例[J]. 現(xiàn)代情報,2024,44(7):47-59.
[8] ALHAJ F,AL-HAJ A,SHARIEH A,et al. Improving Arabic cognitive distortion classification in Twitter using BERTopic[J]. International Journal of Advanced Computer Science and Applications,2022,13(1):854-860.
[9] 胡凱茜,李欣,王龍騰. 基于BERTopic模型的網(wǎng)絡暴力事件衍生輿情探測[J]. 情報雜志,2024,43(7):146-153.
[10] GROOTENDORST M. BERTopic:neural topic modeling with a class-based TF-IDF procedure[EB/OL]. [2024-08-09]. https:// arxiv.org/abs/2203.05794v1.
[11] HENDRY D,DARARI F,NURFADILLAH R,et al. Topic modeling for customer service chats[C]//2021 International Conference on Advanced Computer Science and Information Systems(ICACSIS). New York:IEEE Press,2021:1-6.
[12] ABUZAYED A,AL-KHALIFA H. BERT for Arabic topic modeling:an experimental study on BERTopic technique[J]. Procedia Computer Science,2021,189:191-194.
[13] ABDELRAZEK A,MEDHAT W,GAWISH E,et al. Topic modeling on Arabic language dataset:comparative study[M]// FOURNIER-VIGER P,HASSAN A,BELLATRECHE L,et al. Communications in Computer and Information Science. Cham:Springer Nature Switzerland,2022:61-71.
[14] CHEN W S,RABHI F,LIAO W Q,et al. Leveraging stateof-the-art topic modeling for news impact analysis on financial markets:a comparative study[J]. Electronics,2023,12(12):2605.
[15] BU W J,SHU H,KANG F,et al. Software subclassification based on BERTopic-BERT-BiLSTM model[J]. Electronics,2023,12(18):3798.
[16] LEE H,LEE S H,LEE K R,et al. ESG discourse analysis through BERTopic:comparing news articles and academic papers[J]. Computers,Materials Continua,2023,75(3):6023-6037.
[17] WANG Z Y,CHEN J,CHEN J P,et al. Identifying interdisciplinary topics and their evolution based on BERTopic[J]. Scientometrics,2023:1-26.
[18] 劉天麗,楊現(xiàn)民,李康康,等. 社會公眾如何看待“ChatGPT+教育”?:基于國內(nèi)主流開放社區(qū)的文本分析[J]. 現(xiàn)代教育技術,2023,33(10):14-23.
[19] 吳江,黃茜,賀超城,等. 基于引爆點理論的人工智能生成內(nèi)容微博網(wǎng)絡輿情傳播與演化分析[J]. 現(xiàn)代情報,2023,43(7):145-161.
[20] 聶思言,楊江華. 多維視角下新一代人工智能技術的公眾感知研究[J]. 情報雜志,2024,43(9):130-138.
[21] SUN Y,WANG S H,F(xiàn)ENG S K,et al. ERNIE 3.0:large-scale knowledge enhanced pre-training for language understanding and generation[EB/OL]. [2024-09-06]. https://arxiv.org/ abs/2107.02137v1.
[22] MARTILLA J A,JAMES J C. Importance-performance analysis[J]. Journal of Marketing,1977,41(1):77-79.
[23] WANG A N,ZHANG Q,ZHAO S Y,et al. A reviewdriven customer preference measurement model for product improvement:sentiment-based importance–performance analysis[J]. Information Systems and e-Business Management,2020,18(1):61-88.
[24] 孫玲玲,胡彥蓉,劉洪久. 基于LSTM-LDA算法和IPA分析的在線品牌社群用戶關注熱點研究[J]. 情報雜志,2021,40(9):178-186.
[25] 吳江,李秋貝,胡忠義,等. 基于IPA模型的鄉(xiāng)村旅游景區(qū)游客滿意度分析[J]. 數(shù)據(jù)分析與知識發(fā)現(xiàn),2023,7(7):89-99.
[26] 鄭治偉,羅茲柏,張曉燕. 基于LSTM-IPA模型的文化遺產(chǎn)人員解說服務質(zhì)量評估研究:以北京故宮為例[J]. 旅游科學,2023,37(4):129-143.
[27] 楊洋洋. 風險感知視角下企業(yè)突發(fā)輿情主題分異研究[J]. 情報理論與實踐,2024,47(5):158-166.
[28] 范昊,莊逸彤. 基于知乎平臺內(nèi)容挖掘的元宇宙公眾感知研究[J]. 現(xiàn)代情報,2024,44(2):65-80.
[29] 阮光冊,周萌葳. 基于Sentence-BERT的專利技術主題聚類研究[J]. 情報雜志,2024,43(2):110-117.
作者簡介
李冠,女,碩士,副教授,研究方向:智能信息處理、數(shù)字資源管理。
孫靈芝,女,碩士研究生,研究方向:圖書館與信息服務。
何明祥,男,博士,副教授,通信作者,研究方向:人工智能、智能信息處理,E-mail:hmx0708@163.com。
Quantitative Analysis of “Attention-Satisfaction” in Public Cognition Under Generative Artificial Intelligence: Taking Weibo Platform as an Example
LI Guan SUN LingZhi HE MingXiang
(College of Computer Science and Engineering, Shandong University of Science and Technology, Qingdao 266590, P. R. China)
Abstract: The purpose of this study is to deeply analyze the public’s cognitive status of generative artificial intelligence (GAI), and provide data support and strategic suggestions for AI policy making and risk management. In this study, Weibo is selected as the data source, and a Zero-shot_M3E_BERTopic model is proposed to identify the public cognitive topics under GAI. Sentiment analysis is carried out in combination with ERNIE 3.0 model to quantify the topic’s attention and satisfaction, and explore its dynamic change characteristics. Furthermore, based on the IPA model, a framework of “attention-satisfaction” analysis is constructed, and the public cognition is analyzed by the keyword co-occurrence network. The research finds that public cognition under GAI topic involves four dimensions and a total of 17 topics, in which QA quality, emotional insight, and educational assistance are the main vulnerable areas, while five topics such as job market, network security, and intellectual property rights are the secondary vulnerable areas. This paper gives the following suggestions from the perspectives of government, enterprises, and the public. The government should strengthen guidance and supervision, and build a solid support for development. Enterprises should accelerate technological innovation and build GAI with Chinese characteristics. The public needs to improve information literacy and use GAI tools rationally.
Keywords: Generative Artificial Intelligence; IPA Model; Attention-Satisfaction Framework; BERTopic; ERNIE 3.0; Topic Clustering; Sentiment Analysis
(責任編輯:管清瀠)