謝松
摘 要:基于關(guān)鍵詞的共詞分析自提出以來(lái),在學(xué)科前沿?zé)狳c(diǎn)、學(xué)科發(fā)展、學(xué)科研究范式等研究中得到了越來(lái)越廣泛的應(yīng)用,文章研究了目前的常用共詞分析的過(guò)程與步驟,比較了已使用的共詞矩陣算法,設(shè)計(jì)開(kāi)發(fā)了一個(gè)簡(jiǎn)潔高效、自動(dòng)化程度比較高的共詞分析工具軟件,并以實(shí)例作為說(shuō)明。
關(guān)鍵詞:共詞分析;共詞矩陣;算法
1 概述
共詞分析是法國(guó)文獻(xiàn)計(jì)量學(xué)家于20世紀(jì)70年代提出來(lái)的一種文獻(xiàn)內(nèi)容分析方法,1986年法國(guó)國(guó)家科學(xué)研究中心的Callon M和Law J等人出版了第一部關(guān)于共詞分析法的學(xué)術(shù)專(zhuān)著,經(jīng)過(guò)幾十年的發(fā)展,已經(jīng)被廣泛應(yīng)用到許多領(lǐng)域,產(chǎn)生了大量的研究成果。其思想來(lái)源于文獻(xiàn)計(jì)量學(xué)的引文耦合與共被引概念,當(dāng)兩篇文獻(xiàn)同時(shí)被其他文獻(xiàn)引用時(shí),表明它們所研究的主題在理論或方法上是相關(guān)的。兩篇文獻(xiàn)共被引的次數(shù)越多,它們的關(guān)系就越密切。同理,當(dāng)有兩個(gè)專(zhuān)業(yè)術(shù)語(yǔ)在某學(xué)科領(lǐng)域的同一篇文獻(xiàn)中同時(shí)出現(xiàn),表明這兩個(gè)詞之間存在一定的關(guān)系,同時(shí)出現(xiàn)的次數(shù)越多,表明它們的關(guān)系越密切[1]。
共詞分析法主要是對(duì)一組主題詞或關(guān)鍵詞兩兩統(tǒng)計(jì)其在每一篇文獻(xiàn)中出現(xiàn)的次數(shù),以此為基礎(chǔ)構(gòu)造共詞矩陣,通過(guò)對(duì)共詞矩陣變換為相似矩陣與相異矩陣,然后進(jìn)行多元統(tǒng)計(jì)分析, 把眾多分析對(duì)象之間錯(cuò)綜復(fù)雜的關(guān)系以數(shù)值、圖形直觀地表示出來(lái),揭示出這些詞之間的親疏關(guān)系,進(jìn)而分析它們所代表的學(xué)科和主題的變化與趨勢(shì)。
2 共詞分析的過(guò)程與步驟
運(yùn)用共詞分析法進(jìn)行研究大致可分為幾個(gè)步驟進(jìn)行,在具體的操作中可根據(jù)實(shí)際研究主題選擇合適的分析方法。
2.1 確定研究主題與文獻(xiàn)選取
利用共詞分析法基本原理可以概述研究領(lǐng)域的研究熱點(diǎn),橫向和縱向分析領(lǐng)域?qū)W科的發(fā)展過(guò)程與趨勢(shì),以及領(lǐng)域?qū)W科之間的關(guān)系等等。確定好研究主題之后即可在數(shù)據(jù)庫(kù)中檢索相應(yīng)的文獻(xiàn),去除重復(fù)文獻(xiàn)、非相關(guān)文獻(xiàn)后篩選合適的文獻(xiàn)作為處理對(duì)象。
2.2 高頻詞的選取
在分析文獻(xiàn)的相關(guān)性時(shí),統(tǒng)計(jì)分析的過(guò)程中如果使用兩個(gè)完全不相關(guān)的詞匯進(jìn)行處理,對(duì)統(tǒng)計(jì)分析的結(jié)果將產(chǎn)生很大干擾,因此,被分析的詞匯最好是受控詞、被統(tǒng)一標(biāo)引的主題詞,只有這樣,利用文獻(xiàn)中詞語(yǔ)對(duì)的共現(xiàn)頻次來(lái)反映研究主題內(nèi)在聯(lián)系的方法才能成立[2],因此在研究中通常使用檢索的主題詞或文獻(xiàn)的關(guān)鍵詞作為分析對(duì)象。將所有主題詞或關(guān)鍵詞按出現(xiàn)頻率的高低順序排列,選取其中出現(xiàn)頻率較高的詞匯作為分析對(duì)象。確定高頻詞的方法有兩種:一種是結(jié)合研究者的經(jīng)驗(yàn)在選詞個(gè)數(shù)和詞頻高度上予以平衡;另一種是結(jié)合齊普夫第二定律關(guān)于低頻詞分布規(guī)律理論來(lái)判定高頻詞的界限[3]。
2.3 構(gòu)造共詞矩陣
為反映高頻詞之間的關(guān)系,需要將其兩兩組對(duì),統(tǒng)計(jì)每對(duì)高頻詞在同一篇文獻(xiàn)中出現(xiàn)的次數(shù),如果兩個(gè)主題詞(關(guān)鍵詞)在眾多的文獻(xiàn)中出現(xiàn)頻率高,則說(shuō)明它們之間的關(guān)系密切。如果選取了N個(gè)高頻詞,則它們之間的關(guān)系,可以通過(guò)構(gòu)造一個(gè)N*N的矩陣計(jì)算共現(xiàn)頻次來(lái)反應(yīng)。共詞矩陣的計(jì)算是共詞分析中的重要一步,由于統(tǒng)計(jì)詞對(duì)出現(xiàn)的頻次值是絕對(duì)值,難以反映詞與詞之間真正的相互關(guān)系,因此需要對(duì)詞頻進(jìn)行包容化處理以反映出兩者間的緊密聯(lián)系的程度。目前各種共詞分析文獻(xiàn)中應(yīng)用得比較多的一種方法是采用Ochiia系數(shù)將相關(guān)矩陣轉(zhuǎn)化為相似矩陣和相異矩陣:
2.4 采用多元統(tǒng)計(jì)方法分析
在計(jì)算共詞矩陣的基礎(chǔ)上,采用不同的統(tǒng)計(jì)學(xué)分析方法,揭示共詞中的信息,常用的分析方法有: 因子分析、聚類(lèi)分析法、關(guān)聯(lián)規(guī)則分析、多維尺度分析等方法。目前已有學(xué)者將新近出現(xiàn)的突發(fā)詞監(jiān)測(cè)法引入共詞分析中開(kāi)展文獻(xiàn)學(xué)評(píng)價(jià)研究。
2.5 闡述共詞分析的結(jié)果
共詞分析過(guò)程是使用統(tǒng)計(jì)學(xué)以及數(shù)據(jù)挖掘等方法反映研究主題間的關(guān)系,要深入揭示隱含在文獻(xiàn)中的知識(shí),必須結(jié)合相關(guān)學(xué)科的知識(shí)對(duì)統(tǒng)計(jì)的結(jié)果進(jìn)行科學(xué)分析與合理闡述。
3 共詞分析工具軟件的設(shè)計(jì)開(kāi)發(fā)
構(gòu)造共詞矩陣并計(jì)算共詞頻次是共詞分析的重要環(huán)節(jié),在處理的文獻(xiàn)數(shù)量很大時(shí),通過(guò)手工統(tǒng)計(jì)眾多主題詞或關(guān)鍵詞,計(jì)算共詞矩陣是不現(xiàn)實(shí)的。通??梢圆捎胹pss、ucinet等軟件進(jìn)行構(gòu)建作者和關(guān)鍵詞矩陣以分析文獻(xiàn)數(shù)據(jù),但這些軟件比較難以理解和掌握。也有學(xué)者通過(guò)Microsoft公司的辦公軟件Excel來(lái)進(jìn)行共詞分析,但前期的題錄導(dǎo)入、關(guān)鍵詞切分與統(tǒng)計(jì)等工作還需手工完成,工作量巨大。相比較而言,自主地設(shè)計(jì)開(kāi)發(fā)一款自動(dòng)完成文獻(xiàn)題錄導(dǎo)入、關(guān)鍵詞切分與統(tǒng)計(jì)、構(gòu)建共詞矩陣、計(jì)算共詞頻次等功能的軟件,在實(shí)際的科研工作中,可以起到事半功倍的效果。
3.1 系統(tǒng)功能模塊
文本預(yù)處理:將下載的文獻(xiàn)規(guī)范化處理,去除文本中不必要的空行、特殊字符等,為導(dǎo)入題錄做好數(shù)據(jù)準(zhǔn)備。
文獻(xiàn)題錄導(dǎo)入:從文獻(xiàn)庫(kù)中檢索下載題錄信息之后再導(dǎo)入數(shù)據(jù)庫(kù),由于CNKI、維普、萬(wàn)方、中國(guó)生物醫(yī)學(xué)數(shù)據(jù)庫(kù)等不同的文獻(xiàn)庫(kù)的題錄格式不同,處理時(shí)需根據(jù)實(shí)際需要再做變更。
關(guān)鍵詞切分:文獻(xiàn)篇名、作者、關(guān)鍵詞等題錄信息導(dǎo)入之后,可以分別處理。在做共詞分析時(shí),主要是對(duì)關(guān)鍵詞做統(tǒng)計(jì)分析,而關(guān)鍵詞在文獻(xiàn)中大都用中英文的逗號(hào)或分號(hào)間隔開(kāi)來(lái),統(tǒng)計(jì)之前需做切分處理。
共詞矩陣構(gòu)建與計(jì)算:選定高頻關(guān)鍵詞之后,需要進(jìn)行共詞矩陣的構(gòu)建與頻次計(jì)算。其實(shí)現(xiàn)方法的討論在下節(jié)中再詳細(xì)討論。
多元統(tǒng)計(jì)方法分析:可以根據(jù)需要添加因子分析、聚類(lèi)分析、關(guān)聯(lián)規(guī)則分析等功能,此功能模塊屬于擴(kuò)展功能。
3.2 共詞矩陣計(jì)算方法比較
共詞頻次的計(jì)算方法很多,在實(shí)踐中用到了兩種算法,試比較如下:
3.2.1 依據(jù)定義機(jī)械對(duì)比
根據(jù)定義,共詞的頻次是兩兩組合的高頻主題詞或關(guān)鍵詞在每一篇文獻(xiàn)中出現(xiàn)的頻次,依次設(shè)計(jì)的算法比較簡(jiǎn)單,假設(shè)文獻(xiàn)總數(shù)是max_source_id,高頻關(guān)鍵詞總數(shù)是max_gaopin,定義兩個(gè)高頻關(guān)鍵詞數(shù)組key_row(max_gaopin)、key_col(max_gaopin)一個(gè)存儲(chǔ)共詞詞頻的二維數(shù)組Gongci(max_gaopin, max_gaopin),然后判斷兩兩組合的關(guān)鍵詞是否同時(shí)出現(xiàn)在同一篇文獻(xiàn)中,最后累計(jì)得到共詞詞頻,并此基礎(chǔ)上再用Ochiia系數(shù)計(jì)算出相似矩陣和相異矩陣。部分代碼如下:
這種算法思路簡(jiǎn)單,但實(shí)現(xiàn)起來(lái)用到了三重循環(huán)來(lái)計(jì)算共詞頻次,算法時(shí)間復(fù)雜度和空間復(fù)雜度大,運(yùn)行時(shí)效率比較低。
3.2.2 利用SQL聚合函數(shù)計(jì)算
SQL語(yǔ)言的count()函數(shù)返回的是數(shù)據(jù)表中匹配指定條件的行數(shù),將題錄中的關(guān)鍵詞切分存儲(chǔ)到數(shù)據(jù)庫(kù)的表中,然后以?xún)蓛山M合的關(guān)鍵詞作為匹配條件,根據(jù)文獻(xiàn)編號(hào)分組,使用SQL語(yǔ)句進(jìn)行count()計(jì)算,如果返回值等于2即表示這兩個(gè)詞在同一篇文獻(xiàn)中出現(xiàn),查詢(xún)數(shù)據(jù)集的記錄總數(shù)即為共現(xiàn)的文獻(xiàn)篇數(shù),亦即共詞頻次,部分代碼如下:
4 應(yīng)用舉例
文章以“圖書(shū)館聯(lián)盟”為主題詞在CNKI全庫(kù)進(jìn)行檢索,共有檢索文獻(xiàn)964篇,去掉非相關(guān)的通訊報(bào)道等文獻(xiàn),得到826篇論文。對(duì)關(guān)鍵詞進(jìn)行切分處理后得到3091個(gè)關(guān)鍵詞,統(tǒng)計(jì)之后的高頻關(guān)鍵詞如表1所示。
在高頻關(guān)鍵詞表的基礎(chǔ)上,按步驟依次計(jì)算共詞矩陣、相似矩陣與相異矩陣,然后進(jìn)行統(tǒng)計(jì)分析。共詞矩陣如表2所示(限于篇幅,只顯示部分):
5 結(jié)束語(yǔ)
共詞分析作為文獻(xiàn)計(jì)量分析的新的工具,由于具有眾多的優(yōu)越性,使用得越來(lái)越廣泛。迄今為止, 基于關(guān)鍵詞的共詞分析在學(xué)科前沿?zé)狳c(diǎn)、學(xué)科發(fā)展、學(xué)科研究范式等問(wèn)題上的研究上已經(jīng)形成了較為固定的研究方法和套路。但已有的共詞分析軟件大都操作不便,比較難以理解和掌握,為此,文章設(shè)計(jì)開(kāi)發(fā)了一個(gè)簡(jiǎn)單高效的共詞分析工具,操作時(shí)只需從文獻(xiàn)數(shù)據(jù)庫(kù)中下載相關(guān)主題的文獻(xiàn),導(dǎo)入題錄之后就可以自動(dòng)實(shí)現(xiàn)關(guān)鍵詞的統(tǒng)計(jì)、共詞矩陣計(jì)算分析功能,不足之處在于能提供分析的方法有限,有待于進(jìn)一步完善。
參考文獻(xiàn)
[1]張勤,徐緒松.定性定量結(jié)合的分析方法-共詞分析法[J].技術(shù)經(jīng)濟(jì),2010,29(6):20-24.
[2]馮璐,冷伏海.共詞分析方法理論進(jìn)展[J].中國(guó)圖書(shū)館學(xué)報(bào),2006,3
2(162):88-92.
[3]魏瑞斌.基于關(guān)鍵詞的情報(bào)學(xué)研究主題分析[J].情報(bào)科學(xué),2006,24(9):1400-1404+1434.
摘 要:基于關(guān)鍵詞的共詞分析自提出以來(lái),在學(xué)科前沿?zé)狳c(diǎn)、學(xué)科發(fā)展、學(xué)科研究范式等研究中得到了越來(lái)越廣泛的應(yīng)用,文章研究了目前的常用共詞分析的過(guò)程與步驟,比較了已使用的共詞矩陣算法,設(shè)計(jì)開(kāi)發(fā)了一個(gè)簡(jiǎn)潔高效、自動(dòng)化程度比較高的共詞分析工具軟件,并以實(shí)例作為說(shuō)明。
關(guān)鍵詞:共詞分析;共詞矩陣;算法
1 概述
共詞分析是法國(guó)文獻(xiàn)計(jì)量學(xué)家于20世紀(jì)70年代提出來(lái)的一種文獻(xiàn)內(nèi)容分析方法,1986年法國(guó)國(guó)家科學(xué)研究中心的Callon M和Law J等人出版了第一部關(guān)于共詞分析法的學(xué)術(shù)專(zhuān)著,經(jīng)過(guò)幾十年的發(fā)展,已經(jīng)被廣泛應(yīng)用到許多領(lǐng)域,產(chǎn)生了大量的研究成果。其思想來(lái)源于文獻(xiàn)計(jì)量學(xué)的引文耦合與共被引概念,當(dāng)兩篇文獻(xiàn)同時(shí)被其他文獻(xiàn)引用時(shí),表明它們所研究的主題在理論或方法上是相關(guān)的。兩篇文獻(xiàn)共被引的次數(shù)越多,它們的關(guān)系就越密切。同理,當(dāng)有兩個(gè)專(zhuān)業(yè)術(shù)語(yǔ)在某學(xué)科領(lǐng)域的同一篇文獻(xiàn)中同時(shí)出現(xiàn),表明這兩個(gè)詞之間存在一定的關(guān)系,同時(shí)出現(xiàn)的次數(shù)越多,表明它們的關(guān)系越密切[1]。
共詞分析法主要是對(duì)一組主題詞或關(guān)鍵詞兩兩統(tǒng)計(jì)其在每一篇文獻(xiàn)中出現(xiàn)的次數(shù),以此為基礎(chǔ)構(gòu)造共詞矩陣,通過(guò)對(duì)共詞矩陣變換為相似矩陣與相異矩陣,然后進(jìn)行多元統(tǒng)計(jì)分析, 把眾多分析對(duì)象之間錯(cuò)綜復(fù)雜的關(guān)系以數(shù)值、圖形直觀地表示出來(lái),揭示出這些詞之間的親疏關(guān)系,進(jìn)而分析它們所代表的學(xué)科和主題的變化與趨勢(shì)。
2 共詞分析的過(guò)程與步驟
運(yùn)用共詞分析法進(jìn)行研究大致可分為幾個(gè)步驟進(jìn)行,在具體的操作中可根據(jù)實(shí)際研究主題選擇合適的分析方法。
2.1 確定研究主題與文獻(xiàn)選取
利用共詞分析法基本原理可以概述研究領(lǐng)域的研究熱點(diǎn),橫向和縱向分析領(lǐng)域?qū)W科的發(fā)展過(guò)程與趨勢(shì),以及領(lǐng)域?qū)W科之間的關(guān)系等等。確定好研究主題之后即可在數(shù)據(jù)庫(kù)中檢索相應(yīng)的文獻(xiàn),去除重復(fù)文獻(xiàn)、非相關(guān)文獻(xiàn)后篩選合適的文獻(xiàn)作為處理對(duì)象。
2.2 高頻詞的選取
在分析文獻(xiàn)的相關(guān)性時(shí),統(tǒng)計(jì)分析的過(guò)程中如果使用兩個(gè)完全不相關(guān)的詞匯進(jìn)行處理,對(duì)統(tǒng)計(jì)分析的結(jié)果將產(chǎn)生很大干擾,因此,被分析的詞匯最好是受控詞、被統(tǒng)一標(biāo)引的主題詞,只有這樣,利用文獻(xiàn)中詞語(yǔ)對(duì)的共現(xiàn)頻次來(lái)反映研究主題內(nèi)在聯(lián)系的方法才能成立[2],因此在研究中通常使用檢索的主題詞或文獻(xiàn)的關(guān)鍵詞作為分析對(duì)象。將所有主題詞或關(guān)鍵詞按出現(xiàn)頻率的高低順序排列,選取其中出現(xiàn)頻率較高的詞匯作為分析對(duì)象。確定高頻詞的方法有兩種:一種是結(jié)合研究者的經(jīng)驗(yàn)在選詞個(gè)數(shù)和詞頻高度上予以平衡;另一種是結(jié)合齊普夫第二定律關(guān)于低頻詞分布規(guī)律理論來(lái)判定高頻詞的界限[3]。
2.3 構(gòu)造共詞矩陣
為反映高頻詞之間的關(guān)系,需要將其兩兩組對(duì),統(tǒng)計(jì)每對(duì)高頻詞在同一篇文獻(xiàn)中出現(xiàn)的次數(shù),如果兩個(gè)主題詞(關(guān)鍵詞)在眾多的文獻(xiàn)中出現(xiàn)頻率高,則說(shuō)明它們之間的關(guān)系密切。如果選取了N個(gè)高頻詞,則它們之間的關(guān)系,可以通過(guò)構(gòu)造一個(gè)N*N的矩陣計(jì)算共現(xiàn)頻次來(lái)反應(yīng)。共詞矩陣的計(jì)算是共詞分析中的重要一步,由于統(tǒng)計(jì)詞對(duì)出現(xiàn)的頻次值是絕對(duì)值,難以反映詞與詞之間真正的相互關(guān)系,因此需要對(duì)詞頻進(jìn)行包容化處理以反映出兩者間的緊密聯(lián)系的程度。目前各種共詞分析文獻(xiàn)中應(yīng)用得比較多的一種方法是采用Ochiia系數(shù)將相關(guān)矩陣轉(zhuǎn)化為相似矩陣和相異矩陣:
2.4 采用多元統(tǒng)計(jì)方法分析
在計(jì)算共詞矩陣的基礎(chǔ)上,采用不同的統(tǒng)計(jì)學(xué)分析方法,揭示共詞中的信息,常用的分析方法有: 因子分析、聚類(lèi)分析法、關(guān)聯(lián)規(guī)則分析、多維尺度分析等方法。目前已有學(xué)者將新近出現(xiàn)的突發(fā)詞監(jiān)測(cè)法引入共詞分析中開(kāi)展文獻(xiàn)學(xué)評(píng)價(jià)研究。
2.5 闡述共詞分析的結(jié)果
共詞分析過(guò)程是使用統(tǒng)計(jì)學(xué)以及數(shù)據(jù)挖掘等方法反映研究主題間的關(guān)系,要深入揭示隱含在文獻(xiàn)中的知識(shí),必須結(jié)合相關(guān)學(xué)科的知識(shí)對(duì)統(tǒng)計(jì)的結(jié)果進(jìn)行科學(xué)分析與合理闡述。
3 共詞分析工具軟件的設(shè)計(jì)開(kāi)發(fā)
構(gòu)造共詞矩陣并計(jì)算共詞頻次是共詞分析的重要環(huán)節(jié),在處理的文獻(xiàn)數(shù)量很大時(shí),通過(guò)手工統(tǒng)計(jì)眾多主題詞或關(guān)鍵詞,計(jì)算共詞矩陣是不現(xiàn)實(shí)的。通??梢圆捎胹pss、ucinet等軟件進(jìn)行構(gòu)建作者和關(guān)鍵詞矩陣以分析文獻(xiàn)數(shù)據(jù),但這些軟件比較難以理解和掌握。也有學(xué)者通過(guò)Microsoft公司的辦公軟件Excel來(lái)進(jìn)行共詞分析,但前期的題錄導(dǎo)入、關(guān)鍵詞切分與統(tǒng)計(jì)等工作還需手工完成,工作量巨大。相比較而言,自主地設(shè)計(jì)開(kāi)發(fā)一款自動(dòng)完成文獻(xiàn)題錄導(dǎo)入、關(guān)鍵詞切分與統(tǒng)計(jì)、構(gòu)建共詞矩陣、計(jì)算共詞頻次等功能的軟件,在實(shí)際的科研工作中,可以起到事半功倍的效果。
3.1 系統(tǒng)功能模塊
文本預(yù)處理:將下載的文獻(xiàn)規(guī)范化處理,去除文本中不必要的空行、特殊字符等,為導(dǎo)入題錄做好數(shù)據(jù)準(zhǔn)備。
文獻(xiàn)題錄導(dǎo)入:從文獻(xiàn)庫(kù)中檢索下載題錄信息之后再導(dǎo)入數(shù)據(jù)庫(kù),由于CNKI、維普、萬(wàn)方、中國(guó)生物醫(yī)學(xué)數(shù)據(jù)庫(kù)等不同的文獻(xiàn)庫(kù)的題錄格式不同,處理時(shí)需根據(jù)實(shí)際需要再做變更。
關(guān)鍵詞切分:文獻(xiàn)篇名、作者、關(guān)鍵詞等題錄信息導(dǎo)入之后,可以分別處理。在做共詞分析時(shí),主要是對(duì)關(guān)鍵詞做統(tǒng)計(jì)分析,而關(guān)鍵詞在文獻(xiàn)中大都用中英文的逗號(hào)或分號(hào)間隔開(kāi)來(lái),統(tǒng)計(jì)之前需做切分處理。
共詞矩陣構(gòu)建與計(jì)算:選定高頻關(guān)鍵詞之后,需要進(jìn)行共詞矩陣的構(gòu)建與頻次計(jì)算。其實(shí)現(xiàn)方法的討論在下節(jié)中再詳細(xì)討論。
多元統(tǒng)計(jì)方法分析:可以根據(jù)需要添加因子分析、聚類(lèi)分析、關(guān)聯(lián)規(guī)則分析等功能,此功能模塊屬于擴(kuò)展功能。
3.2 共詞矩陣計(jì)算方法比較
共詞頻次的計(jì)算方法很多,在實(shí)踐中用到了兩種算法,試比較如下:
3.2.1 依據(jù)定義機(jī)械對(duì)比
根據(jù)定義,共詞的頻次是兩兩組合的高頻主題詞或關(guān)鍵詞在每一篇文獻(xiàn)中出現(xiàn)的頻次,依次設(shè)計(jì)的算法比較簡(jiǎn)單,假設(shè)文獻(xiàn)總數(shù)是max_source_id,高頻關(guān)鍵詞總數(shù)是max_gaopin,定義兩個(gè)高頻關(guān)鍵詞數(shù)組key_row(max_gaopin)、key_col(max_gaopin)一個(gè)存儲(chǔ)共詞詞頻的二維數(shù)組Gongci(max_gaopin, max_gaopin),然后判斷兩兩組合的關(guān)鍵詞是否同時(shí)出現(xiàn)在同一篇文獻(xiàn)中,最后累計(jì)得到共詞詞頻,并此基礎(chǔ)上再用Ochiia系數(shù)計(jì)算出相似矩陣和相異矩陣。部分代碼如下:
這種算法思路簡(jiǎn)單,但實(shí)現(xiàn)起來(lái)用到了三重循環(huán)來(lái)計(jì)算共詞頻次,算法時(shí)間復(fù)雜度和空間復(fù)雜度大,運(yùn)行時(shí)效率比較低。
3.2.2 利用SQL聚合函數(shù)計(jì)算
SQL語(yǔ)言的count()函數(shù)返回的是數(shù)據(jù)表中匹配指定條件的行數(shù),將題錄中的關(guān)鍵詞切分存儲(chǔ)到數(shù)據(jù)庫(kù)的表中,然后以?xún)蓛山M合的關(guān)鍵詞作為匹配條件,根據(jù)文獻(xiàn)編號(hào)分組,使用SQL語(yǔ)句進(jìn)行count()計(jì)算,如果返回值等于2即表示這兩個(gè)詞在同一篇文獻(xiàn)中出現(xiàn),查詢(xún)數(shù)據(jù)集的記錄總數(shù)即為共現(xiàn)的文獻(xiàn)篇數(shù),亦即共詞頻次,部分代碼如下:
4 應(yīng)用舉例
文章以“圖書(shū)館聯(lián)盟”為主題詞在CNKI全庫(kù)進(jìn)行檢索,共有檢索文獻(xiàn)964篇,去掉非相關(guān)的通訊報(bào)道等文獻(xiàn),得到826篇論文。對(duì)關(guān)鍵詞進(jìn)行切分處理后得到3091個(gè)關(guān)鍵詞,統(tǒng)計(jì)之后的高頻關(guān)鍵詞如表1所示。
在高頻關(guān)鍵詞表的基礎(chǔ)上,按步驟依次計(jì)算共詞矩陣、相似矩陣與相異矩陣,然后進(jìn)行統(tǒng)計(jì)分析。共詞矩陣如表2所示(限于篇幅,只顯示部分):
5 結(jié)束語(yǔ)
共詞分析作為文獻(xiàn)計(jì)量分析的新的工具,由于具有眾多的優(yōu)越性,使用得越來(lái)越廣泛。迄今為止, 基于關(guān)鍵詞的共詞分析在學(xué)科前沿?zé)狳c(diǎn)、學(xué)科發(fā)展、學(xué)科研究范式等問(wèn)題上的研究上已經(jīng)形成了較為固定的研究方法和套路。但已有的共詞分析軟件大都操作不便,比較難以理解和掌握,為此,文章設(shè)計(jì)開(kāi)發(fā)了一個(gè)簡(jiǎn)單高效的共詞分析工具,操作時(shí)只需從文獻(xiàn)數(shù)據(jù)庫(kù)中下載相關(guān)主題的文獻(xiàn),導(dǎo)入題錄之后就可以自動(dòng)實(shí)現(xiàn)關(guān)鍵詞的統(tǒng)計(jì)、共詞矩陣計(jì)算分析功能,不足之處在于能提供分析的方法有限,有待于進(jìn)一步完善。
參考文獻(xiàn)
[1]張勤,徐緒松.定性定量結(jié)合的分析方法-共詞分析法[J].技術(shù)經(jīng)濟(jì),2010,29(6):20-24.
[2]馮璐,冷伏海.共詞分析方法理論進(jìn)展[J].中國(guó)圖書(shū)館學(xué)報(bào),2006,3
2(162):88-92.
[3]魏瑞斌.基于關(guān)鍵詞的情報(bào)學(xué)研究主題分析[J].情報(bào)科學(xué),2006,24(9):1400-1404+1434.
摘 要:基于關(guān)鍵詞的共詞分析自提出以來(lái),在學(xué)科前沿?zé)狳c(diǎn)、學(xué)科發(fā)展、學(xué)科研究范式等研究中得到了越來(lái)越廣泛的應(yīng)用,文章研究了目前的常用共詞分析的過(guò)程與步驟,比較了已使用的共詞矩陣算法,設(shè)計(jì)開(kāi)發(fā)了一個(gè)簡(jiǎn)潔高效、自動(dòng)化程度比較高的共詞分析工具軟件,并以實(shí)例作為說(shuō)明。
關(guān)鍵詞:共詞分析;共詞矩陣;算法
1 概述
共詞分析是法國(guó)文獻(xiàn)計(jì)量學(xué)家于20世紀(jì)70年代提出來(lái)的一種文獻(xiàn)內(nèi)容分析方法,1986年法國(guó)國(guó)家科學(xué)研究中心的Callon M和Law J等人出版了第一部關(guān)于共詞分析法的學(xué)術(shù)專(zhuān)著,經(jīng)過(guò)幾十年的發(fā)展,已經(jīng)被廣泛應(yīng)用到許多領(lǐng)域,產(chǎn)生了大量的研究成果。其思想來(lái)源于文獻(xiàn)計(jì)量學(xué)的引文耦合與共被引概念,當(dāng)兩篇文獻(xiàn)同時(shí)被其他文獻(xiàn)引用時(shí),表明它們所研究的主題在理論或方法上是相關(guān)的。兩篇文獻(xiàn)共被引的次數(shù)越多,它們的關(guān)系就越密切。同理,當(dāng)有兩個(gè)專(zhuān)業(yè)術(shù)語(yǔ)在某學(xué)科領(lǐng)域的同一篇文獻(xiàn)中同時(shí)出現(xiàn),表明這兩個(gè)詞之間存在一定的關(guān)系,同時(shí)出現(xiàn)的次數(shù)越多,表明它們的關(guān)系越密切[1]。
共詞分析法主要是對(duì)一組主題詞或關(guān)鍵詞兩兩統(tǒng)計(jì)其在每一篇文獻(xiàn)中出現(xiàn)的次數(shù),以此為基礎(chǔ)構(gòu)造共詞矩陣,通過(guò)對(duì)共詞矩陣變換為相似矩陣與相異矩陣,然后進(jìn)行多元統(tǒng)計(jì)分析, 把眾多分析對(duì)象之間錯(cuò)綜復(fù)雜的關(guān)系以數(shù)值、圖形直觀地表示出來(lái),揭示出這些詞之間的親疏關(guān)系,進(jìn)而分析它們所代表的學(xué)科和主題的變化與趨勢(shì)。
2 共詞分析的過(guò)程與步驟
運(yùn)用共詞分析法進(jìn)行研究大致可分為幾個(gè)步驟進(jìn)行,在具體的操作中可根據(jù)實(shí)際研究主題選擇合適的分析方法。
2.1 確定研究主題與文獻(xiàn)選取
利用共詞分析法基本原理可以概述研究領(lǐng)域的研究熱點(diǎn),橫向和縱向分析領(lǐng)域?qū)W科的發(fā)展過(guò)程與趨勢(shì),以及領(lǐng)域?qū)W科之間的關(guān)系等等。確定好研究主題之后即可在數(shù)據(jù)庫(kù)中檢索相應(yīng)的文獻(xiàn),去除重復(fù)文獻(xiàn)、非相關(guān)文獻(xiàn)后篩選合適的文獻(xiàn)作為處理對(duì)象。
2.2 高頻詞的選取
在分析文獻(xiàn)的相關(guān)性時(shí),統(tǒng)計(jì)分析的過(guò)程中如果使用兩個(gè)完全不相關(guān)的詞匯進(jìn)行處理,對(duì)統(tǒng)計(jì)分析的結(jié)果將產(chǎn)生很大干擾,因此,被分析的詞匯最好是受控詞、被統(tǒng)一標(biāo)引的主題詞,只有這樣,利用文獻(xiàn)中詞語(yǔ)對(duì)的共現(xiàn)頻次來(lái)反映研究主題內(nèi)在聯(lián)系的方法才能成立[2],因此在研究中通常使用檢索的主題詞或文獻(xiàn)的關(guān)鍵詞作為分析對(duì)象。將所有主題詞或關(guān)鍵詞按出現(xiàn)頻率的高低順序排列,選取其中出現(xiàn)頻率較高的詞匯作為分析對(duì)象。確定高頻詞的方法有兩種:一種是結(jié)合研究者的經(jīng)驗(yàn)在選詞個(gè)數(shù)和詞頻高度上予以平衡;另一種是結(jié)合齊普夫第二定律關(guān)于低頻詞分布規(guī)律理論來(lái)判定高頻詞的界限[3]。
2.3 構(gòu)造共詞矩陣
為反映高頻詞之間的關(guān)系,需要將其兩兩組對(duì),統(tǒng)計(jì)每對(duì)高頻詞在同一篇文獻(xiàn)中出現(xiàn)的次數(shù),如果兩個(gè)主題詞(關(guān)鍵詞)在眾多的文獻(xiàn)中出現(xiàn)頻率高,則說(shuō)明它們之間的關(guān)系密切。如果選取了N個(gè)高頻詞,則它們之間的關(guān)系,可以通過(guò)構(gòu)造一個(gè)N*N的矩陣計(jì)算共現(xiàn)頻次來(lái)反應(yīng)。共詞矩陣的計(jì)算是共詞分析中的重要一步,由于統(tǒng)計(jì)詞對(duì)出現(xiàn)的頻次值是絕對(duì)值,難以反映詞與詞之間真正的相互關(guān)系,因此需要對(duì)詞頻進(jìn)行包容化處理以反映出兩者間的緊密聯(lián)系的程度。目前各種共詞分析文獻(xiàn)中應(yīng)用得比較多的一種方法是采用Ochiia系數(shù)將相關(guān)矩陣轉(zhuǎn)化為相似矩陣和相異矩陣:
2.4 采用多元統(tǒng)計(jì)方法分析
在計(jì)算共詞矩陣的基礎(chǔ)上,采用不同的統(tǒng)計(jì)學(xué)分析方法,揭示共詞中的信息,常用的分析方法有: 因子分析、聚類(lèi)分析法、關(guān)聯(lián)規(guī)則分析、多維尺度分析等方法。目前已有學(xué)者將新近出現(xiàn)的突發(fā)詞監(jiān)測(cè)法引入共詞分析中開(kāi)展文獻(xiàn)學(xué)評(píng)價(jià)研究。
2.5 闡述共詞分析的結(jié)果
共詞分析過(guò)程是使用統(tǒng)計(jì)學(xué)以及數(shù)據(jù)挖掘等方法反映研究主題間的關(guān)系,要深入揭示隱含在文獻(xiàn)中的知識(shí),必須結(jié)合相關(guān)學(xué)科的知識(shí)對(duì)統(tǒng)計(jì)的結(jié)果進(jìn)行科學(xué)分析與合理闡述。
3 共詞分析工具軟件的設(shè)計(jì)開(kāi)發(fā)
構(gòu)造共詞矩陣并計(jì)算共詞頻次是共詞分析的重要環(huán)節(jié),在處理的文獻(xiàn)數(shù)量很大時(shí),通過(guò)手工統(tǒng)計(jì)眾多主題詞或關(guān)鍵詞,計(jì)算共詞矩陣是不現(xiàn)實(shí)的。通??梢圆捎胹pss、ucinet等軟件進(jìn)行構(gòu)建作者和關(guān)鍵詞矩陣以分析文獻(xiàn)數(shù)據(jù),但這些軟件比較難以理解和掌握。也有學(xué)者通過(guò)Microsoft公司的辦公軟件Excel來(lái)進(jìn)行共詞分析,但前期的題錄導(dǎo)入、關(guān)鍵詞切分與統(tǒng)計(jì)等工作還需手工完成,工作量巨大。相比較而言,自主地設(shè)計(jì)開(kāi)發(fā)一款自動(dòng)完成文獻(xiàn)題錄導(dǎo)入、關(guān)鍵詞切分與統(tǒng)計(jì)、構(gòu)建共詞矩陣、計(jì)算共詞頻次等功能的軟件,在實(shí)際的科研工作中,可以起到事半功倍的效果。
3.1 系統(tǒng)功能模塊
文本預(yù)處理:將下載的文獻(xiàn)規(guī)范化處理,去除文本中不必要的空行、特殊字符等,為導(dǎo)入題錄做好數(shù)據(jù)準(zhǔn)備。
文獻(xiàn)題錄導(dǎo)入:從文獻(xiàn)庫(kù)中檢索下載題錄信息之后再導(dǎo)入數(shù)據(jù)庫(kù),由于CNKI、維普、萬(wàn)方、中國(guó)生物醫(yī)學(xué)數(shù)據(jù)庫(kù)等不同的文獻(xiàn)庫(kù)的題錄格式不同,處理時(shí)需根據(jù)實(shí)際需要再做變更。
關(guān)鍵詞切分:文獻(xiàn)篇名、作者、關(guān)鍵詞等題錄信息導(dǎo)入之后,可以分別處理。在做共詞分析時(shí),主要是對(duì)關(guān)鍵詞做統(tǒng)計(jì)分析,而關(guān)鍵詞在文獻(xiàn)中大都用中英文的逗號(hào)或分號(hào)間隔開(kāi)來(lái),統(tǒng)計(jì)之前需做切分處理。
共詞矩陣構(gòu)建與計(jì)算:選定高頻關(guān)鍵詞之后,需要進(jìn)行共詞矩陣的構(gòu)建與頻次計(jì)算。其實(shí)現(xiàn)方法的討論在下節(jié)中再詳細(xì)討論。
多元統(tǒng)計(jì)方法分析:可以根據(jù)需要添加因子分析、聚類(lèi)分析、關(guān)聯(lián)規(guī)則分析等功能,此功能模塊屬于擴(kuò)展功能。
3.2 共詞矩陣計(jì)算方法比較
共詞頻次的計(jì)算方法很多,在實(shí)踐中用到了兩種算法,試比較如下:
3.2.1 依據(jù)定義機(jī)械對(duì)比
根據(jù)定義,共詞的頻次是兩兩組合的高頻主題詞或關(guān)鍵詞在每一篇文獻(xiàn)中出現(xiàn)的頻次,依次設(shè)計(jì)的算法比較簡(jiǎn)單,假設(shè)文獻(xiàn)總數(shù)是max_source_id,高頻關(guān)鍵詞總數(shù)是max_gaopin,定義兩個(gè)高頻關(guān)鍵詞數(shù)組key_row(max_gaopin)、key_col(max_gaopin)一個(gè)存儲(chǔ)共詞詞頻的二維數(shù)組Gongci(max_gaopin, max_gaopin),然后判斷兩兩組合的關(guān)鍵詞是否同時(shí)出現(xiàn)在同一篇文獻(xiàn)中,最后累計(jì)得到共詞詞頻,并此基礎(chǔ)上再用Ochiia系數(shù)計(jì)算出相似矩陣和相異矩陣。部分代碼如下:
這種算法思路簡(jiǎn)單,但實(shí)現(xiàn)起來(lái)用到了三重循環(huán)來(lái)計(jì)算共詞頻次,算法時(shí)間復(fù)雜度和空間復(fù)雜度大,運(yùn)行時(shí)效率比較低。
3.2.2 利用SQL聚合函數(shù)計(jì)算
SQL語(yǔ)言的count()函數(shù)返回的是數(shù)據(jù)表中匹配指定條件的行數(shù),將題錄中的關(guān)鍵詞切分存儲(chǔ)到數(shù)據(jù)庫(kù)的表中,然后以?xún)蓛山M合的關(guān)鍵詞作為匹配條件,根據(jù)文獻(xiàn)編號(hào)分組,使用SQL語(yǔ)句進(jìn)行count()計(jì)算,如果返回值等于2即表示這兩個(gè)詞在同一篇文獻(xiàn)中出現(xiàn),查詢(xún)數(shù)據(jù)集的記錄總數(shù)即為共現(xiàn)的文獻(xiàn)篇數(shù),亦即共詞頻次,部分代碼如下:
4 應(yīng)用舉例
文章以“圖書(shū)館聯(lián)盟”為主題詞在CNKI全庫(kù)進(jìn)行檢索,共有檢索文獻(xiàn)964篇,去掉非相關(guān)的通訊報(bào)道等文獻(xiàn),得到826篇論文。對(duì)關(guān)鍵詞進(jìn)行切分處理后得到3091個(gè)關(guān)鍵詞,統(tǒng)計(jì)之后的高頻關(guān)鍵詞如表1所示。
在高頻關(guān)鍵詞表的基礎(chǔ)上,按步驟依次計(jì)算共詞矩陣、相似矩陣與相異矩陣,然后進(jìn)行統(tǒng)計(jì)分析。共詞矩陣如表2所示(限于篇幅,只顯示部分):
5 結(jié)束語(yǔ)
共詞分析作為文獻(xiàn)計(jì)量分析的新的工具,由于具有眾多的優(yōu)越性,使用得越來(lái)越廣泛。迄今為止, 基于關(guān)鍵詞的共詞分析在學(xué)科前沿?zé)狳c(diǎn)、學(xué)科發(fā)展、學(xué)科研究范式等問(wèn)題上的研究上已經(jīng)形成了較為固定的研究方法和套路。但已有的共詞分析軟件大都操作不便,比較難以理解和掌握,為此,文章設(shè)計(jì)開(kāi)發(fā)了一個(gè)簡(jiǎn)單高效的共詞分析工具,操作時(shí)只需從文獻(xiàn)數(shù)據(jù)庫(kù)中下載相關(guān)主題的文獻(xiàn),導(dǎo)入題錄之后就可以自動(dòng)實(shí)現(xiàn)關(guān)鍵詞的統(tǒng)計(jì)、共詞矩陣計(jì)算分析功能,不足之處在于能提供分析的方法有限,有待于進(jìn)一步完善。
參考文獻(xiàn)
[1]張勤,徐緒松.定性定量結(jié)合的分析方法-共詞分析法[J].技術(shù)經(jīng)濟(jì),2010,29(6):20-24.
[2]馮璐,冷伏海.共詞分析方法理論進(jìn)展[J].中國(guó)圖書(shū)館學(xué)報(bào),2006,3
2(162):88-92.
[3]魏瑞斌.基于關(guān)鍵詞的情報(bào)學(xué)研究主題分析[J].情報(bào)科學(xué),2006,24(9):1400-1404+1434.