李超+周瑛+周煥+潘瑋

[摘要]大數(shù)據(jù)時(shí)代的到來，給情報(bào)分析帶來了新的機(jī)遇和挑戰(zhàn)。文章概述了大數(shù)據(jù)的時(shí)代背景及情報(bào)分析的發(fā)展趨勢，在現(xiàn)有研究的基礎(chǔ)上，對(duì)情報(bào)分析方法相關(guān)研究進(jìn)行系統(tǒng)梳理，從中歸納出基于知識(shí)、文獻(xiàn)、組織、專家、認(rèn)知心理學(xué)等10類傳統(tǒng)情報(bào)分析方法并指出其局限性，對(duì)7類大數(shù)據(jù)背景下的情報(bào)分析方法及常用情報(bào)分析軟件進(jìn)行了分類探討。

[關(guān)鍵詞]大數(shù)據(jù)；情報(bào)分析；分析方法；分析軟件

情報(bào)分析是利用技術(shù)手段和軟科學(xué)研究方法，對(duì)信息資源進(jìn)行收集、整理、綜合并形成有價(jià)值情報(bào)的方法。大數(shù)據(jù)環(huán)境下情報(bào)分析面臨著前所未有的機(jī)遇和挑戰(zhàn)。首先，大數(shù)據(jù)能夠?yàn)榍閳?bào)分析提供有力的數(shù)據(jù)處理分析方法和工具，并能提升情報(bào)分析的應(yīng)用價(jià)值，更好地為政府、企業(yè)、圖書情報(bào)機(jī)構(gòu)提供決策支持。其次，大數(shù)據(jù)環(huán)境下，情報(bào)分析過程面臨數(shù)據(jù)量越來越大、數(shù)據(jù)類型更加復(fù)雜、處理和分析難度增大、精準(zhǔn)化的用戶需求及有針對(duì)性的結(jié)果呈現(xiàn)等問題。傳統(tǒng)的情報(bào)分析方法已到了一個(gè)突破瓶頸的時(shí)期。而大數(shù)據(jù)分析和情報(bào)分析都是以數(shù)據(jù)為基礎(chǔ)進(jìn)行研究，通過分析數(shù)據(jù)和信息，為用戶提供相關(guān)服務(wù)。并且都以多源數(shù)據(jù)融合、信息的定量分析、相關(guān)關(guān)系的探討為研究重點(diǎn)。因此，優(yōu)化和改進(jìn)傳統(tǒng)的情報(bào)研究方法，引進(jìn)和創(chuàng)新適用于情報(bào)分析的大數(shù)據(jù)分析方法、思路、新工具和新手段，解決大數(shù)據(jù)為情報(bào)分析帶來的新問題，充分挖掘大數(shù)據(jù)中蘊(yùn)含的情報(bào)價(jià)值，使研究結(jié)果更加科學(xué)，就很有必要性。本文在對(duì)國內(nèi)外情報(bào)分析方法進(jìn)行研究的基礎(chǔ)上，結(jié)合大數(shù)據(jù)的背景對(duì)傳統(tǒng)的情報(bào)分析方法進(jìn)行了歸類并分析其局限性，對(duì)大數(shù)據(jù)背景下的情報(bào)分析方法和情報(bào)分析軟件進(jìn)行了探討。

1大數(shù)據(jù)的時(shí)代背景及情報(bào)分析的趨勢

隨著科技的迅猛發(fā)展，在科學(xué)研究、互聯(lián)網(wǎng)應(yīng)用、電子商務(wù)、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)、生物醫(yī)藥、醫(yī)療衛(wèi)生、地理信息、影視娛樂等領(lǐng)域不斷產(chǎn)生海量的數(shù)據(jù)信息，這就是所謂的大數(shù)據(jù)。大數(shù)據(jù)的基礎(chǔ)在于數(shù)據(jù)，其特點(diǎn)主要是：數(shù)據(jù)類型復(fù)雜，數(shù)據(jù)體量巨大，數(shù)據(jù)價(jià)值密度較低，處理速度較快。百度公司每天處理的數(shù)據(jù)量約幾十PB，共響應(yīng)60億次請(qǐng)求；據(jù)互聯(lián)網(wǎng)中心和麥肯錫全球研究院預(yù)計(jì)，到2020年全球和中國的數(shù)據(jù)總量將達(dá)到35ZB和8.5ZB；關(guān)于大數(shù)據(jù)，維基百科給出的定義是：所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理，并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。而隨著情報(bào)領(lǐng)域的知識(shí)劃分逐漸細(xì)化、內(nèi)容更加專深、數(shù)據(jù)量也日趨增大。我國每年新增的科技文獻(xiàn)和專利數(shù)量分別達(dá)到了150萬篇和200萬條。海量的技術(shù)標(biāo)準(zhǔn)、科研文獻(xiàn)、會(huì)議論文增長的速度已經(jīng)超過了人工處理所能承受的極限，情報(bào)分析已經(jīng)更多地依靠智能化、標(biāo)準(zhǔn)化、高效率的信息技術(shù)來輔助完成數(shù)據(jù)處理的工作。目前，情報(bào)分析的趨勢主要是：研究領(lǐng)域從單一領(lǐng)域逐漸擴(kuò)大轉(zhuǎn)到全領(lǐng)域分析、對(duì)各種采集方式獲取的不同結(jié)構(gòu)數(shù)據(jù)進(jìn)行綜合利用、注重新媒體形式異構(gòu)信息的分析、對(duì)情報(bào)分析智能化的要求不斷提高。

2大數(shù)據(jù)環(huán)境下的情報(bào)分析方法

2.1傳統(tǒng)的情報(bào)分析方法

傳統(tǒng)的情報(bào)分析方法宏觀上，根據(jù)研究手段分為：定性分析方法、半定量分析方法及定量分析方法；微觀上，根據(jù)對(duì)象類型分為：基于知識(shí)的情報(bào)分析方法（知識(shí)地圖法、知識(shí)基因法、空白點(diǎn)分析法、循證決策法等）、基于文獻(xiàn)的情報(bào)分析方法（文獻(xiàn)計(jì)量法、內(nèi)容分析等）、基于組織的情報(bào)分析方法（SWOT分析法、產(chǎn)品生命周期分析法、PEST分析、定標(biāo)比超法等）、基于專家的情報(bào)分析方法（訪談法、頭腦風(fēng)暴法、Delphi法、交叉概率法等）、基于認(rèn)識(shí)的情報(bào)分析方法（哲學(xué)方法、理性思維方法、形象思維方法等）、基于認(rèn)知心理學(xué)的情報(bào)分析方法（境況邏輯法、理論應(yīng)用方法等）、面向軍事情報(bào)的分析方法（基于物理、事理、人理的分析方法等）、面向公安情報(bào)的分析方法（哲學(xué)方法、中介方法等）、面向犯罪情報(bào)的分析方法（文件檢驗(yàn)法、地圖分析法等）、面向?qū)＠那閳?bào)分析方法（定性分析、定量分析、擬定量分析法等）。如表1。

傳統(tǒng)情報(bào)分析方法的數(shù)據(jù)基本都是結(jié)構(gòu)化、標(biāo)準(zhǔn)化、樣本化的，而大數(shù)據(jù)格式明顯具有異構(gòu)性、多源性的特點(diǎn)，使傳統(tǒng)分析方法在數(shù)據(jù)數(shù)量、類型上受到很大局限。同時(shí)，傳統(tǒng)情報(bào)分析方法，更多地關(guān)注于文獻(xiàn)分析，通過趨勢外推進(jìn)行預(yù)測；而文獻(xiàn)數(shù)據(jù)本身存在信息不完全、表現(xiàn)形式單一、分類和編碼困難、代表性可能不足等固有缺陷，加之大數(shù)據(jù)環(huán)境下海量數(shù)據(jù)易造成認(rèn)識(shí)偏差，導(dǎo)致分析結(jié)果的科學(xué)性會(huì)受到很大影響。對(duì)于大數(shù)據(jù)環(huán)境下社會(huì)網(wǎng)絡(luò)結(jié)構(gòu)分析、批量與流式分析、可視化分析、空間信息分析等需求，傳統(tǒng)分析方法也難以滿足。因此，在應(yīng)用中須對(duì)傳統(tǒng)情報(bào)方法進(jìn)行優(yōu)化、改進(jìn)、繼承和創(chuàng)新，同時(shí)引進(jìn)新思路、新工具和新手段，使研究結(jié)果更科學(xué)、高效、準(zhǔn)確。

2.2大數(shù)據(jù)背景下的情報(bào)分析方法

海量的異源異構(gòu)數(shù)據(jù)，對(duì)情報(bào)分析造成了巨大的沖擊，而大數(shù)據(jù)分析方法與情報(bào)分析方法在本質(zhì)上有很多共同之處，并且在數(shù)據(jù)處理方面更加優(yōu)越。首先，大數(shù)據(jù)分析方法能夠?qū)?shù)據(jù)進(jìn)行深度分析，充分挖掘數(shù)據(jù)問的關(guān)聯(lián)性，提升數(shù)據(jù)價(jià)值；其次，大數(shù)據(jù)分析能夠有效進(jìn)行多源數(shù)據(jù)融合，兼容多種結(jié)構(gòu)和媒體形態(tài)的數(shù)據(jù)；最后，大數(shù)據(jù)分析基于更先進(jìn)的平臺(tái)和開發(fā)技術(shù)，具有更高的處理效率。因此，引進(jìn)情報(bào)分析領(lǐng)域適用的大數(shù)據(jù)分析方法并進(jìn)行創(chuàng)新，充分挖掘大數(shù)據(jù)中蘊(yùn)含的情報(bào)價(jià)值是當(dāng)前情報(bào)分析領(lǐng)域的研究熱點(diǎn)。綜合考慮方法本身的可操作性、可移植性、完整性等因素，本文從微觀層面對(duì)18種大數(shù)據(jù)背景下的情報(bào)分析方法進(jìn)行歸類和分析。如表2。

2.2.1面向挖掘的分析方法

圖模型分析與挖掘：圖模型挖掘是文本數(shù)據(jù)挖掘方法的一種重要應(yīng)用。趙斌等，通過一種基于“詞項(xiàng)一消息一用戶”的TWU圖模型，來對(duì)微博中群體觀點(diǎn)進(jìn)行挖掘，把時(shí)戳作為邊的屬性來處理，提出了時(shí)間敏感性隨機(jī)游走算法TSRW，通過對(duì)詞項(xiàng)的相關(guān)性進(jìn)行度量來挖掘群體觀點(diǎn)。姜春濤等，提出用圖示法定義專利文本單元語法及相似性關(guān)系，利用語義技術(shù)提高專利智能分析的準(zhǔn)確性和性能。

信息提?。菏前盐谋纠锇男畔⑦M(jìn)行結(jié)構(gòu)化處理，然后以統(tǒng)一的形式集成在一起，以便進(jìn)行比較分析的一種方法。張敏，劉建華等，通過開源工具PDFBox和Tika對(duì)不同類型的富文檔元數(shù)據(jù)及正文內(nèi)容進(jìn)行提取。首先，通過解析Content-Type來獲取MIME類型名稱，識(shí)別文檔的類型；再通過對(duì)富文檔進(jìn)行分析，提取文檔的創(chuàng)建時(shí)間、修改時(shí)間、文檔標(biāo)題、文本內(nèi)容等重要信息，拓展了文本知識(shí)內(nèi)容的識(shí)別方法。

時(shí)空數(shù)據(jù)挖掘：隨著移動(dòng)終端定位信息服務(wù)的發(fā)展和網(wǎng)絡(luò)中描述時(shí)空范圍的信息不斷增加，挖掘時(shí)空信息并提升其價(jià)值，成為了數(shù)據(jù)挖掘領(lǐng)域的前沿課題。時(shí)間信息通?？蓮木W(wǎng)頁內(nèi)容、用戶數(shù)據(jù)或超鏈接中提取，Allen首次提出用代數(shù)的區(qū)間來表示時(shí)間。概率模型法、粗糙集、自動(dòng)注解等方法都適用于時(shí)間的識(shí)別。空間信息分為源位置和目標(biāo)位置，分析主機(jī)位置就可以定位到源位置，通過地理文本分析和地理信息標(biāo)識(shí)可以找到目標(biāo)位置。Lauw、Pham、Crandall等人提出了基于時(shí)空事件模型的社交網(wǎng)絡(luò)發(fā)現(xiàn)方法，通過分析用戶的地點(diǎn)信息、用戶在時(shí)間和空間上的共現(xiàn)，預(yù)測用戶之間的社交聯(lián)系和強(qiáng)度。時(shí)空挖掘方法針對(duì)輿情研究、社交網(wǎng)絡(luò)分析、研究主題周期等情報(bào)分析問題有很好的幫助。

聯(lián)機(jī)分析：是對(duì)大量數(shù)據(jù)進(jìn)行快速、靈活地分析和處理，為決策人員提供信息支持的一種快速軟件技術(shù)，能夠支持復(fù)雜查詢處理。隨著大數(shù)據(jù)時(shí)代信息化程度的提高，數(shù)據(jù)量不斷增大、數(shù)據(jù)維度不斷增多，聯(lián)機(jī)分析技術(shù)正向著高效查詢的方向發(fā)展。高雅卓，倪志偉等提出了基于關(guān)聯(lián)規(guī)則挖掘的數(shù)據(jù)立方體物化方法及立方體增量更新算法。并進(jìn)行了基于變量選擇的OLAP查詢流程模擬實(shí)驗(yàn)，證明算法提高了查詢推薦的效率。于非，張嵐，張柏秋，對(duì)美國ProQuest公司的ProQuest Dialog國際聯(lián)機(jī)檢索平臺(tái)的指令算符、索引字段做了詳細(xì)比對(duì)與分析，指導(dǎo)用戶合理組配構(gòu)建邏輯關(guān)系緊密的檢索策略，提高查全率和查準(zhǔn)率。

關(guān)聯(lián)分析：是一種從海量數(shù)據(jù)或其他信息載體中發(fā)現(xiàn)項(xiàng)目或?qū)ο蠹现g相關(guān)性、相關(guān)關(guān)系或因果結(jié)構(gòu)的分析方法，常用的算法是Apriori算法和FP-growth算法。何超，張玉峰設(shè)計(jì)了商務(wù)情報(bào)語義關(guān)聯(lián)分析算法，自頂而下進(jìn)行多層知識(shí)挖掘，對(duì)用網(wǎng)絡(luò)圖結(jié)構(gòu)表示的文本中的關(guān)聯(lián)模式進(jìn)行探索。楊建林對(duì)同一作者在其發(fā)表的所有期刊論文中列出的所有關(guān)鍵詞進(jìn)行關(guān)聯(lián)分析挖掘，挖掘過程包括：業(yè)務(wù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘和結(jié)果分析5個(gè)步驟。以發(fā)現(xiàn)學(xué)術(shù)個(gè)體在研究方向選擇方面的行為特點(diǎn)，揭示不同研究方向兩兩之間的關(guān)聯(lián)強(qiáng)度。

數(shù)據(jù)挖掘和文本挖掘：通過對(duì)結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行挖掘，發(fā)現(xiàn)潛在的關(guān)聯(lián)規(guī)律和模式的方法。數(shù)據(jù)挖掘偏重于圖書館信息檢索服務(wù)方面，而文本挖掘?qū)儆谟?jì)算機(jī)領(lǐng)域的研究內(nèi)容，主要用來揭示文本中的詞與句法特征。李信，李旭暉等采用數(shù)據(jù)挖掘方法，以Web of Science為數(shù)據(jù)源，借助SATI和SPSS軟件分析了大數(shù)據(jù)驅(qū)動(dòng)下圖書情報(bào)學(xué)科研究的現(xiàn)狀和進(jìn)展。

2.2.2面向發(fā)現(xiàn)的分析方法

深度學(xué)習(xí)：是利用層次化的架構(gòu)，對(duì)大數(shù)據(jù)進(jìn)行有效學(xué)習(xí)、解釋和表達(dá)的方法，相對(duì)傳統(tǒng)的模型和方法，更為復(fù)雜和深入。該方法通常和人工神經(jīng)網(wǎng)絡(luò)方法相結(jié)合使用。隨著科技發(fā)展大規(guī)模神經(jīng)網(wǎng)絡(luò)分析技術(shù)提升了深層感知的效果，與大數(shù)據(jù)形成相互促進(jìn)的關(guān)系。體量浩大的大數(shù)據(jù)解決了人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本不足的問題，而神經(jīng)網(wǎng)絡(luò)能夠?qū)Ξ悩?gòu)數(shù)據(jù)、多源數(shù)據(jù)進(jìn)行整合、提取特征和抽象，捕捉變化動(dòng)態(tài)，實(shí)現(xiàn)大數(shù)據(jù)價(jià)值轉(zhuǎn)化。Bengio等利用自動(dòng)編碼器，實(shí)現(xiàn)了非概率無監(jiān)督深度學(xué)習(xí)；斯坦福大學(xué)Socher等，在解決情感分析問題時(shí)采用了遞歸神經(jīng)網(wǎng)絡(luò)，將識(shí)別率提高了5個(gè)百分點(diǎn)。國內(nèi)，科大訊飛和百度的IDL對(duì)深度學(xué)習(xí)技術(shù)進(jìn)行了深入研究，獲得了良好效果。

知識(shí)計(jì)算：大數(shù)據(jù)知識(shí)計(jì)算是學(xué)術(shù)界的研究熱點(diǎn)之一，是通過對(duì)數(shù)據(jù)進(jìn)行抽取并構(gòu)建成知識(shí)庫（支持查詢、分析、計(jì)算），從而進(jìn)行高端分析，提升知識(shí)的價(jià)值。世界各國都發(fā)布了知識(shí)搜索平臺(tái)，如wolframalpha知識(shí)計(jì)算平臺(tái)、TrueKnowledge知識(shí)搜索平臺(tái)、knowledge graph搜索服務(wù)、維基百科知識(shí)庫等；國內(nèi)有多所高校和研究所也參與了知識(shí)庫建設(shè)工作，如上海交通大學(xué)建立的zhishi.me平臺(tái)，復(fù)旦大學(xué)GDM推出的知識(shí)圖譜平臺(tái)，中科院數(shù)學(xué)研究院發(fā)布的知件等。知識(shí)庫的構(gòu)建工作包括：手動(dòng)或自動(dòng)構(gòu)建知識(shí)庫、對(duì)多源知識(shí)進(jìn)行融合并更新知識(shí)庫。手動(dòng)構(gòu)建知識(shí)庫，需要專業(yè)人員并花費(fèi)大量人力物力，如：知網(wǎng)（Hownet）、同義詞詞林、概念層次網(wǎng)絡(luò)（HNC）和中文概念詞典（CCD），OpenCyc；自動(dòng)構(gòu)建方法分為有監(jiān)督的構(gòu)建方法和半監(jiān)督的構(gòu)建方法，如Probase 和YAGO知識(shí)庫。

社會(huì)計(jì)算：隨著大數(shù)據(jù)時(shí)代社交網(wǎng)絡(luò)的興起微博、Twitter等在線應(yīng)用使人與人之間的關(guān)系網(wǎng)絡(luò)更加緊密，人的互聯(lián)逐漸成為信息互聯(lián)的載體和信息傳播的媒介。因此，社會(huì)計(jì)算成為了學(xué)術(shù)界較為重視的研究內(nèi)容。目前，社會(huì)計(jì)算的熱點(diǎn)主要集中在社會(huì)網(wǎng)絡(luò)結(jié)構(gòu)分析、信息傳播模型分析、信息內(nèi)容分析、社會(huì)媒體中信息檢索與數(shù)據(jù)挖掘等方面。社區(qū)結(jié)構(gòu)是在線社會(huì)網(wǎng)絡(luò)結(jié)構(gòu)分析領(lǐng)域的研究方向之一，主要針對(duì)社區(qū)的定義、度量、結(jié)構(gòu)演化等問題進(jìn)行分析。在線社會(huì)網(wǎng)絡(luò)信息傳播模型研究方面，影響力較大的是傳染病模型和隨機(jī)游走模型；隨后，不同領(lǐng)域?qū)＜覐木W(wǎng)絡(luò)動(dòng)力學(xué)、消息可信度、消息新穎度、消息的流行度等不同角度對(duì)進(jìn)行了建模和實(shí)證分析。社會(huì)網(wǎng)絡(luò)信息檢索和挖掘，在大數(shù)據(jù)環(huán)境下需要處理：信息碎片化、自媒體現(xiàn)象、人的互聯(lián)取代信息互聯(lián)等一系列問題。國外專家Yang提出了時(shí)間序列聚類算法，Bollen通過情感分析提出情緒時(shí)間序列的方法。國內(nèi)包括：清華大學(xué)、北京大學(xué)、上海交通大學(xué)、中國科學(xué)院等機(jī)構(gòu)已經(jīng)對(duì)社會(huì)媒體檢索和挖掘進(jìn)行了深入研究。

粗糙集理論是一種能夠定量分析處理不精確、不一致、不完整信息與知識(shí)的數(shù)學(xué)工具，在情報(bào)學(xué)領(lǐng)域多用于專利分析、知識(shí)庫構(gòu)建、多指標(biāo)綜合評(píng)價(jià)、影響力評(píng)估等問題。大數(shù)據(jù)環(huán)境下粗糙集理論通過增量式學(xué)習(xí)和海量數(shù)據(jù)集進(jìn)行合理分割的方法來解決數(shù)據(jù)量過大的問題。通過基于對(duì)等價(jià)關(guān)系的泛化，比如限制容差關(guān)系、相似關(guān)系、容差關(guān)系、模糊聚類等方法來處理不完備信息。周磊分析了粗糙集與模糊集、證據(jù)理論、神經(jīng)網(wǎng)絡(luò)進(jìn)行融合形成的三種方法在競爭情報(bào)分析中的應(yīng)用及基本工作流程。袁潤，錢過利用粗糙集理論分析專利數(shù)據(jù)，并按照核心專利綜合指數(shù)將特定領(lǐng)域?qū)＠M(jìn)行分類。

語義分析：是指將人類的自然語言轉(zhuǎn)化為反映其意義的某種形式化表示，使計(jì)算機(jī)能夠理解。當(dāng)前在概念、關(guān)系層次上的語義分析主要包括：基于統(tǒng)計(jì)的特征向量抽取和基于語義詞典的相似度計(jì)算方法。ICTCLAS（Institute ofComputing Technology，Chinese Lexical Analysis System），是中國科學(xué)院技術(shù)研究所開發(fā)出的漢語詞法分析系統(tǒng)，主要功能包括中文分詞；詞性標(biāo)注；命名實(shí)體識(shí)別；新詞識(shí)別；同時(shí)支持用戶詞典。ICTCLAS3.0具有分詞精度高、查詢速度快、內(nèi)存占用小等多種優(yōu)點(diǎn)。北京理工大學(xué)張華平博士開發(fā)的NLPIR漢語分詞系統(tǒng)也是國內(nèi)用戶較多的基于大數(shù)據(jù)語義挖掘平臺(tái)，能夠?qū)崿F(xiàn)分詞、關(guān)鍵詞、聚類、分類、摘要、去重、情感分析、特定人物情感分析、精準(zhǔn)搜索等功能。美國State Street金融服務(wù)公司，在公司首席科學(xué)家David Saul的領(lǐng)導(dǎo)下，采用語義技術(shù)來整合公司各種數(shù)據(jù)庫，使得大數(shù)據(jù)真正變成了“智慧數(shù)據(jù)”。語義分析技術(shù)目前在圖情領(lǐng)域多用于學(xué)科知識(shí)服務(wù)、個(gè)性化推薦、查詢擴(kuò)展、智能檢索、數(shù)字資源網(wǎng)絡(luò)聚合、微博主題挖掘、元數(shù)據(jù)描述、網(wǎng)絡(luò)輿情分析等。

統(tǒng)計(jì)模式識(shí)別：統(tǒng)計(jì)模式識(shí)別是結(jié)合統(tǒng)計(jì)概率論的貝葉斯決策系統(tǒng)進(jìn)行模式識(shí)別的技術(shù)，又稱為決策理論識(shí)別方法。該方法在圖書情報(bào)領(lǐng)域主要應(yīng)用于文檔分類、文檔圖像分析、多媒體數(shù)據(jù)庫檢索等方面。

2.2.3面向可視化的分析方法

隨著大量信息的產(chǎn)生，圖書情報(bào)學(xué)領(lǐng)域研究人員需要對(duì)海量數(shù)據(jù)進(jìn)行處理和利用，探索數(shù)據(jù)之間的關(guān)系、隱藏的規(guī)律，從而對(duì)事物發(fā)展的趨勢進(jìn)行預(yù)測，為決策者提供實(shí)時(shí)、準(zhǔn)確的信息支持?？梢暬治鋈诤狭硕鄠€(gè)領(lǐng)域的方法包括：地理空間分析、信息分析、科學(xué)分析、統(tǒng)計(jì)分析、知識(shí)表示、知識(shí)發(fā)現(xiàn)等?？梢暬治隽鞒讨饕?個(gè)步驟：根據(jù)研究主題，選取數(shù)據(jù)源并抽取數(shù)據(jù)；確定需要分析的元素，如期刊、學(xué)科、作者、學(xué)位論文等；再確定數(shù)據(jù)元素的關(guān)系，獲取關(guān)系矩陣；最后繪圖并通過分析獲得相應(yīng)關(guān)系信息。如何應(yīng)對(duì)高維度、大規(guī)模、多類型、來源復(fù)雜、動(dòng)態(tài)演化的大數(shù)據(jù)信息，提高信息的可用性，更好地提供決策支持，是情報(bào)可視化領(lǐng)域需解決的問題。目前主流的方法是數(shù)據(jù)轉(zhuǎn)換和視覺轉(zhuǎn)換。通過刪除節(jié)點(diǎn)的方式簡化網(wǎng)格，解決了曲面可視化的問題；Hoppe提出了漸進(jìn)網(wǎng)格表達(dá)方法；Cignoni提出提高信息解析度、多尺度、多層次展示的方法，利用四叉樹紋理層次和三角片面二叉樹對(duì)幾何和紋理進(jìn)行展示；此外，還有將數(shù)據(jù)放置在外存的核外算法；采用細(xì)節(jié)強(qiáng)調(diào)的方式，簡化非重要數(shù)據(jù)的方法，如魚眼視圖、空間樹等。

2.2.4面向預(yù)測的分析方法

時(shí)間序列分析與多元統(tǒng)計(jì)分析：兩種方法共同點(diǎn)是能夠基于歷史數(shù)據(jù)的變化，評(píng)價(jià)事物現(xiàn)狀或預(yù)測事物未來的發(fā)展。前者主要通過調(diào)查或統(tǒng)計(jì)抽樣獲得系統(tǒng)的時(shí)間序列動(dòng)態(tài)數(shù)據(jù)，然后進(jìn)行相關(guān)分析和模型曲線擬合，預(yù)測發(fā)展趨勢；后者是對(duì)多個(gè)觀察對(duì)象和指標(biāo)之間關(guān)聯(lián)規(guī)律進(jìn)行研究的方法，是從統(tǒng)計(jì)學(xué)中發(fā)展的一種綜合分析方法，包含了：多元方差分析、多元線性回歸與相關(guān)分析、主成分分析、因子分析、聚類分析等。

話題演化分析：話題演化分析方法是近年來文本挖掘領(lǐng)域的研究熱點(diǎn)，主要采用LDA模型、LSI模型等，將對(duì)文本中詞語表示為話題集合，模擬話題隨時(shí)間推移表現(xiàn)出的變化。陳福集，馬梅蘭以成都女司機(jī)為研究對(duì)象，進(jìn)行話題識(shí)別和演化過程分析，并研究了特征詞分布特點(diǎn)，建立了關(guān)聯(lián)度判別函數(shù)，改進(jìn)了single-pass聚類算法，證明全生命周期模型分析話題演化方法能夠?qū)σ话爿浨榘l(fā)展進(jìn)行分析。廖君華，孫克迎，鐘麗霞采用LDA模型提取熱點(diǎn)話題，利用時(shí)間標(biāo)簽發(fā)現(xiàn)熱點(diǎn)話題，以“釣魚島事件”實(shí)驗(yàn)證明模型能預(yù)測話題演化趨勢。

2.2.5面向統(tǒng)計(jì)的分析方法

多維尺度分析統(tǒng)計(jì)，是在保留原數(shù)據(jù)幾何關(guān)系的前提下，應(yīng)用降維技術(shù)，通過非線性變換，把高維度空間的數(shù)據(jù)轉(zhuǎn)換成低維度空間的數(shù)據(jù)，并進(jìn)行統(tǒng)計(jì)分析的技術(shù)。目前較為流行的算法有：隨機(jī)尋徑網(wǎng)絡(luò)算法，對(duì)時(shí)變性和隨機(jī)性海量數(shù)據(jù)進(jìn)行分析，目標(biāo)是生成一個(gè)節(jié)點(diǎn)數(shù)目不變、只保留有效鏈接的精簡網(wǎng)絡(luò)即最小值網(wǎng)絡(luò)；最小生成樹算法，該方法曾被用來計(jì)算文獻(xiàn)的共被引距離進(jìn)行可視化分析和構(gòu)造演化網(wǎng)絡(luò)；潛在語義索引，通過海量文獻(xiàn)進(jìn)行詞匯之間關(guān)系的分析，通過自然語言理解，能在一定程度上提高檢索結(jié)果的相關(guān)性，多用于圖書館文獻(xiàn)分析；突發(fā)檢測算法，主要通過對(duì)學(xué)科領(lǐng)域內(nèi)焦點(diǎn)詞的發(fā)展，增長勢頭進(jìn)行比較，研究學(xué)科領(lǐng)域內(nèi)研究熱點(diǎn)的變化、發(fā)展情況。

圖論方法，是通過圖形的角度對(duì)網(wǎng)絡(luò)進(jìn)行研究，反映網(wǎng)絡(luò)數(shù)據(jù)之間的關(guān)聯(lián)，能夠進(jìn)一步提高對(duì)數(shù)據(jù)的理解和分析能力。Andrei Broder等人通過搜索引擎收集了大量網(wǎng)頁和鏈接，通過繪制網(wǎng)絡(luò)拓?fù)洌脠D論方法對(duì)本地及全球互聯(lián)網(wǎng)的圖形特征進(jìn)行了研究。Google通過分析網(wǎng)頁之間的鏈接圖，來分析網(wǎng)頁之間的關(guān)系，提高搜索的質(zhì)量。PageRank算法基于對(duì)網(wǎng)頁權(quán)威性的判斷，使Google能比競爭對(duì)手更快地獲取相關(guān)信息。

移動(dòng)應(yīng)用統(tǒng)計(jì)方法。隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，各種移動(dòng)圖書館、微信圖書館等應(yīng)用不斷出現(xiàn)。在為科研工作者及時(shí)、便捷地提供信息推送、在線文獻(xiàn)閱讀、電子圖書預(yù)覽等功能的同時(shí)，每天產(chǎn)生大量的用戶行為和服務(wù)日志。通過對(duì)大量的用戶數(shù)據(jù)進(jìn)行收集和統(tǒng)計(jì)分析，能夠有效對(duì)服務(wù)進(jìn)行完善和改進(jìn)，在用戶行為分析、輿情信息移動(dòng)推送、競爭情報(bào)移動(dòng)推送、書目信息推送、文獻(xiàn)移動(dòng)推送、信息定制、信息關(guān)聯(lián)標(biāo)引等方面都有很好的應(yīng)用。

2.2.6面向集成的分析方法

多源數(shù)據(jù)（知識(shí)）融合方法：多源數(shù)據(jù)融合方法，是針對(duì)大數(shù)據(jù)環(huán)境下多源異構(gòu)數(shù)據(jù)分析處理而提出的方法，通過對(duì)多源數(shù)據(jù)進(jìn)行挖掘和融合，有利于提升信息分析的作用、減少信息錯(cuò)誤與疏漏、防止決策失誤。R.R.Yager提出一種多源數(shù)據(jù)融合的框架，并通過投票方式有效解決數(shù)據(jù)之間沖突。K.Chopra建立了一個(gè)多源信息融合的軟件工具模型，并對(duì)情報(bào)分析的不確定性評(píng)價(jià)進(jìn)行了探討；陳科文等人則從系統(tǒng)設(shè)計(jì)、數(shù)據(jù)處理、融合模型與方法等方面對(duì)當(dāng)前多源信息融合的關(guān)鍵問題與應(yīng)用進(jìn)展進(jìn)行了綜述。多源知識(shí)融合方法，是以提高知識(shí)的復(fù)用和共享為目的，對(duì)多來源的知識(shí)進(jìn)行融合的方法。需要對(duì)不同來源的知識(shí)進(jìn)行清理、消除冗余、解決實(shí)例、概念、屬性和關(guān)系的沖突。通常利用人工智能、本體、機(jī)器學(xué)習(xí)技術(shù)的自動(dòng)融合方式可擴(kuò)展性較好。

2.2.7事實(shí)性數(shù)據(jù)+工具+專家智慧分析法

中國科學(xué)技術(shù)研究所，針對(duì)大數(shù)據(jù)環(huán)境提出了基于“事實(shí)型數(shù)據(jù)+工具方法+專家智慧”的情報(bào)分析方法。通過定性定量的系統(tǒng)結(jié)合方法，對(duì)信息資源數(shù)據(jù)進(jìn)行深入分析，借助專家智庫，提煉出相關(guān)政策建議。美國著名的戰(zhàn)略情報(bào)研究所一蘭德公司，利用自主研發(fā)的自動(dòng)數(shù)據(jù)分析框架、理性程序并借助社會(huì)知名人士、政府離職官員作為顧問，對(duì)戰(zhàn)略情報(bào)進(jìn)行綜合分析，取得了良好的效果。山東省科技情報(bào)研究所和廣東省科技圖書館，分別將該方法應(yīng)用于海水淡化和情報(bào)服務(wù)工作中。

3大數(shù)據(jù)環(huán)境下情報(bào)分析常用軟件

情報(bào)研究人員在對(duì)海量異構(gòu)數(shù)據(jù)的分析處理過程中，通常需要借助專業(yè)的情報(bào)分析軟件，以縮短分析周期、提高分析的效率和準(zhǔn)確性。以下對(duì)大數(shù)據(jù)環(huán)境下常用的情報(bào)分析軟件進(jìn)行概括分析，見表3。

3.1可視化分析軟件

可視化技術(shù)旨在利用圖形圖像領(lǐng)域的技術(shù)和方法，研究大規(guī)模信息資源的視覺呈現(xiàn)，幫助情報(bào)工作人員理解和分析數(shù)據(jù)。該技術(shù)是知識(shí)計(jì)量學(xué)、科學(xué)計(jì)量學(xué)等領(lǐng)域重要的研究方法和手段。信息可視化工具包括：CiteSpace、RefViz、HistCite、Vosviewer、Leydesdorff等。Citespace由陳超美教授開發(fā)，能夠通過對(duì)某學(xué)科領(lǐng)域的文獻(xiàn)數(shù)據(jù)進(jìn)行挖掘、繪制可視化圖譜，展示學(xué)科發(fā)展趨勢和動(dòng)向。目前CiteSpace5.0為軟件最新版本.新版本具有四大核心功能：快速定位本領(lǐng)域核心文獻(xiàn)、快捷梳理領(lǐng)域的文獻(xiàn)關(guān)聯(lián)、探究研究前沿和知識(shí)基礎(chǔ)和探測學(xué)科主題分布與主題趨勢。Refviz是一款對(duì)參考文獻(xiàn)進(jìn)行管理并發(fā)現(xiàn)文獻(xiàn)之間關(guān)聯(lián)性的軟件，由OmniViz和Thomson ISI Research公司共同推出。該軟件能夠?qū)⑽墨I(xiàn)按照內(nèi)容和關(guān)聯(lián)度進(jìn)行分組，以詞語加權(quán)方式對(duì)詞語的重要性進(jìn)行分類，對(duì)熱點(diǎn)詞語權(quán)值的干預(yù)。HistCite是用來分析領(lǐng)域內(nèi)文獻(xiàn)關(guān)系，并繪制引文圖譜的軟件，能夠通過可視化方式對(duì)最新、重要的文獻(xiàn)進(jìn)行展示的軟件。Vosviewer是荷蘭萊頓大學(xué)CWTS科學(xué)技術(shù)研究中心開發(fā)的集成文本挖掘、分散視圖、標(biāo)簽視圖、聚類密度視圖的文獻(xiàn)計(jì)量和可視化分析的工具。最新開發(fā)的1.6.5版本，對(duì)可視化效果進(jìn)行了提升，提供了新的命令。允許用戶對(duì)網(wǎng)絡(luò)和數(shù)據(jù)密度可視化疊加效果進(jìn)行自定義，并能夠以自動(dòng)化的方式創(chuàng)建VOSViewer地圖。Leydesdofff是針對(duì)多種數(shù)據(jù)源分析的系列軟件，由荷蘭阿姆斯特丹大學(xué)研發(fā)，能夠?qū)崿F(xiàn)共詞、合作、耦合、共引等分析。

3.2專利分析軟件

目前國內(nèi)外專利分析工具分為：專利采集和加工工具、專利檢索分析工具及計(jì)算機(jī)輔助創(chuàng)新工具。專利采集加工工具通過爬蟲對(duì)專利進(jìn)行采集、清洗為專利分析提供數(shù)據(jù)，主要有臺(tái)灣連穎科技公司開發(fā)的PatentGuider、北京彼速軟件公司開發(fā)的BizSolution、保定大為軟件公司開發(fā)的PatentEx專利分析系統(tǒng)、漢之光華專利情報(bào)分析系統(tǒng)等；專利檢索分析工具具有先進(jìn)的數(shù)據(jù)檢索、文本挖掘功能，主要有美國Lexis Nexis公司的Total Patent、Aureka、Delphion、Innovaton等。計(jì)算機(jī)輔助創(chuàng)新工具包括：美國Invention Machine公司開發(fā)的Goldfire Innovator9.0，以TRIZ/ARIZ為工具，與全球超過70個(gè)專利庫進(jìn)行連接，包含了超過9000條來自各個(gè)領(lǐng)域的科學(xué)原理。主要作用是通過對(duì)典型技術(shù)問題專利進(jìn)行技工，提出解決問題的方法。Pro/Innovator由億維訊公司開發(fā)，支持隱性知識(shí)挖掘利用，對(duì)知識(shí)的產(chǎn)生、表達(dá)、組織、更新、檢索、共享等過程進(jìn)行全程管理。

3.3統(tǒng)計(jì)分析軟件

大數(shù)據(jù)環(huán)境下數(shù)據(jù)可分為：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)。在進(jìn)行情報(bào)分析時(shí)：對(duì)于半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的挖掘和分析，宜采用傳統(tǒng)分析工具Excel、SAS、SPSS、Stata、Matlab等進(jìn)行處理。而半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)處理相對(duì)較復(fù)雜，R語言、Python和Flurry則具有絕對(duì)優(yōu)勢。

R語言是由Nuckland大學(xué)Robert Gentleman和Rosslhaka編制，用于處理大數(shù)據(jù)環(huán)境下海量數(shù)據(jù)的統(tǒng)計(jì)軟件包。R的優(yōu)勢在于有包羅萬象的統(tǒng)計(jì)函數(shù)可以調(diào)用，提供了包括廣義回歸分析、風(fēng)險(xiǎn)分析、矩陣計(jì)算、抽樣檢驗(yàn)等功能，并且能讀取由SAS、SPSS、Stata、Matlab等軟件處理的數(shù)據(jù)。

Python語言具有非常清晰易讀的語法特點(diǎn)，支持目前主流的操作系統(tǒng)，能夠支持移動(dòng)應(yīng)用，擁有良好的學(xué)習(xí)支持資源并不斷對(duì)庫進(jìn)行改良。Python的網(wǎng)絡(luò)爬蟲及R的RCurl包、Rweibo包等都可以進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)和文本挖掘，對(duì)非結(jié)構(gòu)性數(shù)據(jù)亦能進(jìn)行分析處理。常用作文本挖掘、日志統(tǒng)計(jì)分析、社交網(wǎng)絡(luò)分析等。

Flurry是專門為統(tǒng)計(jì)移動(dòng)應(yīng)用用戶數(shù)據(jù)而開發(fā)的統(tǒng)計(jì)工具，能夠支持包括iPhone、iPad、Android、WindowsPhone、Java ME和BlackBerry終端平臺(tái)的數(shù)據(jù)分析，支持超過36萬個(gè)移動(dòng)應(yīng)用。Flurry能夠支持移動(dòng)應(yīng)用的構(gòu)建、用戶偏好的分析和數(shù)據(jù)智能分析推送等功能，在移動(dòng)應(yīng)用數(shù)據(jù)統(tǒng)計(jì)方面處于領(lǐng)先地位。此外國內(nèi)外的移動(dòng)應(yīng)用統(tǒng)計(jì)分析工具/平臺(tái)還有：Talking Data、Cobub Razo、FLURRY等。

3.4犯罪情報(bào)分析軟件

面對(duì)大數(shù)據(jù)產(chǎn)生海量的犯罪情報(bào)信息，犯罪情報(bào)分析軟件在公安情報(bào)分析中起到很大作用。Analysts Notebook是海灣戰(zhàn)爭中為美國開發(fā)的情報(bào)軟件，為情報(bào)分析工作提供了強(qiáng)有力的支持。軟件能夠通過關(guān)聯(lián)對(duì)比，將事先錄入的雜亂數(shù)據(jù)形成關(guān)系網(wǎng)和分析圖，為行動(dòng)決策提供犯罪情報(bào)支持。為了提供數(shù)據(jù)存儲(chǔ)功能，IBase和Ibridge軟件應(yīng)運(yùn)而生。ATAC是BSRC公司開發(fā)的綜合犯罪情報(bào)分析工具，具有學(xué)習(xí)分析的功能，能夠進(jìn)行統(tǒng)計(jì)分析、復(fù)雜查詢、時(shí)間序列分析等功能。ESRI公司研發(fā)的地理犯罪情報(bào)分析軟件ArcGIS，能夠支持戶外移動(dòng)平臺(tái)使用。

3.5競爭情報(bào)分析軟件

瑞典Comintelli公司研發(fā)的企業(yè)競爭情報(bào)平臺(tái)軟件Knowledge XChanger，獲得了美國和歐盟組織的認(rèn)可，使用范圍相當(dāng)廣泛，能夠?qū)崿F(xiàn)部分競爭情報(bào)流程自動(dòng)化。此外還有Coemergence公司的ACIS、Traction Software公司的TeamPage、Comintell公司的Knowledge Xchanger、Cipher公司的Knowledge Works、Strategy Software Inc.公司的STRATEGY！，ClearForest公司的ClearResearch Suite等。

3.6威脅情報(bào)分析軟件

威脅情報(bào)分析，是迅速出現(xiàn)在信息安全領(lǐng)域的方法，Solutionary公司的白皮書對(duì)“威脅情報(bào)”分析的定義是：通過對(duì)安全相關(guān)的信息進(jìn)行搜集、分析、快速和清晰的評(píng)估、仔細(xì)判斷后形成產(chǎn)品，作為決策和行動(dòng)的先導(dǎo)。Open Threat Exchange系統(tǒng)能夠訪問威脅研究專家的全球社區(qū)，通過威脅指標(biāo)分析多個(gè)來源的威脅數(shù)據(jù)，為研究人員提供安全設(shè)施更新的建議。Threatcrowd是一個(gè)威脅搜索系統(tǒng)，能自動(dòng)從malwr.com獲取信息，能夠協(xié)助情報(bào)人員對(duì)關(guān)聯(lián)數(shù)據(jù)進(jìn)行分析。IBM X-Force是世界上最知名的商業(yè)安全研究軟件之一，軟件能幫助客戶、研究人員和公眾更深入地了解最新的安全風(fēng)險(xiǎn)，提前預(yù)知新興威脅。公共安全威脅信息的分析和度量可以通過一系列軟件的組合來實(shí)現(xiàn)，美國情報(bào)機(jī)構(gòu)利用包括：Visible，Socializing the Enterprise，Geofeedia（社交媒體分析）、Open Source Indicators（利用公開信息預(yù)測政治動(dòng)亂、經(jīng)濟(jì)危機(jī)，傳染病爆發(fā)等）、Information Volume and Velocity（互聯(lián)網(wǎng)信息收集系統(tǒng)由美國國防部支持），對(duì)公共安全信息進(jìn)行分析。用于商業(yè)公開情報(bào)分析的軟件主要包括：Recorded Future，Palantir，Aggregative Contingent Estimation（ACE）（通過篩選各種博客、推特、衛(wèi)星圖像等提供社會(huì)動(dòng)亂的預(yù)警）等。

4結(jié)語

大數(shù)據(jù)時(shí)代情報(bào)分析和處理是獲取知識(shí)的重要手段，也是情報(bào)研究的熱點(diǎn)內(nèi)容。隨著數(shù)字化技術(shù)和網(wǎng)絡(luò)的飛速發(fā)展，海量、非結(jié)構(gòu)化、快速增長的數(shù)據(jù)不斷涌現(xiàn)，對(duì)情報(bào)研究造成了很大沖擊，情報(bào)學(xué)將不可避免的面對(duì)一場技術(shù)革命。本文在對(duì)國內(nèi)外情報(bào)分析和大數(shù)據(jù)分析方法進(jìn)行研究的基礎(chǔ)上，總結(jié)了10類傳統(tǒng)情報(bào)分析方法和7類基于大數(shù)據(jù)背景的情報(bào)分析方法，對(duì)傳統(tǒng)分析方法的不足和大數(shù)據(jù)分析方法的優(yōu)勢進(jìn)行了研究，并對(duì)常用情報(bào)分析軟件進(jìn)行了探討，以期為情報(bào)研究人員和情報(bào)分析工作提供有價(jià)值的參考。