徐海寧，孫忠林（山東科技大學(xué)信息科學(xué)與工程學(xué)院）

?

大數(shù)據(jù)技術(shù)支持下的競爭情報(bào)凈化系統(tǒng)模型構(gòu)建

徐海寧，孫忠林（山東科技大學(xué)信息科學(xué)與工程學(xué)院）

摘要：大數(shù)據(jù)背景下，為了解決企業(yè)競爭情報(bào)信息不夠準(zhǔn)確的問題，本文提出了以大數(shù)據(jù)技術(shù)為中心的競爭情報(bào)凈化系統(tǒng)模型，從企業(yè)競爭情報(bào)信息搜集凈化子系統(tǒng)、情報(bào)分析處理凈化子系統(tǒng)、情報(bào)服務(wù)凈化子系統(tǒng)分別進(jìn)行闡述，加入大數(shù)據(jù)凈化模塊，構(gòu)成了競爭情報(bào)凈化系統(tǒng)模型。

關(guān)鍵字：大數(shù)據(jù)技術(shù)；競爭情報(bào)；凈化

1　大數(shù)據(jù)在企業(yè)應(yīng)用現(xiàn)狀

大數(shù)據(jù)作為一種新興的技術(shù)，應(yīng)用范圍相對(duì)較大，但目前只用于四個(gè)方面。①市場方面，利用大數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，及時(shí)準(zhǔn)確地把握消費(fèi)者的行為，挖掘出新的商業(yè)模式。②銷售規(guī)劃方面，對(duì)大數(shù)據(jù)進(jìn)行對(duì)比，以此優(yōu)化商品價(jià)格。③運(yùn)營方面，提高運(yùn)營滿意度和運(yùn)營效率，優(yōu)化成本投入，更準(zhǔn)確地預(yù)測人員配置需求，以免產(chǎn)能過剩，降低人員投入成本。④供應(yīng)鏈方面，利用大數(shù)據(jù)進(jìn)行物流優(yōu)化、庫存優(yōu)化、供應(yīng)商協(xié)同等工作，緩解供需之間的矛盾，控制預(yù)算支出，提高服務(wù)。［1］

本文在大數(shù)據(jù)技術(shù)的基礎(chǔ)上，把企業(yè)的競爭情報(bào)系統(tǒng)進(jìn)一步優(yōu)化，對(duì)情報(bào)進(jìn)行提純、進(jìn)化，使其能更加準(zhǔn)確地反映企業(yè)的需求，做出決策。

2　大數(shù)據(jù)環(huán)境下競爭情報(bào)系統(tǒng)面臨的挑戰(zhàn)

（1）數(shù)據(jù)的存儲(chǔ)能力有限。大數(shù)據(jù)技術(shù)下的企業(yè)競爭情報(bào)既包含傳統(tǒng)的數(shù)據(jù)，又包含大量的基于移動(dòng)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等半結(jié)構(gòu)性、非結(jié)構(gòu)性數(shù)據(jù)。未來的企業(yè)競爭情報(bào)系統(tǒng)將會(huì)面對(duì)TB級(jí)以上的數(shù)據(jù)，這對(duì)于競爭情報(bào)系統(tǒng)軟件和硬件要求是一個(gè)巨大的挑戰(zhàn)。

（2）數(shù)據(jù)分析不夠準(zhǔn)確。大數(shù)據(jù)技術(shù)背景下企業(yè)競爭情報(bào)的數(shù)據(jù)結(jié)構(gòu)形式發(fā)生了很大變化，結(jié)構(gòu)化的數(shù)據(jù)、非結(jié)構(gòu)化、半結(jié)構(gòu)化的數(shù)據(jù)并存。傳統(tǒng)的競爭情報(bào)數(shù)據(jù)分析方法、模型和技術(shù)，對(duì)半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)不能直接處理，需要把非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)才能進(jìn)行處理。這樣不但嚴(yán)重影響了企業(yè)情報(bào)分析的工作量和成本投入，也使得競爭情報(bào)分析的準(zhǔn)確性大打折扣。［2］

（3）情報(bào)安全風(fēng)險(xiǎn)加大。大數(shù)據(jù)技術(shù)時(shí)代下，情報(bào)獲取的方式繁多，QQ、網(wǎng)絡(luò)日志、社交網(wǎng)站、微博、微信等媒體迅速地將各種動(dòng)態(tài)信息發(fā)布到世界各地。有些信息可能是企業(yè)的核心情報(bào)，這些情報(bào)一旦泄露，會(huì)給企業(yè)造成重大損失，甚至可能造成毀滅性的打擊，競爭情報(bào)的安全存儲(chǔ)也面臨重大威脅。同時(shí)，企業(yè)的運(yùn)作產(chǎn)生大量的數(shù)據(jù)，主要包括市場交易數(shù)據(jù)、技術(shù)研發(fā)數(shù)據(jù)、客戶信息數(shù)據(jù)、財(cái)務(wù)經(jīng)濟(jì)數(shù)據(jù)、科技成果數(shù)據(jù)等，有的甚至包括員工之間交流的數(shù)據(jù)，看似不起眼的這些普通數(shù)據(jù)中很有可能蘊(yùn)藏著巨大的競爭情報(bào)信息，必須妥善保存、加強(qiáng)保密，否則就會(huì)泄露商業(yè)機(jī)密。競爭情報(bào)存儲(chǔ)主要使用云存儲(chǔ)、移動(dòng)硬盤等工具，最好采取雙重保險(xiǎn)的方式，對(duì)十分重要信息的保存要慎之又慎。除此之外，還要防范人員的泄密，禁止員工使用網(wǎng)絡(luò)發(fā)布與工作相關(guān)的任何信息，對(duì)于相當(dāng)重要的機(jī)密數(shù)據(jù)要控制保密人數(shù)。

（4）多數(shù)企業(yè)對(duì)大數(shù)據(jù)的認(rèn)可程度較低。社交網(wǎng)站、移動(dòng)互聯(lián)網(wǎng)、微信、網(wǎng)絡(luò)日志、微博等提供了大量有價(jià)值的情報(bào)信息，但是，大多數(shù)企業(yè)競爭情報(bào)者很容易忽略掉這些情報(bào)信息，認(rèn)為大數(shù)據(jù)應(yīng)該是亞馬遜、京東商城、阿里巴巴、淘寶等這樣的大企業(yè)才關(guān)心的。對(duì)大數(shù)據(jù)的認(rèn)知程度不夠，這樣會(huì)使得企業(yè)競爭情報(bào)部門的工作在大數(shù)據(jù)時(shí)代變得更加被動(dòng)。

（5）企業(yè)競爭情報(bào)的處理分析。數(shù)據(jù)種類繁多、數(shù)據(jù)規(guī)模龐大，要想獲得有價(jià)值的競爭情報(bào)，必須對(duì)大數(shù)據(jù)進(jìn)行有效地處理分析。其中，最關(guān)鍵的是數(shù)據(jù)的清洗，剔除無關(guān)緊要的數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行分類劃分，按相關(guān)性程度對(duì)數(shù)據(jù)排序，建立模型，還要對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析、聚類分析、技術(shù)路徑分析等，挖掘有價(jià)值的競爭情報(bào)。［2］目前，對(duì)外部數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的利用較難。根據(jù)一項(xiàng)調(diào)查顯示，超過50%受訪單位把內(nèi)部數(shù)據(jù)作為“大數(shù)據(jù)”的首要來源。這些數(shù)據(jù)通過企業(yè)多年的數(shù)據(jù)資源規(guī)劃、數(shù)據(jù)庫智能管理應(yīng)用和其他相關(guān)工作收集獲得，利用大數(shù)據(jù)技術(shù)解讀這些來自業(yè)務(wù)往來、交易和電子郵件等企業(yè)內(nèi)部數(shù)據(jù)為組織提供有價(jià)值的情報(bào)。［3］

（6）大數(shù)據(jù)技術(shù)分析人才匱乏和成本高昂。大數(shù)據(jù)自從被提出和應(yīng)用以來時(shí)間較短，其專業(yè)性分析人才緊缺，尤其是能夠掌握大數(shù)據(jù)平臺(tái)框架（如Hadoop、NoSQL）并能處理和分析大數(shù)據(jù)的專業(yè)人才少之又少。大數(shù)據(jù)技術(shù)對(duì)企業(yè)的計(jì)算力、存儲(chǔ)力和數(shù)據(jù)分析能力提出了更高的要求，全面的數(shù)據(jù)存儲(chǔ)和分析代價(jià)高昂，僅有少數(shù)企業(yè)有能力和資金建立超大規(guī)模的數(shù)據(jù)中心，對(duì)大數(shù)據(jù)進(jìn)行處理，從PB級(jí)別到ZB級(jí)別數(shù)據(jù)量的存儲(chǔ)和計(jì)算。［4］

3　大數(shù)據(jù)技術(shù)支持下的企業(yè)競爭情報(bào)凈化系統(tǒng)模型構(gòu)建

傳統(tǒng)的競爭情報(bào)系統(tǒng)包括信息搜集子系統(tǒng)、信息分析處理子系統(tǒng)、情報(bào)服務(wù)子系統(tǒng)?；诖髷?shù)據(jù)技術(shù)，對(duì)傳統(tǒng)的三個(gè)子系統(tǒng)進(jìn)行優(yōu)化，融入一個(gè)新的系統(tǒng)——凈化系統(tǒng)。

3.1企業(yè)競爭情報(bào)信息搜集凈化子系統(tǒng)

情報(bào)收集系統(tǒng)為競爭情報(bào)系統(tǒng)提供穩(wěn)定可靠與豐富多樣的信息資源,是實(shí)施競爭情報(bào)系統(tǒng)的關(guān)鍵環(huán)節(jié)，更是企業(yè)決策支持的依據(jù)。企業(yè)根據(jù)自己的情報(bào)需求，把任務(wù)分配給情報(bào)部門，收集、整理各種信息，最終形成一個(gè)企業(yè)競爭情報(bào)的文本集合。［5］

為了使收集的信息更加準(zhǔn)確，減輕后期分析處理的壓力，在原來模型的基礎(chǔ)上演化成了企業(yè)競爭情報(bào)信息搜集凈化子系統(tǒng)（見圖1）。該系統(tǒng)首先著力于信息源的選擇。再者，就是信息分類和信息管理。這兩個(gè)環(huán)節(jié)非常重要，決策層基本是從這里獲取信息、進(jìn)行決策的。

為此，建立了以大數(shù)據(jù)為中心的凈化處理中心，對(duì)信息管理和分類進(jìn)行驗(yàn)證，確定其準(zhǔn)確度，最后存入數(shù)據(jù)庫，供情報(bào)部門利用。存入數(shù)據(jù)庫的情報(bào)不一定是完全正確，因此，要定時(shí)凈化數(shù)據(jù)庫的情報(bào)信息，只有這樣才能保證信息的利用效率。

3.2企業(yè)競爭情報(bào)信息分析處理凈化子系統(tǒng)

企業(yè)競爭情報(bào)信息分析處理系統(tǒng)是將大量零散的、看似無關(guān)緊要的信息集中、比較和重新組合，從而發(fā)現(xiàn)新價(jià)值的過程。只有經(jīng)過處理的情報(bào)信息才能被決策者使用，才能方便傳遞和存儲(chǔ)，才能體現(xiàn)出其經(jīng)濟(jì)價(jià)值。企業(yè)搜集到信息后，下一步需要采取的措施是對(duì)這些信息進(jìn)行科學(xué)地分析、處理，發(fā)現(xiàn)存在其中的主要問題，找出隱藏在問題背后的本質(zhì)原因。［6］

數(shù)據(jù)的準(zhǔn)確度在信息分析處理階段，更是關(guān)鍵中的關(guān)鍵，因此，數(shù)據(jù)凈化顯得格外重要。本文的企業(yè)競爭情報(bào)信息分析處理凈化子系統(tǒng)（見圖2）是在原有的情報(bào)信息分析處理子系統(tǒng)的基礎(chǔ)上，加入以大數(shù)據(jù)技術(shù)為處理中心的凈化模塊，在信息分析處理的各個(gè)環(huán)節(jié)中，主要是在篩選、處理、分析、評(píng)價(jià)環(huán)節(jié)進(jìn)行凈化，因?yàn)檫@四個(gè)環(huán)節(jié)是保證數(shù)據(jù)準(zhǔn)確的關(guān)鍵。其中，在整理和分析的相關(guān)算法和模型處理階段，也要進(jìn)行數(shù)據(jù)的凈化，最后再交付情報(bào)部門，情報(bào)部門也不是被動(dòng)地利用數(shù)據(jù)，如果數(shù)據(jù)不合常理，也可以再次進(jìn)行數(shù)據(jù)的凈化驗(yàn)證，這樣雙重保險(xiǎn)，就可以得到相當(dāng)準(zhǔn)確的結(jié)果。

圖1　企業(yè)競爭情報(bào)信息搜集凈化子系統(tǒng)

圖2　企業(yè)競爭情報(bào)信息分析處理凈化子系統(tǒng)

3.3企業(yè)競爭情報(bào)情報(bào)服務(wù)凈化子系統(tǒng)

企業(yè)情報(bào)服務(wù)子系統(tǒng)是根據(jù)決策者、情報(bào)分析人員、企業(yè)內(nèi)其他人員的情報(bào)需求，創(chuàng)建各類分析報(bào)告，并通過適當(dāng)方式及時(shí)傳遞給企業(yè)決策者的過程。情報(bào)產(chǎn)品是情報(bào)服務(wù)和情報(bào)傳播的主要內(nèi)容和形式，是企業(yè)競爭情報(bào)系統(tǒng)的最終產(chǎn)品和成果體系。［7］

情報(bào)的最終還是為決策者服務(wù)的，本文的企業(yè)競爭情報(bào)情報(bào)服務(wù)凈化子系統(tǒng)（見圖3）同樣是在原有的基礎(chǔ)上添加凈化模塊形成的，在這可以提供人工幫助，來驗(yàn)證用戶需要的信息的準(zhǔn)確度，進(jìn)行數(shù)據(jù)的凈化，然后反饋給用戶，并以可視化的界面，形象地描述。情報(bào)部門為決策層提供信息，分析競爭對(duì)手、競爭環(huán)境，制定競爭策略，在提取的過程中可能產(chǎn)生誤差或者錯(cuò)誤，所以數(shù)據(jù)的凈化是必要的。決策層對(duì)決策的數(shù)據(jù)和數(shù)據(jù)庫的原始數(shù)據(jù)進(jìn)行比較，也能反映出其決策的正確率。

圖3　企業(yè)競爭情報(bào)情報(bào)服務(wù)凈化子系統(tǒng)

［參考文獻(xiàn)］

［1］張引，等．大數(shù)據(jù)應(yīng)用的現(xiàn)狀與展望［J］.計(jì)算機(jī)研究與發(fā)展，2013（S2）：216－233.

［2］趙芳．基于大數(shù)據(jù)的企業(yè)競爭情報(bào)分析方法研究［J］.圖書館學(xué)刊，2015（2）：33－36.

［3］于磊，徐鳳姣．基于應(yīng)急管理視角的政府應(yīng)急專業(yè)處置能力建設(shè)的思考［J］.中國管理信息化，2012（22）：92－94.

［4］顧濤．基于大數(shù)據(jù)的競爭情報(bào)協(xié)作分析研究［J］.情報(bào)科學(xué)，2013（12）：114－118，135.

［5］鞠洪斌，馬林山．企業(yè)競爭情報(bào)系統(tǒng)建設(shè)中的情報(bào)信息收集［J］．情報(bào)資料工作，2007（5）：102－103.

［6］官思發(fā)，等．基于Web2.0的企業(yè)競爭情報(bào)系統(tǒng)模型構(gòu)建［J］.情報(bào)科學(xué)，2014（1）：47－53.

［7］李會(huì)，程剛．基于數(shù)據(jù)挖掘技術(shù)的企業(yè)競爭情報(bào)系統(tǒng)模型研究［J］.情報(bào)理論與實(shí)踐，2011（1）：95－99.

Research on the Model of Competitive Intelligence Purification System Based on Big Data Technology

Xu Hai-ning，Sun Zhong-lin

Abstract：In order to solve the problem of inaccurate enterprise competitive intelligence information,this article proposes a competitive intelligence purification system model which is based on big data technology.It analyzes the model from 3 aspects:information collection subsystem,information purification subsystem,and enterprise competitive intelligence service purification subsystem respectively which consist the model of competitive intelligence purification system

Keywords：Big Data Technology；Competitive Intelligence；Purification

中圖分類號(hào)：G250.7

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1005－8214（2016）04－0100－03

［作者簡介］徐海寧（1990－），男，山東科技大學(xué)信息科學(xué)與工程學(xué)院在讀研究生，研究方向：信息系統(tǒng)工程；孫忠林（1962－），男，山東科技大學(xué)信息科學(xué)與工程學(xué)院教授，碩導(dǎo)，研究方向：云計(jì)算和數(shù)據(jù)庫系統(tǒng)。

［收稿日期］2015－09－17［責(zé)任編輯］菊秋芳