于 茜

（大連科技學(xué)院 信息科學(xué)學(xué)院，遼寧 大連 116052）

突發(fā)事件網(wǎng)絡(luò)輿情是指以突發(fā)事件為核心內(nèi)容的網(wǎng)絡(luò)輿情，包括已發(fā)生或未發(fā)生的自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生事件及社會(huì)安全事件等。經(jīng)過(guò)不正當(dāng)?shù)倪^(guò)分渲染將變成有害輿論，并迅速傳播擴(kuò)大，危及社會(huì)公共安全，突發(fā)事件網(wǎng)絡(luò)輿情已然成為影響社會(huì)持續(xù)、穩(wěn)定、和諧發(fā)展的重要因素。近年來(lái)突發(fā)事件網(wǎng)絡(luò)輿情受到政府密切關(guān)注。

然而隨著大數(shù)據(jù)時(shí)代來(lái)臨，數(shù)據(jù)量巨大，數(shù)據(jù)形式不統(tǒng)一，結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)充斥網(wǎng)絡(luò)，給數(shù)據(jù)分析處理帶來(lái)困難，也給網(wǎng)絡(luò)輿情工作帶來(lái)了挑戰(zhàn)。以往的網(wǎng)絡(luò)輿情監(jiān)測(cè)和預(yù)警方法、手段在大數(shù)據(jù)環(huán)境下難以發(fā)揮其應(yīng)有的效用[1-6]。本文研究的大數(shù)據(jù)環(huán)境下突發(fā)事件網(wǎng)絡(luò)輿情動(dòng)態(tài)監(jiān)測(cè)與預(yù)警系統(tǒng)的體系架構(gòu)能夠解決上述問(wèn)題。

1 系統(tǒng)體系架構(gòu)

大數(shù)據(jù)環(huán)境下的突發(fā)事件網(wǎng)絡(luò)輿情動(dòng)態(tài)監(jiān)控和預(yù)測(cè)系統(tǒng)架構(gòu)分為4層，分別是數(shù)據(jù)采集層、數(shù)據(jù)處理層、網(wǎng)絡(luò)輿情動(dòng)態(tài)監(jiān)測(cè)層、自動(dòng)預(yù)警層。

1.1 第一層數(shù)據(jù)采集層

數(shù)據(jù)采集層完成大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)輿情信息的收集。大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)輿情信息主要來(lái)源有新聞評(píng)論、社區(qū)論壇、社交網(wǎng)絡(luò)、博客、微博、微信、郵件、維基WIKI、聚合新聞（Really Simple Syndication，RSS）、聊天工具網(wǎng)站數(shù)據(jù)庫(kù)等，針對(duì)不同數(shù)據(jù)來(lái)源采用不同的數(shù)據(jù)采集方式。采用網(wǎng)頁(yè)爬蟲方法收集綜合性論壇信息，采用RSS摘要收集方式對(duì)新聞和博客類網(wǎng)站進(jìn)行數(shù)據(jù)收集，應(yīng)用社交網(wǎng)絡(luò)服務(wù)平臺(tái)SNS采集微博等社交網(wǎng)絡(luò)數(shù)據(jù)，應(yīng)用全文檢索系統(tǒng)實(shí)現(xiàn)對(duì)網(wǎng)站數(shù)據(jù)庫(kù)的直接檢索[7]，Web挖掘方法適用于大數(shù)據(jù)環(huán)境下所有類型網(wǎng)絡(luò)數(shù)據(jù)采集，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

1.2 第二層數(shù)據(jù)處理層

數(shù)據(jù)處理層完成大數(shù)據(jù)環(huán)境下數(shù)據(jù)的分類、轉(zhuǎn)換等處理工作。大數(shù)據(jù)環(huán)境下突發(fā)事件網(wǎng)絡(luò)輿情數(shù)據(jù)的特點(diǎn)是數(shù)據(jù)量巨大，結(jié)構(gòu)差異大，數(shù)據(jù)常常包含結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，為分析處理增加了難度。本層實(shí)現(xiàn)按照信息內(nèi)容的數(shù)據(jù)分類、聚類；實(shí)現(xiàn)信息去重，降低數(shù)據(jù)處理量；實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)換，將非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析；最后為數(shù)據(jù)建立索引，加快訪問(wèn)速度。

1.3 第三層網(wǎng)絡(luò)輿情動(dòng)態(tài)監(jiān)測(cè)層

網(wǎng)絡(luò)輿情動(dòng)態(tài)監(jiān)測(cè)層通過(guò)大數(shù)據(jù)分析、知識(shí)匹配實(shí)現(xiàn)自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生事件及社會(huì)安全事件四大類突發(fā)事件網(wǎng)絡(luò)輿情信息的動(dòng)態(tài)監(jiān)測(cè)。動(dòng)態(tài)監(jiān)測(cè)過(guò)程是通過(guò)大數(shù)據(jù)輿情分析子系統(tǒng)實(shí)現(xiàn)的，輿情分析子系統(tǒng)將信息量已達(dá)到標(biāo)準(zhǔn)的突發(fā)事件網(wǎng)絡(luò)輿情實(shí)時(shí)數(shù)據(jù)構(gòu)建成知識(shí)模型與知識(shí)庫(kù)中的已發(fā)生突發(fā)事件模型進(jìn)行動(dòng)態(tài)匹配，成功則確認(rèn)其已經(jīng)達(dá)到發(fā)布預(yù)警程度，交由自動(dòng)預(yù)警層處理；匹配不成功則繼續(xù)監(jiān)控不斷匹配，直到信息量降到標(biāo)準(zhǔn)以下，認(rèn)為其威脅已經(jīng)消失。

1.4 第四層智能預(yù)警層

智能預(yù)警層評(píng)定預(yù)警級(jí)別，通過(guò)動(dòng)態(tài)監(jiān)測(cè)分析結(jié)果自動(dòng)向有關(guān)部門發(fā)布預(yù)警，并產(chǎn)生報(bào)告供領(lǐng)導(dǎo)決策。確定預(yù)警的各項(xiàng)指標(biāo)，建立科學(xué)合理的預(yù)警級(jí)別；接收監(jiān)測(cè)層的監(jiān)測(cè)結(jié)果與各級(jí)預(yù)警指標(biāo)智能比對(duì)確定預(yù)警級(jí)別向相關(guān)政府部門、人員發(fā)布預(yù)警，并提供詳盡的級(jí)別評(píng)定報(bào)告和數(shù)據(jù)供管理者決策。

以上是大數(shù)據(jù)環(huán)境下的突發(fā)事件網(wǎng)絡(luò)輿情動(dòng)態(tài)監(jiān)控和預(yù)測(cè)系統(tǒng)4層架構(gòu)，其中大數(shù)據(jù)輿情分析子系統(tǒng)和突發(fā)事件知識(shí)庫(kù)是本系統(tǒng)的核心，下面討論大數(shù)據(jù)分析子系統(tǒng)的核心實(shí)現(xiàn)過(guò)程及突發(fā)事件知識(shí)庫(kù)的構(gòu)建過(guò)程。

2 基于MapReduce的大數(shù)據(jù)處理

MapReduce是面向大數(shù)據(jù)分析和處理的并行計(jì)算模型，是實(shí)現(xiàn)大數(shù)據(jù)背景下突發(fā)事件網(wǎng)絡(luò)輿情分析的工具。MapReduce把計(jì)算過(guò)程分解為兩個(gè)主要階段，即Map階段和Reduce階段。Map函數(shù)處理鍵值對(duì)，產(chǎn)生一系列的中間鍵值對(duì)，Reduce函數(shù)用來(lái)合并所有具有相同Key值的中間鍵值對(duì)，計(jì)算最終結(jié)果[8]。Map和Reduce是兩個(gè)可定義函數(shù)，定義了任務(wù)本身，在此基礎(chǔ)上MapReduce才能并行計(jì)算。通過(guò)Map和Reduce函數(shù)的定義使得網(wǎng)絡(luò)輿情中雜亂無(wú)章的數(shù)據(jù)得到有效整理，得到含有突發(fā)事件屬性及屬性值列表的有效數(shù)據(jù)，使之可以與突發(fā)事件知識(shí)庫(kù)中的知識(shí)進(jìn)行匹配，匹配一旦成功則向有關(guān)部門發(fā)布預(yù)警，等待處理。

3 突發(fā)事件知識(shí)庫(kù)構(gòu)建

基于大數(shù)據(jù)的知識(shí)計(jì)算是大數(shù)據(jù)分析的基礎(chǔ)。要對(duì)數(shù)據(jù)進(jìn)行高端分析，就需要從大數(shù)據(jù)中先抽取出有價(jià)值的知識(shí)，并把它構(gòu)建成可支持查詢、分析和計(jì)算知識(shí)庫(kù)。當(dāng)前各領(lǐng)域成型知識(shí)庫(kù)已有50多種，但在突發(fā)事件領(lǐng)域還未構(gòu)建出知識(shí)庫(kù)，由于突發(fā)事件具有其獨(dú)特的特性，與其他領(lǐng)域知識(shí)概念完全不同，所以該領(lǐng)域的知識(shí)庫(kù)需要單獨(dú)構(gòu)建。

采用手工構(gòu)建和半監(jiān)督自動(dòng)構(gòu)建相結(jié)合的方法構(gòu)建突發(fā)事件知識(shí)庫(kù)。首先依據(jù)突發(fā)事件實(shí)際情況，賦予概念模型中屬性的具體涵義；其次依據(jù)部分真實(shí)發(fā)生的突發(fā)事件手工構(gòu)建基礎(chǔ)概念模型，即種子；然后依據(jù)種子，進(jìn)行半監(jiān)督自動(dòng)構(gòu)建，逐步形成知識(shí)庫(kù)。

4 基于Web服務(wù)的大數(shù)據(jù)分析

基于Web服務(wù)的大數(shù)據(jù)分析過(guò)程，是采用Web服務(wù)中的請(qǐng)求和響應(yīng)來(lái)描述大數(shù)據(jù)分析過(guò)程。即從整理后的網(wǎng)絡(luò)輿情大數(shù)據(jù)中得到一個(gè)突發(fā)事件高頻熱詞，將其和屬性封裝為一個(gè)Web服務(wù)請(qǐng)求發(fā)送到服務(wù)器，服務(wù)器將其與知識(shí)庫(kù)中的知識(shí)進(jìn)行匹配，并給出響應(yīng)，從而分析出該高頻熱詞是否屬突發(fā)公共安全事件，是否需要關(guān)注或預(yù)警。（1）Web服務(wù)定義，將網(wǎng)絡(luò)輿情大數(shù)據(jù)封裝成Web服務(wù)。服務(wù)由若干輸入構(gòu)成，輸入是大數(shù)據(jù)屬性和類型的序?qū)?。?）Web服務(wù)約減,由于網(wǎng)絡(luò)輿情中數(shù)據(jù)量過(guò)大，產(chǎn)生的服務(wù)過(guò)多，影響計(jì)算速度，所以在正是計(jì)算之前先進(jìn)行服務(wù)約減從而得到最簡(jiǎn)化的服務(wù)隊(duì)列。（3）Web服務(wù)匹配，是將服務(wù)參數(shù)值和知識(shí)庫(kù)中的知識(shí)屬性值進(jìn)行匹配，初步匹配基于可變精度的分級(jí)偏序粗糙集進(jìn)行分類劃分，得到局部分類，然后再按照等價(jià)劃分進(jìn)行精確匹配（允許空值出現(xiàn)）。通過(guò)以上方法網(wǎng)絡(luò)輿情中的大數(shù)據(jù)實(shí)現(xiàn)了與知識(shí)庫(kù)中突發(fā)事件知識(shí)的匹配，從而得知哪些大數(shù)據(jù)是需要關(guān)注和預(yù)警的。

5 結(jié)語(yǔ)

大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)輿情信息形式發(fā)生了巨大變化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)為網(wǎng)絡(luò)輿情信息監(jiān)控、分析帶來(lái)了困難，本文提出的大數(shù)據(jù)環(huán)境下突發(fā)事件網(wǎng)絡(luò)輿情動(dòng)態(tài)監(jiān)測(cè)和預(yù)警系統(tǒng)體系架構(gòu)，能對(duì)突發(fā)事件網(wǎng)絡(luò)輿情數(shù)據(jù)進(jìn)行采集和預(yù)處理；能實(shí)現(xiàn)大數(shù)據(jù)處理；構(gòu)建了突發(fā)事件知識(shí)庫(kù)；建立了突發(fā)事件網(wǎng)絡(luò)輿情知識(shí)模型；并實(shí)現(xiàn)了知識(shí)模型和知識(shí)庫(kù)的匹配和智能預(yù)警，實(shí)現(xiàn)了大數(shù)據(jù)環(huán)境下突發(fā)事件網(wǎng)絡(luò)輿情分析。