文/徐志強(qiáng) 張守先 李滿江

引言

百度、騰訊、新浪、網(wǎng)易、搜狐、今日頭條等各公司的許多產(chǎn)品提供了新聞的輿情、熱點(diǎn)、熱搜、快訊、頭條、排行等信息，但是每個(gè)公司自身的數(shù)據(jù)來源不同，所以各自的產(chǎn)品服務(wù)各有自己的側(cè)重，比如新浪的微博海量數(shù)據(jù)的優(yōu)勢(shì)，其輿情產(chǎn)品輿情通的熱點(diǎn)、影響力等基于微博的分析更有權(quán)威性。相比，騰訊的騰訊大數(shù)據(jù)，基于微信公眾號(hào)等海量新聞數(shù)據(jù)的分析更為準(zhǔn)確。而綜合的新聞大數(shù)據(jù)平臺(tái)，數(shù)據(jù)越全面越好，涉及到網(wǎng)站、微博、微信、APP、公眾號(hào)、論壇等各類新聞渠道，依賴單一數(shù)據(jù)，數(shù)據(jù)單薄、分析結(jié)果不全面、不準(zhǔn)確。數(shù)據(jù)越全面，分析結(jié)果會(huì)越準(zhǔn)確、及時(shí)、可靠、客觀。本平臺(tái)研究如何利用各大數(shù)據(jù)公司的能力，以單一大數(shù)據(jù)平臺(tái)提供服務(wù)，通過整合、細(xì)分采購(gòu)、個(gè)性抓取等組合情況下，大大降低各新聞單位、政府部門采購(gòu)大數(shù)據(jù)輿情服務(wù)的成本，并得到更佳的服務(wù)。

1.何為云算力

大數(shù)據(jù)的分析，設(shè)計(jì)到數(shù)據(jù)量非常大，需要的計(jì)算機(jī)處理能力要很強(qiáng)，才能短時(shí)間內(nèi)得到想要的結(jié)果。算力，主要指計(jì)算能力，如比特幣礦機(jī)的算力（也稱哈希率）是比特幣網(wǎng)絡(luò)處理能力的度量單位，即為計(jì)算機(jī)（CPU）計(jì)算哈希函數(shù)輸出的速度。本文“云算力”一詞，借用“算力”一詞，來表達(dá)整合各家公司獨(dú)立的云計(jì)算能力到一起，從而形成的基于云端的數(shù)據(jù)處理能力。

2.平臺(tái)研究

本平臺(tái)研究基于各家新聞大數(shù)據(jù)公司計(jì)算能力之上的綜合平臺(tái)，智能化利用各大公司的算力，為新聞單位、政府部門等需要輿情服務(wù)的單位，使用單一云平臺(tái)，就可以發(fā)起針對(duì)各大大數(shù)據(jù)公司的數(shù)據(jù)請(qǐng)求，得到經(jīng)過智能分析、過濾、排重、本地化、定向處理后的最理想的數(shù)據(jù)結(jié)果，形成最全面、能力最強(qiáng)、最專業(yè)、最及時(shí)的輿情服務(wù)，提供最新新聞、滾動(dòng)頭條、地域新聞、傳播榜單、傳播路徑、趨勢(shì)分析、熱門話題、民生熱點(diǎn)、輿情分析、熱搜、熱詞、地域排行、地域熱點(diǎn)、熱門人物等等不同側(cè)面、角度、地域、領(lǐng)域、群體等分析，涵蓋新聞網(wǎng)站類、政府網(wǎng)站類、搜索門戶類、論壇社區(qū)類、微博類、微信類、新聞客戶端類等各類數(shù)據(jù)源。

2.1 可行性

技術(shù)上，本平臺(tái)依賴于其他公司的處理能力，能選擇接入平臺(tái)的大數(shù)據(jù)公司，要求有開放接口API，或有數(shù)據(jù)推送方式。否則就需要自己抓取結(jié)果網(wǎng)頁(yè)后入庫(kù)。商務(wù)上，購(gòu)買各家公司的大數(shù)據(jù)服務(wù)，并沒有在授權(quán)上限制在單一平臺(tái)多次展示給不同的商業(yè)用戶，從而可以從各家夠買數(shù)據(jù)服務(wù)后，綜合整理后展示給通過不同賬號(hào)登錄到本平臺(tái)的不同目標(biāo)客戶，通過多次銷售，從而均攤從各個(gè)公司購(gòu)買的數(shù)據(jù)服務(wù)的費(fèi)用，從而達(dá)到以低價(jià)格購(gòu)買高質(zhì)量新聞?shì)浨榉?wù)的目標(biāo)。

2.2 實(shí)施方案

平臺(tái)的實(shí)施，不僅僅是數(shù)據(jù)的整合，還要涉及到其他幾個(gè)方面：

（1）各新聞大數(shù)據(jù)公司現(xiàn)有服務(wù)內(nèi)容及對(duì)接：每個(gè)公司某些現(xiàn)有的服務(wù)，不用處理就可以直接展示給用戶，也具有權(quán)威性，符合用戶的需要。

（2）各大數(shù)據(jù)公司處理能力對(duì)接：根據(jù)各公司接口方式，完成各公司數(shù)據(jù)服務(wù)的對(duì)接，利用API、網(wǎng)頁(yè)抓取等方式。

（3）大數(shù)據(jù)公司處理結(jié)果的數(shù)據(jù)清洗、去重、元數(shù)據(jù)統(tǒng)一等，合并成一致的數(shù)據(jù)。各公司的數(shù)據(jù)定義方式不一致，比如基本信息、日期格式、打分取值范圍等等，需要統(tǒng)一格式、去掉重復(fù)數(shù)據(jù)，清洗成一致的有效數(shù)據(jù)。

（4）各方數(shù)據(jù)處理結(jié)果整合：加權(quán)綜合、本地化、定向處理等。在展示數(shù)據(jù)時(shí)，用到各公司數(shù)據(jù)，需要對(duì)其加權(quán)后整合，并且根據(jù)用戶需要，去掉無(wú)關(guān)的地域的數(shù)據(jù)，只保留用戶關(guān)心的、當(dāng)?shù)氐臄?shù)據(jù)。

（5）綜合調(diào)度：如在用戶對(duì)某項(xiàng)服務(wù)發(fā)起請(qǐng)求，能按照需要由平臺(tái)后臺(tái)分別對(duì)各大數(shù)據(jù)公司同時(shí)發(fā)起服務(wù)請(qǐng)求，再把返回的結(jié)果整合后展示給用戶。

當(dāng)然還包括個(gè)性化的本地?cái)?shù)據(jù)的抓取、個(gè)性化新聞?shì)浨榉?wù)、多租戶管理、不同使用單位的數(shù)據(jù)分離等等。

平臺(tái)功能舉例：如展示某條新聞的傳播效果，就要涵蓋報(bào)紙、網(wǎng)站、微信、微博、APP、論壇、社交網(wǎng)絡(luò)等多個(gè)渠道的傳播數(shù)據(jù)，才能更全面展示一條新聞的影響力、爆發(fā)點(diǎn)、時(shí)間線等，新聞受眾在不同新聞傳播渠道上的比重不同、各新聞渠道時(shí)效不同，新聞傳播表現(xiàn)在不同新聞傳播渠道的爆發(fā)期、發(fā)散期、削弱期、終結(jié)期時(shí)間段也各異，需要從各個(gè)數(shù)據(jù)平臺(tái)抓取結(jié)果后，通過加權(quán)整合形成一個(gè)相對(duì)完整客觀的時(shí)間線曲線,同時(shí)保存各新聞渠道的時(shí)間線供用戶參考，各個(gè)渠道的點(diǎn)擊量、評(píng)論數(shù)、受眾群體的畫像等也需要整合，展示成圖、表、曲線等方式，提供給用戶。

結(jié)語(yǔ)

云算力新聞大數(shù)據(jù)平臺(tái)在投入上，比各大數(shù)據(jù)公司的數(shù)據(jù)分析平臺(tái)肯定要少很多，數(shù)據(jù)存儲(chǔ)、運(yùn)算能力等方面，要求都很低，整合出來的理想效果并不差，并且比單一大數(shù)據(jù)公司的服務(wù)還有加強(qiáng)。當(dāng)然這些依賴于最終用戶數(shù)量的多少，來分?jǐn)偢鞔髷?shù)據(jù)公司的服務(wù)費(fèi)用，并且運(yùn)營(yíng)好這樣一個(gè)平臺(tái)，開發(fā)、維護(hù)的工作量也占一定的比例。