国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

運(yùn)用大數(shù)據(jù)技術(shù)構(gòu)建運(yùn)營商網(wǎng)管數(shù)據(jù)互聯(lián)中心 提升網(wǎng)管數(shù)據(jù)服務(wù)能力

2017-04-13 10:23:54翁銳浩段新黃倚霄王銳
關(guān)鍵詞:數(shù)據(jù)倉庫

翁銳浩++段新++黃倚霄++王銳

摘 要:網(wǎng)管系統(tǒng)是各運(yùn)營商最核心的生產(chǎn)保障系統(tǒng),負(fù)責(zé)核心網(wǎng)、智能網(wǎng)、數(shù)據(jù)網(wǎng)等的安全、高效、穩(wěn)定運(yùn)行,確保數(shù)億用戶的通信質(zhì)量和信息安全。隨著4G LTE技術(shù)的深度應(yīng)用及移動(dòng)互聯(lián)網(wǎng)的不斷發(fā)展,用戶對移動(dòng)網(wǎng)絡(luò)的依賴度越來越高,同時(shí)對網(wǎng)絡(luò)質(zhì)量和性能的要求也越來越高,對于網(wǎng)管系統(tǒng)要求更全面分析用戶感知、更深層次挖掘網(wǎng)絡(luò)隱患、更實(shí)時(shí)發(fā)現(xiàn)故障和質(zhì)量下降、更準(zhǔn)確預(yù)測用戶投訴行為、更快速解決故障和質(zhì)量問題。由于此前的網(wǎng)管系統(tǒng)監(jiān)控、性能、資源、工單、投訴等系統(tǒng)各自建設(shè)、數(shù)據(jù)分散不利于構(gòu)建面向用戶的網(wǎng)絡(luò)質(zhì)量管理及優(yōu)化體系,該文通過運(yùn)用大數(shù)據(jù)技術(shù),構(gòu)建運(yùn)營商網(wǎng)管數(shù)據(jù)互聯(lián)中心,接入網(wǎng)管各類數(shù)據(jù),進(jìn)行關(guān)聯(lián)、清洗、互聯(lián),建立統(tǒng)一融合的數(shù)據(jù)模型,集中對外提供數(shù)據(jù),通過靈活統(tǒng)一的分布式數(shù)據(jù)互聯(lián)中心方案,大大提升網(wǎng)管數(shù)據(jù)服務(wù)能力。

關(guān)鍵詞:數(shù)據(jù)互聯(lián)中心 數(shù)據(jù)建模 數(shù)據(jù)倉庫 管控分析門戶

中圖分類號:TP399 文獻(xiàn)標(biāo)識碼:A 文章編號:1674-098X(2017)01(c)-0087-05

1 運(yùn)營商網(wǎng)管系統(tǒng)數(shù)據(jù)現(xiàn)狀及問題

隨著移動(dòng)LTE業(yè)務(wù)的迅速發(fā)展,網(wǎng)管數(shù)據(jù)迅速增長,對網(wǎng)管系統(tǒng)的數(shù)據(jù)支撐要求也越來越高,急需網(wǎng)管數(shù)據(jù)能更全面分析用戶感知、更深層次挖掘網(wǎng)絡(luò)隱患、更實(shí)時(shí)發(fā)現(xiàn)故障和質(zhì)量下降、更準(zhǔn)確預(yù)測用戶投訴行為、更快速解決故障和質(zhì)量問題。但目前各網(wǎng)管系統(tǒng)仍以功能性場景服務(wù)為主,只能解決單一場景的問題,在數(shù)據(jù)的關(guān)聯(lián)服務(wù)能力方面較弱,無法有效支撐面向用戶的數(shù)據(jù)服務(wù)支撐能力。目前主要存在以下問題。

(1)在使用方層面,希望能將各類網(wǎng)管數(shù)據(jù)(告警、性能、資源、工單、工程、拓?fù)洹軠y、投訴)進(jìn)行集中管理、對地市共享,實(shí)現(xiàn)各類網(wǎng)管數(shù)據(jù)的集中互聯(lián)、關(guān)聯(lián)、清洗、共享,并希望實(shí)現(xiàn)網(wǎng)管數(shù)據(jù)和信令數(shù)據(jù)的關(guān)聯(lián),支持從網(wǎng)管數(shù)據(jù)到信令詳情的追溯。

(2)從應(yīng)用層面考慮,應(yīng)用對于數(shù)據(jù)實(shí)時(shí)性要求越來越高,目前已有的系統(tǒng)無法滿足應(yīng)用的實(shí)時(shí)性要求;應(yīng)用從多個(gè)系統(tǒng)獲取數(shù)據(jù)成本較大,不利于上層應(yīng)用敏捷開發(fā)、快速部署的訴求,與互聯(lián)網(wǎng)新架構(gòu)的發(fā)展趨勢不相符。

(3)從數(shù)據(jù)層面考慮,多個(gè)系統(tǒng)形成數(shù)據(jù)孤島,缺少統(tǒng)一的接入、清洗、建模的管理,需要統(tǒng)一的數(shù)據(jù)接入、統(tǒng)一的計(jì)算、統(tǒng)一的接口共享來打破數(shù)據(jù)孤島;各自獨(dú)立系統(tǒng)運(yùn)維、管理面臨很大難題,通過數(shù)據(jù)互聯(lián)統(tǒng)一運(yùn)維,提高資源利用率和處理效率;匹配互聯(lián)網(wǎng)的發(fā)展趨勢,數(shù)據(jù)統(tǒng)一互聯(lián)形成大數(shù)據(jù)平臺(tái)成為互聯(lián)網(wǎng)主流選擇。

2 利用大數(shù)據(jù)技術(shù)構(gòu)建運(yùn)營商網(wǎng)管數(shù)據(jù)互聯(lián)中心的方法

針對目前網(wǎng)管系統(tǒng)數(shù)據(jù)分散、數(shù)據(jù)服務(wù)能力較弱,無法有效支撐運(yùn)營商面向用戶的網(wǎng)絡(luò)質(zhì)量管理要求,該文提出利用大數(shù)據(jù)技術(shù)構(gòu)建網(wǎng)管數(shù)據(jù)互聯(lián)中心,對分散的網(wǎng)管數(shù)據(jù)進(jìn)行互聯(lián)、清洗、關(guān)聯(lián),并構(gòu)建靈活統(tǒng)一的數(shù)據(jù)服務(wù)層,有效提高數(shù)據(jù)服務(wù)能力,支撐面向用戶的網(wǎng)絡(luò)質(zhì)量管理要求,如投訴預(yù)警、實(shí)時(shí)監(jiān)控、省市共享、挖掘分析等應(yīng)用。

該文方法主要包括兩大階段:調(diào)研分析驗(yàn)證階段和融合互聯(lián)實(shí)現(xiàn)階段。

(1)調(diào)研分析驗(yàn)證階段。

該階段主要是研究需求與數(shù)據(jù)、探索數(shù)據(jù)之間的業(yè)務(wù)聯(lián)系,可按如下步驟進(jìn)行。

①調(diào)研梳理。

調(diào)研梳理各類業(yè)務(wù)和數(shù)據(jù)模型分布、用途等信息。

調(diào)研梳理各系統(tǒng)數(shù)據(jù)對外提供共享接口形式、共享機(jī)制、更新頻率、數(shù)據(jù)粒度等。

數(shù)據(jù)資源調(diào)研分析示例見表1。

②模型分析。

對各應(yīng)用需求分類匯總,進(jìn)行共性分析。

分析各應(yīng)用需求與數(shù)據(jù)支撐的差距,了解短板所在。

分析省級數(shù)據(jù),研究數(shù)據(jù)關(guān)聯(lián)節(jié)點(diǎn),進(jìn)行多數(shù)據(jù)關(guān)聯(lián)模型設(shè)計(jì)。

建模分析方法示例如下。

需要解決的問題:定位用戶投訴原因。

數(shù)據(jù)建模方法:數(shù)據(jù)源:信令數(shù)據(jù)、投訴數(shù)據(jù)、性能數(shù)據(jù)、資源數(shù)據(jù)。關(guān)聯(lián)維度:用戶、時(shí)間、業(yè)務(wù)、網(wǎng)元。關(guān)聯(lián)指標(biāo):投訴事件、信令事件、網(wǎng)元性能、網(wǎng)元資源。模型價(jià)值:實(shí)現(xiàn)快速地投訴問題原因溯源定位。

數(shù)據(jù)融合互聯(lián)分析模型:多數(shù)據(jù)源,跨數(shù)據(jù)維度匹配、指標(biāo)關(guān)聯(lián),實(shí)現(xiàn)深入分析。

用戶投訴無法呼叫。

根據(jù)投訴號碼時(shí)間點(diǎn)關(guān)聯(lián)用戶信令事件(是否網(wǎng)絡(luò)原因)。

根據(jù)信令中位置信息關(guān)聯(lián)資源數(shù)據(jù)。

根據(jù)資源數(shù)據(jù)關(guān)聯(lián)呼叫失敗發(fā)生的小區(qū)接通性能指標(biāo)。

小區(qū)資源不足、小區(qū)覆蓋質(zhì)量差、小區(qū)設(shè)備存在故障等原因定位。

③實(shí)施驗(yàn)證。

預(yù)采集所需各類數(shù)據(jù),包括傳統(tǒng)性能數(shù)據(jù)、工單數(shù)據(jù)、告警數(shù)據(jù)、投訴數(shù)據(jù)等。

關(guān)聯(lián)建模,構(gòu)建新的數(shù)據(jù)模型。

搭建數(shù)據(jù)DEMO,驗(yàn)證模型設(shè)計(jì)。

(2)融合互聯(lián)實(shí)現(xiàn)階段。

利用大數(shù)據(jù)技術(shù)構(gòu)建運(yùn)營商網(wǎng)管數(shù)據(jù)互聯(lián)中心的構(gòu)建方法,構(gòu)建網(wǎng)管數(shù)據(jù)互聯(lián)中心,主要包括5個(gè)步驟:統(tǒng)一數(shù)據(jù)接入、統(tǒng)一數(shù)據(jù)建模、集中數(shù)據(jù)存儲(chǔ)、統(tǒng)一數(shù)據(jù)共享、統(tǒng)一平臺(tái)管控。

統(tǒng)一數(shù)據(jù)接入:負(fù)責(zé)統(tǒng)一的數(shù)據(jù)接入。可根據(jù)業(yè)務(wù)需求和數(shù)據(jù)類型提供多種接入方式;數(shù)據(jù)接入后根據(jù)規(guī)則對數(shù)據(jù)進(jìn)行初次清洗。

統(tǒng)一數(shù)據(jù)建模:負(fù)責(zé)對接入數(shù)據(jù)進(jìn)行統(tǒng)一建模。對數(shù)據(jù)做統(tǒng)一的標(biāo)準(zhǔn)化處理,同時(shí)也可以根據(jù)業(yè)務(wù)規(guī)則對多數(shù)據(jù)源進(jìn)行關(guān)聯(lián)。

集中數(shù)據(jù)存儲(chǔ):負(fù)責(zé)對建模后數(shù)據(jù)的統(tǒng)一存儲(chǔ)。運(yùn)用Hadoop分布式技術(shù),對于數(shù)據(jù)查詢時(shí)延要求高的可以存儲(chǔ)在Hbase上;對于數(shù)據(jù)需要提供靈活查詢方式的可以存儲(chǔ)在Hive上。

統(tǒng)一數(shù)據(jù)共享:負(fù)責(zé)數(shù)據(jù)的統(tǒng)一對外共享。統(tǒng)一的數(shù)據(jù)共享可以有效防止數(shù)據(jù)泄露,降低上層應(yīng)用獲取數(shù)據(jù)的成本??筛鶕?jù)業(yè)務(wù)需求提供多種數(shù)據(jù)共享方式,整體上分實(shí)時(shí)獲取和非實(shí)時(shí)獲取方式。

統(tǒng)一平臺(tái)管控:負(fù)責(zé)對網(wǎng)管數(shù)據(jù)互聯(lián)中心進(jìn)行管理和控制。包括對用戶的安全認(rèn)證、數(shù)據(jù)獲取方的權(quán)限管理、互聯(lián)中心的數(shù)據(jù)進(jìn)行質(zhì)量監(jiān)控等。

3 具體實(shí)現(xiàn)方法

3.1 互聯(lián)中心建設(shè)

3.1.1 總體架構(gòu)圖

網(wǎng)管數(shù)據(jù)互聯(lián)中心的架構(gòu),主要包括5個(gè)核心模塊:南向數(shù)據(jù)接入層、數(shù)據(jù)關(guān)聯(lián)中心、數(shù)據(jù)倉庫、北向共享接口層、互聯(lián)中心管控分析門戶(見圖1)。

3.1.2 功能模塊介紹

(1)南向數(shù)據(jù)接入層。

負(fù)責(zé)各種網(wǎng)絡(luò)數(shù)據(jù)的實(shí)時(shí)性接入和非實(shí)時(shí)性接入,實(shí)時(shí)性要求高的數(shù)據(jù)通過Kafka方式接入,對實(shí)時(shí)性無要求的數(shù)據(jù)則通過Flume方式接入。需接入的數(shù)據(jù)如下。

①工單:開通、故障、投訴。

②網(wǎng)絡(luò)變更:工程割接、其他變更操作等。

③網(wǎng)絡(luò)資源:2/3/4G基站信息、2/3/4G小區(qū)信息、BSC、RNC、SGSN、MME等網(wǎng)絡(luò)資源信息。

④網(wǎng)管性能:從采集平臺(tái)獲取分支進(jìn)行計(jì)算匯總,實(shí)時(shí)監(jiān)控需求從采集平臺(tái)直接送綜合監(jiān)控。

⑤告警:歷史告警(補(bǔ)充了很多處理信息);實(shí)時(shí)告警(沒有工單狀態(tài)),綜合監(jiān)控目前沒有實(shí)時(shí)的告警的對外共享接口,通過MQ消息送到Kafka總線,經(jīng)過storm清洗后入Hbase。

⑥撥測:基于探針撥測和仿真測試。

⑦用戶投訴:批量投訴、廣義投訴等。

⑧其他網(wǎng)絡(luò)數(shù)據(jù),如日志等,后續(xù)檢視具體應(yīng)用的數(shù)據(jù)需求再確定。

⑨無線專業(yè)的數(shù)據(jù)范圍待后續(xù)結(jié)合地市需求和無優(yōu)中心溝通后細(xì)化,比如投訴黑點(diǎn)、MR等。

(2)數(shù)據(jù)關(guān)聯(lián)中心。

數(shù)據(jù)關(guān)聯(lián)中心是對南向接入數(shù)據(jù)進(jìn)行數(shù)據(jù)建模、對數(shù)據(jù)模型化處理,主要分為“資源ODM化”和“多數(shù)據(jù)源關(guān)聯(lián)”。

①資源信息ODM化:通過加載資源數(shù)據(jù)后,采用Spark Streaming技術(shù)對南向接入的其他數(shù)據(jù)源,以實(shí)時(shí)流的方式進(jìn)行高效資源維度信息規(guī)范化處理,回填資源信息,為后續(xù)的多數(shù)據(jù)源關(guān)聯(lián)提供統(tǒng)一標(biāo)準(zhǔn)的資源維度。

②多數(shù)據(jù)源關(guān)聯(lián):是依據(jù)數(shù)據(jù)融合模型場景,對實(shí)時(shí)計(jì)算需求場景中使用Spark SQL,在離線計(jì)算需求場景中使用Hive,對ODM化輸出的各數(shù)據(jù)源的以資源維度為索引進(jìn)行數(shù)據(jù)關(guān)聯(lián)和匯聚的處理。

數(shù)據(jù)源關(guān)聯(lián)原則(三同一全原則):同最小維度關(guān)聯(lián),對最小維度級別相同的數(shù)據(jù)源進(jìn)行關(guān)聯(lián)。同網(wǎng)絡(luò)類型關(guān)聯(lián),關(guān)聯(lián)的數(shù)據(jù)源中只存在某種網(wǎng)絡(luò)類型(2、3、4G)的,則根據(jù)網(wǎng)絡(luò)類型維度分別關(guān)聯(lián)輸出模型。同數(shù)據(jù)量級關(guān)聯(lián),進(jìn)行關(guān)聯(lián)的數(shù)據(jù)源必須在同一數(shù)據(jù)量級,否則分開模型輸出。全字段關(guān)聯(lián),關(guān)聯(lián)的各數(shù)據(jù)源中維度外的字段全部輸出到模型里。

數(shù)據(jù)管理中心處理包括實(shí)時(shí)計(jì)算框架和離線計(jì)算框架2類。

①實(shí)時(shí)計(jì)算框架:接入流式消息數(shù)據(jù),數(shù)據(jù)從接入系統(tǒng)到計(jì)算出結(jié)果耗時(shí)在1 min內(nèi),進(jìn)程常駐;計(jì)算框架為Spark Steaming,對接消息隊(duì)列Kafka獲取消息。

②離線計(jì)算框架:接入文件數(shù)據(jù),數(shù)據(jù)從接入系統(tǒng)到計(jì)算出結(jié)果耗時(shí)在5 min以上,按需啟動(dòng)/結(jié)束進(jìn)程;計(jì)算框架為Spark和Hive,從HDFS獲取輸入數(shù)據(jù)。

(3)數(shù)據(jù)倉庫。

數(shù)據(jù)倉庫負(fù)責(zé)共享數(shù)據(jù)的統(tǒng)一存儲(chǔ),包括ODM化后的原始接入數(shù)據(jù)和關(guān)聯(lián)后的融合模型數(shù)據(jù)。ODM化后的原始接入數(shù)據(jù)因其數(shù)據(jù)量大,存儲(chǔ)在Hbase集群以提供高速的海量數(shù)據(jù)查詢響應(yīng)。關(guān)聯(lián)后的融合模型數(shù)據(jù)是對多數(shù)據(jù)源關(guān)聯(lián)匯聚后的統(tǒng)計(jì)數(shù)據(jù),存儲(chǔ)在Hive以提供靈活組合的高效查詢。

(4)北向共享接口層。

北向共享接口層是一種分布式接口服務(wù)層,負(fù)責(zé)數(shù)據(jù)對外開放共享。外部系統(tǒng)可以通過5種方式獲取數(shù)據(jù)。

實(shí)時(shí)獲取Hbase數(shù)據(jù)。以REST API方式,對外發(fā)布GET(URL)接口,將查詢條件封裝在URL?para1=xxx&

para2=xxx,以JSON的格式返回查詢數(shù)據(jù)。此方式主要用于查詢結(jié)果集較小、實(shí)時(shí)性要求高的場景。

異步獲取Hbase數(shù)據(jù)。以Kafka+FTP方式,查詢結(jié)果較大時(shí)使用此方式,將結(jié)果寫入文件中,然后上傳到FTP服務(wù)器上,通過Kafka返回如何獲取文件的信息。此方式主要用于查詢結(jié)果集較大、實(shí)時(shí)性要求低的場景。

異步獲取即系查詢數(shù)據(jù)。以Kafka+FTP方式,查詢結(jié)果較大時(shí)使用此方式,將結(jié)果寫入文件中,然后上傳到FTP服務(wù)器上,通過Kafka返回如何獲取文件的信息。此方式主要用于查詢結(jié)果集較大、實(shí)時(shí)性要求低的場景。與第二種的差別是,第二種方式查詢的是Hbase數(shù)據(jù)、而此方式查詢的是Hive數(shù)據(jù)。

FTP定期獲取數(shù)據(jù)。數(shù)據(jù)互聯(lián)中心把使用方需要的數(shù)據(jù)(Hbase、Hive數(shù)據(jù))上傳至FTP,使用方定期掃描FTP服務(wù)器,發(fā)現(xiàn)有新文件則獲取下來??紤]到多用戶頻繁掃描FTP服務(wù)器會(huì)增加服務(wù)器壓力,目前未使用該方式。

獲取Kafka實(shí)時(shí)數(shù)據(jù)。通過Kafka接口,實(shí)時(shí)傳輸數(shù)據(jù),使用方訂閱相應(yīng)Topic即可獲取所需數(shù)據(jù)。此方式主要用于對數(shù)據(jù)實(shí)時(shí)性要求極高的場景。

(5)互聯(lián)中心管控分析門戶。

互聯(lián)中心管控分析門戶用于對互聯(lián)中心進(jìn)行可視化管理和控制,分5個(gè)子模塊:元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、接口管理、安全管理、用戶權(quán)限管理。

元數(shù)據(jù)管理。對南向接入數(shù)據(jù)進(jìn)行可視化管理;對資源數(shù)據(jù)的管理和對數(shù)據(jù)源的資源關(guān)聯(lián)規(guī)則配置,包括資源列表和資源關(guān)聯(lián)規(guī)則兩部分;提供在ODM化和數(shù)據(jù)源關(guān)聯(lián)以后、最終共享給外部系統(tǒng)的模型數(shù)據(jù)視圖;提供接入數(shù)據(jù)的數(shù)據(jù)流向圖。

數(shù)據(jù)質(zhì)量。對互聯(lián)中心的接入數(shù)據(jù)的完整性進(jìn)行統(tǒng)計(jì)、給出缺失的文件;統(tǒng)計(jì)各模型的資源關(guān)聯(lián)率、關(guān)聯(lián)率低的模型及時(shí)告警。

接口管理。管理南向數(shù)據(jù)接入的種類、接入方式、采集頻率等信息;管理北向共享數(shù)據(jù)的種類、共享方式、時(shí)間粒度等信息。

安全管理。對用戶行為進(jìn)行監(jiān)控、對敏感數(shù)據(jù)進(jìn)行脫敏等。

用戶權(quán)限管理。對每個(gè)訪問互聯(lián)中心的賬號進(jìn)行權(quán)限管理,按要求進(jìn)行授權(quán)。

3.1.3 數(shù)據(jù)總體的流向處理

互聯(lián)中心數(shù)據(jù)流總體上分2類:實(shí)時(shí)數(shù)據(jù)流和非實(shí)時(shí)數(shù)據(jù)流。

(1)實(shí)時(shí)數(shù)據(jù)流。實(shí)時(shí)數(shù)據(jù)流向如圖2所示。

(2)非實(shí)時(shí)數(shù)據(jù)流。非實(shí)時(shí)數(shù)據(jù)流向如圖3所示。

3.2 互聯(lián)中心應(yīng)用場景介紹

3.2.1 已落地應(yīng)用

網(wǎng)管數(shù)據(jù)互聯(lián)中心目前已接入5類數(shù)據(jù),有效支撐智能研判、自研競賽、地市共享等應(yīng)用。接入數(shù)據(jù)及支持的應(yīng)用情況見表2。

后續(xù)將接入話務(wù)網(wǎng)性能數(shù)據(jù)、數(shù)通網(wǎng)性能數(shù)據(jù)、綜分系統(tǒng)數(shù)據(jù)、有線網(wǎng)優(yōu)等性能指標(biāo)數(shù)據(jù),客響數(shù)據(jù),廣義投訴,集客、家寬等資源數(shù)據(jù),HSS日志數(shù)據(jù)等數(shù)據(jù),豐富網(wǎng)管數(shù)據(jù),以便支持更多的網(wǎng)管應(yīng)用。

3.2.2 典型應(yīng)用介紹

故障投訴預(yù)警系統(tǒng):通過互聯(lián)中心北向接口,獲取所需要的告警、工單、網(wǎng)絡(luò)變更、用戶投訴等數(shù)據(jù)。

數(shù)據(jù)共享方式如圖4所示。

對于工單、網(wǎng)絡(luò)變更、投訴等數(shù)據(jù)量較小、實(shí)時(shí)性要求高的數(shù)據(jù),故障投訴預(yù)警系統(tǒng)可以實(shí)時(shí)查詢Hbase獲取數(shù)據(jù),即圖4中A方式。

對于告警數(shù)據(jù),由于數(shù)據(jù)量大、且實(shí)時(shí)性要求也較高,故障投訴預(yù)警系統(tǒng)可以通過異步查詢Hbase,即圖4中B方式,在Hbase查詢完數(shù)據(jù)后把數(shù)據(jù)文件上傳至數(shù)據(jù)共享機(jī),同時(shí)會(huì)發(fā)一條通知消息至Kafka,故障投訴預(yù)警系統(tǒng)可以從該消息中獲取到文件信息,然后根據(jù)獲取的文件信息通過FTP方式從數(shù)據(jù)共享機(jī)獲取數(shù)據(jù)文件。

對于投訴歷史數(shù)據(jù)、告警歷史數(shù)據(jù)等,數(shù)據(jù)量較大、實(shí)時(shí)性要求較低,故障投訴預(yù)警系統(tǒng)可以通過異步查詢Hive,即圖4中C方式,在Hive查詢完數(shù)據(jù)后把數(shù)據(jù)文件上傳至數(shù)據(jù)共享機(jī),同時(shí)會(huì)發(fā)一條通知消息至Kafka,故障投訴預(yù)警系統(tǒng)可以從該消息中獲取到文件信息,然后根據(jù)獲取的文件信息通過FTP方式從數(shù)據(jù)共享機(jī)獲取數(shù)據(jù)文件。

4 結(jié)語

利用成熟的大數(shù)據(jù)技術(shù),借鑒互聯(lián)網(wǎng)公司經(jīng)驗(yàn),構(gòu)建統(tǒng)一的網(wǎng)管數(shù)據(jù)互聯(lián)中心,統(tǒng)一數(shù)據(jù)處理,融合多源數(shù)據(jù),進(jìn)行關(guān)聯(lián)分析、挖掘分析,可以構(gòu)建更高效的業(yè)務(wù)分析模型,滿足業(yè)務(wù)發(fā)展要求;通過有效數(shù)據(jù)融合互聯(lián),進(jìn)行線性回歸,溯源分析,實(shí)現(xiàn)更精準(zhǔn)的端到端分析,可以更好地優(yōu)化客戶體驗(yàn),提高客戶滿意度。

該文的意義在于提供一個(gè)高效可行的方法,破除網(wǎng)管系統(tǒng)煙囪建設(shè)、數(shù)據(jù)孤島、支撐力度不足問題,通過集中的網(wǎng)管數(shù)據(jù)互聯(lián)中心,提供更強(qiáng)大的數(shù)據(jù)處理能力,更高效的分析模型,更好地促進(jìn)業(yè)務(wù)發(fā)展,提高企業(yè)綜合競爭力。

參考文獻(xiàn)

[1] 單紹龍,張西群,劉光富.互聯(lián)異構(gòu)數(shù)據(jù)庫系統(tǒng)構(gòu)建綜合數(shù)據(jù)中心平臺(tái)的研究[J].計(jì)算機(jī)光盤軟件與應(yīng)用,2012(11):155.

[2] 陳吉榮,樂嘉錦.基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J].計(jì)算機(jī)工程與科學(xué),2013,35(10):25-35.

[3] 石嵐.電信綜合網(wǎng)管系統(tǒng)中的數(shù)據(jù)管理[J].廣東通信技術(shù),2007,27(12):40-44.

猜你喜歡
數(shù)據(jù)倉庫
基于數(shù)據(jù)倉庫的數(shù)據(jù)傾斜解決方案研究
基于數(shù)據(jù)倉庫的住房城鄉(xiāng)建設(shè)信息系統(tǒng)整合研究
頁巖氣工程大數(shù)據(jù)倉庫建設(shè)與管理系統(tǒng)開發(fā)
錄井工程(2017年3期)2018-01-22 08:39:50
分布式存儲(chǔ)系統(tǒng)在液晶面板制造數(shù)據(jù)倉庫中的設(shè)計(jì)
電子制作(2016年15期)2017-01-15 13:39:15
探析電力系統(tǒng)調(diào)度中數(shù)據(jù)倉庫技術(shù)的應(yīng)用
數(shù)據(jù)倉庫系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
基于數(shù)據(jù)倉庫的數(shù)據(jù)分析探索與實(shí)踐
數(shù)據(jù)復(fù)用在存儲(chǔ)數(shù)據(jù)倉庫中的運(yùn)用
卷宗(2014年12期)2014-04-02 15:22:16
論銷售數(shù)據(jù)倉庫的需求分析和概念模型設(shè)計(jì)
河南科技(2014年5期)2014-02-27 14:08:51
應(yīng)用數(shù)據(jù)倉庫可以給我們帶來什么
淮阳县| 陕西省| 新泰市| 许昌市| 福建省| 巴林左旗| 敖汉旗| 信丰县| 宽甸| 丽水市| 施甸县| 乌拉特前旗| 河西区| 遂川县| 赫章县| 肥西县| 莱州市| 吉隆县| 宝坻区| 哈密市| 新乐市| 锡林浩特市| 鹿邑县| 涡阳县| 镇赉县| 家居| 靖州| 三穗县| 团风县| 抚松县| 合作市| 防城港市| 肥城市| 吉木乃县| 彩票| 偃师市| 普洱| 江阴市| 东阳市| 古丈县| 宁明县|