謝 歡 胡建農(nóng) 張雨驊

隨著各主要城市數(shù)字電視平移完成，廣電運營商將進入全面的視頻和數(shù)據(jù)業(yè)務運營階段，隨著各種數(shù)據(jù)的積累，運營商的各種經(jīng)營活動將逐步向精細化邁進，未來對各種信息數(shù)據(jù)的分析和挖掘?qū)椭\營商創(chuàng)造更多的價值，本文對重慶有線服務營銷分析系統(tǒng)的建設進行了分析和探討，對各種應用和技術(shù)進行介紹。

背景

三網(wǎng)融合的大背景下，未來廣電同電信運營商同質(zhì)化競爭不可避免。同時隨著整體平移在主要城市地區(qū)的完成以及各種雙向業(yè)務的開展，廣電運營商的戰(zhàn)略必然從業(yè)務和網(wǎng)絡建設為主向兼顧業(yè)務運營的方向轉(zhuǎn)型。未來的競爭，將考驗廣電運營商采集數(shù)據(jù)和分析數(shù)據(jù)的能力。這種數(shù)據(jù)庫營銷必然搭建在企業(yè)內(nèi)部各個環(huán)節(jié)和外部市場等方面的數(shù)據(jù)基礎上，從而挖潛出客戶的各種消費行為，更好的服務于市場，應對競爭。為了充分的發(fā)揮lT系統(tǒng)對企業(yè)經(jīng)營的輔助決策作用，把數(shù)據(jù)轉(zhuǎn)化為生產(chǎn)力，對廣電運營商而言實施服務營銷分析系統(tǒng)的建設刻不容緩。

系統(tǒng)功能及架構(gòu)

通過服務營銷分析系統(tǒng)的建設將融合運營商各部門的主要業(yè)務報表，并統(tǒng)籌的梳理和組織這些報表。同時重點保障展現(xiàn)統(tǒng)一和數(shù)據(jù)統(tǒng)一的原則。報表根據(jù)業(yè)務需求不同，分為固定報表和自定義報表。自定義報表根據(jù)各部門具體業(yè)務需求靈活定制。

各種報表可以按照部門進行分類如：市場部報表、節(jié)目集成部報表、計財部報表、客戶服務部、各分公司報表等等；

按照統(tǒng)計周期進行分類，根據(jù)具體需求分為日報、周報、旬報、月報、季報和年報；

按照業(yè)務進行分類包括：服務營銷類、客戶用戶類、產(chǎn)品優(yōu)惠類、經(jīng)營收入類、合作伙伴及渠道結(jié)算類、業(yè)務資源類、各種KPI考核類等等；

每層報表，按照角色進行分類，配置相關(guān)訪問權(quán)限，從框架上落實不同部門角色可訪問操作不同的報表，同級別不同角色可以訪問查看同張報表的不同數(shù)據(jù)內(nèi)容。

服務營銷系統(tǒng)的建設將從時間上擴充滿足廣電運營商各業(yè)務部門不斷發(fā)展的報表需求，并在數(shù)據(jù)源積累上逐步擴大報表的業(yè)務覆蓋范圍，另外，通過服務營銷分析系統(tǒng)的建設將強化廣電運營商指標庫建設，豐富指標內(nèi)容，滿足各業(yè)務部門對各項指標數(shù)據(jù)靈活查詢的需求，從而逐步建立統(tǒng)一的廣電運營商企業(yè)級的服務營銷分析中心。

服務營銷分析系統(tǒng)對各信息系統(tǒng)(包括業(yè)務支撐系統(tǒng)、運營支撐系統(tǒng)和管理支撐系統(tǒng))的元數(shù)據(jù)進行抽取、轉(zhuǎn)換和加載到數(shù)據(jù)倉庫中，通過圖形化的分析工具展現(xiàn)給使用人員各種分析報表。根據(jù)運營商各單位對某些主題的具體需求可以嘗試建立部門，地級縣市(對于省集中廣電運營商)數(shù)據(jù)集市，這樣在一定程度上可以緩解訪問數(shù)據(jù)倉庫的瓶頸，同時滿足各業(yè)務單位的多樣和靈活性的需求。

關(guān)鍵技術(shù)及應用實現(xiàn)

1、數(shù)據(jù)采集方式

服務營銷分析系統(tǒng)與各業(yè)務生產(chǎn)系統(tǒng)的接口主要有兩種方式：包括文件方式和庫表鏈接。

1)文件方式

從各業(yè)務生成系統(tǒng)中將數(shù)據(jù)通過FTP文件傳輸進行預處理和格式檢查后生成目標文件。

2)庫表連接

根據(jù)具體接口服務單元的定義，其他業(yè)務生產(chǎn)系統(tǒng)和服務營銷經(jīng)營分析系統(tǒng)分別定義為數(shù)據(jù)服務方和數(shù)據(jù)訪問方。服務方與訪問方之間的通訊是基于各自數(shù)據(jù)庫的連接服務。系統(tǒng)之間的接口數(shù)據(jù)由數(shù)據(jù)庫的連接服務來實現(xiàn)，可以實現(xiàn)大數(shù)據(jù)量的批量傳輸。其中數(shù)據(jù)庫表的信息交互方式，技術(shù)較為方便，且開發(fā)成本較低，或其變更維護角快。其通信過程包括三種：

●主動讀取。服務方負載不大，定時開放數(shù)據(jù)表的訪問權(quán)限，由訪問方主動發(fā)起會話，讀取數(shù)據(jù)，寫入本地。

一主動寫入。訪問方的負載不大，定時開放數(shù)據(jù)表的寫權(quán)限，由服務方主動發(fā)起會話，將數(shù)據(jù)寫入。這種方式要承擔開放數(shù)據(jù)庫寫權(quán)限的風險。

●中間表。服務方和訪問方，兩方都不能承載直連的事務，由服務方將數(shù)據(jù)寫入中間表，訪問方則讀取中間表。

2、ETL技術(shù)

ETL主要包括：數(shù)據(jù)的抽取(Extraction)、清洗(CIeaning)、轉(zhuǎn)換

(Transformation)、集成(Integration)和裝載(Loading)。其功能是把數(shù)據(jù)從各種存儲方式中拿出來，對數(shù)據(jù)進行檢驗和整理，確保數(shù)據(jù)倉庫中數(shù)據(jù)的一致性，還要對部分數(shù)據(jù)進行聚集操作，提供數(shù)據(jù)倉庫的查詢和分析速度。這些完整的、一致的、細節(jié)的和綜合的數(shù)據(jù)才可以進入數(shù)據(jù)倉庫。并根據(jù)數(shù)據(jù)倉庫的設計要求，對數(shù)據(jù)進行重新的組織和加工，轉(zhuǎn)換成數(shù)據(jù)倉庫的數(shù)據(jù)庫結(jié)構(gòu)和內(nèi)部形式并加載到數(shù)據(jù)倉庫中。ETL主要包括以下步驟：

1)數(shù)據(jù)的抽取和清洗

數(shù)據(jù)抽取是指將所需要的數(shù)據(jù)按一定格式從數(shù)據(jù)源中提取的過程。數(shù)據(jù)清洗包括對同步填寫空缺的值，平滑噪聲數(shù)據(jù)、識別、刪除孤立點，并解決不一致來“清洗”數(shù)據(jù)。

2)數(shù)據(jù)的轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換是將不同來源的數(shù)據(jù)，在類型、格式、編碼規(guī)則等方面進行統(tǒng)一、集成、規(guī)范化。為企業(yè)的分析、查詢工作提供統(tǒng)一、一致、集成的數(shù)據(jù)。根據(jù)實際情況，數(shù)據(jù)轉(zhuǎn)換可以在以下幾個環(huán)節(jié)中具體實現(xiàn)：

在抽取過程中進行數(shù)據(jù)處理；

●使用異步數(shù)據(jù)加載，以文件的方式處理；

在數(shù)據(jù)加載過程中進行數(shù)據(jù)處理；

進入數(shù)據(jù)倉庫以后再進行數(shù)據(jù)處理。

3)數(shù)據(jù)的集成：

將多個數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放在一致的數(shù)據(jù)存儲中。他涉及到實體識別問題、冗余檢測問題以及數(shù)據(jù)值沖突的檢測和處理等各種問題。如地域維度，在GIS數(shù)據(jù)庫和在業(yè)務支撐數(shù)據(jù)庫中就存在編碼和值都不一致的情況。

4)數(shù)據(jù)的裝載

經(jīng)過轉(zhuǎn)換的數(shù)據(jù)已經(jīng)是按照數(shù)據(jù)倉庫物理目標結(jié)構(gòu)規(guī)范后的數(shù)據(jù)，裝載過程是把這些數(shù)據(jù)導入數(shù)據(jù)倉庫，裝載過程可以與轉(zhuǎn)換過程同時完成，邊轉(zhuǎn)換邊裝載；也可以將轉(zhuǎn)換后的數(shù)據(jù)存入數(shù)據(jù)緩存池(可以是文本文件、二進制文件或數(shù)據(jù)庫表形式)，再利用特定的工具完成裝載過程。

數(shù)據(jù)的追加策略根據(jù)數(shù)據(jù)的抽取策略以及業(yè)務規(guī)則確定，

般有以下三種類型：直接追加、全部覆蓋、更新追加。

直接追加：是指每次加載日寸直接將數(shù)據(jù)追加到目的表中。

全部覆蓋：對于抽取數(shù)據(jù)本身已包括了數(shù)據(jù)的當前和所有歷史狀況，采用全部覆蓋方式。

更新追加：對于需要連續(xù)記錄業(yè)務的狀態(tài)變化，用當前的最新狀態(tài)同歷史狀態(tài)數(shù)據(jù)進行比對的情況采用更新追加的方式。

3、數(shù)據(jù)質(zhì)量保證

服務經(jīng)營分析系統(tǒng)是幫助廠電運營商各業(yè)務單位和領導層進行市場營銷分析和決策的重要工具，數(shù)據(jù)的質(zhì)量問題很大部分上決定了生成數(shù)據(jù)的真實性、一致性、完整性和準確性。

出現(xiàn)數(shù)據(jù)質(zhì)量問題的原因是多方面的，要保證服務經(jīng)營分析系統(tǒng)的數(shù)據(jù)質(zhì)量，在對服務營銷分析系統(tǒng)進行優(yōu)化的時候需要對各業(yè)務生產(chǎn)系統(tǒng)進行同步的完善。在系統(tǒng)建設過程中，需要由運營商牽頭成立業(yè)務生產(chǎn)系統(tǒng)廠家和服務營銷系統(tǒng)廠家商組成的數(shù)據(jù)質(zhì)量保障小組，負責協(xié)調(diào)跨系統(tǒng)間質(zhì)量問題的評估和解決。實施質(zhì)量保障措施的前提是不影響業(yè)務生產(chǎn)系統(tǒng)和經(jīng)營分析系統(tǒng)的正常運營。既要考慮措施的有效性和對系統(tǒng)執(zhí)行效率的影響又要能有效的保證數(shù)據(jù)質(zhì)量。

4、操作型數(shù)據(jù)存儲(ODS)

數(shù)據(jù)倉庫概念的提出把數(shù)據(jù)處理劃分為了操作型處理和分析型處理兩種不同類型，從而建立起了DB-DW的兩層體系結(jié)構(gòu)。但是隨著廣電雙向業(yè)務的大規(guī)模開展和對運維服務的不斷提升，運營商對數(shù)據(jù)的實時監(jiān)控和實時業(yè)務的需求將逐步增加，因此建議在實施過程中前期可采用DB-DW的兩層體系結(jié)構(gòu)，未來隨著業(yè)務的發(fā)展，逐步向DB-ODS-DW的三層體系結(jié)構(gòu)演進。

展望

“三分技術(shù)、七分管理、十二分數(shù)據(jù)”，從企業(yè)信息化戰(zhàn)略發(fā)展角度來看，還可借服務營銷分析系統(tǒng)的建設為契機全面清理廣電運營商長期積壓的各種信息數(shù)據(jù)不完善和不準確的問題。通過建立統(tǒng)一的服務營銷分析中心輔助廠電運營商對客戶市場細分進行研究和分析，從而有針對性的開展營銷活動，為企業(yè)帶來更高的價值，提升服務質(zhì)量，為全面的競爭提供數(shù)據(jù)支撐和保障工作。