隋合軾

（國(guó)網(wǎng)營(yíng)口供電公司，遼寧 營(yíng)口 115002）

基于一體機(jī)架構(gòu)的海量數(shù)據(jù)集中與處理

隋合軾

（國(guó)網(wǎng)營(yíng)口供電公司，遼寧 營(yíng)口 115002）

通過(guò)營(yíng)銷管控信息系統(tǒng)建設(shè)實(shí)踐，針對(duì)供電企業(yè)各專業(yè)系統(tǒng)海量數(shù)據(jù)集中與處理，提出了基于數(shù)據(jù)庫(kù)一體機(jī)的解決方案，從業(yè)務(wù)邏輯、數(shù)據(jù)架構(gòu)、物理架構(gòu)等方面論述實(shí)現(xiàn)途徑，并以實(shí)例驗(yàn)證數(shù)據(jù)庫(kù)一體機(jī)方案的技術(shù)優(yōu)勢(shì)。

數(shù)據(jù)庫(kù)一體機(jī)；海量數(shù)據(jù)；數(shù)據(jù)集中；數(shù)據(jù)處理

1 概述

隨著集約化、精益化管理的不斷深入推進(jìn)，電網(wǎng)企業(yè)各專業(yè)系統(tǒng)亟需針對(duì)多級(jí)部署的專業(yè)系統(tǒng)數(shù)據(jù)實(shí)現(xiàn)橫向集成，縱向集中，便于上級(jí)機(jī)構(gòu)即時(shí)訪問(wèn)、處理、分析。以總部營(yíng)銷管控信息系統(tǒng)建設(shè)為例，提出基于數(shù)據(jù)庫(kù)一體機(jī)架構(gòu)的海量數(shù)據(jù)實(shí)時(shí)處理方案，并以實(shí)際運(yùn)行案例驗(yàn)證取得的實(shí)踐效果。

建設(shè)總部營(yíng)銷管控信息系統(tǒng)，最終形成縱貫總部、省、地市三級(jí)營(yíng)銷信息管控系統(tǒng)，支撐營(yíng)銷業(yè)務(wù)統(tǒng)一策劃、統(tǒng)籌部署、全程管控，實(shí)現(xiàn)營(yíng)銷關(guān)鍵指標(biāo)、核心業(yè)務(wù)、重要業(yè)務(wù)環(huán)節(jié)的實(shí)時(shí)監(jiān)控、動(dòng)態(tài)評(píng)價(jià)、持續(xù)改進(jìn)，有利于提升公司總部營(yíng)銷戰(zhàn)略決策能力、運(yùn)營(yíng)管控能力、風(fēng)險(xiǎn)防范能力、服務(wù)監(jiān)督能力、市場(chǎng)拓展能力。針對(duì)這樣一個(gè)大規(guī)模數(shù)據(jù)處理并要求實(shí)時(shí)展現(xiàn)的重要業(yè)務(wù)系統(tǒng)的建設(shè)，經(jīng)過(guò)大量的前期論證分析，在比對(duì)了多種方案后，確定選擇Oracle Exadata數(shù)據(jù)庫(kù)一體機(jī)方案，并進(jìn)行了系列開發(fā)和驗(yàn)證工作。

2 基于數(shù)據(jù)庫(kù)一體機(jī)的系統(tǒng)架構(gòu)

2.1 總體架構(gòu)

總部營(yíng)銷管控信息系統(tǒng)以27個(gè)網(wǎng)省的營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)為數(shù)據(jù)源，通過(guò)數(shù)據(jù)庫(kù)復(fù)制技術(shù)將數(shù)據(jù)從網(wǎng)省復(fù)制到總部，數(shù)據(jù)包括各省的稽查監(jiān)控業(yè)務(wù)匯總數(shù)據(jù)和用戶的明細(xì)數(shù)據(jù)。系統(tǒng)采用B／S架構(gòu)，包括運(yùn)營(yíng)動(dòng)態(tài)和稽查監(jiān)控兩大功能。其中，運(yùn)營(yíng)動(dòng)態(tài)模塊直接使用各網(wǎng)省的上傳數(shù)據(jù)，對(duì)電量、電價(jià)、電費(fèi)、服務(wù)質(zhì)量以及設(shè)備等信息進(jìn)行實(shí)時(shí)展示。這些數(shù)據(jù)在網(wǎng)省的系統(tǒng)中已經(jīng)安裝統(tǒng)一的結(jié)構(gòu)進(jìn)行了處理，在總部利用數(shù)據(jù)庫(kù)復(fù)制技術(shù)實(shí)現(xiàn)了“多表對(duì)一表”的集中，從業(yè)務(wù)的角度來(lái)看，這些數(shù)據(jù)基本是實(shí)時(shí)的，即網(wǎng)省的變化會(huì)立即同步到總部；稽查監(jiān)控模塊在直接使用這些實(shí)時(shí)數(shù)據(jù)的同時(shí)，還需要利用存儲(chǔ)過(guò)程生成不同維度的數(shù)據(jù)，支撐稽查監(jiān)控任務(wù)的開展。

總部營(yíng)銷管控信息系統(tǒng)建設(shè)模式采取總部一級(jí)部署應(yīng)用，總體架構(gòu)如圖1所示。即在總部管理信息大區(qū)部署一套軟件，橫向集成總部運(yùn)行管控系統(tǒng)與EMS、營(yíng)銷分析與輔助決策、電網(wǎng)GIS空間信息服務(wù)平臺(tái)等系統(tǒng)數(shù)據(jù)及應(yīng)用集成。縱向貫通總部運(yùn)行管控系統(tǒng)與網(wǎng)省營(yíng)銷稽查監(jiān)控、營(yíng)銷業(yè)務(wù)應(yīng)用、用電信息采集、電動(dòng)汽車、能效管理等系統(tǒng)形成數(shù)據(jù)交換、流程貫通［1］。

圖1 總部營(yíng)銷管控信息系統(tǒng)總體架構(gòu)

2.2 數(shù)據(jù)架構(gòu)

總部營(yíng)銷管控信息系統(tǒng)采用數(shù)據(jù)復(fù)制技術(shù)，實(shí)現(xiàn)網(wǎng)省用電信息采集的縱向數(shù)據(jù)上傳，為了避免從各個(gè)網(wǎng)省復(fù)制上來(lái)的數(shù)據(jù)之間的主鍵、外鍵沖突等問(wèn)題，在總部將每個(gè)省的上傳數(shù)據(jù)獨(dú)立存儲(chǔ)，既每個(gè)網(wǎng)省建立一個(gè)schema，同時(shí)建立總部schema作為各網(wǎng)省schema的“上級(jí)用戶”，該用戶有權(quán)限訪問(wèn)存儲(chǔ)在總部的各網(wǎng)省schema內(nèi)的數(shù)據(jù)。

總部的數(shù)據(jù)存儲(chǔ)采用27個(gè)網(wǎng)省schema加1個(gè)總部schema的方式，數(shù)據(jù)架構(gòu)如圖2所示。網(wǎng)省schema用于存儲(chǔ)該網(wǎng)省的基礎(chǔ)數(shù)據(jù)（包括實(shí)時(shí)數(shù)據(jù)、明細(xì)數(shù)據(jù)、分析數(shù)據(jù)等）；總部schema存儲(chǔ)來(lái)自總部運(yùn)行管控系統(tǒng)產(chǎn)生的基礎(chǔ)數(shù)據(jù)、管理數(shù)據(jù)和從各網(wǎng)省數(shù)據(jù)中生成的匯總數(shù)據(jù)，供前端應(yīng)用對(duì)其進(jìn)行訪問(wèn)。將網(wǎng)省用電信息采集系統(tǒng)、營(yíng)銷業(yè)務(wù)應(yīng)用系統(tǒng)中的數(shù)據(jù)，按照總部營(yíng)銷管控信息系統(tǒng)的要求歸集到數(shù)據(jù)準(zhǔn)備區(qū)（為了保障網(wǎng)省用電信息采集系統(tǒng)的正常使用，在網(wǎng)省用電信息采集系統(tǒng)中劃分?jǐn)?shù)據(jù)應(yīng)用區(qū)和數(shù)據(jù)準(zhǔn)備區(qū)）?？偛康臄?shù)據(jù)接收區(qū)和網(wǎng)省數(shù)據(jù)準(zhǔn)備區(qū)數(shù)據(jù)結(jié)構(gòu)完全一致，去除所有的主、外鍵關(guān)系，降低由于數(shù)據(jù)校驗(yàn)引起的同步風(fēng)險(xiǎn)。

這里數(shù)據(jù)傳輸是指各網(wǎng)省數(shù)據(jù)從網(wǎng)省準(zhǔn)備庫(kù)傳遞至總部鏡像庫(kù)的過(guò)程。經(jīng)分析測(cè)算，各網(wǎng)省傳輸至總部的數(shù)據(jù)量較大，更新數(shù)據(jù)達(dá)10 MB／s，并且實(shí)時(shí)性要求高，一般要求為min級(jí)。數(shù)據(jù)傳輸擬采用數(shù)據(jù)庫(kù)復(fù)制技術(shù)，在數(shù)據(jù)源端進(jìn)行數(shù)據(jù)壓縮，然后上傳至總部，可以節(jié)省網(wǎng)絡(luò)帶寬、縮短傳輸時(shí)間。根據(jù)總部營(yíng)銷運(yùn)行管控系統(tǒng)的技術(shù)需求，引入目前較為流行的數(shù)據(jù)庫(kù)復(fù)制軟件Oracle Golden Gate（OGG），通過(guò)分析數(shù)據(jù)庫(kù)重做日志（redolog）和歸檔日志，形成sql隊(duì)列，將數(shù)據(jù)傳輸至目標(biāo)庫(kù)后應(yīng)用到目標(biāo)數(shù)據(jù)庫(kù)［2］。數(shù)據(jù)復(fù)制技術(shù)需要在原庫(kù)與目標(biāo)庫(kù)都部署配制相應(yīng)的軟件，但要求對(duì)數(shù)據(jù)庫(kù)資源的占用相對(duì)較小，實(shí)時(shí)性較強(qiáng)，數(shù)據(jù)吞吐量也較大。

圖2 總部營(yíng)銷管控信息系統(tǒng)數(shù)據(jù)架構(gòu)

2.3 物理架構(gòu)

根據(jù)所使用的數(shù)據(jù)庫(kù)服務(wù)器不同，總部營(yíng)銷信息管控系統(tǒng)的物理部署架構(gòu)有兩種選擇：一種是基于小型機(jī)數(shù)據(jù)庫(kù)的物理部署架構(gòu)、另一種是基于數(shù)據(jù)庫(kù)一體機(jī)的物理部署架構(gòu)，如圖3所示［3］。兩種架構(gòu)的區(qū)別在于前者數(shù)據(jù)庫(kù)服務(wù)器使用小型機(jī)雙RAC架構(gòu)，而后者數(shù)據(jù)庫(kù)服務(wù)器使用數(shù)據(jù)庫(kù)一體機(jī)。

對(duì)前述兩種物理部署架構(gòu)進(jìn)行了對(duì)比分析，結(jié)果如表1所示。可以看出，基于數(shù)據(jù)庫(kù)一體機(jī)的物理部署架構(gòu)除初始投資較高外，在體系架構(gòu)、處理能力、擴(kuò)容投資、智能存儲(chǔ)、運(yùn)維成本、空間占用、電能消耗等方面都具有較明顯優(yōu)勢(shì)［4］。

表1 兩種物理部署架構(gòu)的對(duì)比分析表

2.4 系統(tǒng)負(fù)載

圖3 基于數(shù)據(jù)庫(kù)一體機(jī)的物理部署架構(gòu)圖

從業(yè)務(wù)的角度看，總部營(yíng)銷管控信息系統(tǒng)是一個(gè)大數(shù)據(jù)準(zhǔn)實(shí)時(shí)查詢和在線分析為主的混合型應(yīng)用系統(tǒng)，由于系統(tǒng)處理的是電網(wǎng)公司核心的商業(yè)信息和管理，使用人員多為公司高級(jí)管理人員，系統(tǒng)可預(yù)見未來(lái)的并發(fā)數(shù)不會(huì)太高，但對(duì)響應(yīng)時(shí)間會(huì)非常敏感。同時(shí)，盡管系統(tǒng)采用B／S架構(gòu)，但在應(yīng)用服務(wù)器層更多的是表示層邏輯的處理，而大量的業(yè)務(wù)邏輯和數(shù)據(jù)處理的工作在數(shù)據(jù)庫(kù)服務(wù)器上實(shí)現(xiàn)，因此，數(shù)據(jù)庫(kù)服務(wù)的處理能力將是系統(tǒng)整體性能的關(guān)鍵。從其運(yùn)行方式上來(lái)看，主要的負(fù)載主要有3個(gè)方面：①通過(guò)Oracle Golden Gate從27個(gè)網(wǎng)省實(shí)時(shí)復(fù)制上來(lái)的數(shù)據(jù)的處理；②來(lái)自應(yīng)用服務(wù)器的數(shù)據(jù)服務(wù)請(qǐng)求處理；③利用存儲(chǔ)過(guò)程實(shí)現(xiàn)的ETL（Extract，Transfer和Load，即提取，轉(zhuǎn)換和裝載）功能的處理。

系統(tǒng)負(fù)載情況如圖4所示。從圖中可以看出，總部營(yíng)銷管控信息系統(tǒng)是一個(gè)存儲(chǔ)I／O密集型的系統(tǒng)，數(shù)據(jù)從網(wǎng)省上傳到最終被應(yīng)用服務(wù)器使用至少要經(jīng)過(guò)多次海量數(shù)據(jù)的I／O操作，過(guò)程可描述為：①OGG將網(wǎng)省數(shù)據(jù)寫入隊(duì)列文件；②OGG將隊(duì)列文件內(nèi)的記錄寫入Schame OMAC的對(duì)應(yīng)表中；③存儲(chǔ)過(guò)程從Schame OMAC抽取數(shù)據(jù)，經(jīng)過(guò)清洗、轉(zhuǎn)換，加載到Schame SGACMS的表中；④應(yīng)用服務(wù)器訪問(wèn)兩個(gè)Schame中的數(shù)據(jù)。

圖4 總部營(yíng)銷管控信息系統(tǒng)負(fù)載

以現(xiàn)有數(shù)據(jù)范圍，系統(tǒng)在線5年估算，系統(tǒng)數(shù)據(jù)達(dá)到PB級(jí)。同時(shí)，由于電力客戶數(shù)量眾多，明細(xì)數(shù)據(jù)是按日產(chǎn)生的，因此單一的表中記錄數(shù)最終會(huì)在達(dá)到百億條以上，單一表的大小在數(shù)百個(gè)GB。而這些表一般都是包含電量、電費(fèi)、電價(jià)等重要數(shù)據(jù)的表，并且業(yè)務(wù)處理多為多表關(guān)聯(lián)、聚合、分組等大I／O、高CPU資源占用的操作，對(duì)數(shù)據(jù)庫(kù)服務(wù)器系統(tǒng)的性能要求非常高。

3 數(shù)據(jù)庫(kù)一體機(jī)架構(gòu)技術(shù)優(yōu)勢(shì)及實(shí)例驗(yàn)證

3.1 技術(shù)優(yōu)勢(shì)

總部營(yíng)銷管控信息系統(tǒng)屬于數(shù)據(jù)密集型的應(yīng)用，并對(duì)響應(yīng)時(shí)間敏感，并發(fā)訪問(wèn)有限，業(yè)務(wù)邏輯處理多在數(shù)據(jù)庫(kù)層進(jìn)行，因此系統(tǒng)處理能力焦點(diǎn)在數(shù)據(jù)庫(kù)服務(wù)器。數(shù)據(jù)庫(kù)一體機(jī)架構(gòu)的技術(shù)優(yōu)勢(shì)主要體現(xiàn)如下。

a.系統(tǒng)I／O能力

與傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)相比，Oracle Exadata突破了制約系統(tǒng)性能和容量的I／O瓶頸。傳統(tǒng)的存儲(chǔ)系統(tǒng)性能的提升大多靠增加硬盤驅(qū)動(dòng)器的數(shù)量取得，而Oracle Exadata的存儲(chǔ)服務(wù)器可以感知數(shù)據(jù)，卸載數(shù)據(jù)庫(kù)服務(wù)器的負(fù)載，通過(guò)采用大規(guī)模并行架構(gòu)，通過(guò)更高的帶寬（40 GB／s Infiniband端口帶寬、Smart Flash Cache緩存高達(dá)5.3 TB）連接加快了并行數(shù)據(jù)處理并減少了數(shù)據(jù)移動(dòng)（EHCC混合列壓縮、分區(qū)修建、存儲(chǔ)索引、Smart Scan智能掃描等）［5］。通過(guò)檢索SPC－1和SPC－2的測(cè)試結(jié)果可以發(fā)現(xiàn)，當(dāng)前大部分高端存儲(chǔ)的IOPS指標(biāo)基本在200 000左右，而Exadata做高可達(dá)1 500 100。

b.混合負(fù)載

Oracle Exadata可在1個(gè)平臺(tái)上很好支持混合負(fù)載（OLTP＋OLAP），而傳統(tǒng)架構(gòu)由于不能突破性能上的限制，一般采用業(yè)務(wù)處理系統(tǒng)和查詢分析系統(tǒng)分離的設(shè)計(jì)，這種架構(gòu)由于需要兩個(gè)系統(tǒng)間的數(shù)據(jù)傳遞，穩(wěn)定和實(shí)時(shí)性都大打折扣，并且維護(hù)成本和難度都較高。

c.性能優(yōu)化方式

數(shù)據(jù)庫(kù)系統(tǒng)的性能優(yōu)化一般都首先集中在應(yīng)用層面，既優(yōu)化SQL語(yǔ)句，然后在進(jìn)行系統(tǒng)層面的調(diào)整，但優(yōu)化的難度很大。Oracle Exadata為性能的優(yōu)化提供了更多的方法和便利條件，降低了系統(tǒng)優(yōu)化的難度，如混合列壓縮、分區(qū)修建、智能掃描等。

3.2 實(shí)例驗(yàn)證

以上各項(xiàng)技術(shù)優(yōu)勢(shì)在項(xiàng)目測(cè)試中得以驗(yàn)證，僅舉幾例，列表說(shuō)明。

例1：以CTAS（Create Table As Select）方式創(chuàng)建不同壓縮方式的表，然后從dba_segments查詢其大小，并與原始table比較得到壓縮率，測(cè)試結(jié)果見表2。

表2 EHCC數(shù)據(jù)壓縮前后測(cè)試結(jié)果

例2：使用Exadata的各個(gè)技術(shù)，依次運(yùn)行原系統(tǒng)SQL語(yǔ)句，測(cè)試結(jié)果見表3。

表3 原系統(tǒng)SQL語(yǔ)句加載Exadata的各個(gè)技術(shù)測(cè)試結(jié)果

例3：與售電統(tǒng)計(jì)相關(guān)的5、6個(gè)類似的SQL，運(yùn)行速度極為緩慢，執(zhí)行大約需要15 min，頁(yè)面圖表無(wú)法顯示，用戶體驗(yàn)極差，須進(jìn)行優(yōu)化，測(cè)試結(jié)果見表4。

表4 原系統(tǒng)SQL語(yǔ)句經(jīng)優(yōu)化并加載Exadata的各個(gè)技術(shù)測(cè)試結(jié)果

4 結(jié)論

通過(guò)總部營(yíng)銷管控系統(tǒng)建設(shè)過(guò)程中逐步探索，及對(duì)Exadata數(shù)據(jù)庫(kù)一體機(jī)在數(shù)據(jù)壓縮能力、I／O性能和數(shù)據(jù)處理能力的測(cè)試，和系統(tǒng)試運(yùn)行過(guò)程中TOP SQL的優(yōu)化實(shí)踐，得到如下結(jié)論。

a.總部營(yíng)銷管控系統(tǒng)這類由下向上逐級(jí)數(shù)據(jù)集中與處理，對(duì)數(shù)據(jù)實(shí)時(shí)性、完整性、準(zhǔn)確性，以及海量數(shù)據(jù)即時(shí)分析提出了更高要求，需要就總部、網(wǎng)省甚至地市各專業(yè)系統(tǒng)建設(shè)現(xiàn)狀做出通盤考量再選擇適合的技術(shù)路線。

b.數(shù)據(jù)庫(kù)一體機(jī)的先進(jìn)的架構(gòu)和創(chuàng)新性的功能，在大規(guī)模數(shù)據(jù)處理方面具有傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)無(wú)法比擬的優(yōu)勢(shì)；如40 GB的infiniband內(nèi)存互聯(lián)、Smart Flash Cache、Smart scan、混合列壓縮、存儲(chǔ)索引等［6］。

c.數(shù)據(jù)庫(kù)一體機(jī)具有混合負(fù)載，在線OLAP處理能力具有優(yōu)勢(shì)，并能夠滿足不斷的業(yè)務(wù)創(chuàng)新和功能擴(kuò)展的需求。

［1］王 楠，陳曉光，高明雙.建立可控的信息網(wǎng)絡(luò)安全準(zhǔn)入機(jī)制［J］.東北電力技術(shù)，2014，35（5）：43－44.

［2］OGG產(chǎn)品介紹及應(yīng)用場(chǎng)景，應(yīng)用案例［EB］.http：／／www. oracle.com／technetwork／cn／community／developer?day／4?ogg?app?case?2002394?zhs.pdf.

［3］孟凡博.電力通信傳輸容災(zāi)架構(gòu)體系研究［J］.東北電力技術(shù)，2014，35（7）：25－27.

［4］Oracle Exadata Technology Portal on OTN［EB］.http：∥www.oracle.com／technology／products／bi／db／exadata.

［5］Oracle Exadata white papers［R］.http：∥www.oracle.com／technetwork／database／features／availability／xmigration?11?133466. dbf，http：／／www.oracle.com／technetwork／middleware／bi?foundation／exadata?smart?flash?cache?twp?v5?1?128560.pdf.

［6］曉 召.大數(shù)據(jù)VS數(shù)據(jù)庫(kù)一體機(jī)［DB］.http：∥blog. sina.com.cn／s／blog_7ca5799101013dtb.html.

Massive Data Concentration and Processing Based on Database Machine

SUI He?shi
（State Grid Yingkou Electric Power Supply Company，Yingkou，Liaoning 115002，China）

According to concentration and processing of massive data in each professional system of power grid enterprise，this paper proposes the solutions based on the database machine by combining the construction of the power?marketing information monitoring sys?tem，elucidates implementation approach from the business logic，data architecture，physical architecture etc.Introducing the exam?ple，the technology advantage of the solutions are verified.

Database machine；Massive data；Data concentration；Data processing

TM274

A

1004－7913（2015）09－0012－04

隋合軾（1970—），男，碩士，高級(jí)工程師，現(xiàn)從事運(yùn)營(yíng)監(jiān)測(cè)（控）管理工作。

2015－06－30）