李　翀,高玲玲,陶　鵬, 唐如意,孫文磊,趙　佩

(國(guó)網(wǎng)河北省電力公司電力科學(xué)研究院，石家莊　050021；2.國(guó)網(wǎng)河北省電力公司，石家莊　050021)

?

用電信息采集系統(tǒng)跨平臺(tái)數(shù)據(jù)遷移問(wèn)題分析及處理

李翀1,高玲玲1,陶鵬1, 唐如意2,孫文磊1,趙佩1

(國(guó)網(wǎng)河北省電力公司電力科學(xué)研究院，石家莊050021；2.國(guó)網(wǎng)河北省電力公司，石家莊050021)

摘要：介紹用電信息采集系統(tǒng)升級(jí)改造中面臨跨平臺(tái)數(shù)據(jù)遷移的現(xiàn)狀，針對(duì)該次數(shù)據(jù)遷移是基于跨操作系統(tǒng)平臺(tái)與不同版本數(shù)據(jù)庫(kù)的異構(gòu)數(shù)據(jù)遷移問(wèn)題，進(jìn)行原因分析，從數(shù)據(jù)遷移架構(gòu)、數(shù)據(jù)遷移前期準(zhǔn)備、數(shù)據(jù)遷移步驟等方面提出2次存儲(chǔ)數(shù)據(jù)遷移的解決方案，并說(shuō)明處理效果。

關(guān)鍵詞：用電信息采集系統(tǒng)；跨平臺(tái)；數(shù)據(jù)遷移

在國(guó)網(wǎng)河北省電力公司實(shí)施的用電信息采集系統(tǒng)主站升級(jí)改造過(guò)程中，遇到了數(shù)據(jù)遷移跨操作系統(tǒng)平臺(tái)的瓶頸問(wèn)題。這種數(shù)據(jù)遷移涉及到異構(gòu)存儲(chǔ)，保證業(yè)務(wù)連續(xù)性是存儲(chǔ)數(shù)據(jù)遷移的核心要求，保證業(yè)務(wù)數(shù)據(jù)的可靠性是數(shù)據(jù)遷移成敗的關(guān)鍵。以下提出采用VPLEX引擎，實(shí)現(xiàn)異構(gòu)存儲(chǔ)之前的數(shù)據(jù)同步，實(shí)現(xiàn)數(shù)據(jù)不丟失，進(jìn)行業(yè)務(wù)基本無(wú)中斷的在線數(shù)據(jù)遷移[1]。

1存在的問(wèn)題

用電信息采集系統(tǒng)改造的目的之一就是在數(shù)據(jù)遷移完成后，將現(xiàn)有的用電信息采集系統(tǒng)改造成生產(chǎn)庫(kù)(IBM數(shù)據(jù)庫(kù)服務(wù)器)、查詢庫(kù)(SUN數(shù)據(jù)庫(kù)服務(wù)器)雙庫(kù)運(yùn)行，生產(chǎn)庫(kù)連接的存儲(chǔ)由現(xiàn)有的IBM DS8100更換成HP P9500，并實(shí)現(xiàn)數(shù)據(jù)的遷移。查詢庫(kù)連接的存儲(chǔ)為HP P9500，也要實(shí)現(xiàn)數(shù)據(jù)的遷入。生產(chǎn)庫(kù)實(shí)現(xiàn)實(shí)時(shí)類(lèi)數(shù)據(jù)的寫(xiě)入，查詢庫(kù)實(shí)現(xiàn)統(tǒng)計(jì)類(lèi)數(shù)據(jù)的讀取。目前生產(chǎn)庫(kù)服務(wù)器、存儲(chǔ)及其連接的交換機(jī)與查詢庫(kù)服務(wù)器、存儲(chǔ)及交換機(jī)的構(gòu)架示意如圖1所示。

圖1　生產(chǎn)庫(kù)、查詢庫(kù)服務(wù)器、存儲(chǔ)及其

a. 原生產(chǎn)庫(kù)數(shù)據(jù)庫(kù)環(huán)境。生產(chǎn)庫(kù)數(shù)據(jù)庫(kù)服務(wù)器(IBM P570)，連接原生產(chǎn)庫(kù)數(shù)據(jù)庫(kù)存儲(chǔ)設(shè)備(IBM DS8100)，安裝oracle 版本為10.2.0.5.0，數(shù)據(jù)存儲(chǔ)方式為裸設(shè)備。

b. 查詢庫(kù)數(shù)據(jù)庫(kù)環(huán)境。查詢庫(kù)數(shù)據(jù)庫(kù)服務(wù)器(T5-8),連接查詢庫(kù)存儲(chǔ)設(shè)備(HP P9500)，安裝oracle版本為10.2.0.5.0，數(shù)據(jù)存儲(chǔ)方式為ASM。

c. 新生產(chǎn)庫(kù)數(shù)據(jù)庫(kù)環(huán)境。生產(chǎn)庫(kù)數(shù)據(jù)庫(kù)服務(wù)器(IBM P570)，連接新生產(chǎn)庫(kù)數(shù)據(jù)庫(kù)存儲(chǔ)設(shè)備(HP P9500)，安裝oracle 版本為10.2.0.5.0，數(shù)據(jù)存儲(chǔ)方式為裸設(shè)備。通過(guò)結(jié)構(gòu)可以看出，數(shù)據(jù)遷移過(guò)程中查詢庫(kù)SUN小型機(jī)與生產(chǎn)庫(kù)IBM數(shù)據(jù)庫(kù)服務(wù)器屬不同的操作系統(tǒng)平臺(tái)，另外數(shù)據(jù)的存儲(chǔ)方式不一致，生產(chǎn)庫(kù)的存儲(chǔ)方式為裸設(shè)備，查詢庫(kù)為ASM方式。實(shí)際機(jī)房的空間限制，所有設(shè)備存儲(chǔ)不能同時(shí)上架;由于服務(wù)器屬不同的操作系統(tǒng)平臺(tái)，數(shù)據(jù)庫(kù)備份系統(tǒng)備份的數(shù)據(jù)，無(wú)法跨平臺(tái)恢復(fù)到SUN小型機(jī)搭建的查詢庫(kù)數(shù)據(jù)庫(kù)上；數(shù)據(jù)的存儲(chǔ)方式不一致，存在數(shù)據(jù)不識(shí)別問(wèn)題；由于機(jī)房空間不足，使兩套HP P9500存儲(chǔ)設(shè)備不能同時(shí)上架，存在數(shù)據(jù)遷移的時(shí)間和空間上的不連續(xù)性；新購(gòu)查詢庫(kù)的HP P9500和IBM DS8100分屬不同的SAN網(wǎng)絡(luò)中，將影響二者之間的傳輸。因此該次數(shù)據(jù)遷移是基于跨操作系統(tǒng)平臺(tái)與不同版本數(shù)據(jù)庫(kù)的異構(gòu)數(shù)據(jù)遷移，安全風(fēng)險(xiǎn)大，技術(shù)含量高，業(yè)務(wù)水平要求高。

2原因分析

存儲(chǔ)數(shù)據(jù)遷移項(xiàng)目與系統(tǒng)實(shí)施項(xiàng)目通常并行執(zhí)行，技術(shù)含量高，業(yè)務(wù)水平要求高，變化速度快。在傳統(tǒng)存儲(chǔ)遷移的過(guò)程中，業(yè)務(wù)下線時(shí)間超過(guò)計(jì)劃和預(yù)期的情況經(jīng)常發(fā)生；存儲(chǔ)遷移過(guò)程中，面臨技術(shù)升級(jí)或是架構(gòu)更新所帶來(lái)的兼容性風(fēng)險(xiǎn)；在架構(gòu)升級(jí)之后，性能不升反降、數(shù)據(jù)受損、數(shù)據(jù)丟失等，也時(shí)刻的困擾著實(shí)施存儲(chǔ)遷移行為的客戶。若對(duì)存儲(chǔ)遷移的重要性的估計(jì)不夠，往往不足以處理復(fù)雜多變的存儲(chǔ)更換問(wèn)題。主要遷移方式有存儲(chǔ)底層遷移方式：進(jìn)行存儲(chǔ)底層的數(shù)據(jù)復(fù)制，要求存儲(chǔ)同一品牌同一型號(hào)；虛擬化層遷移方式：采用VPLEX引擎，實(shí)現(xiàn)異構(gòu)存儲(chǔ)之前的數(shù)據(jù)同步，進(jìn)行業(yè)務(wù)基本無(wú)中斷的在線數(shù)據(jù)遷移；數(shù)據(jù)庫(kù)層遷移方式：采用oracle的數(shù)據(jù)泵實(shí)現(xiàn)[2,3]。

有許多不同的工具可用來(lái)簡(jiǎn)化存儲(chǔ)系統(tǒng)之間的數(shù)據(jù)遷移。有些是基于主機(jī)的，如Oracle RMAN備份、 EMC Open Replicator 或 PPME Copy，或者是內(nèi)置于主機(jī)邏輯卷管理器中的功能。盡管這些工具適用于某些情形，但是它們要使用主機(jī)資源，并要求服務(wù)器和應(yīng)用程序管理員參與。其他工具是基于陣列的，如 SAN CopyTM和 Open Migrator。EMC VPLEX 提供了第3個(gè)選項(xiàng)，那就是基于SAN網(wǎng)絡(luò)，數(shù)據(jù)就可以在陣列之間無(wú)中斷地移動(dòng)，而不需要主機(jī)或存儲(chǔ)系統(tǒng)的直接參與。最為關(guān)鍵的一點(diǎn)是業(yè)務(wù)的停機(jī)時(shí)間往往是小時(shí)、甚至是天計(jì)數(shù)的。

用電信息采集存儲(chǔ)數(shù)據(jù)遷移涉及到異構(gòu)平臺(tái)和存儲(chǔ)方式，本次遷移采用虛擬化層的遷移方式，存儲(chǔ)數(shù)據(jù)遷移基于EMC公司的VPLEX硬件，依賴VPLEX硬件強(qiáng)大穩(wěn)定的引擎功能，縮短停機(jī)時(shí)間降低主機(jī)負(fù)荷，確保數(shù)據(jù)遷移后的完整性和準(zhǔn)確性。該方式也解決了機(jī)房空間存在限制，設(shè)備存儲(chǔ)不能同時(shí)上架的問(wèn)題。

3數(shù)據(jù)遷移解決方案

3.1第一次存儲(chǔ)數(shù)據(jù)遷移

3.1.1數(shù)據(jù)遷移架構(gòu)

如圖2所示，機(jī)房?jī)?nèi)部署一套EMC私有云控制器VPLEX，數(shù)據(jù)庫(kù)應(yīng)用通過(guò)FC SAN方式訪問(wèn)私有云控制器VPLEX，在私有云控制器VPLEX的幫助下，2個(gè)存儲(chǔ)的數(shù)據(jù)可以互為鏡像，生產(chǎn)庫(kù)IBM DS8100和查詢庫(kù)HP P9500鏡像后的虛擬化存儲(chǔ)空間通過(guò)私有云控制器VPLEX提供給數(shù)據(jù)庫(kù)主機(jī)使用，數(shù)據(jù)庫(kù)主備存儲(chǔ)是Active/Active模式，可容忍任一存儲(chǔ)的故障；虛擬化部分，ESXServer可以部署成高可用性群集HA方式，在災(zāi)難發(fā)生造成某一個(gè)存儲(chǔ)不可用的時(shí)候，另外一個(gè)存儲(chǔ)仍然可以提供服務(wù)，應(yīng)用沒(méi)有中斷。EMC利用存儲(chǔ)陣列VNX5500作為底層存儲(chǔ)，該存儲(chǔ)與舊有的生產(chǎn)庫(kù)IBM DS8100與查詢庫(kù)HP P9500互為鏡像，為數(shù)據(jù)提供最高級(jí)別的保護(hù)。

圖2　第一次存儲(chǔ)數(shù)據(jù)遷移架構(gòu)示意

為了基于VPLEX硬件的數(shù)據(jù)遷移方案的實(shí)施，2臺(tái)brocade交換機(jī)與VPLEX設(shè)備、查詢庫(kù)HP P9500進(jìn)行物理連接和邏輯配置，形成如下架構(gòu)：

a. 在查詢庫(kù)HP P9500上面確認(rèn)提供生產(chǎn)庫(kù)可用的空間，并且劃分相應(yīng)的卷；

b. 將生產(chǎn)庫(kù)IBM DS8100的數(shù)據(jù)在線遷移至查詢庫(kù) HP P9500；

c. 搬出IBM DS8100。

3.1.2數(shù)據(jù)遷移前期準(zhǔn)備

a. 需完成SAN交換機(jī)劃zoning，保證私有云控制器VPLEX后端端口與生產(chǎn)庫(kù)IBM DS8100和查詢庫(kù)HP P9500存儲(chǔ)之間的數(shù)據(jù)傳輸，保證私有云控制器VPLEX前端端口與IBM小機(jī)之間數(shù)據(jù)傳輸。

b. 完成查詢庫(kù)HP P9500存儲(chǔ)數(shù)據(jù)LUN的劃分，保證與生產(chǎn)庫(kù)IBM DS8100的劃分一致。

c. 完成查詢庫(kù)HP P9500劃分4個(gè)80 G的空間給私有云控制器VPLEX，作為私有云控制器VPLEX的META卷。

d. 完成私有云控制器VPLEX獲取查詢庫(kù)HP P9500存儲(chǔ)分過(guò)來(lái)的4個(gè)80 G的空間。

e. 如果條件允許，對(duì)服務(wù)器、軟件及相關(guān)設(shè)備進(jìn)行重啟，確保遷移環(huán)境正常。

3.1.3數(shù)據(jù)遷移步驟

數(shù)據(jù)遷移前期準(zhǔn)備工作完成后，開(kāi)始進(jìn)行數(shù)據(jù)遷移。主要由臨時(shí)存儲(chǔ)空間劃分、私有云控制器VPLEX配置及多路徑軟件安裝，數(shù)據(jù)遷移組成。

a. 臨時(shí)存儲(chǔ)空間劃分。在IBM小機(jī)上，關(guān)閉ORACEL RAC數(shù)據(jù)庫(kù)、關(guān)閉HACMP、確認(rèn)VG狀態(tài)已變成關(guān)閉OFF。在生產(chǎn)庫(kù)IBM DS8100上，將原來(lái)直接劃分給2臺(tái)小機(jī)的邏輯單元號(hào)LUN全部剔除，將剔除的邏輯單元號(hào)LUN重新劃分給私有云控制器VPLEX。

b. 私有云控制器VPLEX配置及多路徑軟件安裝。在私有云控制器VPLEX上，私有云控制器VPLEX識(shí)別生產(chǎn)庫(kù)IBMDS8100分配過(guò)來(lái)的邏輯單元號(hào)LUN，對(duì)邏輯單元號(hào)LUN進(jìn)行CLAIM識(shí)別。將所有LUN的模式配置成1：1 MAPPING，然后重新分配給IBM小機(jī)。在IBM小機(jī)上，安裝EMC多路徑軟件，使用CFMGR命令重新掃描磁盤(pán)信息，確認(rèn)IBM小機(jī)磁盤(pán)識(shí)別正常(查看磁盤(pán)屬性，如果不是并行模式，則修改為并行模式)，查看IBM小機(jī)的PVID和VG信息都正確。啟動(dòng)HACMP，查看ORACEL RAC設(shè)備的權(quán)限和屬性都正確，啟動(dòng)ORAClE RAC。

c. 數(shù)據(jù)遷移。將生產(chǎn)庫(kù)IBM DS8100存儲(chǔ)數(shù)據(jù)遷移至查詢庫(kù)HP P9500存儲(chǔ)。通過(guò)采用“添加鏡像卷”的方式將查詢庫(kù)HP P9500存儲(chǔ)的LUN和IBM DS8100的卷做鏡像，如果數(shù)據(jù)遷移工作對(duì)系統(tǒng)壓力影響較大，需要在夜間系統(tǒng)業(yè)務(wù)不繁忙的時(shí)候進(jìn)行數(shù)據(jù)遷移。

d. 數(shù)據(jù)驗(yàn)證。數(shù)據(jù)從生產(chǎn)庫(kù)IBM DS8100存儲(chǔ)設(shè)備遷移至查詢庫(kù)HP P9500存儲(chǔ)設(shè)備后，需要對(duì)遷移數(shù)據(jù)進(jìn)行驗(yàn)證，確保數(shù)據(jù)的完整性、可用性。

e. 系統(tǒng)試運(yùn)行。存儲(chǔ)數(shù)據(jù)遷移完成后，需要系統(tǒng)試運(yùn)行一段時(shí)間，確保系統(tǒng)運(yùn)行穩(wěn)定，確保生產(chǎn)庫(kù)IBM DS8100存儲(chǔ)從私有云控制器VPLEX剔除后，不會(huì)影響系統(tǒng)正常運(yùn)行。

f. 存儲(chǔ)設(shè)備更換。系統(tǒng)試運(yùn)行穩(wěn)定后，解除生產(chǎn)庫(kù)IBM DS8100和查詢庫(kù)HP P9500存儲(chǔ)直接的鏡像關(guān)系，并將生產(chǎn)庫(kù)IBM DS8100存儲(chǔ)的LUN全部從私有云控制器VPLEX中剔除。將生產(chǎn)庫(kù)IMB DS8100從機(jī)房移出，將新存儲(chǔ)生產(chǎn)庫(kù)的查詢庫(kù)HP P9500移進(jìn)機(jī)房上架。

3.2第二次存儲(chǔ)數(shù)據(jù)遷移

同理，第二次存儲(chǔ)數(shù)據(jù)的遷移方法與第一次類(lèi)似，只是操作對(duì)像不同而已。第二次存儲(chǔ)數(shù)據(jù)遷移架構(gòu)如圖3所示。

圖3　第二次存儲(chǔ)數(shù)據(jù)遷移架構(gòu)示意

說(shuō)明：

a. 搬入HP H9500在原來(lái)的IBM DS8100的位置上；

b. 在新購(gòu)的生產(chǎn)庫(kù)HP P9500上劃分相應(yīng)的卷；

c. 將生產(chǎn)庫(kù)的數(shù)據(jù)從查詢庫(kù)HP P9500在線遷移回新上線的生產(chǎn)庫(kù)HP P9500。

4結(jié)論

a. 停機(jī)時(shí)間短。異構(gòu)存儲(chǔ)數(shù)據(jù)遷移中，基于VPLEX硬件，依賴VPLEX硬件強(qiáng)大穩(wěn)定的引擎功能，縮短了停機(jī)時(shí)間，降低了主機(jī)負(fù)荷，確保了數(shù)據(jù)遷移后的完整性和準(zhǔn)確性，刷新了信息系統(tǒng)業(yè)內(nèi)存儲(chǔ)設(shè)備遷移項(xiàng)目中跨平臺(tái)數(shù)據(jù)遷移的記錄。

b. 采用離線存儲(chǔ)和在線存儲(chǔ)相結(jié)合技術(shù)，確保了業(yè)務(wù)數(shù)據(jù)一致性，可用性，可靠性，高質(zhì)量性，保證了系統(tǒng)使用數(shù)據(jù)的流暢性。

c. 整個(gè)數(shù)據(jù)遷移過(guò)程具備完善的風(fēng)險(xiǎn)控制，保證了數(shù)據(jù)遷移成功實(shí)施。

d. 采用虛擬化層的遷移方式，有助于提升應(yīng)用軟件的實(shí)用性，基礎(chǔ)架構(gòu)的靈活性，降低硬件成本，減少能量消耗并且能輕松進(jìn)行測(cè)試。

參考文獻(xiàn)：

[1]杜賓，王明文.跨平臺(tái)數(shù)據(jù)遷移的研究和實(shí)現(xiàn)[J].計(jì)算機(jī)與現(xiàn)代化，2001(6):5-10.

[2]王海亮.精通Oracle 10g備份與恢復(fù)[M].北京：中國(guó)水利水電出版社，2005.

[3]劉義華. Oracle 數(shù)據(jù)庫(kù)數(shù)據(jù)跨平臺(tái)備份與恢復(fù)的實(shí)現(xiàn)[J].信息科學(xué)，2009(5):71-74.

本文責(zé)任編輯：羅曉曉

Analysis and Treatment of Cross Platform Data Migration Problemin Electric Information Acquisition System

Li Chong1,Gao Lingling1,Tao Peng1,Tang Ruyi2,Sun Wenlei1,Zhao Pei1

(1.State Grid Hebei Electric Power Research Institute,Shijiazhuang 050021;2. State Grid Hebei Electric Power Corporation,Shijiazhuang 050021)

Abstract:This paper introduces the electric energy data acquire system upgrade transformation in the face of cross platform data migration status,for the data transfer is based on cross operating system platform and the different versions of the database heterogeneous data migration problem,analyzes the reasons,put forward two times stored in data migration solution from the data transfer architecture,data migration preparation,the data migration procedures and so on,and illustrates the treatment effect.

Key words:electric information acquisition system;cross platform;data migration;analysis and treatment

收稿日期：2016-02-29

作者簡(jiǎn)介：李翀(1983-)，男，高級(jí)工程師，主要從事計(jì)量、采集相關(guān)業(yè)務(wù)的質(zhì)檢與研究工作。

中圖分類(lèi)號(hào)：TP274.2

文獻(xiàn)標(biāo)志碼：B

文章編號(hào)：1001-9898(2016)03-0011-03