胡露露 張亮 李偉 胡琳 符穎東
摘要:長期以來,南海西部石油研究院科研硬件尤其是存儲主要由國外品牌提供服務,核心地球物理業(yè)務使用的地學軟件同樣為國外品牌。隨著國際競爭環(huán)境日益激烈,企業(yè)對核心技術自主可控的意愿急迫,國產化替換需求不斷增強。南海西部石油研究院在新科研環(huán)境組建過程中,實現(xiàn)粵西地區(qū)能源領域首個數(shù)據(jù)中心硬件100%國產化工程,尤其是科研硬件存儲實現(xiàn)國產自主可控。另外在地學軟件方面,積極與國內軟件廠商合作,推動國產地學軟件成功應用。在此基礎上,為保證科研核心數(shù)據(jù)的絕對安全,創(chuàng)新完成了基于國產存儲模式下的國產地學軟件數(shù)據(jù)容災建設,實現(xiàn)了同構存儲的近線容災、異構存儲的同城容災及異地容災,保障科研生產數(shù)據(jù)安全。
關鍵詞:地學軟件;同構存儲;異構存儲;數(shù)據(jù)容災;國產化
中圖分類號:ET19? ? ? ? 文獻標識碼:A
文章編號:1009-3044(2024)07-0064-03
開放科學(資源服務)標識碼(OSID)
在不斷追求核心技術自主可控的背景下,南海西部石油研究院(以下簡稱研究院)數(shù)據(jù)中心新建時采用全國產化硬件架構,完成數(shù)據(jù)中心的搭建,同時也積極探索國產地學軟件GeoEast,積極推進地震解釋平臺自主可控??蒲熊浖c數(shù)據(jù)是開展科研工作的重要前提,勘探開發(fā)的研究離不開分析軟件和數(shù)據(jù)支持,因此在國產軟硬件的基礎上,對地學軟件數(shù)據(jù)容災建設進行了探索研究,以保障科研數(shù)據(jù)的安全性[1-2],為勘探開發(fā)科研生產的正常開展保駕護航。
1 國產化軟硬件存儲架構
1.1 國產化軟硬件存儲架構
長期以來,研究院硬件尤其是存儲主要由國外品牌構成。然而隨著國際競爭環(huán)境日益激烈,爭端所引發(fā)的“卡脖子”事件頻發(fā),對科研應用造成了一定影響。面對如此特殊的大環(huán)境,研究院科研硬件環(huán)境實現(xiàn)自主可控的重要性不言而喻。
針對科研硬件國產化占比較低的問題,研究院在新科研環(huán)境建設的過程中,充分與國內知名硬件廠商開展合作,對國產硬件品牌進行了探索研究,使得數(shù)據(jù)中心在建成時關鍵核心硬件達到了100%國產化。最后根據(jù)實際的數(shù)據(jù)類型與應用需求配置了不同的存儲,其中選擇Ocean Store 6800用來存儲核心生產數(shù)據(jù),選擇Ocean Store 5310用來近線容災,存儲100%國產化為數(shù)據(jù)安全提供了有力保障。
1.2 國產地學軟件應用
研究院目前主要使用的地學軟件均為國外引進,存在技術支持中斷和供應停止的風險。因此,急需一款功能強大、自主性高的國產地學軟件,以逐步替換國外地學軟件。經(jīng)過深入的市場調研和前期功能應用測試,我們選擇了GeoEast作為國產軟件進行推廣應用。
GeoEast是一款集構造解釋、儲層預測、油氣檢測、地質分析于一體的綜合地震資料解釋系統(tǒng)。在功能性上,它能夠較為完整地替代當前的國外地學軟件。因此,我們決定開展對國產地學軟件GeoEast的推廣應用工作[3-4]。在完成數(shù)據(jù)遷移后,為確保科研工作的正常開展與數(shù)據(jù)的安全性,我們開展了軟件數(shù)據(jù)容災建設的相關研究。鑒于GeoEast數(shù)據(jù)存儲結構的復雜性,以及研究院尚未在全國產生產存儲上部署數(shù)據(jù)容災的實際情況,研究并探索了兩種容災部署方案。首先,我們在國產存儲上部署了軟件、工區(qū)數(shù)據(jù)以及其他關鍵數(shù)據(jù)的存儲災備系統(tǒng)。其次,針對結構化的數(shù)據(jù)庫相關數(shù)據(jù),我們編寫了定時備份腳本,以實現(xiàn)數(shù)據(jù)庫熱備系統(tǒng)的部署。
2 國產地學軟件數(shù)據(jù)容災建設
數(shù)據(jù)容災不僅僅是簡單的數(shù)據(jù)備份,而是將存儲系統(tǒng)、備份系統(tǒng)和容災技術有機結合,構建成一個一體化的數(shù)據(jù)容災系統(tǒng),以提升災難后的數(shù)據(jù)恢復能力。這一系統(tǒng)主要針對以下三種情況:由人為原因、軟件故障和硬件故障導致的數(shù)據(jù)全部或部分丟失;因工作需要而對歷史數(shù)據(jù)的恢復;以及因災難性事件(如火災、地震、環(huán)境、電力等)引發(fā)的本地數(shù)據(jù)損壞[5-6]。在建設這一系統(tǒng)時,我們的基本思路是:前兩種情況可通過本地備份進行快速恢復,而最后一種情況則需要從異地遠程容災點進行恢復。本地備份可分為近線容災和同城容災,本文將詳細介紹本地備份的相關內容。
2.1 同構存儲模式下的近線容災建設
根據(jù)實際應用需求,考慮兼容性問題,近線容災存儲選擇與生產存儲同品牌的存儲。國產存儲進行數(shù)據(jù)容災建設面臨以下兩個問題:第一是國產存儲與之前的存儲相比數(shù)據(jù)服務和管理功能存在差異,文件系統(tǒng)和管理架構也不同,需進行相應數(shù)據(jù)管理模式設計;第二是備份策略沒有經(jīng)驗可借鑒,需要測試不同類型的數(shù)據(jù),并結合應用需求和存儲系統(tǒng)架構來制定數(shù)據(jù)備份策略。
數(shù)據(jù)備份的難點主要在于數(shù)據(jù)庫的備份,為了保障科研生產的連續(xù)性,對數(shù)據(jù)庫熱備方式進行了研究。GeoEast軟件的底層數(shù)據(jù)庫是PostgreSQL數(shù)據(jù)庫,PostgreSQL數(shù)據(jù)庫的熱備方式主要有以下幾種方式:1) pg_dump是PostgreSQL自帶的一個備份工具,可以用于備份整個數(shù)據(jù)庫或者某個特定的模式。并且可以創(chuàng)建SQL腳本文件,包含還原整個數(shù)據(jù)庫或者特定模式的命令,便于數(shù)據(jù)庫恢復。2) pg_basebackup是PostgreSQL的另一種熱備工具,可以用來創(chuàng)建物理備份文件,在數(shù)據(jù)庫運行時,對數(shù)據(jù)文件和歸檔文件進行備份,且備份文件可以直接存儲在網(wǎng)絡存儲設備上。3) Barman是一個開源的PostgreSQL熱備份工具,支持全備份和增量備份,支持在遠程服務器上執(zhí)行備份操作,支持跨版本還原數(shù)據(jù)?;诂F(xiàn)有GeoEast軟件應用情況以及需求,對pg_basebackup熱備方式進行了研究,pg_basebackup通過流式備份對所有必要的數(shù)據(jù)文件進行備份,其采用 PostgreSQL 的 Write-Ahead Logging(WAL) 機制,保證了數(shù)據(jù)備份的一致性和可恢復性。
因此基于科研生產實際需求,研發(fā)基于國產存儲的地學軟件GeoEast數(shù)據(jù)庫熱備功能,編寫數(shù)據(jù)庫熱備腳本并定時執(zhí)行,如圖1所示,完成生產存儲至近線存儲的數(shù)據(jù)庫自動熱備。對于軟件和工區(qū)數(shù)據(jù)則利用同構存儲間的遠程復制功能進行數(shù)據(jù)備份,并定制策略定期對數(shù)據(jù)進行增量備份[7-9],實現(xiàn)科研生產不間斷的數(shù)據(jù)應用保護。
2.2 異構存儲模式下的同城容災建設
在實現(xiàn)近線容災的基礎上,為進一步保障數(shù)據(jù)的安全性,開展同城容災工作??紤]到高可用性和容錯性,同城容災存儲選擇與生產存儲不同品牌的存儲。異構存儲間數(shù)據(jù)容災可以通過多地點復制、云備份和恢復以及異構存儲管理軟件等方式進行。由于異構存儲管理軟件能夠集中管理,提供統(tǒng)一的管理界面,可以管理不同廠商的存儲設備,易于對科研數(shù)據(jù)進行備份、恢復和遷移等操作,提高了管理效率;異構存儲管理軟件能夠實現(xiàn)對異構數(shù)據(jù)的兼容管理,支持多種數(shù)據(jù)協(xié)議,易于備份各種協(xié)議的科研數(shù)據(jù);異構存儲管理軟件有良好的可擴展性和靈活性,可以隨著業(yè)務的發(fā)展而擴展數(shù)據(jù)備份的規(guī)模,支持各種類型的數(shù)據(jù)容災需求。
英方軟件具備全量備份和增量備份功能,以滿足不同應用需求;它能夠在不同平臺間進行數(shù)據(jù)復制,實現(xiàn)異構模式下的數(shù)據(jù)備份;同時支持自動同步和手動同步,應用靈活;此外,它還具備日志分析功能,通過分析源數(shù)據(jù)庫的日志文件,能夠識別并解決同步過程中可能遇到的問題或錯誤。因此,我們最終選擇英方軟件作為同城容災數(shù)據(jù)備份軟件[10]。我們搭建了2臺虛擬機,分別作為英方軟件的管理節(jié)點和數(shù)據(jù)容災節(jié)點,并針對GeoEast數(shù)據(jù)的特點制定了同步計劃。通過對數(shù)據(jù)進行全備份和增量備份,并結合應用動態(tài)工作日限額傳輸流量,我們確保了日常生產應用的正常運行,并成功完成了GeoEast軟件數(shù)據(jù)的同城容災工作。
2.3 數(shù)據(jù)備份策略
為保障數(shù)據(jù)備份的高可用性,結合存儲快照功能,制定數(shù)據(jù)備份策略,如表1所示,確保能夠恢復不同時間節(jié)點的數(shù)據(jù),以此應對不同的業(yè)務需求。
2.4 數(shù)據(jù)恢復演練
定期對數(shù)據(jù)進行恢復演練是數(shù)據(jù)容災工作中至關重要的一環(huán),其主要作用體現(xiàn)在以下幾點:首先,它可以驗證備份作業(yè)的正常運行,確保備份數(shù)據(jù)的正確性和完整性,從而確保在需要恢復數(shù)據(jù)時能夠順利進行;其次,通過定期演練,可以提升數(shù)據(jù)管理人員在數(shù)據(jù)恢復方面的專業(yè)技能,確保在緊急情況下能夠迅速、準確地完成數(shù)據(jù)恢復工作;最后,它還可以幫助我們發(fā)現(xiàn)并解決數(shù)據(jù)容災過程中存在的問題和不足,從而進一步提升數(shù)據(jù)安全管理水平。通過定期的數(shù)據(jù)恢復演練,我們能夠檢驗數(shù)據(jù)的可用性,提升數(shù)據(jù)安全水平,確保生產業(yè)務的連續(xù)性,并在最大程度上減少因數(shù)據(jù)丟失等可能造成的損失。
2.5 軟件數(shù)據(jù)容災實際應用
軟件數(shù)據(jù)容災建設為科研安全生產提供了有力保障,有科研人員在使用GeoSast工區(qū)時,不小心刪除了某層位數(shù)據(jù),通過數(shù)據(jù)恢復,半個小時內就完成了數(shù)據(jù)恢復,如圖2所示。
3 結束語
本文通過對國產地學軟件數(shù)據(jù)容災建設進行研究,取得了以下三點技術創(chuàng)新:
1) 創(chuàng)新研發(fā)基于國產存儲的數(shù)據(jù)庫定時備份系統(tǒng),實現(xiàn)國產地學軟件數(shù)據(jù)庫與工區(qū)數(shù)據(jù)近40TB數(shù)據(jù)量的生產不間斷熱備功能。
2) 從零出發(fā)探索國產同構、異構存儲的數(shù)據(jù)容災建設,完成科研數(shù)據(jù)的近線、同城、異地的三級容災備份,滿足中海油集團公司科研數(shù)據(jù)“六地兩中心”架構要求。
3) 運用連續(xù)數(shù)據(jù)保護與數(shù)據(jù)副本管理技術,探索實現(xiàn)科研數(shù)據(jù)的價值備份,在保證關鍵數(shù)據(jù)可靠恢復的基礎上減少不必要的數(shù)據(jù)冗余。
研究院投資建設的國產化勘探開發(fā)數(shù)據(jù)容災系統(tǒng),采用近線、同城和異地容災三級備份,保障了勘探開發(fā)數(shù)據(jù)安全,若面臨突發(fā)事故導致生產存儲設備無法使用,能在一小時內快速恢復科研生產。另外,基于國產存儲的國產地學軟件熱備份的功能實現(xiàn)為國產地學軟件的推廣應用奠定了基礎,同時為其他國產地學軟件轉型提供借鑒,提升了科研軟件國產化率。
參考文獻:
[1] 劉素軍,楊國穎,山青青,等.數(shù)據(jù)災備與恢復系統(tǒng)在校園網(wǎng)絡安全中的應用探究[J].電腦知識與技術,2023,19(10):108-110.
[2] 布英塔.基于高校大數(shù)據(jù)同城雙活數(shù)據(jù)中心容災備份建設思考[J].電腦知識與技術,2023,19(21):61-62,66.
[3] 孫成田,朱宗良,周在華,等.應用GeoEast解釋系統(tǒng)綜合評價鄂爾多斯盆地環(huán)慶區(qū)塊有利勘探目標[J].石油地球物理勘探,2022,57(S2):110-115,229.
[4] 姜傳金,戴世立,陳鴻安,等.GeoEast地震數(shù)據(jù)管理與解釋技術在松遼盆地中央古隆起帶基底勘探中的應用[J].石油地球物理勘探,2022,57(S2):160-167,232.
[5] 付向艷,蒲偉華,甘霖.統(tǒng)一容災備份技術在高校數(shù)據(jù)安全中的應用[J].吉林大學學報(信息科學版),2019,37(6):664-670.
[6] 傅揚,張舵,王彬.數(shù)據(jù)容災備份與恢復的關鍵技術和運用研究[J].無線互聯(lián)科技,2022,19(23):103-105.
[7] 何靜.數(shù)據(jù)中心的備份與容災[J].計算機與網(wǎng)絡,2018,44(17):57.
[8] 趙明.災備建設中的數(shù)據(jù)同步技術應用及選型方案[J].電子技術與軟件工程,2019(17):175-176.
[9] 王琦.異地數(shù)據(jù)存儲備份與容災系統(tǒng)建設與實踐[J].網(wǎng)絡安全技術與應用,2020(6):81-82.
[10] 黃亮.英方軟件發(fā)布新品Data+為用戶提供個性化服務[J].計算機與網(wǎng)絡,2020,46(20):74-75.
【通聯(lián)編輯:代影】