文|青島市城市建設檔案館 王俊剛 封堯
數(shù)據(jù)備份是現(xiàn)在軟件部署、平臺搭建不可缺少的服務,數(shù)據(jù)備份簡單講是將數(shù)據(jù)文件從A 復制到B,往往會被認為非常簡單,Ctrl + C 再 Ctrl + V 就可以完成。在個人電腦上這么操作是沒有問題的,因為在復制粘貼的過程中原來的文檔或者材料是不會再寫入數(shù)據(jù)的。但是在平臺或軟件使用的過程中就不一定了,比如網(wǎng)購平臺,可能每時每刻都在產(chǎn)生交易數(shù)據(jù),數(shù)據(jù)在變怎么辦呢?
最為簡單的理解,暫停平臺的交易,等備份完成后再進行購買交易。對于存儲體量小和有非工作時間的場景是可以這么來做的,但是對于存儲體量較大,備份一次需要花費比較長的時間和24 小時程序不間斷運行的產(chǎn)品來看是不適用的。這時就衍生成離線備份和在線備份兩種不同的概念。
離線備份是指備份截止至某個時間段產(chǎn)生的數(shù)據(jù),比較簡單,也有比較明顯的缺點,比如:需要人工備份、備份恢復數(shù)據(jù)僅僅能恢復截止至某個時間段產(chǎn)生的數(shù)據(jù),往往時間比較久。
在線備份是指一邊服務一邊備份,過程相對比較復雜,但是可以實時進行備份。在線備份中分為全量備份和增量備份兩種備份模式。全量備份是指將指定位置下的所有數(shù)據(jù)全部復制。增量備份,是指只備份與在上次備份中發(fā)生改變的數(shù)據(jù)部分。
一旦系統(tǒng)的硬件或內(nèi)存媒體出現(xiàn)了故障,“備份”工具就能夠協(xié)助維護數(shù)據(jù)免遭意外損毀。在系統(tǒng)遭受網(wǎng)絡攻擊、入侵、電源故障和操作失誤等事件發(fā)生時,能夠完整、迅速、簡單、安全的修復原有網(wǎng)絡系統(tǒng),在法律規(guī)定的時間范圍內(nèi)保障系統(tǒng)的正常工作。
離線備份:又名脫機備份。離線備份,是將數(shù)據(jù)保存在能離開計算機存儲系統(tǒng)的存儲介質(zhì)上。
在線備份:又名時間備份,它能夠捕捉到任何數(shù)據(jù)級別或者數(shù)據(jù)塊級的數(shù)據(jù)寫改動,也能夠?qū)浞輸?shù)據(jù)實現(xiàn)更為精細粒度的還原,并且能夠恢復到任何時間節(jié)點。系統(tǒng)管理員不必關(guān)心數(shù)據(jù)的備份過程,而是只要在災難出現(xiàn)時,只需輕松的選取要恢復到的數(shù)據(jù)備份時點就能完成數(shù)據(jù)的迅速修復。
目前青島城建檔案館中檔案的數(shù)字采集存儲系統(tǒng),根據(jù)軟件功能不同和電子文件存儲方式不同主要分為兩大類,一類是電子文件存儲量大且后期不會對電子文件進行修改和刪除的城建檔案管理平臺,其作用為老百姓進行檔案登記、檔案查詢。城建檔案管理平臺存儲特點:存儲檔案以工程為單位,檔案均為竣工檔案且檔案保存完整,存儲后不會對電子檔案進行修改。目前存儲電子檔案已有約16TB。一類是電子文件存儲量相對較小,但存儲的電子文件會實時發(fā)生變化的城建檔案在線接收系統(tǒng),其作用是方便參建單位在施工過程中分階段上傳城建檔案材料。城建檔案在線接收系統(tǒng)存儲特點:電子文件存儲分為兩部分,組卷完成的城建檔案按工程名稱生成SIP 包進行存儲;未組卷完成的城建檔案形成以工程GUID 為主的文件夾,進行工程下電子文件的存儲,目前青島城建檔案在線接收系統(tǒng)存儲電子檔案已有約6TB。
青島市城建檔案館需要針對“城建檔案管理平臺”和“城建檔案在線接收系統(tǒng)”特點,分別制定不同的備份方案,備份方案要滿足系統(tǒng)所有的備份要求,比如:實現(xiàn)數(shù)據(jù)的增量備份功能、實現(xiàn)數(shù)據(jù)全量備份功能、建立系統(tǒng)數(shù)據(jù)容災機制等。
根據(jù)目前青島城建檔案館系統(tǒng)存儲現(xiàn)狀,建立科學、有效的數(shù)字檔案備份策略,實現(xiàn)數(shù)據(jù)的統(tǒng)一備份、自動備份、高效率管理,確保一旦發(fā)生未知故障或災難時,數(shù)據(jù)資料不會丟失,系統(tǒng)能在最短時間內(nèi)恢復運轉(zhuǎn),將風險降低和將損失降低到最小。
“城建檔案管理平臺”和“城建檔案在線接收系統(tǒng)”設置數(shù)據(jù)庫自動備份、電子文件的自動備份,確保備份的文件可以及時恢復還原。
2.4.1 城建檔案管理平臺備份設計
城建檔案管理平臺離線備份主要包括以下三種方法:移動硬盤備份、光盤刻錄機備份、異地備份。
移動硬盤備份:每季度將管理平臺存儲的電子文件和數(shù)據(jù)庫文件,通過復制粘貼的方式,拷貝至移動硬盤中進行存儲。移動硬盤備份的優(yōu)勢在于便于數(shù)據(jù)攜帶。
圖1 數(shù)據(jù)庫自動備份功能圖
光盤刻錄機備份:每季度使用光盤刻錄機將電子文件和數(shù)據(jù)庫文件存儲至光盤中,將已經(jīng)刻錄好的光盤保存至防磁柜中。光盤刻錄機備份的優(yōu)勢在于存儲至光盤的電子文件不會被篡改,降低病毒傳播風險。
異地備份:按照住建部、省住建廳的統(tǒng)一部署和安排,青島市與濟南市、深圳市城建檔案館簽訂《城建檔案數(shù)據(jù)異地備份協(xié)議》,定期將移動硬盤的數(shù)據(jù)存放至兩地,保障數(shù)據(jù)的存儲和安全。異地備份主要目的是為了防止人為因素和自然災害導致的電子檔案損壞。
城建檔案管理平臺在線備份分為數(shù)據(jù)庫備份和電子文件備份。
數(shù)據(jù)庫備份:借助于Navicat Premium備份功能,設置自動備份計劃,實現(xiàn)數(shù)據(jù)庫每日備份。
電子文件備份:管理平臺的難點是電子文件備份,隨著時間的推移電子文件存儲占用的空間越來越大,使用備份軟件、磁帶機備份等方式并不能滿足業(yè)務的需求。
根據(jù)城建檔案存儲實際情況,存儲的工程為竣工類工程,后期不會對存儲的文件進行修改等特點。采用如下的備份策略:
(1)編寫SQL 腳本,將現(xiàn)有的城建檔案管理平臺所有的工程,標記backup state狀態(tài)為已備份,(backup state 狀態(tài)有兩種:未備份、已備份),后期城建檔案管理平臺新增工程檔案自動追加backup state 狀態(tài)為“未備份”運行SQL 腳本。
(2)對城建檔案管理平臺整體的做一次數(shù)據(jù)全備份。
(3)全備份完成后,再在任務計劃程序中設置自動任務,每天定時將新增工程進行增量備份。
數(shù)據(jù)恢復/還原:在新服務器重新搭建城建檔案管理平臺,實際環(huán)境下備份服務器已經(jīng)搭建城建檔案管理平臺,保持產(chǎn)品版本一致。將最新一次的數(shù)據(jù)庫備份文件(SQL 文件)進行導入操作。SQL 文件導入完成后,登錄城建檔案管理平臺,在系統(tǒng)配置中重新指定電子文件存儲路徑進行電子文件掛接。(對于使用光盤刻錄機進行備份的文件,需要拷貝至服務器硬盤才可以實現(xiàn)文件的正常讀取)。
圖2 管理平臺備份方案
2.4.2 城建檔案在線接收系統(tǒng)備份設計
離線備份:城建檔案在線接收系統(tǒng)離線備份方式與上述城建檔案管理平臺一致,每季度將服務器數(shù)據(jù)通過硬盤及光盤刻錄機的形式進行備份保存。
在線備份:城建檔案在線接收系統(tǒng)在線備份也分為數(shù)據(jù)庫備份和電子文件備份。
數(shù)據(jù)庫備份:城建檔案在線接收系統(tǒng)數(shù)據(jù)庫備份與城建檔案管理平臺備份方式一致,通過在Navicat Premium 程序中設置定時任務完成數(shù)據(jù)庫備份工作。
電子文件備份:城建檔案在線接收系統(tǒng)比城建檔案管理平臺存儲壓力相對較小。城建檔案在線系統(tǒng)文件存儲分為未組卷和組卷完成工程。對于組卷完成的工程,系統(tǒng)會每周擺渡至城建檔案管理平臺中,所以對于城建檔案在線接收系統(tǒng)存儲最大的困難是存儲未組卷的電子文件,未組卷的電子文件,報建單位可以隨時替換和刪除,存在比較大的變數(shù)。針對此特點城建檔案館采用SyncToy軟件進行電子文件的在線備份。
SyncToy 微軟同步器能夠使檔案在不同的硬盤或者文件夾中保持一致而且都能夠進行處理,SyncToy 是一種免費的、很容易使用的軟件。高度的定制能力會讓使用者從繁瑣的拷貝、移動和共享多個目錄的操作中擺脫出來,只要點擊幾個鼠標就可以完成更多的動作,操作簡單而且具有額外的定制功能。
SyncToy 有三種不同的同步模式:
(1)Synchronize:鏡像共享模式,該方式會根據(jù)左右二個目錄數(shù)據(jù)的添加、刪除、編輯、更名等,使左右兩端的目錄同步于當前的狀態(tài)。
(2)Echo:單向同步模型,按照左方目錄表中最新的文檔添加、刪除、編輯、更名等,即標示的源文檔為主完成相應的修改動作。
(3)Contribute:增量同步模式,其差別在于不能進行刪除的操作。即在左側(cè)進行清除的動作,而右側(cè)的文件夾則不能進行清除的動作。
城建檔案在線接收系統(tǒng)在使用SyncToy備份時,首先使用Echo:單向同步模式(圖3),將所有的文件進行一次全備份。
全備份一次完成后,后續(xù)備份,選擇增量同步完成備份計劃。
安裝了SyncToy 之后,由于此軟件無法設定自動運行日期,所以必須與Windows的任務結(jié)合,自動進行同步運行。
SyncToy 會將每次新增、刪除、覆蓋的文件進行日志記錄,以方便日后日志記錄的審查。
數(shù)據(jù)恢復/還原:城建檔案在線接收系統(tǒng)數(shù)據(jù)恢復方式與城建檔案管理平臺數(shù)據(jù)恢復方式一致,首先部署安裝城建檔案在線接收系統(tǒng)后,導入最近一次的數(shù)據(jù)庫備份,最后在系統(tǒng)中設置電子文件存儲位置。
城建檔案管理平臺文件存儲量大,如果采用磁帶備份等方式,對于備份服務器和磁帶庫要求比較高,長時間的讀寫會導致磁帶壽命降低,備份服務器故障率提升。采用數(shù)據(jù)庫字段標記方式可以有目的的完成數(shù)據(jù)的提取,避免了因I/O 磁盤讀寫引發(fā)的系統(tǒng)資源占用率過高,無法釋放等問題。
城建檔案在線接收系統(tǒng)存儲的文件隨時會發(fā)生變化。用其他軟件或者是手動復制粘貼的方式進行備份,比較耗費時間,采用SyncToy 軟件Contribute 方式進行備份花費的時間僅占全備份的1/5 甚至更短。SyncToy 更具有優(yōu)勢的一個特點是不需要購買版權(quán),軟件是免費的。
針對青島城建檔案館兩個不同的應用軟件“城建檔案管理平臺”和“城建檔案在線接收系統(tǒng)”分別制定了較為詳細的數(shù)據(jù)備份方案,借鑒和運用目前最為先進的備份技術(shù)和軟件,實現(xiàn)了城建檔案信息數(shù)據(jù)的自動備份,并建立了異地備份機制?;ヂ?lián)網(wǎng)時代,有大量的數(shù)據(jù)需要備份或者長期歸檔。備份的方式和軟件有很多,在進行備份時首先要考慮結(jié)合業(yè)務的實際情況,確定文件屬于靜態(tài)存儲方式還是動態(tài)存儲方式,然后再決定文件的備份方式。不管選擇任何一種備份方式,除了考慮備份的便捷性之外,還要考慮恢復數(shù)據(jù)的便捷性,以便在出現(xiàn)問題后可以短時間內(nèi)進行數(shù)據(jù)恢復。
圖3 單向同步模式
圖4 增量同步模式
圖5 任務計劃程序
圖6 分析報告