游海鴻

?

醫(yī)院容災(zāi)備份系統(tǒng)的改造

游海鴻

容災(zāi)備份；備份一體機(jī)；虛擬化

我院自2000年實(shí)施醫(yī)療信息化以來，已逐步建成了醫(yī)院信息系統(tǒng)(hospital information system, HIS)、檢驗(yàn)信息系統(tǒng)(lab information system, LIS)、圖像傳輸與歸檔系統(tǒng)(picture archiving and communication system, PACS)。這些信息系統(tǒng)24小時(shí)不間斷地運(yùn)行，同時(shí)也產(chǎn)生了大量寶貴的醫(yī)療數(shù)據(jù)，這些數(shù)據(jù)為醫(yī)院的發(fā)展提供了科學(xué)的支持。為保障信息系統(tǒng)運(yùn)行的連續(xù)性和醫(yī)療數(shù)據(jù)的安全性，建立一個(gè)科學(xué)、有效的容災(zāi)備份系統(tǒng)也成為每個(gè)醫(yī)院信息化建設(shè)的重中之重。

1 系統(tǒng)改造前的狀況與存在的問題

1.1 改造前狀況

1.1.1 HIS數(shù)據(jù)庫 容災(zāi)備份方案采用的是雙機(jī)容錯(cuò)+磁盤陣列+低配置備份服務(wù)器。兩臺(tái)IBMX3650M2服務(wù)器利用WINDOWS操作系統(tǒng)自帶的集群管理功能構(gòu)成一個(gè)集群，并通過光纖與IBMDS4700磁盤陣列柜連接，實(shí)現(xiàn)主-備工作模式，磁盤陣中的6塊磁盤做成RAID5。生產(chǎn)服務(wù)器每日凌晨1：00運(yùn)行Windows任務(wù)計(jì)劃，執(zhí)行備份批處理文件，將數(shù)據(jù)庫全量導(dǎo)出為DMP格式的文件，存儲(chǔ)在備份服務(wù)器上，以周為單位循環(huán)覆蓋。

1.1.2 PACS系統(tǒng) 容災(zāi)備份方案采用的是磁盤陣列(network attached storage, NAS)+離線存儲(chǔ)。一臺(tái)服務(wù)器主機(jī)通過網(wǎng)絡(luò)與NetApp FAS2040A存儲(chǔ)陣列連接，磁盤陣列采用RAID DP技術(shù)。服務(wù)器每日凌晨1：00運(yùn)行備份計(jì)劃任務(wù)，將數(shù)據(jù)備份到移動(dòng)硬盤，備份方式采用增量備份。

1.1.3 LIS系統(tǒng) 因?yàn)閿?shù)據(jù)量較小，其容災(zāi)備份方案采用服務(wù)器內(nèi)置鏡像硬盤+離線存儲(chǔ)。LIS服務(wù)器采用IBMXSERIES205,內(nèi)置2塊80 G硬盤，通過硬盤鏡像達(dá)到容災(zāi)目的。服務(wù)器每日凌晨1：00運(yùn)行備份計(jì)劃任務(wù)，將LIS數(shù)據(jù)庫全量備份到移動(dòng)硬盤。

1.2 存在的問題

1.2.1 容災(zāi)能力不高 HIS、PACS、LIS的容災(zāi)備份系統(tǒng)都存在容災(zāi)能力不高的情況。對于HIS系統(tǒng)而言，一旦磁盤陣列出現(xiàn)兩塊或兩塊以上磁盤損壞，數(shù)據(jù)庫將無法啟動(dòng)，當(dāng)天數(shù)據(jù)也將丟失，而備份服務(wù)器由于配置較低，無法接替現(xiàn)有系統(tǒng)的功能，整個(gè)HIS系統(tǒng)將處于癱瘓狀態(tài)。LIS和PACS服務(wù)器由于均采用單節(jié)點(diǎn)運(yùn)行模式，當(dāng)服務(wù)器硬件或軟件出現(xiàn)問題時(shí)，同樣也會(huì)造成LIS和PACS系統(tǒng)長時(shí)間癱瘓和數(shù)據(jù)丟失，影響相關(guān)科室的正常工作。

1.2.2 災(zāi)難恢復(fù)時(shí)間長 災(zāi)難恢復(fù)包括重建系統(tǒng)環(huán)境和恢復(fù)數(shù)據(jù)庫。目前的恢復(fù)方案是從備份服務(wù)器或磁盤通過網(wǎng)絡(luò)或USB接口向在用服務(wù)器硬盤傳輸數(shù)據(jù)。但由于數(shù)據(jù)量大，磁盤讀寫速度慢，所以數(shù)據(jù)傳輸時(shí)間長。同時(shí)還由于缺少用于恢復(fù)測試的硬件環(huán)境，數(shù)據(jù)恢復(fù)經(jīng)驗(yàn)不足，因而很可能會(huì)出現(xiàn)恢復(fù)失敗的意外情況，同樣也延長了數(shù)據(jù)恢復(fù)時(shí)間

1.2.3 備份數(shù)據(jù)的存儲(chǔ)安全性低 HIS系統(tǒng)利用低配置的服務(wù)器硬盤存儲(chǔ)備份數(shù)據(jù)，LIS與PACS系統(tǒng)的備份數(shù)據(jù)存儲(chǔ)于移動(dòng)硬盤。這種存儲(chǔ)備份數(shù)據(jù)的介質(zhì)安全性低，一旦用于備份的磁盤出現(xiàn)故障，備份數(shù)據(jù)將無效，這將會(huì)給醫(yī)院帶來不可估量的損失。

2 改造目標(biāo)

(1)實(shí)現(xiàn)在用系統(tǒng)和備用系統(tǒng)的快速切換[1]；(2)實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)運(yùn)行環(huán)境和數(shù)據(jù)庫的多級備份，確保備份數(shù)據(jù)的安全；(3)支持Oracle和SQL Server等多種數(shù)據(jù)庫數(shù)據(jù)的在線備份，支持以非腳本方式實(shí)現(xiàn)對Oracle數(shù)據(jù)庫的單表級粒度恢復(fù)，并且保證數(shù)據(jù)庫數(shù)據(jù)的一致性和完整性；(4)備用系統(tǒng)能夠支持在同一平臺(tái)上并行多個(gè)操作系統(tǒng)和數(shù)據(jù)庫。

3 改造的設(shè)計(jì)和實(shí)現(xiàn)

對于要求24小時(shí)不間斷的信息系統(tǒng)而言，目前可供選擇的容災(zāi)備份方案很多，有基于智能存儲(chǔ)技術(shù)的解決方案，包括EMC Symmetrix遠(yuǎn)程鏡像技術(shù)整體解決方案[2]，IBM 同層遠(yuǎn)程復(fù)制技術(shù)(peer-to-peer remote copy，PPRC)及國產(chǎn)品牌愛數(shù) AnyBackup整體解決方案等。有基于軟件復(fù)制技術(shù)的解決方案，如：VERITAS公司提供的VVR軟件，可實(shí)現(xiàn)在主點(diǎn)和備點(diǎn)之間進(jìn)行同步或異步的數(shù)據(jù)庫或應(yīng)用數(shù)據(jù)的復(fù)制。另外還有基于數(shù)據(jù)庫的數(shù)據(jù)備份技術(shù)以及快照技術(shù)等。

綜合考慮我院信息化建設(shè)的實(shí)際需求和經(jīng)濟(jì)投入等因素，經(jīng)過反復(fù)論證，確定采用愛數(shù)AnyBackup整體解決方案對數(shù)據(jù)備份方式、備份存儲(chǔ)介質(zhì)，以及恢復(fù)方式進(jìn)行全面升級改造。改造后的容災(zāi)備份系統(tǒng)網(wǎng)絡(luò)示意圖如圖1。

圖1 容災(zāi)備份系統(tǒng)網(wǎng)絡(luò)

配置一臺(tái)愛數(shù)備份一體機(jī)VX1200，安裝介質(zhì)服務(wù)器主模塊。主模塊的功能包括數(shù)據(jù)遠(yuǎn)程復(fù)制、備份策略設(shè)置、重復(fù)數(shù)據(jù)刪除等。一體機(jī)中配有6個(gè)2 T的SATA硬盤，總?cè)萘繛?2 T，64 G高速緩存，2個(gè)Intel千兆以太網(wǎng)接口。通過二級交換機(jī)與醫(yī)院局域網(wǎng)連接，采用基于集中式管理的存儲(chǔ)區(qū)域網(wǎng)絡(luò)(storage area net, SAN)模式進(jìn)行數(shù)據(jù)傳輸，以提高備份效率。在備份策略上VX1200支持定時(shí)備份策略和數(shù)據(jù)連續(xù)保護(hù)(continuous data protection,CDP)技術(shù)[1，3]，但是考慮到我院生產(chǎn)服務(wù)器硬件配置不高，如果采用CDP技術(shù)，將會(huì)延遲生產(chǎn)服務(wù)器對客戶端請求的相應(yīng)時(shí)間，尤其在數(shù)據(jù)交換高峰期延遲將會(huì)非常明顯，所以最終仍采取定時(shí)備份策略。具體備份方案為周日至周五，從上午7：00開始，每隔4小時(shí)進(jìn)行一次增量備份，每周六凌晨1：00進(jìn)行完全備份。備份內(nèi)容為HIS、LIS、PACS服務(wù)器的系統(tǒng)運(yùn)行環(huán)境、Oracle 11g數(shù)據(jù)庫、病歷文件以及Oracle數(shù)據(jù)庫歸檔文件。配置一臺(tái)愛數(shù)VX1200介質(zhì)服務(wù)器作為二級備份,配有6個(gè)2T的SATA硬盤，總?cè)萘繛?2 T，64 G高速緩存,2個(gè)Intel千兆以太網(wǎng)接口。其功能是同步備份一體機(jī)的數(shù)據(jù)，若備份一體機(jī)出現(xiàn)數(shù)據(jù)丟失，可從二級備份介質(zhì)向備份一體機(jī)恢復(fù)數(shù)據(jù)。VX1200通過二級交換機(jī)與局域網(wǎng)連接，放置于另一個(gè)機(jī)房，以提高備份數(shù)據(jù)的安全性[4]。

配置一臺(tái)性能較高的備用服務(wù)器。備用服務(wù)器采用IBM3650 M5。配置為2個(gè)CPU，16 G內(nèi)存，4 T SAS硬盤。安裝虛擬化管理程序VMware ESXI 6.0.0-u1，將物理服務(wù)器劃分為3個(gè)虛擬邏輯服務(wù)器，在每個(gè)虛擬服務(wù)器上建立與HIS、LIS、PACS生產(chǎn)服務(wù)器相同的運(yùn)行環(huán)境和數(shù)據(jù)庫系統(tǒng)。備用服務(wù)器主要有兩個(gè)功能:首先是充當(dāng)恢復(fù)測試用機(jī)，將備份一體機(jī)的備份數(shù)據(jù)定期恢復(fù)到測試服務(wù)器，并檢測備份數(shù)據(jù)的有效性；其次，當(dāng)HIS、LIS、PACS服務(wù)器或陣列因硬件故障宕機(jī)后，使用備用服務(wù)器臨時(shí)充當(dāng)生產(chǎn)服務(wù)器，直到后者完全恢復(fù)正常。

4 恢復(fù)測試演練

為了快速、有效地應(yīng)付核心業(yè)務(wù)數(shù)據(jù)庫服務(wù)器的崩潰，在最短的時(shí)間內(nèi)恢復(fù)業(yè)務(wù)的運(yùn)行，要求定期進(jìn)行災(zāi)備演練[5]。在新容災(zāi)備份系統(tǒng)上線一周后，我們對HIS系統(tǒng)進(jìn)行恢復(fù)測試：第一步，斷開生產(chǎn)服務(wù)器，將操作系統(tǒng)恢復(fù)至虛擬機(jī)；第二步，恢復(fù)數(shù)據(jù)庫軟件；第三步，恢復(fù)Oracle數(shù)據(jù)庫文件和病歷文件。此次恢復(fù)數(shù)據(jù)量大約為110 G，所用時(shí)間大約35 min，為我院醫(yī)療系統(tǒng)所能容忍的宕機(jī)時(shí)間。

實(shí)踐表明，容災(zāi)備份改造方案解決了原有方案中備份數(shù)據(jù)存儲(chǔ)不安全、備份恢復(fù)速度慢、容災(zāi)能力低的問題，實(shí)現(xiàn)了全院備份數(shù)據(jù)的科學(xué)集中存儲(chǔ)管理，以最小的投資換取系統(tǒng)最大的安全。今后還將通過提高生產(chǎn)服務(wù)器的硬件配置，充分利用備份一體機(jī)的CDP技術(shù)以達(dá)到更高的復(fù)原時(shí)間目標(biāo)和復(fù)原點(diǎn)目標(biāo)。

[1] 胡馨元. 醫(yī)院信息系統(tǒng)數(shù)據(jù)保護(hù)設(shè)計(jì)思路解析[J].中國數(shù)字醫(yī)學(xué),2015,10(11):87-88.

[2] 周顯國.醫(yī)院信息系統(tǒng)存儲(chǔ)與容災(zāi)建設(shè)的體會(huì)[J].中國醫(yī)院管理,2008,28(5): 62.

[3] 葉 斌. 兩種適用醫(yī)院信息系統(tǒng)容災(zāi)與數(shù)據(jù)備份的方案[J].臨床工程,2011,26(5): 132-133.

[4] 王浩銘, 穆道生，周 勇. 容災(zāi)備份技術(shù)、產(chǎn)品和應(yīng)用現(xiàn)狀的分析與研究[J].電腦知識(shí)與技術(shù),2014,10(13): 2914-2918.

[5] 胡鐵驪,胡 宏,胡智勇,等.醫(yī)院信息系統(tǒng)災(zāi)備方案的設(shè)計(jì)和應(yīng)用實(shí)例[J].中國衛(wèi)生信息管理雜志,2013,10(3):258-260.

(2016-03-21收稿 2016-06-10修回)

(責(zé)任編輯 武建虎)

游海鴻，本科學(xué)歷，高級工程師。

100027，武警北京總隊(duì)醫(yī)院信息科

R197