翁錦陽，何萍，朱鐵兵

上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院計(jì)算機(jī)中心，上海 200025

大型醫(yī)院信息系統(tǒng)的容災(zāi)設(shè)計(jì)和應(yīng)用

翁錦陽，何萍，朱鐵兵

上海交通大學(xué)醫(yī)學(xué)院附屬瑞金醫(yī)院計(jì)算機(jī)中心，上海 200025

容災(zāi)的實(shí)質(zhì)是通過各種容災(zāi)技術(shù)和手段保持信息系統(tǒng)業(yè)務(wù)的持續(xù)性。本文介紹了我院信息系統(tǒng)的容災(zāi)設(shè)計(jì)和10余年的運(yùn)行經(jīng)驗(yàn)，總結(jié)出了適合大型醫(yī)院使用的容災(zāi)系統(tǒng)設(shè)計(jì)方案，并詳細(xì)說明其了原理和實(shí)現(xiàn)過程。

醫(yī)院信息系統(tǒng)；容災(zāi)技術(shù)；存儲(chǔ)局域網(wǎng)

1 醫(yī)院信息系統(tǒng)的容災(zāi)目的和需求

當(dāng)前，大型醫(yī)院已普遍建有醫(yī)院信息系統(tǒng)，并已成為醫(yī)院高效、有序開展醫(yī)療服務(wù)的基本保障。由于大型醫(yī)院全年365天、全天24h不間斷服務(wù)和高峰期業(yè)務(wù)并發(fā)量大的特點(diǎn)，一旦信息系統(tǒng)發(fā)生故障，整個(gè)醫(yī)院的業(yè)務(wù)將陷于癱瘓，因此對(duì)醫(yī)院信息系統(tǒng)的運(yùn)行安全性和連續(xù)性提出了很高的要求。為此，醫(yī)院信息系統(tǒng)的容災(zāi)設(shè)計(jì)對(duì)于大型醫(yī)院來說顯得尤為重要。

醫(yī)院信息系統(tǒng)的容災(zāi)目的，不僅是確保數(shù)據(jù)的完整性，還要保障關(guān)鍵業(yè)務(wù)運(yùn)行的持續(xù)性。即當(dāng)醫(yī)院信息系統(tǒng)發(fā)生故障時(shí)，仍能夠不間斷地或盡可能快地恢復(fù)提供關(guān)鍵業(yè)務(wù)支持，并盡可能避免關(guān)鍵數(shù)據(jù)的丟失，以保證醫(yī)療業(yè)務(wù)的正常運(yùn)行。

系統(tǒng)的容災(zāi)設(shè)計(jì)有兩個(gè)評(píng)價(jià)標(biāo)準(zhǔn)：恢復(fù)時(shí)間目標(biāo)（RTO，在災(zāi)難發(fā)生后需要恢復(fù)的緊迫性）和恢復(fù)點(diǎn)目標(biāo)（RPO，在災(zāi)難發(fā)生后恢復(fù)運(yùn)轉(zhuǎn)時(shí)數(shù)據(jù)丟失的可容忍程度）。RPO針對(duì)的是數(shù)據(jù)丟失，而RTO針對(duì)的是服務(wù)丟失。即系統(tǒng)容忍丟失的數(shù)據(jù)量越小，RPO的值越??；系統(tǒng)服務(wù)的緊迫性要求越高，RTO的值越小。由于醫(yī)院承擔(dān)救死扶傷任務(wù)的特殊性，決定了醫(yī)院信息系統(tǒng)對(duì)RPO和RTO具有很高的要求。

2 醫(yī)院信息系統(tǒng)的容災(zāi)設(shè)計(jì)和實(shí)現(xiàn)

醫(yī)院信息系統(tǒng)有計(jì)算、傳輸和存儲(chǔ)三大核心資源。計(jì)算資源主要包括具有計(jì)算能力和業(yè)務(wù)處理能力的服務(wù)器。傳輸資源主要包括網(wǎng)絡(luò)和各類網(wǎng)絡(luò)交換設(shè)備。存儲(chǔ)資源主要包括存放數(shù)據(jù)的各類存儲(chǔ)設(shè)備。醫(yī)院信息系統(tǒng)的容災(zāi)設(shè)計(jì)重點(diǎn)就是要保護(hù)這三種核心資源。

2.1 計(jì)算資源的保護(hù)

計(jì)算資源的傳統(tǒng)容災(zāi)方式主要是通過采用服務(wù)器群集技術(shù)來實(shí)現(xiàn)的。以典型的三層架構(gòu)（一般將醫(yī)院信息系統(tǒng)架構(gòu)由上至下劃分為表示層、業(yè)務(wù)邏輯層和數(shù)據(jù)訪問層）分別獨(dú)立部署在服務(wù)器或服務(wù)器群集上運(yùn)行為例介紹：

位于數(shù)據(jù)訪問層的數(shù)據(jù)庫服務(wù)器采用基于共享存儲(chǔ)的雙機(jī)熱備方式。兩臺(tái)數(shù)據(jù)庫服務(wù)器可以采用互備、主從、并行等不同的方式。在工作過程中，兩臺(tái)服務(wù)器將以一個(gè)虛擬的IP地址對(duì)外提供服務(wù)，依工作方式的不同，將服務(wù)請(qǐng)求發(fā)送給其中一臺(tái)服務(wù)器承擔(dān)。同時(shí)，服務(wù)器通過心跳線偵測(cè)另一臺(tái)服務(wù)器的工作狀況。當(dāng)一臺(tái)服務(wù)器出現(xiàn)故障時(shí)，另一臺(tái)服務(wù)器根據(jù)心跳偵測(cè)的情況做出判斷，并進(jìn)行切換，接管服務(wù)。這一過程可自動(dòng)在短時(shí)間內(nèi)完成（分鐘級(jí)），對(duì)業(yè)務(wù)不會(huì)造成影響。由于使用共享的存儲(chǔ)設(shè)備，因此兩臺(tái)服務(wù)器實(shí)際上使用的是一樣的數(shù)據(jù)，由雙機(jī)或集群軟件對(duì)其進(jìn)行管理。通過服務(wù)器群集的方式，能夠以較短的時(shí)間在部分計(jì)算資源發(fā)生災(zāi)難后恢復(fù)，保障業(yè)務(wù)系統(tǒng)持續(xù)穩(wěn)定地運(yùn)行。

在上兩層中——業(yè)務(wù)邏輯層（應(yīng)用服務(wù)器）和表示層（頁面服務(wù)器）由于只提供應(yīng)用服務(wù)和用戶訪問界面，并不保存數(shù)據(jù)，一般不需要使用共享的存儲(chǔ)設(shè)備，而應(yīng)配置多臺(tái)服務(wù)器建立負(fù)載均衡機(jī)制：一是避免在這兩層上出現(xiàn)單點(diǎn)失效，實(shí)現(xiàn)容災(zāi)；二是可以為用戶提供更好的訪問質(zhì)量、提高服務(wù)器響應(yīng)速度。

對(duì)于服務(wù)器供電中斷這類故障，可通過UPS的冗余并聯(lián)實(shí)現(xiàn)快速甚至無縫的災(zāi)難恢復(fù)。UPS冗余并聯(lián)實(shí)現(xiàn)了若干UPS設(shè)備本身的災(zāi)難恢復(fù)，一旦主機(jī)故障停機(jī)，系統(tǒng)自動(dòng)選擇作為從機(jī)（哪臺(tái)先開哪臺(tái)就是主機(jī)，而后開機(jī)的都是從機(jī)）運(yùn)行的另一臺(tái)UPS接替主機(jī)的工作，保持供電不間斷。

2.2 傳輸資源的保護(hù)

傳輸資源的保護(hù)主要通過虛擬路由技術(shù)，以及雙鏈路冗余和負(fù)載均衡來保障系統(tǒng)容災(zāi)的RTO。虛擬路由技術(shù)中最具代表性的是VRRP（虛擬路由冗余協(xié)議），可將一組用于醫(yī)院信息系統(tǒng)服務(wù)器與客戶端通信的路由器協(xié)同工作，共同構(gòu)成一臺(tái)虛擬路由器。該虛擬路由器對(duì)外表現(xiàn)為一個(gè)具有唯一固定IP地址和MAC地址的邏輯路由器。處于同一個(gè)組中的路由器具有兩種互斥的角色：主控路由器和備份路由器。一個(gè)組中有且只有一臺(tái)處于主控角色的路由器，可以有一個(gè)或者多個(gè)處于備份角色的路由器。VRRP協(xié)議使用選擇策略從路由器組中選出一臺(tái)作為主控，負(fù)責(zé)ARP響應(yīng)和轉(zhuǎn)發(fā)IP數(shù)據(jù)包。組中的其它路由器作為備份角色處于待命狀態(tài)。當(dāng)主控路由器發(fā)生故障時(shí)，備份路由器能在幾秒鐘的時(shí)延后升級(jí)為主路由器。由于此切換非常迅速而且不用改變IP地址和MAC地址，故對(duì)醫(yī)院信息系統(tǒng)客戶端用戶是透明的。

通過合理的網(wǎng)絡(luò)設(shè)計(jì)，也能到達(dá)備份和負(fù)載均衡雙重效果。比如讓兩臺(tái)路由器同時(shí)屬于互為備份的兩個(gè)組：在組1中路由器A為IP地址所有者；組2中路由器B為IP地址所有者。將客戶端1的默認(rèn)網(wǎng)關(guān)設(shè)定為路由器A；客戶端2、客戶端3的默認(rèn)網(wǎng)關(guān)設(shè)定為路由器B。這樣既分擔(dān)了設(shè)備負(fù)載和網(wǎng)絡(luò)流量，又提高了網(wǎng)絡(luò)可靠性。同樣可以利用如Port-channel等技術(shù)實(shí)現(xiàn)鏈路的冗余和負(fù)載均衡。

2.3 存儲(chǔ)資源的保護(hù)

存儲(chǔ)資源由于承擔(dān)保存醫(yī)院信息系統(tǒng)數(shù)據(jù)的功能，建議在數(shù)據(jù)庫服務(wù)器群集中采用雙存儲(chǔ)陣列作為共享存儲(chǔ)（雙鏈路雙控制器冗余的存儲(chǔ)陣列最佳），并以鏡像方式同步。這樣，即使作為共享存儲(chǔ)的其中一個(gè)盤陣離線，服務(wù)依然能夠無間斷運(yùn)行。

此外，可利用連續(xù)數(shù)據(jù)保護(hù)技術(shù)（CDP）對(duì)醫(yī)院信息系統(tǒng)數(shù)據(jù)進(jìn)行備份，此技術(shù)可以捕捉到一切文件級(jí)或數(shù)據(jù)塊級(jí)別的數(shù)據(jù)改動(dòng)，可以對(duì)備份對(duì)象進(jìn)行更加細(xì)化的粒度的恢復(fù)，可以恢復(fù)到任意時(shí)間點(diǎn)。硬盤部分，設(shè)置RAID容錯(cuò)報(bào)錯(cuò)，且有熱拔插功能，一旦硬盤毀損，立刻抽換硬盤，系統(tǒng)仍可正常運(yùn)作，無需中斷或關(guān)機(jī)。

2.4 建立異地災(zāi)備中心

上述技術(shù)手段實(shí)現(xiàn)了醫(yī)院信息系統(tǒng)的本地容災(zāi)，但對(duì)于機(jī)房遭遇火災(zāi)等大型災(zāi)害，本地容災(zāi)則顯得無能為力。有鑒于此，應(yīng)當(dāng)在數(shù)據(jù)中心所處的建筑之外建立異地災(zāi)備中心，將重要性高的應(yīng)用實(shí)現(xiàn)異地?cái)?shù)據(jù)容災(zāi)。由于現(xiàn)在存儲(chǔ)局域網(wǎng)（SAN）的發(fā)展，使得數(shù)據(jù)備份過程可以在SAN中實(shí)現(xiàn)，以滿足異地容災(zāi)需求。數(shù)據(jù)中心和異地災(zāi)備中心直接通過專用存儲(chǔ)網(wǎng)絡(luò)進(jìn)行連接，生產(chǎn)系統(tǒng)的數(shù)據(jù)實(shí)時(shí)地通過專用的存儲(chǔ)網(wǎng)絡(luò)傳輸?shù)綖?zāi)備中心存儲(chǔ)。由于數(shù)據(jù)的備份過程不經(jīng)過主機(jī)系統(tǒng)所在的網(wǎng)絡(luò)，因此不會(huì)對(duì)生產(chǎn)系統(tǒng)的網(wǎng)絡(luò)有任何影響。

雖然異地?cái)?shù)據(jù)容災(zāi)可以保障在生產(chǎn)系統(tǒng)設(shè)備遭遇嚴(yán)重?fù)p壞情況下的數(shù)據(jù)完整性，但該方案的系統(tǒng)恢復(fù)時(shí)間較長(zhǎng)，業(yè)務(wù)支持連續(xù)性較差，較適合對(duì)實(shí)時(shí)性要求相對(duì)較低的業(yè)務(wù)應(yīng)用，如出院結(jié)算服務(wù)、行政辦公服務(wù)等。

對(duì)實(shí)時(shí)性要求高的應(yīng)用，如門急診結(jié)算應(yīng)用，應(yīng)實(shí)現(xiàn)異地的應(yīng)用級(jí)容災(zāi)。即在異地災(zāi)備中心建立一套與生產(chǎn)系統(tǒng)相同的備用系統(tǒng)，不但通過SAN實(shí)現(xiàn)數(shù)據(jù)的備份，還應(yīng)搭建一套備用的應(yīng)用服務(wù)器，并與客戶端間采用雙網(wǎng)絡(luò)回路。即使數(shù)據(jù)中心主核心路由器完全停止工作，網(wǎng)絡(luò)線路仍可以快速切換到通向?yàn)?zāi)備中心的鏈路，客戶端程序也可以通過容災(zāi)系統(tǒng)的路由連接到備用數(shù)據(jù)庫，可使應(yīng)用系統(tǒng)得以在30s內(nèi)恢復(fù)運(yùn)行，RTO值很小。

2.5 部署持續(xù)數(shù)據(jù)保護(hù)軟件

上述技術(shù)可以有效降低或防止自然災(zāi)害、設(shè)備損壞對(duì)醫(yī)院信息系統(tǒng)造成的破壞，但人為破壞（誤操作、蓄意破壞等）同樣會(huì)給醫(yī)院造成不亞于前兩者的損失，而上文提到的技術(shù)對(duì)此無能為力。

為防止此因素造成的破壞，需要在存儲(chǔ)資源和計(jì)算資源上部署持續(xù)數(shù)據(jù)保護(hù)軟件（CDP），它可以提供連續(xù)的恢復(fù)點(diǎn)，能夠存取任何時(shí)間點(diǎn)上的數(shù)據(jù)，而不僅僅針對(duì)那些由快照流程預(yù)先確定的特殊時(shí)刻。

3 醫(yī)院信息系統(tǒng)容災(zāi)的日常管理

除通過技術(shù)手段建立醫(yī)院信息系統(tǒng)容災(zāi)方案以實(shí)現(xiàn)信息系統(tǒng)高可用性之外，信息系統(tǒng)日常管理的重要性也不可忽視。平時(shí)應(yīng)定期對(duì)機(jī)房巡檢，通過查看設(shè)備狀態(tài)燈以及各類日志（包括操作系統(tǒng)、數(shù)據(jù)庫、服務(wù)器和存儲(chǔ)硬件監(jiān)視軟件、路由交換設(shè)備），分析系統(tǒng)當(dāng)前的健康情況。對(duì)操作系統(tǒng)以及數(shù)據(jù)庫的用戶和密碼進(jìn)行嚴(yán)格管理，及時(shí)刪除不再使用的帳戶，定期更改密碼。及時(shí)更新殺毒軟件病毒碼，不推薦被殺毒軟件掃描的目錄和文件（如數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)文件），應(yīng)當(dāng)及時(shí)將其列入排除列表，以免嚴(yán)重影響系統(tǒng)性能和殺毒軟件誤刪文件后造成系統(tǒng)崩潰。定期進(jìn)行災(zāi)難恢復(fù)演練，確認(rèn)恢復(fù)點(diǎn)及容災(zāi)方案在發(fā)生各種故障后的可用性。綜上所述，日常的管理措施可以盡量減少系統(tǒng)故障點(diǎn)，防患于未然，避免不必要的系統(tǒng)恢復(fù)工作。

上述醫(yī)院信息系統(tǒng)的容災(zāi)方案，是筆者所在醫(yī)院的信息系統(tǒng)容災(zāi)建設(shè)10年發(fā)展的結(jié)晶，從最初的單服務(wù)器（定時(shí)備份）模式，發(fā)展到本地容災(zāi)（高可用、定時(shí)備份）模式，一直到現(xiàn)在的異地容災(zāi)（SAN、CDP）模式，取得了較好的實(shí)踐效果。我院在100余臺(tái)服務(wù)器、160余臺(tái)交換機(jī)、3600余臺(tái)計(jì)算機(jī)的規(guī)模下，已經(jīng)連續(xù)10年未發(fā)生全院性信息系統(tǒng)癱瘓事件。誠(chéng)然，實(shí)現(xiàn)醫(yī)院信息系統(tǒng)的容災(zāi)需要較大的前期投入，但是相對(duì)于醫(yī)院信息系統(tǒng)因遭遇故障而丟失的數(shù)據(jù)、造成的惡劣社會(huì)影響和經(jīng)濟(jì)損失、事后恢復(fù)所需的大量人力和時(shí)間，這些投入還是相當(dāng)值得的。

[1]李濤,劉曉潔,曾金全,等.信息系統(tǒng)容災(zāi)抗毀原理與應(yīng)用[M].北京:人民郵電出版社,2007.

[2]董民,周衛(wèi)東,沈慶國(guó).路由器原理、操作及應(yīng)用[M].北京:國(guó)防工業(yè)出版,2006.

[3]鄒恒明.有備無患:信息系統(tǒng)之災(zāi)難應(yīng)對(duì)[M].北京:機(jī)械工業(yè)出版社,2009.

[4]王改性,師鳴若.數(shù)據(jù)存儲(chǔ)備份與災(zāi)難恢復(fù)[M].北京:電子工業(yè)出版社,2009.

[5]山德布.信息災(zāi)難恢復(fù)規(guī)劃[M].北京:清華大學(xué)出版社,2006.

[6]楊霜英,等.大型醫(yī)院網(wǎng)絡(luò)信息系統(tǒng)的安全保障策略[J].中國(guó)醫(yī)療設(shè)備,2009,24(10):36-38.

[7]張大勝.醫(yī)院數(shù)據(jù)存儲(chǔ)備份系統(tǒng)建設(shè)的經(jīng)驗(yàn)與體會(huì)[J].醫(yī)學(xué)信息,2008,(12):2184-2186.

[8]方向東.淺談數(shù)據(jù)安全與數(shù)據(jù)備份存儲(chǔ)技術(shù)[J].科技資訊,2007,(31):113.

Disaster Tolerance Design and Application of Hospital Information System in Large Scale Hospitals

WENG Jin-yang, HE Ping,
ZHU Tie-bing
Computer Center, Ruijin Hospital of Shanghai Jiaotong University, Shanghai 200025, China

TP393.08

B

10.3969/j.issn.1674-1633.2011.01.018

1674-1633(2011)01-0059-02

2010-06-22

2010-10-26

作者郵箱：zjbyyd@sina.com

Abstract:The essence of disaster tolerance is to maintain the continuity of information system through a variety of disaster tolerance techniques and tools. This paper introduces the design and operating experience about disaster tolerance of HIS in our hospital, and summarizes the disaster tolerance design project in large hospitals, then detailedly expounds on its principle and realization.

Key words:HIS; disaster tolerance technology; storage local area network