管光明，梁宏坤

（1.中國(guó)移動(dòng)通信集團(tuán)上海有限公司 上海200061；2.上海貝爾股份有限公司 上海201206）

1 引言

移動(dòng)通信網(wǎng)絡(luò)管理系統(tǒng)將日常運(yùn)行維護(hù)管理工作信息化后，積累了與網(wǎng)絡(luò)運(yùn)行有關(guān)的海量數(shù)據(jù)，包括告警信息、性能統(tǒng)計(jì)信息、網(wǎng)絡(luò)參數(shù)配置信息等。對(duì)這些數(shù)據(jù)進(jìn)行深度挖掘和分析，可以實(shí)時(shí)感知網(wǎng)絡(luò)的運(yùn)行質(zhì)量，提出網(wǎng)絡(luò)容量和處理能力方面的擴(kuò)容要求，及時(shí)發(fā)現(xiàn)故障隱患，在客戶察覺(jué)前將隱患排除，保持穩(wěn)定的通信質(zhì)量，提高客戶感知度，增強(qiáng)網(wǎng)絡(luò)競(jìng)爭(zhēng)能力。這些數(shù)據(jù)對(duì)運(yùn)營(yíng)商極具價(jià)值，而保存這些數(shù)據(jù)的存儲(chǔ)系統(tǒng)必須要有較好的可用性和冗余特性。因此，如何設(shè)計(jì)網(wǎng)管中的存儲(chǔ)系統(tǒng)是一個(gè)重要的課題。

通過(guò)對(duì)很多企業(yè)級(jí)IT環(huán)境的分析，發(fā)現(xiàn)高性能和高可用性都是通過(guò)群集方式實(shí)現(xiàn)的，通常是采用多服務(wù)器以實(shí)現(xiàn)負(fù)載均衡，采用冗余主機(jī)以實(shí)現(xiàn)高可用性。這些方案主要聚焦于主機(jī)的高可用性和IP連通性，而存儲(chǔ)部分則是通過(guò) NAS （network attached storage）/SAN （storage area network）等來(lái)實(shí)現(xiàn)冗余彈性?，F(xiàn)代企業(yè)級(jí)存儲(chǔ)系統(tǒng)是相當(dāng)復(fù)雜的，存儲(chǔ)網(wǎng)絡(luò)端到端整體性能和高可用性、存儲(chǔ)資源的配置和通道（fabric）互聯(lián)等都需要精心設(shè)計(jì)和規(guī)劃，采用以往隨機(jī)而沒(méi)有整體規(guī)劃的配置方法，性能和可用性都不理想，花費(fèi)也較高。

本文分析了在群集環(huán)境中提供存儲(chǔ)資源時(shí)所面臨的問(wèn)題和挑戰(zhàn)，提出了一種設(shè)計(jì)方案，綜合地考慮群集環(huán)境中存儲(chǔ)資源的規(guī)劃原則、優(yōu)化策略、實(shí)際部署，并且把存儲(chǔ)流量通過(guò)不同數(shù)據(jù)路徑分散到各節(jié)點(diǎn)，從而實(shí)現(xiàn)負(fù)載均衡并防止單點(diǎn)故障的發(fā)生。

2 面臨的問(wèn)題

在應(yīng)用有高性能和高可用性要求時(shí)，要達(dá)到同樣的處理能力，單主機(jī)方案是相當(dāng)昂貴的，而群集則要便宜很多。根據(jù)實(shí)際應(yīng)用場(chǎng)景，群集一般分為如下3種類型。

·高可用性群集：當(dāng)軟硬件中有一個(gè)組件失敗時(shí)，群集軟件把應(yīng)用切換到備份節(jié)點(diǎn)，從而減少宕機(jī)時(shí)間，根據(jù)應(yīng)用程序?qū)B接超時(shí)的容忍程度，用戶可能都沒(méi)有意識(shí)到這個(gè)現(xiàn)象的發(fā)生。

·負(fù)荷均衡群集：服務(wù)器組中的多個(gè)實(shí)例同時(shí)運(yùn)行以提供共同的業(yè)務(wù)集合，負(fù)荷在這些實(shí)例間分布，這種方式實(shí)際上形成了一臺(tái)功能強(qiáng)大的虛擬計(jì)算機(jī)。

·計(jì)算群集：主要用于大型的并行應(yīng)用，而不是事務(wù)性應(yīng)用。應(yīng)用和數(shù)據(jù)處理過(guò)程被劃分成很多小的組件或數(shù)據(jù)集，將這些任務(wù)分配給多個(gè)計(jì)算節(jié)點(diǎn)處理，將計(jì)算結(jié)果組合后再進(jìn)行下一步處理。

不同的應(yīng)用場(chǎng)景有不同的群集要求，因此群集需要精心規(guī)劃、提供和配置，以滿足實(shí)際應(yīng)用在性能和可用性兩方面的要求。提供群集資源時(shí)通常會(huì)面臨如下3個(gè)問(wèn)題。

·群集的端到端配置中有多個(gè)組件，包括應(yīng)用、服務(wù)器、網(wǎng)絡(luò)和存儲(chǔ)等，而群集的性能依賴于這些組件的整體表現(xiàn)。

·即使群集軟件能夠偵測(cè)到軟硬組件的錯(cuò)誤，并采取了正確措施（將業(yè)務(wù)流遷移到備份節(jié)點(diǎn)并重新實(shí)現(xiàn)負(fù)載均衡），但沒(méi)有一個(gè)全面的方案進(jìn)行群集資源完整的端到端配置，完全是管理人員憑經(jīng)驗(yàn)或粗略的計(jì)算來(lái)完成，這種做法費(fèi)時(shí)易錯(cuò)。

·目前很多群集應(yīng)用都要求訪問(wèn)共享存儲(chǔ)，因?yàn)樗蛩泄?jié)點(diǎn)提供的數(shù)據(jù)視圖都是一致的。但是，共享存儲(chǔ)常常要為多個(gè)應(yīng)用系統(tǒng)提供服務(wù)，這些系統(tǒng)上線時(shí)間前后不一，因此共享存儲(chǔ)的規(guī)劃、部署、配置等需要進(jìn)行全面系統(tǒng)的考慮，這也是本文重點(diǎn)研究的內(nèi)容。

群集環(huán)境中最常用的存儲(chǔ)技術(shù)是基于文件訪問(wèn)的網(wǎng)絡(luò)存儲(chǔ)NAS和基于數(shù)據(jù)塊訪問(wèn)的SAN。NAS和SAN是復(fù)雜的分布系統(tǒng)，需要大量的人工配置，而配置水平的高低決定了存儲(chǔ)系統(tǒng)整體的性能和可用性。目前有一些商用工具，如IBM的全存儲(chǔ)產(chǎn)品中心（TPC）、EMC的SAN架構(gòu)器，試圖介入這一過(guò)程，但往往只考慮某一環(huán)節(jié)，并沒(méi)有將端到端配置的所有方面加以完整考慮，導(dǎo)致存儲(chǔ)系統(tǒng)冗余彈性不佳。例如，在高可用性群集環(huán)境中，如果設(shè)計(jì)不當(dāng)，主備節(jié)點(diǎn)通過(guò)同一條數(shù)據(jù)路徑訪問(wèn)共享存儲(chǔ)，一旦這條路徑上的鏈路或交換機(jī)失敗，將導(dǎo)致主備節(jié)點(diǎn)都不能訪問(wèn)存儲(chǔ)，從而導(dǎo)致整個(gè)業(yè)務(wù)都宕掉。這種設(shè)計(jì)還有一個(gè)大問(wèn)題，由于多個(gè)群集節(jié)點(diǎn)通過(guò)同一路徑訪問(wèn)存儲(chǔ)，這條路徑很快就會(huì)成為I/O瓶頸，發(fā)生擁塞，導(dǎo)致性能惡化。

因此，有必要對(duì)群集訪問(wèn)存儲(chǔ)的整體解決方案進(jìn)行研究，主要方向是提高存儲(chǔ)資源的性能和冗余，及時(shí)動(dòng)態(tài)地感知群集運(yùn)行的變化。

3 方案設(shè)計(jì)

在NAS和SAN兩種存儲(chǔ)技術(shù)中，SAN幾乎沒(méi)有對(duì)業(yè)務(wù)環(huán)境中的IP網(wǎng)絡(luò)增加一點(diǎn)負(fù)荷，而且具有更高的性能和可用性，因此在高端環(huán)境中得到了最廣泛的使用，移動(dòng)網(wǎng)管在實(shí)際部署時(shí)也普遍采用SAN。SAN同時(shí)也是最復(fù)雜的一種存儲(chǔ)技術(shù)，是大規(guī)模共享存儲(chǔ)系統(tǒng)的發(fā)展方向，存儲(chǔ)行業(yè)對(duì)SAN的研究要遠(yuǎn)遠(yuǎn)超過(guò)NAS。因此，本文選擇SAN環(huán)境進(jìn)行存儲(chǔ)設(shè)計(jì)方案的研究，并從群集資源組、存儲(chǔ)資源規(guī)劃提供、路徑配置、LUN（邏輯存儲(chǔ)單元）分配、流量切換等方面進(jìn)行了完整的端到端考慮，同時(shí)還探討了相關(guān)的配置策略。

3.1 群集資源組

常見(jiàn)的HA群集解決方案包括IBM的HACMP（高可用多處理器群集）、微軟的MSCS（群集服務(wù)器）和Linux HA、賽門(mén)鐵克的VCS（veritas cluster system）等。每個(gè)服務(wù)器節(jié)點(diǎn)中的群集軟件通過(guò)IP網(wǎng)絡(luò)、串行接口或共享磁盤(pán)交換心跳信息，監(jiān)視各個(gè)節(jié)點(diǎn)狀態(tài)。如果檢測(cè)到一個(gè)軟件或硬件錯(cuò)誤，HA軟件在備用節(jié)點(diǎn)上重啟該應(yīng)用，這樣就避免了應(yīng)用宕機(jī)或性能下降。具體做法是將該應(yīng)用涉及的各種資源，按先后順序打包集合成一個(gè)組，切換時(shí)在備用節(jié)點(diǎn)上將組中的資源依次掛接或重啟。這個(gè)組就是群集資源組，是群集中應(yīng)用涉及的所有資源的集合，定義了切換時(shí)需要進(jìn)行的各個(gè)動(dòng)作?？梢哉f(shuō)，資源組有效地界定了一個(gè)恢復(fù)域。

為方便地進(jìn)行故障切換和流量均衡，群集應(yīng)用訪問(wèn)存儲(chǔ)一般是通過(guò)SAN訪問(wèn)。一個(gè)典型的SAN是由一個(gè)或多個(gè)存儲(chǔ)子系統(tǒng)和它們與主機(jī)連接的光纖網(wǎng)絡(luò)組成，存儲(chǔ)子系統(tǒng)通常包括磁盤(pán)陣列、磁帶庫(kù)或其他存儲(chǔ)媒介，光纖網(wǎng)絡(luò)包括一個(gè)或幾個(gè)FC交換機(jī)（fiber channel switch）組成的級(jí)聯(lián)網(wǎng)絡(luò)。這些也是群集環(huán)境中提供存儲(chǔ)資源時(shí)需要重點(diǎn)考慮的內(nèi)容。

3.2 存儲(chǔ)資源規(guī)劃提供

向應(yīng)用提供存儲(chǔ)資源的過(guò)程，包括LUN的創(chuàng)建、LUN到主機(jī)的映射，后者包括創(chuàng)建和配置主機(jī)訪問(wèn)LUN的光纖通道路徑。這兩個(gè)過(guò)程需要精細(xì)的規(guī)劃，LUN的創(chuàng)建基于業(yè)務(wù)量空間需求和存儲(chǔ)子系統(tǒng)的特性 （RAID方式）；LUN的映射基于物理連接、具體業(yè)務(wù)的流量和性能要求、故障切換要求等。在群集環(huán)境中，一組LUN需要映射給群集中多個(gè)節(jié)點(diǎn)，這些節(jié)點(diǎn)中有一些是活動(dòng)的，另外一些是備份的，它們?cè)诓煌瑪?shù)據(jù)路徑上流量不同。

對(duì)方案進(jìn)行研究時(shí)，主要考慮群集環(huán)境中存儲(chǔ)資源規(guī)劃和提供時(shí)常見(jiàn)的3種業(yè)務(wù)場(chǎng)景。

·已知管理環(huán)境：場(chǎng)景中有潛在可能引入群集的主機(jī)，根據(jù)群集類型、主機(jī)操作系統(tǒng)、應(yīng)用類型等考慮存儲(chǔ)資源的提供。

·已知群集：主機(jī)可能引入群集資源組，根據(jù)應(yīng)用類型、失敗幾率、服務(wù)器性能等考慮存儲(chǔ)資源的提供。

·已知群集節(jié)點(diǎn)和業(yè)務(wù)量需求：考慮存儲(chǔ)和網(wǎng)絡(luò)資源的最優(yōu)分配，以滿足性能和冗余特性要求。

3.3 方案目標(biāo)和策略

群集感知存儲(chǔ)資源的提供主要考慮兩方面要求：冗余和性能。

存儲(chǔ)資源冗余是為了保證應(yīng)用即使在幾個(gè)組件宕機(jī)的情況下仍然可用。從SAN的觀點(diǎn)來(lái)看，冗余包括存儲(chǔ)冗余和路徑冗余，前者通過(guò)RAID陣列和其他冗余設(shè)備組件實(shí)現(xiàn)，后者就是存儲(chǔ)LUN與群集節(jié)點(diǎn)之間路徑的冗余，通過(guò)主備兩條路徑上不存在單點(diǎn)故障來(lái)實(shí)現(xiàn)。發(fā)生故障時(shí)，群集軟件將應(yīng)用從活動(dòng)服務(wù)器切換到可用的備份服務(wù)器。完全的端到端冗余必須確保路徑上的任何設(shè)備都不出現(xiàn)單點(diǎn)故障，包括光纖通道網(wǎng)絡(luò)、連接服務(wù)器的交換機(jī)、連接存儲(chǔ)控制器的FC交換機(jī)、存儲(chǔ)控制器的光纖接口、主機(jī)的光纖接口、LUN分配等。

存儲(chǔ)資源性能是為了保證讀/寫(xiě)速率、帶寬達(dá)到應(yīng)用的要求，決定于底層磁盤(pán)子系統(tǒng)和數(shù)據(jù)路徑的性能。磁盤(pán)子系統(tǒng)的性能決定于磁盤(pán)類型（包括SAS、SATA、SSD等）、RAID配置類型；數(shù)據(jù)路徑的性能決定于路徑的配置：一方面需要在路徑上實(shí)現(xiàn)負(fù)載均衡，另一方面，為避免業(yè)務(wù)性能下降或故障切換時(shí)出現(xiàn)熱點(diǎn)，在路徑選擇上還需要優(yōu)化。

3.3.1 路徑配置策略

網(wǎng)管系統(tǒng)中的業(yè)務(wù)不同，對(duì)應(yīng)的群集配置也不相同。其中，群集節(jié)點(diǎn)的選擇是基于操作系統(tǒng)、服務(wù)器硬件配置、群集類型、應(yīng)用類型和業(yè)務(wù)量需求，群集資源組的選擇則是基于應(yīng)用需求和故障特性。一旦建立了群集和群集資源組，就需要按照方案來(lái)配置節(jié)點(diǎn)到LUN的數(shù)據(jù)路徑。方案中采取了如下策略保證數(shù)據(jù)路徑上沒(méi)有單點(diǎn)故障。

·活動(dòng)/備份服務(wù)器通過(guò)不同的fabric連接磁盤(pán)子系統(tǒng)，以防止fabric出現(xiàn)故障。

·在不具備多個(gè)fabric的條件下，工作/備份服務(wù)器要連接同一個(gè)fabric在主機(jī)邊界側(cè)的不同光纖交換機(jī)，以防止FC交換機(jī)出現(xiàn)故障；在具備多個(gè)fabric的條件下，工作/備份服務(wù)器訪問(wèn)數(shù)據(jù)要通過(guò)同一個(gè)fabric在存儲(chǔ)邊界側(cè)的不同光纖交換機(jī)，以防止FC交換機(jī)出現(xiàn)故障。

·工作/備份服務(wù)器要分配給存儲(chǔ)子系統(tǒng)不同端口。

·工作/備份服務(wù)器的端口要在存儲(chǔ)子系統(tǒng)所有可用端口間統(tǒng)一分配。

·主備節(jié)點(diǎn)的光纖通道端口要根據(jù)故障切換特性進(jìn)行分配。

上述策略是為群集主備節(jié)點(diǎn)創(chuàng)建不同的數(shù)據(jù)路徑，以便在運(yùn)行中及時(shí)感知群集的狀態(tài)。當(dāng)主用節(jié)點(diǎn)由于數(shù)據(jù)路徑上的組件出現(xiàn)故障而宕機(jī)時(shí)，備用節(jié)點(diǎn)必須能夠通過(guò)不同數(shù)據(jù)路徑訪問(wèn)LUN，這樣就實(shí)現(xiàn)了較高的冗余特性。

3.3.2 LUN分配

LUN分配是由<發(fā)起端口、目標(biāo)端口、LUN>三元組決定的映射。發(fā)起端口即群集節(jié)點(diǎn)的FC端口，目標(biāo)端口即存儲(chǔ)子系統(tǒng)的FC端口，LUN即根據(jù)應(yīng)用容量需求劃分的空間。根據(jù)存儲(chǔ)子系統(tǒng)的性能和冗余特性，方案中也考慮了分配存儲(chǔ)時(shí)采用的策略：如果一個(gè)存儲(chǔ)子系統(tǒng)已經(jīng)服務(wù)于一個(gè)群集，則該群集在增加新空間時(shí)，該子系統(tǒng)具有比其他存儲(chǔ)子系統(tǒng)高的優(yōu)先級(jí)，簡(jiǎn)化了存儲(chǔ)管理工作，如災(zāi)難恢復(fù)、數(shù)據(jù)復(fù)制等。

3.3.3 流量切換

方案中還有一個(gè)關(guān)鍵問(wèn)題需要考慮：當(dāng)一個(gè)活動(dòng)的群集節(jié)點(diǎn)失敗，群集軟件將業(yè)務(wù)遷移到備用節(jié)點(diǎn)時(shí)，同時(shí)切換后端SAN中的流量?？梢韵胂?，I/O流量切換會(huì)擁塞fabric中的部分組件或存儲(chǔ)子系統(tǒng)的光纖通道接口。為避免此瓶頸現(xiàn)象，在規(guī)劃過(guò)程中需要計(jì)算這些失敗和切換的流量，方法如下。

考慮群集節(jié)點(diǎn)的失敗特性，計(jì)算存儲(chǔ)子系統(tǒng)中每個(gè)光纖通道端口的預(yù)測(cè)流量，包括活動(dòng)節(jié)點(diǎn)產(chǎn)生的正常I/O流量和活動(dòng)節(jié)點(diǎn)出現(xiàn)故障切換到備份節(jié)點(diǎn)時(shí)產(chǎn)生的流量。必須注意的是，多個(gè)LUN可能通過(guò)相同端口映射給多個(gè)主機(jī)，也可能一個(gè)LUN通過(guò)多個(gè)端口映射給幾個(gè)主機(jī)，規(guī)劃LUN到端口的映射，實(shí)現(xiàn)預(yù)測(cè)流量在光纖通道端口上的均衡。

3.3.4 存儲(chǔ)方案設(shè)計(jì)流程

存儲(chǔ)方案研究的實(shí)際價(jià)值是為群集環(huán)境中存儲(chǔ)資源的動(dòng)態(tài)劃分和配置提供相應(yīng)依據(jù)，如根據(jù)業(yè)務(wù)的不同和發(fā)展演進(jìn)提供存儲(chǔ)、光纖通道分區(qū)和多路徑配置等，以滿足應(yīng)用在容量、性能、冗余等方面的需求。具體實(shí)現(xiàn)是通過(guò)監(jiān)視和收集環(huán)境中的各種配置和操作信息，包括應(yīng)用、服務(wù)器、FC交換機(jī)、fabric、存儲(chǔ)控制器、磁帶庫(kù)等。將這些信息綜合在一起，根據(jù)不同場(chǎng)景形成不同模板，實(shí)際使用時(shí)，通過(guò)查詢此模板形成各種動(dòng)態(tài)任務(wù)，從而完成空間配置、性能報(bào)告和分析、問(wèn)題定位、請(qǐng)求退回等存儲(chǔ)資源的提供和變更工作。

完整的存儲(chǔ)系統(tǒng)方案設(shè)計(jì)流程如圖1所示。

3.4 案例分析

通過(guò)如圖2所示的網(wǎng)管中心案例 （節(jié)選）來(lái)解析群集感知存儲(chǔ)規(guī)劃的工作流程。該群集有兩個(gè)資源組：CRG-DB和CRGAS。CRG-DB是由S2、S3構(gòu)成的數(shù)據(jù)庫(kù)資源組，S2為活動(dòng)服務(wù)器，S3為備份服務(wù)器；CRG-AS是由S1、S3構(gòu)成的應(yīng)用資源組，S1為活動(dòng)服務(wù)器，S3為備份服務(wù)器。假設(shè)數(shù)據(jù)庫(kù)服務(wù)器和應(yīng)用服務(wù)器不可能同時(shí)出現(xiàn)故障，兩個(gè)資源組共用一個(gè)備份服務(wù)器，S3同時(shí)安裝了數(shù)據(jù)庫(kù)和應(yīng)用軟件。

在創(chuàng)建群集和群集資源組時(shí)，根據(jù)解決方案分析應(yīng)用的業(yè)務(wù)特征，預(yù)測(cè)相關(guān)主機(jī)所需要的處理能力。在圖2的案例中，S1、S2是群集中的2臺(tái)活動(dòng)服務(wù)器，屬于不同的資源組。方案要完成以下兩項(xiàng)任務(wù)。

·決定要加入群集的服務(wù)器S3，作為資源組CRG-DB、CRG-AS中 S1、S2的備用。

·為數(shù)據(jù)庫(kù)服務(wù)器S2提供存儲(chǔ)：容量為500 GB；RAID類型為RAID-5；業(yè)務(wù)類型為1 000個(gè)事務(wù)/秒的OLTP（聯(lián)機(jī)事務(wù)處理）。

案例中的SAN包括 2個(gè)光纖fabric：F1和 F2，高端和中端存儲(chǔ)各1個(gè)，高端存儲(chǔ)連接了2個(gè)fabric，但中端存儲(chǔ)只連接了1個(gè)fabric。因?yàn)槿杭峁㎡LTP業(yè)務(wù)，相應(yīng)的性能和冗余特性要求較高，存儲(chǔ)子系統(tǒng)必須要有較高的IOPS（每秒I/O字節(jié)數(shù)）和較快的響應(yīng)時(shí)間。根據(jù)這樣的業(yè)務(wù)需求，案例選擇高端存儲(chǔ)來(lái)存放CRG-DB中的數(shù)據(jù)，并且把S2、S3配置成分別通過(guò)數(shù)據(jù)路徑F1、F2訪問(wèn)其中的LUN。實(shí)際運(yùn)行時(shí)，當(dāng)活動(dòng)主機(jī)S2或數(shù)據(jù)路徑F1出現(xiàn)故障時(shí)，群集軟件切換到備份節(jié)點(diǎn)S3，S3通過(guò)正常狀態(tài)的F2訪問(wèn)高端存儲(chǔ)中同樣的LUN，業(yè)務(wù)沒(méi)有中斷。這樣就實(shí)現(xiàn)了很好的故障切換冗余特性。相反，如果讓中端存儲(chǔ)來(lái)存放CRG-DB中的數(shù)據(jù)，則當(dāng)F2出現(xiàn)故障時(shí)，切換后還是沒(méi)有能夠訪問(wèn)存儲(chǔ)的數(shù)據(jù)路徑，S2和S3都會(huì)宕機(jī)。在配置存儲(chǔ)中的LUN映射時(shí)，方案還規(guī)定了存儲(chǔ)子系統(tǒng)的FC前端口通過(guò)不同F(xiàn)C交換機(jī)向主機(jī)映射，這樣一方面均衡了I/O流量，同時(shí)也防止了一個(gè)fabric中某個(gè)交換機(jī)出現(xiàn)故障導(dǎo)致整個(gè)數(shù)據(jù)路徑中斷。這個(gè)案例也說(shuō)明了數(shù)據(jù)路徑規(guī)劃的重要性，可以切實(shí)提高群集的故障冗余特性。

4 結(jié)束語(yǔ)

本文通過(guò)對(duì)網(wǎng)管群集環(huán)境中提供存儲(chǔ)資源時(shí)面臨的各種問(wèn)題的研究，提出了集成解決方案，采用定制策略的方式來(lái)實(shí)現(xiàn)群集節(jié)點(diǎn)的存儲(chǔ)分配。盡管研究的內(nèi)容是網(wǎng)管HA群集和SAN，但同樣的思路也可以適用于其他群集和存儲(chǔ)環(huán)境。目前，存儲(chǔ)虛擬化、云存儲(chǔ)等技術(shù)已經(jīng)從理論研究走向?qū)嶋H應(yīng)用，而本文討論的相關(guān)底層技術(shù)正是這兩者在生產(chǎn)環(huán)境中實(shí)際部署時(shí)必須解決的基礎(chǔ)問(wèn)題，具有很實(shí)際的生產(chǎn)指導(dǎo)意義。

將來(lái)的研究方向有如下幾點(diǎn)考慮。

·對(duì)SAN錯(cuò)誤類型感知的HA解決方案進(jìn)行研究。目前很多群集高可用性解決方案不能區(qū)分SAN失敗的不同情況。例如當(dāng)LUN出現(xiàn)故障（由于磁盤(pán)陣列故障），切換到備用節(jié)點(diǎn)時(shí)，由于沒(méi)有存儲(chǔ)可用，業(yè)務(wù)還是會(huì)宕下來(lái)；而FC交換機(jī)或fabric出現(xiàn)故障，切換到備用節(jié)點(diǎn)后，應(yīng)用和業(yè)務(wù)的可用性仍然能夠保證。因此，將來(lái)進(jìn)行這項(xiàng)研究是有一定價(jià)值的。

·對(duì)群集冗余中fabric分區(qū)的效果進(jìn)行研究。分區(qū)本是光纖通道fabric一個(gè)安全特性，能夠限制fabric不同部件之間的通信。分區(qū)配置錯(cuò)誤會(huì)導(dǎo)致主機(jī)無(wú)法識(shí)別LUN、SAN的連接中斷，從而整個(gè)業(yè)務(wù)群集宕機(jī)。這項(xiàng)研究旨在探索fabric分區(qū)的原則，以指導(dǎo)實(shí)際部署配置工作。

·遠(yuǎn)期目標(biāo)是把本文提出的設(shè)計(jì)方案通過(guò)軟件來(lái)實(shí)現(xiàn)，把與存儲(chǔ)分配相關(guān)的端到端配置的所有任務(wù)、策略等固化成軟件中的模塊。實(shí)際使用時(shí)可以根據(jù)實(shí)際業(yè)務(wù)的性能和冗余要求，選擇與應(yīng)用場(chǎng)景相匹配的策略，軟件自動(dòng)輸出實(shí)施方案。更進(jìn)一步，在軟件中加入SMI-S（存儲(chǔ)管理主動(dòng)性協(xié)議）協(xié)議接口，從而自動(dòng)采集群集環(huán)境中的主機(jī)/存儲(chǔ)的FC端口、FC交換機(jī)、fabric等信息，自動(dòng)分配SAN存儲(chǔ)和配置路徑。

1 IBM TotalStorage：SAN product,design and optimization guide.http://www.redbooks.ibm.com/abstracts/sg246384.html?Open

2 劉國(guó)萍,譚國(guó)權(quán),楊明川.基于云存儲(chǔ)的在線備份安全技術(shù)研究.電信科學(xué),2010,26(9)

3 周可,王燁,李春花.云存儲(chǔ)技術(shù)及其應(yīng)用.中興通訊技術(shù),2010(8)