王敏建
(紹興廣播電視總臺,浙江 紹興 312030)
隨著廣播電視數(shù)字化、網(wǎng)絡(luò)化的推進,構(gòu)建集“采、編、播、存、管”為一體的全臺網(wǎng)成為電視臺的發(fā)展趨勢和應(yīng)用需求,它將使全臺的媒體技術(shù)資源由分散轉(zhuǎn)變?yōu)榧校瑢S修D(zhuǎn)變?yōu)楣蚕?,業(yè)務(wù)流程更優(yōu)化,節(jié)目生產(chǎn)成本更低,系統(tǒng)運行效率更高。全臺網(wǎng)的業(yè)務(wù)整合、資源整合,其基礎(chǔ)是數(shù)據(jù)整合,存儲系統(tǒng)的合理設(shè)計是關(guān)鍵。面對當今媒體資源和節(jié)目信息迅速擴增帶來的數(shù)據(jù)管理壓力,有必要建立一個合理高效的共享存儲體系,集中存儲、集中管理,在許可范圍內(nèi)快速地進行共享,包括資源的合理調(diào)度以及快速查詢、檢索,同時還必須考慮系統(tǒng)對數(shù)據(jù)安全性、完整性和可用性的要求,提供數(shù)據(jù)的歸檔、遷移等功能,更要能處理數(shù)據(jù)的備份、災(zāi)難恢復(fù)等工作,這些都有賴于規(guī)劃良好的存儲架構(gòu)來滿足。
在電視臺數(shù)字化數(shù)據(jù)大量暴增之前,存儲設(shè)備一般采用SCSI接口的磁盤陣列,包括近幾年出現(xiàn)的SAS磁盤陣列,都屬于直接附加存儲(DAS)。存儲設(shè)備與服務(wù)器是相對固定的從屬關(guān)系,存儲資源調(diào)度不方便,存儲容量也受到架構(gòu)的限制,只要數(shù)據(jù)量增加,就必須另外購買存儲設(shè)備。這種條塊化、零散復(fù)雜的存儲環(huán)境不僅會給管理運行帶來越來越大的壓力,而且極易造成存儲設(shè)備的重復(fù)投資和存儲資源分布的不平衡。
電視臺網(wǎng)絡(luò)化工程,包括非編、媒資、播出、文稿等子系統(tǒng)在內(nèi)的全臺網(wǎng)建設(shè),為創(chuàng)建一個全臺理念的、資源合理整合的、互通高效的大存儲平臺創(chuàng)造了有利時機。高碼流視音頻資源的共享應(yīng)用以及安全管理需求,決定了應(yīng)用于全臺網(wǎng)的存儲系統(tǒng)必須是高性能的、集中存儲管理的、大容量易擴充的、高可用性的體系結(jié)構(gòu)。而近幾年逐漸興起的存儲區(qū)域網(wǎng)絡(luò) (Storage Area Network,SAN)技術(shù),以它獨有的架構(gòu)優(yōu)勢迎合了全臺網(wǎng)建設(shè)的技術(shù)需求。
SAN是一個由存儲設(shè)備和系統(tǒng)部件構(gòu)成的高速子網(wǎng),所有的通信都在一個光纖通道的網(wǎng)絡(luò)上完成,可提供內(nèi)部任意節(jié)點之間多路可選擇的數(shù)據(jù)交換,并且將數(shù)據(jù)存儲管理集中在相對獨立的存儲局域網(wǎng)內(nèi),具有較高的安全性。通常SAN特指FC SAN,現(xiàn)在主流產(chǎn)品均支持2 Gbit/s或4 Gbit/s傳輸速率,連接SAN的光纖通道結(jié)合了通道連接和網(wǎng)絡(luò)連接的優(yōu)勢,不但能提供對數(shù)據(jù)設(shè)備的遠距離高性能鏈接,還增加了對存儲系統(tǒng)的冗余鏈接,提供了對高可用群集系統(tǒng)的支持。SAN從傳統(tǒng)網(wǎng)絡(luò)架構(gòu)中單獨剝離出存儲功能,自成一個系統(tǒng),擺脫了以太網(wǎng)頻寬質(zhì)量與服務(wù)器速度的限制。
決定使用SAN的關(guān)鍵因素是對速度和帶寬的需求。在50 Mbit/s碼率標清節(jié)目制作中,精編工作站每臺至少需要200 Mbit/s的保證帶寬,總帶寬需求非常可觀,而高清節(jié)目制作對帶寬的依賴將更大。光纖通道上的SAN提供主機到存儲最高4 Gbyte的直接數(shù)據(jù)連接,數(shù)據(jù)交換發(fā)生在訪問速度較快的數(shù)據(jù)塊一級。作為存儲的光纖磁盤陣列擁有2條甚至4條冗余的后端光纖磁盤通道,可以獲得一個非常高的磁盤讀寫帶寬,而且與光纖通道之間不存在數(shù)據(jù)格式轉(zhuǎn)換的問題,因為它們內(nèi)部采用的都是SCSI傳輸協(xié)議,避免了效率的損失。
高性能是SAN架構(gòu)的最大優(yōu)點,可以保證大數(shù)據(jù)量并發(fā)訪問情況下主機讀寫帶寬的穩(wěn)定,還有助于加速數(shù)據(jù)遷移、備份、恢復(fù)進程??梢哉J為,SAN是目前性能理想的適于構(gòu)建全臺網(wǎng)所需高速數(shù)據(jù)環(huán)境的存儲架構(gòu)。
電視節(jié)目制作、存儲和備份需要海量存儲空間支持,這種需求超過了使用本地存儲和直接附加存儲所能管理的實際空間,并且本地數(shù)據(jù)的特性導(dǎo)致它們很難被管理。網(wǎng)絡(luò)附加存儲(Network Attached Storage,NAS)設(shè)備雖然有提供集中共享存儲的能力,但它負載能力較弱,帶寬和速度也受制于以太網(wǎng)。而SAN本身就是為實現(xiàn)存儲高性能集中共享而制定的,支持高存儲容量和多主機并發(fā)訪問,擁有對存儲資源集中管理、分配的優(yōu)勢。
SAN系統(tǒng)采用的光纖磁盤陣列能提供最大至上百太字節(jié)的高速存儲空間,通常配置2個RAID控制器和大約15個光纖通道磁盤驅(qū)動器,可連接附加的磁盤陣列來擴充容量,并通過控制器對這些陣列進行管理,可滿足全臺網(wǎng)巨量而持續(xù)增長的存儲空間需求。
SAN是一種真正面對存儲服務(wù)的架構(gòu)。它的設(shè)計目的就是通過數(shù)據(jù)集中化管理而不是按工作組分割,提高數(shù)據(jù)吞吐量,改進文件共享能力。SAN把所有存儲空間有效地匯聚在一起,支持服務(wù)器和存儲之間任意的點到點的連接,提高了存儲資源的利用效率和存儲分配的可管理性。
安全是廣電行業(yè)的生命線,存儲系統(tǒng)必須是一個安全的冗余體系結(jié)構(gòu),提供數(shù)據(jù)的長期安全存儲和高可用支持,具備完善的容災(zāi)恢復(fù)功能。SAN架構(gòu)支持構(gòu)建高冗余度的存儲網(wǎng)絡(luò),有利于提升系統(tǒng)安全性,能有效避免單點故障,并支持多種可選擇的高效備份方案。
SAN所用的光纖磁盤陣列本身采用安全的冗余結(jié)構(gòu),支持熱插拔,集成基于硬件的RAID技術(shù)和熱備硬盤設(shè)置,具有較高的存儲安全性。一般擁有多個光纖通道,提供冗余的多數(shù)據(jù)路徑鏈接,保證連接可靠性和實現(xiàn)負載均衡。由于SAN網(wǎng)絡(luò)支持雙節(jié)點或多節(jié)點群集,提供了主機級容錯能力和高系統(tǒng)可用性,能最大限度地保證系統(tǒng)的連續(xù)可靠運行。
音像數(shù)據(jù)作為電視臺不可或失的寶貴資產(chǎn),必須執(zhí)行完善的備份工作。傳統(tǒng)存儲設(shè)備間的備份由于全都通過以太網(wǎng)來執(zhí)行,網(wǎng)絡(luò)帶寬一直是備份速度的主要瓶頸,不但影響備份效率,可能還會引發(fā)網(wǎng)絡(luò)擁塞現(xiàn)象。而SAN架構(gòu)擁有獨立的光纖通道網(wǎng)絡(luò),能明顯加快備份、恢復(fù)速度,且無需考慮這些操作對以太網(wǎng)性能的影響。支持SAN架構(gòu)的數(shù)據(jù)安全管理軟件非常豐富,如存儲廠商EMC就分別針對本地、異地的數(shù)據(jù)備份、同步、遷移和災(zāi)難恢復(fù)提供了SnapView,MirrorView,SAN Copy 3種各有側(cè)重的數(shù)據(jù)保護和恢復(fù)軟件,可酌情選擇。
傳統(tǒng)的SAN由于采用光纖作為傳輸信道,加上相對昂貴的HBA接口卡、FC交換機以及FC盤陣,構(gòu)建成本相當高。全臺網(wǎng)中并不是所有的應(yīng)用都對存儲帶寬、網(wǎng)絡(luò)延遲有如此高級別的要求。電視臺現(xiàn)有的千兆以太網(wǎng)絡(luò),對SQL數(shù)據(jù)庫、媒資系統(tǒng)等來說,已完全能滿足其應(yīng)用帶寬的需求,只是需要一種方便、價廉、能使用塊數(shù)據(jù)傳送方式的集中共享、集中管理的存儲環(huán)境來提高系統(tǒng)可用性、容災(zāi)性。遵循iSCSI通信協(xié)議的IP SAN存儲架構(gòu)正適合這種需求。
IP SAN是運行在標準以太網(wǎng)上的存儲局域網(wǎng),采用基于TCP/IP的iSCSI協(xié)議,支持構(gòu)建與SAN相仿的集中存儲環(huán)境。在數(shù)據(jù)存取方式上,采用與SAN相同的塊協(xié)議(Block Protocol),通過將SCSI數(shù)據(jù)塊映射成以太網(wǎng)數(shù)據(jù)包,實現(xiàn)在IP網(wǎng)絡(luò)上高速傳輸塊數(shù)據(jù)的功能,充分利用了現(xiàn)有IP網(wǎng)絡(luò)的成熟性和普及性優(yōu)勢。具有低成本、開放性、易用性等優(yōu)點,近幾年來得到了快速發(fā)展。
有限的數(shù)據(jù)傳輸速率是IP SAN最大的應(yīng)用局限所在。受制于以太網(wǎng)帶寬和TCP/IP協(xié)議的低效率,以及在傳輸過程中必須對SCSI數(shù)據(jù)塊進行層層的封裝與解包,IP SAN具有網(wǎng)絡(luò)延遲較大、數(shù)據(jù)傳輸效率較低的缺點。
針對千兆以太網(wǎng)在IP SAN架構(gòu)中顯現(xiàn)的帶寬瓶頸,企業(yè)級iSCSI存儲產(chǎn)品多數(shù)配置有2個或4個千兆網(wǎng)絡(luò)接口,并提供鏈路聚合功能來提升存儲帶寬和數(shù)據(jù)吞吐能力。只有全部啟用這些網(wǎng)絡(luò)接口才能最大化提取iSCSI磁盤陣列的硬件性能。
建立安全高效的存儲網(wǎng)絡(luò),選擇存儲架構(gòu)是關(guān)鍵。一個好的SAN解決方案可以幫助實現(xiàn)一個完全冗余的存儲網(wǎng)絡(luò),無論從安全性、可靠性,還是從傳輸性能和穩(wěn)定性來說,都有著顯著的架構(gòu)優(yōu)勢,加上周邊豐富的共享管理軟件、應(yīng)用管理軟件和備份管理軟件產(chǎn)品,適合擔負全臺網(wǎng)復(fù)雜應(yīng)用環(huán)境的存儲架構(gòu)。在低成本方案上,又有IP SAN可供選擇。但更好的性能往往意味著更多的付出,一個好的存儲方案在于把握需求與成本的合理平衡點,通道成本、存儲成本、管理成本以及相應(yīng)軟件的成本都應(yīng)在考慮之列,最重要的是先要明確自身的需求,包括存儲設(shè)備的規(guī)格、容量、還有每種配置的傳輸速率,以及擴展性能否滿足今后不斷擴增的節(jié)目數(shù)據(jù)壓力,都將直接影響建設(shè)成本與將來的運作效率。
電視臺節(jié)目數(shù)據(jù)存儲一般采用在線和離線二級存儲策略,既能滿足生產(chǎn)、存儲的需求,又能有效降低中心存儲的總體建置成本。從上述格局考慮,可應(yīng)用FC SAN架構(gòu)提供在線存儲所需的高速數(shù)據(jù)環(huán)境,同時在離線存儲、數(shù)據(jù)庫等系統(tǒng)中可引用發(fā)揮IP SAN架構(gòu)低成本、易用性優(yōu)勢。FC SAN和IP SAN融合的SAN架構(gòu)既保留了FC架構(gòu)的優(yōu)勢,同時也支持低成本的iSCSI的引入,既能各自完成不同功能,又能相互進行數(shù)據(jù)共享、備份鏡像。技術(shù)上有多種途徑可實現(xiàn)FC SAN與IP SAN的互聯(lián),如iSCSI網(wǎng)關(guān),可支持iSCSI的光纖通道交換機,智能存儲交換機和網(wǎng)關(guān),以及多協(xié)議存儲陣列等。
存儲設(shè)備作為整個架構(gòu)的核心組成部分,左右著存儲系統(tǒng)的性能與安全。無論決定采用FC還是iSCSI存儲,都應(yīng)盡量選擇中高端企業(yè)級產(chǎn)品。盡管會增加成本支出,但面向大企業(yè)的存儲陣列在通道、帶寬、冗余性、擴展性、可管理性和可維護性上都會有更好的設(shè)計保證。
在線存儲設(shè)備的首選應(yīng)該是光纖通道磁盤陣列,在應(yīng)用規(guī)模較大時還可以考慮引入多臺光纖盤陣來擴展存儲帶寬。成本上,相同規(guī)格的SAS硬盤比FC硬盤會便宜三成左右,采用iSCSI盤柜也能節(jié)省不少開支,另一方面千兆以太網(wǎng)的通道成本至少比光纖通道便宜一半以上,利用多端口聚合功能,帶寬、可靠性也有保證,不過能支持的編輯站點數(shù)量會相當有限。
數(shù)據(jù)流磁帶因其容量大、價格相對較低、可靈活選用機械或手工裝填的優(yōu)勢,一直是節(jié)目數(shù)據(jù)離線存儲的常用載體。不過現(xiàn)在應(yīng)該優(yōu)先考慮引用性能更好的虛擬磁帶庫產(chǎn)品,它通過專用的虛擬軟件和芯片模塊由磁盤系統(tǒng)仿真而成,由于使用磁盤作為存儲介質(zhì)來替代傳統(tǒng)的磁帶,成倍地提高了設(shè)備性能,相對于傳統(tǒng)磁帶庫具有備份還原速度快,可靠性提升,逐步擴容方便,維護管理成本較低等優(yōu)點,明顯提升了對歸檔音像素材查找調(diào)用的速度。應(yīng)用上既可以直接替代傳統(tǒng)磁帶庫,也可以采取與磁帶庫整合的架構(gòu),將數(shù)據(jù)最終轉(zhuǎn)存到后端的磁帶上,兼顧性能與擴展性。虛擬磁帶庫由于完全仿真磁帶,兼容磁帶備份管理軟件和傳統(tǒng)備份流程,可以方便地集成到備份系統(tǒng)中。多數(shù)產(chǎn)品配置有FC,SCSI,iSCSI等接口形式的2種或3種,可靈活支持多種網(wǎng)絡(luò)環(huán)境,實現(xiàn)基于光纖通道或以太網(wǎng)的高速備份和歸檔工作,是理想的離線存儲升級產(chǎn)品。
2008年來,支持10 Gbit/s傳輸速率的以太網(wǎng)光纖通道(Fibre Channel over Ethernet,F(xiàn)CoE)產(chǎn)品開始陸續(xù)面市。FCoE是一種新制定的低延遲以太網(wǎng)技術(shù)標準,它將光纖通道技術(shù)的覆蓋面擴展到了以太網(wǎng)環(huán)境中,在某些場合被稱為“增強型以太網(wǎng)”,這種以太網(wǎng)將把數(shù)據(jù)中心的局域網(wǎng)、存儲局域網(wǎng)和高性能計算應(yīng)用程序融合為一個單一的以太網(wǎng)互聯(lián)結(jié)構(gòu)。它能在保護客戶現(xiàn)有FC SAN的投資基礎(chǔ)上,提供一種以FC存儲協(xié)議為核心的I/O整合方案,為高性能環(huán)境提供10 Gbit/s增強型以太網(wǎng)連接性,有希望成為未來幾年存儲網(wǎng)絡(luò)領(lǐng)域的技術(shù)趨勢。
FCoE目前尚處于測試部署階段,售價昂貴,目前還可以繼續(xù)等待。另外萬兆以太網(wǎng)產(chǎn)品和8 Gbit/s FC產(chǎn)品也已面市,萬兆以太網(wǎng)接口和交換機價格近兩年一直在下降,有望成為擔負iSCSI的有力方式,屆時也可以選擇iSCSI來部署高端應(yīng)用環(huán)境。不過即使以太網(wǎng)的傳輸速度再快,其協(xié)議開銷的問題仍然存在,與萬兆以太網(wǎng)需要TCP/IP相比,8 Gbit/s FC更具備性能優(yōu)勢,它的數(shù)據(jù)傳輸速率是目前4 Git/s FC的2倍,但同樣面臨昂貴的建置費用,設(shè)備的現(xiàn)實可用性有待考驗。