高峰 六安市廣播電視臺

隨著廣播電視技術(shù)數(shù)字化、網(wǎng)絡(luò)化、高清化的發(fā)展，國家廣電總局從2009年開始大力推進(jìn)電視高清化建設(shè)，明確了以現(xiàn)有頻道高標(biāo)清同播過渡的方式，自上而下有序推進(jìn)高清電視發(fā)展。隨著央視和各省級衛(wèi)視率先實現(xiàn)高標(biāo)清同播，全國眾多的縣市級廣播電視臺高清化建設(shè)成為大勢所趨。為此，我臺從2016年開始，加快了電視頻道高清化轉(zhuǎn)換進(jìn)程，對全臺電視制播體系的高清化升級改造進(jìn)行了科學(xué)規(guī)劃。其中，高清編輯制作網(wǎng)和媒體資產(chǎn)管理系統(tǒng)于2017年開始建設(shè)，2018年初投入使用，經(jīng)過近兩年的實際運(yùn)行，系統(tǒng)各項功能穩(wěn)定可靠。下面就該項目建設(shè)中的核心設(shè)備——分布式架構(gòu)集群存儲系統(tǒng)的技術(shù)特點和應(yīng)用情況做些探討。

廣播電視臺的制播網(wǎng)對存儲系統(tǒng)的讀寫帶寬、并發(fā)訪問效率、存儲容量、安全性、容錯性都有著極高的要求。通過對FC-SAN(光纖通道區(qū)域網(wǎng))、IP-SAN(IP通道區(qū)域網(wǎng))、NAS(網(wǎng)絡(luò)附加存儲)、集群存儲系統(tǒng)等幾種存儲技術(shù)的比較，我們選擇了技術(shù)先進(jìn)、成熟穩(wěn)定的分布式集群存儲系統(tǒng)。

傳統(tǒng)的SAN 與NAS 存儲設(shè)備，分別提供的是數(shù)據(jù)塊與文件這兩種不同級別的存儲服務(wù)。雖然SAN 存儲具有較高的讀寫帶寬，但是構(gòu)建和維護(hù)起來非常不便，而且由于數(shù)據(jù)塊和網(wǎng)絡(luò)需求等原因，SAN 存儲也很難擴(kuò)容。NAS 存儲的構(gòu)建和維護(hù)雖然比較簡單，但是由于其聚合設(shè)備(NAS 頭)的瓶頸，造成其性能受到局限。而分布式集群存儲技術(shù)將NAS 和SAN 兩種存儲結(jié)構(gòu)的優(yōu)勢進(jìn)行了有效地整合，使之既具有NAS 的跨平臺共享數(shù)據(jù)和基于策略的安全訪問，易于構(gòu)建和操作等優(yōu)點，又具有SAN 的高讀寫帶寬和交換網(wǎng)絡(luò)結(jié)構(gòu)可伸縮性的優(yōu)點。

分布式集群存儲系統(tǒng)將多臺單一的存儲設(shè)備，通過高速交換網(wǎng)絡(luò)連接起來，聚合成一個存儲設(shè)備來使用。以多個存儲節(jié)點來分擔(dān)存儲負(fù)荷，數(shù)據(jù)分布在各個節(jié)點上，即使整個存儲節(jié)點故障，系統(tǒng)也能自動恢復(fù)。它突破了傳統(tǒng)存儲設(shè)備容量、性能上的局限，可以根據(jù)業(yè)務(wù)需要進(jìn)行動態(tài)擴(kuò)展，且在擴(kuò)展容量的同時，存儲性能隨之呈線性增長，可輕松獲得PB 級的存儲容量和10GB 級的并發(fā)訪問帶寬。因此，無論是節(jié)目資料存儲管理所需的海量數(shù)據(jù)存儲，還是高清節(jié)目制作所需的高并發(fā)訪問帶寬，都能很好的滿足。系統(tǒng)的空間管理十分方便，其具有的統(tǒng)一命名功能，可以將所有節(jié)點的存儲容量聚合成統(tǒng)一的存儲資源池，進(jìn)行統(tǒng)一管理，避免了維護(hù)多個存儲設(shè)備的困難。

我臺的分布式集群存儲系統(tǒng)配置了6 個節(jié)點，每個節(jié)點16 只盤位，共安裝96 只6TB SATA 盤，集群裸容量576TB，采用3+3 副本模式節(jié)點冗余后，約有260TB 實際使用容量。每個節(jié)點有2 個10Gbps 的萬兆以太網(wǎng)端口，用萬兆光纖分別接入2 臺核心交換機(jī)，2 臺交換機(jī)之間用40Gbps 堆疊線纜互聯(lián)，避免了集群存儲網(wǎng)絡(luò)的單一故障點，提升了帶寬和安全性。每個存儲節(jié)點讀寫復(fù)合帶寬約500MB/s，集群帶寬約3000MB/s，足夠支持40 個站點4 軌100 Mbps 碼流高清視音頻的實時編輯，以及6 臺轉(zhuǎn)碼合成服務(wù)器的集群打包服務(wù)。集群中的每個節(jié)點均為可熱插拔的硬件架構(gòu)，電源等關(guān)鍵部件冗余配置，全局熱備6 只硬盤，在3+3的副本模式下，可任意壞掉1 個節(jié)點，不影響系統(tǒng)運(yùn)行。

我臺的高清制作網(wǎng)和媒資系統(tǒng)共用一個存儲資源池，根據(jù)節(jié)目制作和資料存儲這兩種工作的特點及需求，我們利用系統(tǒng)的空間管理功能，將存儲資源池進(jìn)行虛擬切割分配。編輯制作劃分70%存儲空間，約180TB，媒資管理劃分30%存儲空間，約80TB，兩個存儲空間相對獨(dú)立，互不侵占對方使用空間，實現(xiàn)了存儲資源池的物理隔離。同時，我們利用系統(tǒng)的帶寬控制功能，靈活調(diào)配集群帶寬資源，實現(xiàn)有限資源的高效管理。我們對提供節(jié)目打包服務(wù)的6 臺轉(zhuǎn)碼合成服務(wù)器進(jìn)行限速，指定每臺帶寬最大20MB/s，集群帶寬最大120MB/s，避免打包服務(wù)滿負(fù)荷運(yùn)行時占用大量帶寬資源，充分保障編輯制作對高帶寬的需求。

對于廣電行業(yè)來說，制播網(wǎng)絡(luò)的安全性是首要考慮的問題，而中心存儲的安全性，更是至關(guān)重要，除了加強(qiáng)人工巡檢維護(hù)以外，一套存儲安全監(jiān)測控制模塊必不可少。我們使用系統(tǒng)的運(yùn)維監(jiān)控功能，對分布式集群存儲系統(tǒng)中的各個節(jié)點、電源、硬盤等硬件和存儲容量、讀寫帶寬、網(wǎng)絡(luò)流量等資源消耗情況進(jìn)行實時監(jiān)控，并將其投放在技術(shù)辦公室的顯示屏上，一旦出現(xiàn)硬件故障或者資源不足等情況，可以通過閃爍、變色等方式進(jìn)行提示。以期在故障發(fā)生之前，就預(yù)測可能出現(xiàn)的故障隱患，或在故障發(fā)生之后迅速定位故障點，為及時排除故障、恢復(fù)工作提供相關(guān)依據(jù)。

我臺的這套6 節(jié)點分布式集群存儲系統(tǒng)已經(jīng)投入使用2年，在此期間運(yùn)行高效、安全可靠、讀寫帶寬穩(wěn)定，保障了我臺20 多個欄目的制作和資料存儲，得到了編輯記者們的一致好評。