譚景賢

佛山電視臺(tái)存儲(chǔ)系統(tǒng)的應(yīng)用與維護(hù)

譚景賢

（作者單位：佛山電視臺(tái)）

佛山電視臺(tái)播出領(lǐng)域正在使用的GV Proflie視頻服務(wù)器與EMC CX700存儲(chǔ)架構(gòu)，其光纖通道具有封閉性。本文以佛山電視臺(tái)播出線上搭建SAN網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的案例，詳細(xì)闡述視頻服務(wù)器與網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)之間的管理應(yīng)用與備份檢測(cè)手段，最終實(shí)現(xiàn)硬盤節(jié)目素材在播出系統(tǒng)中的素材交換。

Profile；CX700；MDC；FC-SAN；FCIP；ZONE

1　存儲(chǔ)系統(tǒng)設(shè)備的簡(jiǎn)述

1.1Profile PVS1108視頻服務(wù)器

rofile PVS1108視頻服務(wù)器主機(jī)配備1塊1 GB以太網(wǎng)網(wǎng)卡和1塊2 GB的對(duì)外連接的光纖模塊，該模塊采用的是FCIP通訊控制協(xié)議。以太網(wǎng)傳輸?shù)氖窃O(shè)備物理地址和基本的數(shù)據(jù)信息，光纖網(wǎng)絡(luò)則負(fù)責(zé)硬盤素材在存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)中的傳輸工作。

通過(guò)雙FC-AL（光纖通道仲裁環(huán)路）分別連接PFR700磁盤陣列（配置RAID3）的盤塔上作為該服務(wù)器的存儲(chǔ)區(qū)，PFR700磁盤陣列上的2個(gè)光纖環(huán)路互為熱備份，與服務(wù)器之間采用的是FC-SCSI通訊控制協(xié)議進(jìn)行數(shù)據(jù)的傳輸，速率最高可達(dá)到2 GB/s，固定在兩塊互相獨(dú)立、而且支持熱插拔的板卡模塊上，這種冗余設(shè)計(jì)有效地提高了視頻服務(wù)器的安全性和容錯(cuò)能力，確保播出的安全。

1.2EMC第六代CLARiiON全光纖通道存儲(chǔ)系統(tǒng)—CX700

CX700二級(jí)存儲(chǔ)具有4個(gè)3 GHz的CPU處理器，8 G緩存，內(nèi)部配備兩臺(tái)存儲(chǔ)控制器（SPA、SPB），分別有4個(gè)2 GB的光纖通道，采用的是FCP-SCSI-3通訊控制協(xié)議對(duì)外進(jìn)行數(shù)據(jù)的傳輸，提供了強(qiáng)大的計(jì)算處理能力；同時(shí)配備兩塊UPS電池，在遇到電力中斷的情況時(shí)，能把Cache里的數(shù)據(jù)完整寫入磁盤中，有效地防止數(shù)據(jù)的丟失。從而構(gòu)成一個(gè)具有領(lǐng)先競(jìng)爭(zhēng)能力的網(wǎng)絡(luò)存儲(chǔ)環(huán)境，與千兆以太網(wǎng)絡(luò)相比，傳輸速度更快，效率更高，更安全。

佛山電視臺(tái)目前播出的視頻服務(wù)器設(shè)置播出的視頻帶寬為12 MB/s，采用Mpeg2編碼格式，1小時(shí)的視音頻素材文件大小約為6 G。配備45塊SCSI 300G/10000轉(zhuǎn)SCSI硬盤，總存儲(chǔ)容量為12 T，可以存儲(chǔ)2 000小時(shí)的節(jié)目量，按6+1頻道，每天12小時(shí)的增播量來(lái)計(jì)算，因此完全具備了近1個(gè)月的節(jié)目存儲(chǔ)能力。

由于使用的遷移服務(wù)器（MDC）操作系統(tǒng)是Win2000 Server，受文件系統(tǒng)的限制，

最大的邏輯卷也只能分配2 TB的存儲(chǔ)容量，因此把12 T的總存儲(chǔ)量劃分成了6個(gè)卷組，每個(gè)卷組由7塊300 G硬盤組成，采用RAID5冗余技術(shù)，實(shí)際有效容量為1.56 T。在整個(gè)二級(jí)存儲(chǔ)體內(nèi)還配備3塊熱備盤，冗余度較高，即使不同卷組內(nèi)的4塊盤同時(shí)損壞，也能夠確保存儲(chǔ)數(shù)據(jù)不會(huì)丟失。

2　存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)的管理與應(yīng)用

存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)以遷移服務(wù)器作為MDC。MDC（Metadata Controller）是指元數(shù)據(jù)控制器，它是通過(guò)光纖網(wǎng)絡(luò)訪問(wèn)存儲(chǔ)設(shè)備磁盤陣列中數(shù)據(jù)文件最為重要的核心服務(wù)器。

2.1運(yùn)行環(huán)境

Win2000 Server SP4。FC-SCSI協(xié) 議的光纖卡、Emulex LP1050和FCIP協(xié)議的光纖卡、QLoglc 2340。EMC PowerPath通過(guò)FC網(wǎng)絡(luò)能識(shí)別出CX700所存在的6個(gè)LUN，但不能訪問(wèn)，因此未分配權(quán)限。且該軟件能實(shí)時(shí)監(jiān)測(cè)MDC與CX700兩臺(tái)處理機(jī)之間的FC光纖通道是否正常，一旦其中一臺(tái)處理機(jī)的光纖通道發(fā)生異常時(shí)，該軟件能提供自動(dòng)故障切換，6個(gè)LUN的數(shù)據(jù)處理會(huì)自動(dòng)分配到另外一臺(tái)處理機(jī)進(jìn)行處理，這一冗余的設(shè)計(jì)確保數(shù)據(jù)的高可用性和數(shù)據(jù)訪問(wèn)的高性能。

EMC Navisphere Agent注冊(cè)軟件，把MDC計(jì)算機(jī)名（MOVE）和FC-SCSI協(xié)議的光纖卡物理地址向CX700發(fā)送注冊(cè)請(qǐng)求，直接獲取CX700中6個(gè)LUN的訪問(wèn)權(quán)限。

SANergy管理軟件，配置MDC作為CX700二級(jí)存儲(chǔ)的唯一管理者，通過(guò)FC網(wǎng)絡(luò)使CX700

6個(gè)LUN成為MDC的本地硬盤，負(fù)責(zé)對(duì)6個(gè)LUN的磁盤進(jìn)行管理，實(shí)現(xiàn)數(shù)據(jù)讀寫操作。

2.2FCIP隧道傳輸技術(shù)的應(yīng)用

FCIP（Fibre Channel Over IP），它是基于IP協(xié)議的光纖通道。在MDC上安裝一塊FCIP協(xié)議的光纖卡和一塊FC-SCSI協(xié)議的光纖卡，（如圖1所示）FCIP協(xié)議利用IP網(wǎng)絡(luò)創(chuàng)建隧道在PROFILE視頻服務(wù)器和CX700二級(jí)存儲(chǔ)兩個(gè)FC-SAN網(wǎng)絡(luò)之間實(shí)現(xiàn)FC-SCSI協(xié)議的數(shù)據(jù)傳輸，從而建立IP-SAN存儲(chǔ)網(wǎng)絡(luò)架構(gòu)，使數(shù)據(jù)的傳輸變得更加靈活，使數(shù)據(jù)的管理更加方便。

圖1　FCIP隧道傳輸網(wǎng)絡(luò)架構(gòu)

需要注意的是：FCIP構(gòu)建的IP-SAN存儲(chǔ)并不是指整個(gè)SAN存儲(chǔ)系統(tǒng)都是采用IP技術(shù)構(gòu)建，而是指不不同的SAN之間的數(shù)據(jù)相互傳輸是采用IP通道進(jìn)行的；PROFILE視頻服務(wù)器和CX700網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)內(nèi)部仍然采用FC-SCSI協(xié)議進(jìn)行數(shù)據(jù)的傳輸，也就是說(shuō)IP-SAN并不是一個(gè)純IP網(wǎng)絡(luò)，而是FC與IP技術(shù)的一種融合；FCIP協(xié)議實(shí)際上就是一種隧道傳輸協(xié)議，它是通過(guò)FCIP網(wǎng)關(guān)來(lái)實(shí)現(xiàn)的，存儲(chǔ)系統(tǒng)的數(shù)據(jù)均必須通過(guò)公用的隧道進(jìn)行數(shù)據(jù)的傳輸，但不能為PROFILE視頻服務(wù)器和CX700存儲(chǔ)系統(tǒng)提供IP連接，即FCIP不能利用IP做FC存儲(chǔ)設(shè)備的點(diǎn)到點(diǎn)連接。

2.3ZONE在存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)的應(yīng)用

佛山電視臺(tái)采用FCIP隧道技術(shù)的IP-SAN方案來(lái)解決兩個(gè)FC-SAN之間的數(shù)據(jù)傳輸，F(xiàn)C_SAN發(fā)送端的數(shù)據(jù)必須通過(guò)遷移服務(wù)器（MDC）作為公用隧道進(jìn)行傳輸，接收端則通過(guò)QLogic光纖交換機(jī)把數(shù)據(jù)往適當(dāng)?shù)墓饫w通道端點(diǎn)設(shè)備進(jìn)行引導(dǎo)。因此，需要對(duì)QLogic光纖交換機(jī)的光纖端口進(jìn)行邏輯劃分出不同區(qū)域。配備3臺(tái)QLogic光纖交換機(jī)，利用存儲(chǔ)設(shè)備光纖卡的物理地址具有唯一性的特點(diǎn)，通過(guò)SANbox Manager軟件，對(duì)其接入的光纖端口以及存儲(chǔ)設(shè)備的光纖卡物理地址進(jìn)行捆綁做ZONE。

遷移服務(wù)器（主）FC-SCSI協(xié)議的光纖卡和CX700存儲(chǔ)系統(tǒng)處理機(jī)SPA、SPB的FCP-SCSI協(xié)議的A0、B0光纖通道做ZONE1。

遷移服務(wù)器（備）FC-SCSI協(xié)議的光纖卡和CX700存儲(chǔ)系統(tǒng)處理機(jī)SPA、SPB的FCP-SCSI協(xié)議的A2、B2光纖通道做ZONE2。

遷移服務(wù)器（主）FCIP協(xié)議的光纖卡和播出服務(wù)器（主、備）、上載服務(wù)器（主、備）的4臺(tái)PROFILE視頻服務(wù)器FCIP協(xié)議的光纖模塊做ZONE3。

遷移服務(wù)器（備）FCIP協(xié)議的光纖卡和播出服務(wù)器（主、備）、上載服務(wù)器（主、備）的4臺(tái)PROFILE視頻服務(wù)器FCIP協(xié)議的光纖模塊做ZONE4。

ZONE1與ZONE3配 置 為MAIN ZONE，ZONE2與 ZONE4配置為BACKUP ZONE。

2.4存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)的應(yīng)用

佛山電視臺(tái)的整個(gè)制播網(wǎng)絡(luò)是由非編網(wǎng)與播出網(wǎng)組成，通過(guò)TCP/IP千兆以太網(wǎng)交換機(jī)相連接，因此非編提交工作站是通過(guò)TCP/IP網(wǎng)絡(luò)映射到遷移服務(wù)器（MDC）的本地磁盤，該磁盤為CX700二級(jí)存儲(chǔ)的1個(gè)LUN，并采用網(wǎng)絡(luò)文件傳輸協(xié)議FTP將節(jié)目硬盤素材傳輸?shù)紺X700二級(jí)存儲(chǔ)，再傳輸?shù)讲コ龇?wù)器的磁盤陣列盤塔中，用于播出。簡(jiǎn)單地說(shuō)，這就是一個(gè)復(fù)制、粘貼的過(guò)程。

3　存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)的備份與檢測(cè)

3.1備份手段

佛山電視臺(tái)配備多一臺(tái)遷移服務(wù)器作為熱備份，正常情況下，該遷移服務(wù)器（備）的網(wǎng)線與光纖都處于斷開狀態(tài)，確保與遷移服務(wù)器（主）的存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)分離。充分利用到CX700二級(jí)存儲(chǔ)具有主備冗余的設(shè)計(jì)，確保整個(gè)存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)沒(méi)有單一崩潰點(diǎn)，一旦遷移服務(wù)器（主）出現(xiàn)故障或ZONE1中的存儲(chǔ)設(shè)備和光纖交換機(jī)發(fā)生故障時(shí)，會(huì)導(dǎo)致存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)無(wú)法正常工作時(shí)，采用簡(jiǎn)單的手動(dòng)倒換方法就能在短時(shí)間內(nèi)實(shí)現(xiàn)對(duì)存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)的恢復(fù)。

關(guān)閉遷移服務(wù)器（主），待完全關(guān)閉后，手動(dòng)地把遷移服務(wù)器（備）的網(wǎng)線與光纖接上；進(jìn)入SANbox Manager軟件激活BACKUP ZONE；利用IE瀏覽器進(jìn)入CX700的監(jiān)控界面，重新對(duì)存儲(chǔ)系統(tǒng)進(jìn)行Update操作（如圖2所示）；查看光纖通道工作情況。

圖2　CX700中SPA、SPB對(duì)外連接的工作狀態(tài)

3.2光纖通道的檢測(cè)手段

當(dāng)播出服務(wù)器、上載服務(wù)器與遷移服務(wù)器三者之間的光纖通道出現(xiàn)異常時(shí)，會(huì)導(dǎo)致硬盤

節(jié)目素材同步、回遷、遷移發(fā)生任務(wù)錯(cuò)誤。此時(shí)對(duì)照（如表1所示）的光纖IP表

表1　IP協(xié)議光纖卡的IP列表

打開操作界面對(duì)存儲(chǔ)設(shè)備的IP協(xié)議光纖通道網(wǎng)絡(luò)進(jìn)行檢測(cè)。

當(dāng)硬盤節(jié)目素材回遷、遷移任務(wù)或非編提交素材的處理時(shí)間相對(duì)較長(zhǎng)時(shí)，會(huì)影響硬盤節(jié)目傳輸?shù)墓ぷ餍剩瑢?dǎo)致任務(wù)大塞車。通過(guò)SANergy測(cè)試遷移服務(wù)器對(duì)CX700二級(jí)存儲(chǔ)各個(gè)LUN的數(shù)據(jù)讀寫速度是否正常，正常情況下，速度可以達(dá)到150 MB/s以上。

4　結(jié)語(yǔ)

佛山電視臺(tái)存儲(chǔ)網(wǎng)絡(luò)系統(tǒng)自投入使用以來(lái)，系統(tǒng)運(yùn)行安全、穩(wěn)定。CX700二級(jí)存儲(chǔ)具有較高的安全性和冗余技術(shù)，為節(jié)目硬盤素材的傳輸安全提供了技術(shù)保障，采用FCIP隧道技術(shù)的IP-SAN方案，在Profile視頻服務(wù)器和CX700二級(jí)存儲(chǔ)兩個(gè)FC-SAN網(wǎng)絡(luò)之間實(shí)現(xiàn)FC-SCSI協(xié)議的數(shù)據(jù)傳輸，傳輸速度可以達(dá)到150 MB/s以上，與千兆以太網(wǎng)絡(luò)相比，傳輸速度更快，效率更高，更安全，大大提高了工作效率。

[1]楊勇.FC SAN與IP SAN全面比較[J].廣播與電視技術(shù),2007(120).

[2]王寧.硬盤播控系統(tǒng)與二級(jí)存儲(chǔ)系統(tǒng)設(shè)計(jì)[J].廣播與電視技術(shù),2007(7).

[3]譚釗.非線性網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)高可用性的解決之道:雙存儲(chǔ)架構(gòu)[J].廣播與電視技術(shù),2013(1).

譚景賢（1972-），男，廣東東莞人，本科，工程師，在佛山電視臺(tái)從事廣播電視工作20年，研究方向：廣播電視技術(shù)。