崔圣青，王毅勇

（中國(guó)鐵路濟(jì)南局集團(tuán)有限公司濟(jì)南通信段，山東濟(jì)南250001）

0 引言

鐵路綜合視頻監(jiān)控系統(tǒng)自建設(shè)以來(lái)經(jīng)過(guò)了十幾年的發(fā)展，建設(shè)規(guī)模不斷擴(kuò)大，應(yīng)用范圍越來(lái)越廣泛，重要程度逐步提高，在鐵路行車(chē)指揮、生產(chǎn)組織、客貨運(yùn)輸服務(wù)、作業(yè)監(jiān)控、搶險(xiǎn)救援以及治安防范等方面發(fā)揮了不可替代的作用。

隨著技術(shù)發(fā)展水平提高和設(shè)備更新速度加快，用戶對(duì)視頻監(jiān)控系統(tǒng)的體驗(yàn)和需求不斷發(fā)生變化。攝像機(jī)從標(biāo)清模擬到高清IP數(shù)字，分辨率CIF（352×288）、4CIF（704×576）/D1（720×576）、720P（1 280×720）、1080P（1 920×1 080）、4K（4 096×2 160）……逐步提高，編解碼格式經(jīng)歷了MPEG4、H.264、H.265等；視頻碼流從單路4CIF、25幀/s標(biāo)清視頻流2 Mb/s提升到單路1080P、25幀/s高清視頻流6 Mb/s（采用H.264）、4 Mb/s（采用H.265）［1-3］等。伴隨圖像清晰度的提高和視頻路數(shù)的增加，直接引起視頻數(shù)據(jù)流量的海量劇增，原有的硬盤(pán)錄像機(jī)、網(wǎng)絡(luò)視頻錄像機(jī)（NVR）、磁盤(pán)陣列等存儲(chǔ)模式及網(wǎng)絡(luò)附屬存儲(chǔ)（NAS）、開(kāi)放系統(tǒng)的直連式存儲(chǔ)（DAS）、IP構(gòu)建存儲(chǔ)局域網(wǎng)絡(luò)（IPSAN）等存儲(chǔ)架構(gòu)不再適合大容量數(shù)據(jù)的存儲(chǔ)、調(diào)用和管理［4-5］。

1 鐵路視頻監(jiān)控系統(tǒng)應(yīng)用現(xiàn)狀

目前中國(guó)國(guó)家鐵路集團(tuán)有限公司（簡(jiǎn)稱國(guó)鐵集團(tuán)）管內(nèi)綜合視頻監(jiān)控系統(tǒng)攝像頭計(jì)上萬(wàn)路，存儲(chǔ)時(shí)間分別為30、15、3 d［3］。

鐵路視頻監(jiān)控系統(tǒng)存儲(chǔ)架構(gòu)大多采用IP-SAN技術(shù)，通過(guò)存儲(chǔ)服務(wù)器的獨(dú)立冗余磁盤(pán)陣列（Redundant Arrays of Independent Disks，RAID）卡將多塊物理磁盤(pán)邏輯化成為1個(gè)磁盤(pán)分區(qū)，并通過(guò)小型計(jì)算機(jī)系統(tǒng)接口（Internet Small Computer System Interface，ISCSI）協(xié)議將邏輯磁盤(pán)分區(qū)導(dǎo)出至前端攝像機(jī)，進(jìn)行視頻錄入。普速線路的Ⅱ類(lèi)節(jié)點(diǎn)接入幾十路平均視頻，其中，高清攝像機(jī)數(shù)量約占總數(shù)的10%，其余為模擬攝像機(jī)。

2 云存儲(chǔ)關(guān)鍵技術(shù)

2.1 數(shù)據(jù)保護(hù)機(jī)制

2.1.1 糾刪碼

云存儲(chǔ)系統(tǒng)可同時(shí)提供文件級(jí)及塊級(jí)數(shù)據(jù)保護(hù)，用戶可根據(jù)需要設(shè)置不同的保護(hù)級(jí)別，糾刪碼數(shù)據(jù)保護(hù)機(jī)制采用N+M數(shù)據(jù)保護(hù)模式，其中N代表原始數(shù)據(jù)被切片的數(shù)量，數(shù)值為2、4、8、16；M代表生成的校驗(yàn)數(shù)據(jù)數(shù)量，數(shù)值為1、2、3、4。當(dāng)系統(tǒng)配置的存儲(chǔ)服務(wù)器（存儲(chǔ)集群）臺(tái)數(shù)≥N+M時(shí)，可以允許M臺(tái)存儲(chǔ)服務(wù)器同時(shí)損壞；當(dāng)配置的存儲(chǔ)服務(wù)器（存儲(chǔ)集群）臺(tái)數(shù)＜N+M時(shí)，系統(tǒng)自動(dòng)將冗余保護(hù)機(jī)制從服務(wù)器級(jí)別降為磁盤(pán)級(jí)別，可以允許M塊磁盤(pán)同時(shí)損壞。M為4代表存儲(chǔ)系統(tǒng)最多允許4臺(tái)存儲(chǔ)服務(wù)器或4塊磁盤(pán)同時(shí)損壞［6］。

4+2糾刪碼數(shù)據(jù)冗余模式見(jiàn)圖1，當(dāng)N+M為4+2時(shí)，數(shù)據(jù)在存儲(chǔ)時(shí)按照文件寫(xiě)入粒度將文件切分成4個(gè)片段并生成2個(gè)校驗(yàn)數(shù)據(jù)，再將6個(gè)片段分別存儲(chǔ)至不同存儲(chǔ)服務(wù)器，允許同時(shí)損壞的存儲(chǔ)服務(wù)器或跨存儲(chǔ)服務(wù)器損壞的磁盤(pán)數(shù)量為2。

圖1 4+2糾刪碼數(shù)據(jù)冗余模式

當(dāng)系統(tǒng)存儲(chǔ)服務(wù)器≥6臺(tái)時(shí)，允許2臺(tái)存儲(chǔ)服務(wù)器同時(shí)損壞，這2臺(tái)存儲(chǔ)服務(wù)器上可損壞任意數(shù)目的磁盤(pán)；當(dāng)3臺(tái)≤系統(tǒng)存儲(chǔ)服務(wù)器＜6臺(tái)時(shí)，支持1臺(tái)存儲(chǔ)服務(wù)器損壞或跨存儲(chǔ)服務(wù)器2塊磁盤(pán)同時(shí)損壞；當(dāng)系統(tǒng)存儲(chǔ)服務(wù)器=2臺(tái)時(shí)，支持跨存儲(chǔ)服務(wù)器的2塊磁盤(pán)同時(shí)損壞。同時(shí)損壞2臺(tái)存儲(chǔ)服務(wù)器數(shù)據(jù)保護(hù)機(jī)制見(jiàn)圖2。

圖2 同時(shí)損壞2臺(tái)存儲(chǔ)服務(wù)器數(shù)據(jù)保護(hù)機(jī)制

2.1.2 參數(shù)配置

N+M糾刪碼不同數(shù)據(jù)保護(hù)模式下的具體參數(shù)見(jiàn)表1。

表1 N+M不同數(shù)據(jù)保護(hù)模式下的參數(shù)表

實(shí)施案例1:某站有視頻352路，4M碼流，存儲(chǔ)90 d，可用容量為1 521 TB?？梢圆捎?+2保護(hù)模型，空間利用率為80%；也可以采用4+1保護(hù)模型，空間利用率也為80%。實(shí)施中多數(shù)人選擇8+2保護(hù)模型，配備存儲(chǔ)服務(wù)器總臺(tái)數(shù)≥10臺(tái)。實(shí)施案例2:某站有視頻40路，其中10路為高清攝像機(jī)，存儲(chǔ)10 d；剩余30路為模擬攝象機(jī)，存儲(chǔ)7 d，4M碼流，可用容量為27 TB。實(shí)施中多數(shù)人選擇2+1保護(hù)模型，配備3臺(tái)12盤(pán)位2 TB的存儲(chǔ)服務(wù)器，空間利用率為66.7%；當(dāng)存儲(chǔ)服務(wù)器損壞1臺(tái)后自動(dòng)降級(jí)為磁盤(pán)級(jí)4+2模型進(jìn)行保護(hù)。

2.1.3 副本

副本數(shù)據(jù)保護(hù)機(jī)制是將文件按照規(guī)則分段存儲(chǔ)至存儲(chǔ)服務(wù)器，其中每一段都會(huì)有2個(gè)以上（可根據(jù)需求設(shè)置2、3、4個(gè)副本）的有效副本存放至不同的存儲(chǔ)服務(wù)器。如1個(gè)文件file A被切分成segment1-N個(gè)片段，文件file A的segment2片段的2個(gè)副本分別存放至存儲(chǔ)服務(wù)器S1的磁盤(pán)D1和存儲(chǔ)服務(wù)器S2的磁盤(pán)D1，當(dāng)S1宕機(jī)或者S1的D1失效時(shí)，用戶依然可以從S2的D1上讀取file A的segment2片段，同時(shí)系統(tǒng)將會(huì)自動(dòng)在另一臺(tái)存儲(chǔ)服務(wù)器如S3的D2上產(chǎn)生segment2的新副本。副本數(shù)據(jù)保護(hù)機(jī)制見(jiàn)圖3。

圖3 副本數(shù)據(jù)保護(hù)機(jī)制

2.1.4 保護(hù)效果差異

云存儲(chǔ)系統(tǒng)中，糾刪碼保護(hù)和副本保護(hù)利用不同的機(jī)制對(duì)數(shù)據(jù)進(jìn)行保護(hù)，主要區(qū)別體現(xiàn)在存儲(chǔ)空間利用率。副本保護(hù)機(jī)制存儲(chǔ)空間利用率較低，不同重要程度、不同應(yīng)用場(chǎng)景下使用不同副本機(jī)制，空間利用率最大為50%；而糾刪碼保護(hù)機(jī)制存儲(chǔ)空間利用率較高，根據(jù)不同數(shù)據(jù)模型選擇和存儲(chǔ)服務(wù)器配置，存儲(chǔ)空間利用率可達(dá)50%～94%。

2.2 負(fù)載均衡

將文件按照一定方式進(jìn)行切片，采用數(shù)據(jù)智能均衡算法，將所有數(shù)據(jù)讀寫(xiě)壓力平均分配至云存儲(chǔ)系統(tǒng)的存儲(chǔ)服務(wù)器所有磁盤(pán)，實(shí)現(xiàn)所有磁盤(pán)的壓力均衡，提升并發(fā)訪問(wèn)效率，降低硬件負(fù)載壓力和損耗程度，形成一個(gè)高性能的共享存儲(chǔ)池，為前端提供高聚合帶寬讀寫(xiě)訪問(wèn)，避免壓力分配不均衡造成的設(shè)備性能降低。

云存儲(chǔ)系統(tǒng)根據(jù)設(shè)備可用容量、負(fù)載情況、接入任務(wù)數(shù)以及讀寫(xiě)性能等，自動(dòng)進(jìn)行存儲(chǔ)服務(wù)器級(jí)和磁盤(pán)級(jí)的負(fù)載均衡和資源分配。負(fù)載均衡系統(tǒng)通過(guò)提供智能IP管理，實(shí)現(xiàn)存儲(chǔ)服務(wù)器IP地址的自動(dòng)添加和遷移。

當(dāng)存儲(chǔ)服務(wù)器在線擴(kuò)容時(shí)，可將數(shù)據(jù)自動(dòng)均衡至新添加的存儲(chǔ)服務(wù)器，實(shí)現(xiàn)數(shù)據(jù)均衡的同時(shí)，數(shù)據(jù)安全級(jí)別允許同時(shí)損壞存儲(chǔ)服務(wù)器節(jié)點(diǎn)和磁盤(pán)數(shù)量增加，提高了存儲(chǔ)系統(tǒng)整體數(shù)據(jù)安全保護(hù)級(jí)別。

2.3 數(shù)據(jù)自愈

云存儲(chǔ)系統(tǒng)內(nèi)置自動(dòng)故障探測(cè)機(jī)制，當(dāng)探測(cè)到某個(gè)存儲(chǔ)服務(wù)器或存儲(chǔ)服務(wù)器磁盤(pán)發(fā)生故障時(shí)，會(huì)自動(dòng)觸發(fā)數(shù)據(jù)自愈恢復(fù)流程。在正常設(shè)備中分配新的空間，重新恢復(fù)存儲(chǔ)設(shè)備中有效的受損數(shù)據(jù)，區(qū)別于傳統(tǒng)存儲(chǔ)系統(tǒng)對(duì)整個(gè)磁盤(pán)所有塊的數(shù)據(jù)恢復(fù)，可以有效減少數(shù)據(jù)恢復(fù)過(guò)程中的數(shù)據(jù)傳輸量。

在云存儲(chǔ)系統(tǒng)中，1個(gè)磁盤(pán)的數(shù)據(jù)段對(duì)應(yīng)冗余數(shù)據(jù)平均分布在存儲(chǔ)集群的其他存儲(chǔ)服務(wù)器上，損失的數(shù)據(jù)也將平均恢復(fù)至整個(gè)存儲(chǔ)集群，數(shù)據(jù)恢復(fù)過(guò)程由正常狀態(tài)的存儲(chǔ)服務(wù)器并發(fā)進(jìn)行，是一種多對(duì)多的數(shù)據(jù)恢復(fù)模式。

由于數(shù)據(jù)恢復(fù)過(guò)程中所有存儲(chǔ)服務(wù)器共同參與，所以存儲(chǔ)服務(wù)器集群的規(guī)模越大，參與恢復(fù)的存儲(chǔ)服務(wù)器數(shù)量就越多，整個(gè)系統(tǒng)的恢復(fù)速度也越快，安全程度就越高，傳統(tǒng)的IP-SAN設(shè)備數(shù)據(jù)恢復(fù)依托于硬件RAID卡，若數(shù)據(jù)恢復(fù)過(guò)程中硬件RAID卡出現(xiàn)故障，會(huì)造成數(shù)據(jù)丟失，且只有損壞磁盤(pán)的這1臺(tái)盤(pán)陣設(shè)備進(jìn)行盤(pán)陣內(nèi)數(shù)據(jù)恢復(fù)，與云存儲(chǔ)系統(tǒng)的所有服務(wù)器均參與數(shù)據(jù)恢復(fù)相比較，時(shí)間較長(zhǎng)。

當(dāng)數(shù)據(jù)恢復(fù)完成，整個(gè)系統(tǒng)立即成為最高安全狀態(tài)，這時(shí)再發(fā)生設(shè)備失效不會(huì)導(dǎo)致數(shù)據(jù)丟失；在系統(tǒng)負(fù)載較小時(shí)，也可選擇手動(dòng)進(jìn)行數(shù)據(jù)自愈恢復(fù)［7］。

2.4 在線擴(kuò)容

云存儲(chǔ)系統(tǒng)中的元數(shù)據(jù)服務(wù)器集群和存儲(chǔ)服務(wù)器集群支持在線動(dòng)態(tài)擴(kuò)容。存儲(chǔ)服務(wù)器集群擴(kuò)展包括:存儲(chǔ)服務(wù)器、存儲(chǔ)服務(wù)器中磁盤(pán)擴(kuò)展，擴(kuò)展的容量可即插即用。而且隨著存儲(chǔ)服務(wù)器數(shù)量增多，存儲(chǔ)系統(tǒng)的聚合帶寬也會(huì)呈線性增長(zhǎng)。

元數(shù)據(jù)服務(wù)器集群擴(kuò)展帶來(lái)文件存儲(chǔ)數(shù)量的增長(zhǎng)，整個(gè)擴(kuò)展過(guò)程對(duì)應(yīng)用平臺(tái)完全透明，擴(kuò)展的元數(shù)據(jù)服務(wù)器立刻能夠提供服務(wù)，前端應(yīng)用無(wú)需進(jìn)行手動(dòng)配置。隨著元數(shù)據(jù)服務(wù)器數(shù)量增多，存儲(chǔ)系統(tǒng)提供的元數(shù)據(jù)服務(wù)能力也會(huì)呈線性增長(zhǎng)，可管理的文件總數(shù)也線性增加［8］。

當(dāng)需要進(jìn)行存儲(chǔ)資源擴(kuò)展時(shí)，只需要在集群內(nèi)添加新增存儲(chǔ)設(shè)備的IP地址，系統(tǒng)會(huì)自動(dòng)辨別新增設(shè)備，對(duì)其進(jìn)行虛擬化整合，容量融入集群；同時(shí)，擴(kuò)展過(guò)程中，用戶的正常業(yè)務(wù)不中斷，實(shí)現(xiàn)存儲(chǔ)資源在線擴(kuò)容。

2.5 跨站數(shù)據(jù)同步

云存儲(chǔ)系統(tǒng)具有數(shù)據(jù)同步功能，實(shí)現(xiàn)業(yè)務(wù)自動(dòng)切換，保證業(yè)務(wù)正常運(yùn)行和數(shù)據(jù)安全。具體包括:支持遠(yuǎn)程備份，自動(dòng)進(jìn)行小文件打包、大文件合并等多樣備份需求，能同時(shí)進(jìn)行無(wú)限制的并發(fā)備份，提供高效并發(fā)備份機(jī)制；具有遠(yuǎn)程復(fù)制加密傳輸功能，可保證數(shù)據(jù)隱私和數(shù)據(jù)完整；利用掉電保護(hù)技術(shù)確保備份數(shù)據(jù)不丟失；能快速備份、及時(shí)恢復(fù)、性能自動(dòng)調(diào)優(yōu)及保證業(yè)務(wù)連續(xù)性；對(duì)重復(fù)數(shù)據(jù)進(jìn)行對(duì)比篩查，進(jìn)行增量備份，節(jié)省存儲(chǔ)空間；可完全兼容傳統(tǒng)的備份環(huán)境。

2.6 面向云存儲(chǔ)系統(tǒng)的“三員管理”

云存儲(chǔ)系統(tǒng)中分系統(tǒng)管理員、安全管理員、安全審計(jì)員3類(lèi)角色。系統(tǒng)管理員主要負(fù)責(zé)存儲(chǔ)系統(tǒng)的日常運(yùn)維工作；安全管理員主要負(fù)責(zé)對(duì)用戶進(jìn)行權(quán)限分配以及對(duì)客戶端的授權(quán)，對(duì)訪問(wèn)云存儲(chǔ)系統(tǒng)用戶的行為進(jìn)行審計(jì)；安全審計(jì)員主要負(fù)責(zé)對(duì)云存儲(chǔ)系統(tǒng)的2類(lèi)管理員行為進(jìn)行審計(jì)。“三員管理”存在三員的約束條件，三員必須獨(dú)立，不能由1個(gè)人兼任三員中的2個(gè)或以上角色，同時(shí)，系統(tǒng)管理員、安全管理員和審計(jì)管理員不能以任何其他身份登錄云存儲(chǔ)系統(tǒng)，不可以對(duì)云存儲(chǔ)系統(tǒng)的日志進(jìn)行修改。

3 云存儲(chǔ)應(yīng)用

3.1 分布式云存儲(chǔ)

為了驗(yàn)證云存儲(chǔ)系統(tǒng)方案可行性，國(guó)鐵集團(tuán)相關(guān)部門(mén)申請(qǐng)了科研項(xiàng)目，2019年組織云存儲(chǔ)廠家及既有綜合視頻監(jiān)控系統(tǒng)平臺(tái)廠家進(jìn)行了云存儲(chǔ)的各項(xiàng)功能驗(yàn)證。選取相鄰的2個(gè)Ⅱ類(lèi)視頻接入節(jié)點(diǎn)，每站采集點(diǎn)約為40路，每路數(shù)據(jù)平均流量為4 Mb/s，站間距約40 km。

采用糾刪碼方案，在兩站的通信機(jī)房分別部署3臺(tái)存儲(chǔ)服務(wù)器。服務(wù)器級(jí)采用2+1糾刪碼數(shù)據(jù)保護(hù)模式；存儲(chǔ)磁盤(pán)級(jí)采用4+2糾刪碼數(shù)據(jù)保護(hù)模式。兩站云存儲(chǔ)系統(tǒng)設(shè)備分別接入既有視頻管理平臺(tái)，既有視頻流直接寫(xiě)入相應(yīng)車(chē)站的云存儲(chǔ)系統(tǒng)的存儲(chǔ)服務(wù)器。兩站的視頻流與云存儲(chǔ)服務(wù)器通過(guò)光纖設(shè)備交叉互連實(shí)現(xiàn)容災(zāi)，構(gòu)建成1套云存儲(chǔ)系統(tǒng)。云存儲(chǔ)系統(tǒng)架構(gòu)示意見(jiàn)圖4。

圖4 云存儲(chǔ)系統(tǒng)架構(gòu)示意圖

3.2 功能驗(yàn)證

為進(jìn)行功能驗(yàn)證，對(duì)云存儲(chǔ)系統(tǒng)工程應(yīng)用前后進(jìn)行對(duì)比（見(jiàn)表2）。由表2對(duì)比可知:

表2 云存儲(chǔ)系統(tǒng)工程應(yīng)用前后對(duì)比

（1）鐵路點(diǎn)多線長(zhǎng)、網(wǎng)絡(luò)帶寬有限，在不改變既有鐵路綜合視頻監(jiān)控系統(tǒng)結(jié)構(gòu)的條件下，云存儲(chǔ)系統(tǒng)設(shè)備可以替代目前鐵路視頻監(jiān)控系統(tǒng)中的IP-SAN存儲(chǔ)設(shè)備［9］，符合Q/CR 575—2017《鐵路綜合視頻監(jiān)控系統(tǒng)技術(shù)規(guī)范》的相關(guān)要求［3］。

（2）通過(guò)采用數(shù)據(jù)分段切片、虛擬化分散均衡存儲(chǔ)、副本/糾刪碼數(shù)據(jù)保護(hù)、數(shù)據(jù)自愈恢復(fù)等技術(shù)，采用多種安全權(quán)限管理，云存儲(chǔ)技術(shù)可明顯提高鐵路視頻監(jiān)控系統(tǒng)整體安全性。

（3）云存儲(chǔ)技術(shù)能夠?qū)崿F(xiàn)鐵路視頻監(jiān)控系統(tǒng)存儲(chǔ)容量動(dòng)態(tài)在線擴(kuò)容，可根據(jù)需要實(shí)現(xiàn)即插即用，并且存儲(chǔ)服務(wù)能力、聚合帶寬呈線性增長(zhǎng)，系統(tǒng)正常運(yùn)行不受影響。

（4）云存儲(chǔ)系統(tǒng)采用糾刪碼數(shù)據(jù)保護(hù)機(jī)制，在部分存儲(chǔ)服務(wù)器損壞、存儲(chǔ)系統(tǒng)內(nèi)多塊磁盤(pán)同時(shí)損壞時(shí)，仍然可以保證數(shù)據(jù)安全性以及存儲(chǔ)系統(tǒng)正常讀寫(xiě)訪問(wèn)，存儲(chǔ)容量利用率為66.7%。

4 結(jié)論

云存儲(chǔ)技術(shù)可滿足鐵路視頻監(jiān)控系統(tǒng)中大量的視頻數(shù)據(jù)存儲(chǔ)、分析和應(yīng)用需求。云存儲(chǔ)技術(shù)解決方案得到越來(lái)越廣泛應(yīng)用，具體應(yīng)用應(yīng)考慮在具備4 GE或10 GE［10］良好傳輸條件的前提下，大量數(shù)據(jù)相對(duì)集中存儲(chǔ)，充分發(fā)揮云存儲(chǔ)技術(shù)的負(fù)載均衡、數(shù)據(jù)保護(hù)機(jī)制、數(shù)據(jù)自愈能力等特點(diǎn)，云存儲(chǔ)系統(tǒng)的安全可靠性越高，服務(wù)能力越強(qiáng)，技術(shù)優(yōu)勢(shì)才能夠充分體現(xiàn)。