崔高峰，于格，尚云飛，石蕊

（1.中國(guó)鐵路沈陽(yáng)局集團(tuán)有限公司科學(xué)技術(shù)研究所，遼寧沈陽(yáng)110013；2.中關(guān)村軌道交通視頻與安全產(chǎn)業(yè)技術(shù)聯(lián)盟，北京100142；3.北京浩瀚深度信息技術(shù)股份有限公司，北京100142）

0 引言

在鐵路大數(shù)據(jù)時(shí)代，隨著攝像頭部署數(shù)量和視頻質(zhì)量不斷提高，以及公安部門對(duì)于鐵路視頻監(jiān)控?cái)?shù)據(jù)存儲(chǔ)時(shí)間延長(zhǎng)至90d的要求，使視頻存儲(chǔ)的數(shù)據(jù)量激增。按照被訪問(wèn)的頻率，數(shù)據(jù)分為“冷”“溫”“熱”三大類。在鐵路視頻監(jiān)控系統(tǒng)實(shí)際應(yīng)用中，通常7d以內(nèi)的數(shù)據(jù)會(huì)被頻繁調(diào)用，被稱之為熱數(shù)據(jù)，1周以上及1個(gè)季度以上的一些數(shù)據(jù)訪問(wèn)次數(shù)較少，都稱之為冷數(shù)據(jù)，這些數(shù)據(jù)占總體數(shù)據(jù)的80%以上（見圖1）。如果采用傳統(tǒng)的單一存儲(chǔ)策略進(jìn)行存儲(chǔ)將會(huì)在功耗、空間及成本等方面面臨非常大的挑戰(zhàn)。如果將這些低價(jià)值密度的冷數(shù)據(jù)遷移到一個(gè)專門的低成本、低功耗、高密度的存儲(chǔ)層中進(jìn)行存儲(chǔ)，將會(huì)大幅度降低總體擁有成本。

圖1 不同類別視頻監(jiān)控?cái)?shù)據(jù)占比情況

1 技術(shù)現(xiàn)狀

目前主流存儲(chǔ)方案有4種：離線類存儲(chǔ)、網(wǎng)絡(luò)云服務(wù)、IP-SAN及NAS傳統(tǒng)存儲(chǔ)、自建云存儲(chǔ)。

1.1 離線類存儲(chǔ)

主要采用磁帶庫(kù)、藍(lán)光光盤等，該方案雖然價(jià)格穩(wěn)定、存放時(shí)間長(zhǎng)、能耗較低，但因?yàn)閿?shù)據(jù)查找耗時(shí)較長(zhǎng)，因此并不適用鐵路視頻監(jiān)控應(yīng)用場(chǎng)景。

1.2 網(wǎng)絡(luò)云服務(wù)

主要包括 AmzonGlacier、GoogleCloudStorageNearline、MicrosoftAzure、阿里云、百度云等。AmzonGlacier、GoogleCloudStorageNearline、MicrosoftAzure 等 國(guó) 外大公司的云存儲(chǔ)服務(wù)經(jīng)過(guò)公網(wǎng)傳輸，時(shí)延和帶寬都是瓶頸，對(duì)于國(guó)內(nèi)企業(yè)幾乎不可用。國(guó)內(nèi)阿里云等備份服務(wù)，只支持廠商自己數(shù)據(jù)的備份，不支持外部數(shù)據(jù)上傳和下載，很大程度上限制了使用場(chǎng)景。如果用戶數(shù)據(jù)比較敏感，或者帶寬要求較高，如網(wǎng)絡(luò)DPI數(shù)據(jù)、視頻監(jiān)控?cái)?shù)據(jù)、醫(yī)療數(shù)據(jù)等，基本不會(huì)考慮公有云，而會(huì)傾向于自建云。

1.3 IP-SAN、NAS傳統(tǒng)存儲(chǔ)

IP-SAN、NAS是目前很多系統(tǒng)已經(jīng)使用的存儲(chǔ)方案，通常是分散部署在多個(gè)小規(guī)模存儲(chǔ)點(diǎn)，各自獨(dú)立不相關(guān)。其缺點(diǎn)是部署維護(hù)升級(jí)復(fù)雜、擴(kuò)展性較差且受限、日常管理等成本比集中式存儲(chǔ)要高很多。而且，單點(diǎn)的傳統(tǒng)存儲(chǔ)方案很難擴(kuò)容，目前行業(yè)中還沒(méi)有能夠支持PB級(jí)的系統(tǒng)。

1.4 自建云存儲(chǔ)

主要包括HDFS以及國(guó)內(nèi)外各大廠商推出的私有云方案。以HDFS為例，屬于開源軟件，硬件采用通用服務(wù)器，相較于各存儲(chǔ)廠商的專用存儲(chǔ)設(shè)備，成本已降低很多。但由于系統(tǒng)中所有硬盤都處于工作狀態(tài)，即便沒(méi)有讀寫任務(wù)硬盤也要持續(xù)通電運(yùn)轉(zhuǎn)。此外HDFS通常按照多副本形式保存數(shù)據(jù)以確保安全，存儲(chǔ)效率不高。

在此研究的冷儲(chǔ)存技術(shù)方案屬于自建云一類，相比上述幾種方案，其主要針對(duì)有海量低頻訪問(wèn)的冷數(shù)據(jù)應(yīng)用場(chǎng)景，可提供低成本、低功耗的近線存儲(chǔ)解決方案，將在鐵路視頻監(jiān)控系統(tǒng)中具有良好的應(yīng)用價(jià)值。

2 方案架構(gòu)與技術(shù)優(yōu)勢(shì)

2.1 研究目的

在滿足鐵路視頻監(jiān)控系統(tǒng)使用要求的同時(shí)，將監(jiān)控?cái)?shù)據(jù)存儲(chǔ)時(shí)間由7d延長(zhǎng)至90d，按照使用頻率的不同，以1周為時(shí)間分割點(diǎn)，1周以內(nèi)的數(shù)據(jù)屬于熱數(shù)據(jù)，1周以外的數(shù)據(jù)屬于冷數(shù)據(jù)，通過(guò)將冷數(shù)據(jù)采用低成本存儲(chǔ)設(shè)備進(jìn)行存儲(chǔ)管理，從而幫助用戶降低整體部署成本，節(jié)省運(yùn)維成本，實(shí)現(xiàn)綠色節(jié)能降耗。

2.2 基本架構(gòu)

針對(duì)大規(guī)模冷數(shù)據(jù)的應(yīng)用場(chǎng)景，在鐵路視頻監(jiān)控系統(tǒng)中應(yīng)用冷存儲(chǔ)系統(tǒng)是一款可大規(guī)模橫向擴(kuò)展的全分布式存儲(chǔ)方案，通過(guò)存儲(chǔ)系統(tǒng)軟件將專用硬件的本地存儲(chǔ)資源組織起來(lái)，構(gòu)建全分布式存儲(chǔ)池，實(shí)現(xiàn)向上層應(yīng)用提供對(duì)象和文件2種存儲(chǔ)服務(wù)，滿足結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化等多類型數(shù)據(jù)的存取對(duì)每秒讀寫次 數(shù)（Input/OutputOperationPerSecond，IOPS）、帶寬及海量擴(kuò)展的需求，提供負(fù)載均衡及企業(yè)級(jí)數(shù)據(jù)動(dòng)態(tài)分級(jí)等服務(wù)[1-3]。冷存儲(chǔ)系統(tǒng)架構(gòu)見圖2。

圖2 冷儲(chǔ)存系統(tǒng)架構(gòu)

2.3 技術(shù)優(yōu)勢(shì)

2.3.1 計(jì)算與存儲(chǔ)分離的低功耗計(jì)算

（1）將計(jì)算和存儲(chǔ)進(jìn)行分離，大負(fù)荷的運(yùn)算都放在計(jì)算節(jié)點(diǎn)上，存儲(chǔ)節(jié)點(diǎn)上僅作少量的數(shù)據(jù)塊寫入、讀取。

（2）智能控制硬盤通斷電，僅點(diǎn)亮正在使用的數(shù)據(jù)所在的硬盤，系統(tǒng)功耗降低80%。

2.3.2 硬件加速的數(shù)據(jù)校驗(yàn)與糾錯(cuò)

計(jì)算節(jié)點(diǎn)發(fā)揮CPU硬件加速能力，快速計(jì)算糾刪碼[4]，糾刪碼可按照需求進(jìn)行配置，通常用N+M來(lái)表示，也就是1份數(shù)據(jù)會(huì)被分成N+M塊，其中有N塊是真實(shí)數(shù)據(jù)，M塊是糾刪碼，當(dāng)小于或等于M塊數(shù)據(jù)受損，數(shù)據(jù)依然能夠恢復(fù)。這樣既能保證高可靠性、提高存儲(chǔ)效率、降低成本，同時(shí)也能節(jié)約機(jī)房空間。

2.3.3 無(wú)感知的自動(dòng)數(shù)據(jù)掃描和重構(gòu)

（1）系統(tǒng)定時(shí)對(duì)全部硬盤數(shù)據(jù)進(jìn)行1次掃描和監(jiān)測(cè)，并上報(bào)掃描結(jié)果。

（2）自動(dòng)檢測(cè)系統(tǒng)是否繁忙。在不影響系統(tǒng)正常數(shù)據(jù)業(yè)務(wù)的同時(shí)，自動(dòng)定時(shí)執(zhí)行重構(gòu)過(guò)程，按照受損級(jí)別進(jìn)行不同策略的重構(gòu)，保證數(shù)據(jù)的完整性[5-6]。冷儲(chǔ)存系統(tǒng)掃描和重構(gòu)過(guò)程見圖3。

圖3 冷儲(chǔ)存系統(tǒng)掃描和重構(gòu)過(guò)程

2.3.4 分布式對(duì)等計(jì)算及失效備援

（1）采用多個(gè)冗余計(jì)算節(jié)點(diǎn)控制后面的存儲(chǔ)節(jié)點(diǎn)，一旦其中1個(gè)節(jié)點(diǎn)故障，其他的節(jié)點(diǎn)能夠快速接管其上的業(yè)務(wù)，保證業(yè)務(wù)的連續(xù)性[7]（見圖4）。

（2）計(jì)算節(jié)點(diǎn)通過(guò)自動(dòng)檢測(cè)，均可對(duì)等調(diào)用存儲(chǔ)節(jié)點(diǎn)上的所有硬盤。

圖4 分布式系統(tǒng)失效備援

3 技術(shù)方案

冷存儲(chǔ)系統(tǒng)對(duì)外提供FUSE、NFS、CIFS/SMB等通用接口，與視頻監(jiān)控平臺(tái)直接對(duì)接，根據(jù)新建和利舊2種工程需求，并結(jié)合鐵路實(shí)際的站點(diǎn)分布特點(diǎn)，共研究提出4種技術(shù)對(duì)接方案[8-10]。

3.1 方案1：獨(dú)立式冷存儲(chǔ)方案

針對(duì)新建站點(diǎn)，直接將冷存儲(chǔ)系統(tǒng)掛載到視頻監(jiān)控平臺(tái)上使用，視頻流流向示意見圖5。

（1）寫入操作：網(wǎng)絡(luò)攝像機(jī)IPC通過(guò)視頻監(jiān)控平臺(tái)的分轉(zhuǎn)發(fā)模塊向存儲(chǔ)模塊發(fā)送實(shí)時(shí)視頻流，然后再向冷存儲(chǔ)系統(tǒng)寫入數(shù)據(jù)，存儲(chǔ)空間按照90d設(shè)計(jì)，冷存儲(chǔ)會(huì)將最近7d的熱數(shù)據(jù)保存在冷存儲(chǔ)系統(tǒng)中的熱層中，剩余的83d均在冷存儲(chǔ)系統(tǒng)中的冷層（見圖6）。

（2）回放操作：搜索任意時(shí)間段錄像時(shí)，在客戶端會(huì)根據(jù)播放的時(shí)間給出提示信息，明確請(qǐng)求的是冷數(shù)據(jù)還是熱數(shù)據(jù)，然后冷存儲(chǔ)系統(tǒng)會(huì)按照存儲(chǔ)模塊的數(shù)據(jù)請(qǐng)求，將所需的錄像發(fā)送給客戶端，當(dāng)播放熱數(shù)據(jù)時(shí)，數(shù)據(jù)在2s以內(nèi)返回，客戶端不會(huì)有提示。當(dāng)播放冷數(shù)據(jù)時(shí)，數(shù)據(jù)返回時(shí)間在30s以內(nèi)，此時(shí)，客戶端會(huì)提示“正在回放冷數(shù)據(jù)，請(qǐng)等待…”（見圖7）。

圖5 視頻流流向示意圖（方案1）

圖6 冷儲(chǔ)存數(shù)據(jù)遷移模式（方案1）

圖7 冷、熱數(shù)據(jù)回放界面

3.2 方案2：順序共用存儲(chǔ)擴(kuò)容方案

已建站點(diǎn)的存儲(chǔ)進(jìn)行擴(kuò)容時(shí)，因不同廠商的監(jiān)控平臺(tái)對(duì)于同時(shí)掛載多個(gè)存儲(chǔ)系統(tǒng)的支持情況不同，采用順序共用存儲(chǔ)可減少二次開發(fā)工作量，快速對(duì)系統(tǒng)進(jìn)行擴(kuò)容。

具體方案是將既有存儲(chǔ)系統(tǒng)和冷存儲(chǔ)系統(tǒng)按照1個(gè)完整的存儲(chǔ)庫(kù)進(jìn)行管理，視頻流流向示意見圖8。2個(gè)系統(tǒng)存儲(chǔ)的數(shù)據(jù)互不相關(guān)，既有系統(tǒng)存儲(chǔ)前7d的數(shù)據(jù)，冷存儲(chǔ)系統(tǒng)存儲(chǔ)后83d的數(shù)據(jù)，數(shù)據(jù)寫入到視頻監(jiān)控平臺(tái)后，會(huì)在既有系統(tǒng)和冷存儲(chǔ)系統(tǒng)中進(jìn)行順序?qū)懭耄ㄒ妶D9），冷存儲(chǔ)系統(tǒng)會(huì)將數(shù)據(jù)按照冷、熱進(jìn)行管理，保證后83d中前7d的數(shù)據(jù)能及時(shí)調(diào)用。

圖8 視頻流流向示意圖（方案2）

圖9 冷儲(chǔ)存數(shù)據(jù)遷移模式（方案2）

3.3 方案3：并行共用存儲(chǔ)擴(kuò)容方案

對(duì)于順序共用存儲(chǔ)方案，既有存儲(chǔ)中的數(shù)據(jù)在1個(gè)存儲(chǔ)周期內(nèi)，一直存儲(chǔ)的是開始7d的數(shù)據(jù)，從資源利用角度來(lái)說(shuō)，此方案并沒(méi)有很好地利用既有存儲(chǔ)系統(tǒng)的性能優(yōu)勢(shì)，而且這一部分?jǐn)?shù)據(jù)的可靠性并沒(méi)有得到保證，并行共用存儲(chǔ)方案能很好地解決上述問(wèn)題，在充分利用既有存儲(chǔ)性能優(yōu)勢(shì)的同時(shí)，又能保障這一部分?jǐn)?shù)據(jù)有足夠的可靠性。

具體方案為：數(shù)據(jù)寫入到視頻監(jiān)控平臺(tái)時(shí)，會(huì)同時(shí)在既有存儲(chǔ)系統(tǒng)和冷存儲(chǔ)系統(tǒng)各存1份，視頻由同一監(jiān)控平臺(tái)進(jìn)行調(diào)用（見圖10）。既有存儲(chǔ)和冷儲(chǔ)存系統(tǒng)分別按照各自的存儲(chǔ)空間進(jìn)行存儲(chǔ)和周期性的覆蓋存儲(chǔ)，冷儲(chǔ)存數(shù)據(jù)包含既有存儲(chǔ)數(shù)據(jù)（見圖11）。

圖10 視頻流流向示意圖（方案3）

圖11 冷儲(chǔ)存數(shù)據(jù)遷移模式（方案3、方案4）

3.4 方案4：集中云擴(kuò)容方案

考慮到鐵路為點(diǎn)多線長(zhǎng)的應(yīng)用場(chǎng)景，對(duì)于單站點(diǎn)，其存儲(chǔ)擴(kuò)容量并不是很大，為了能更好地體現(xiàn)冷存儲(chǔ)系統(tǒng)的方案優(yōu)勢(shì)，在一定帶寬條件下，可將多個(gè)站點(diǎn)的擴(kuò)容需求進(jìn)行集中存儲(chǔ)。數(shù)據(jù)寫入到視頻監(jiān)控平臺(tái)后，會(huì)在既有存儲(chǔ)系統(tǒng)和冷存儲(chǔ)系統(tǒng)中同時(shí)寫入，冷存儲(chǔ)數(shù)據(jù)通過(guò)視頻監(jiān)控嵌入平臺(tái)寫入，視頻監(jiān)控平臺(tái)和嵌入平臺(tái)之間通過(guò)SA互聯(lián)網(wǎng)關(guān)完成不同視頻平臺(tái)之間的互聯(lián)（見圖12）。

圖12 視頻流流向示意圖（方案4）

根據(jù)不同站點(diǎn)攝像頭路數(shù)以及存儲(chǔ)時(shí)間要求，在冷存儲(chǔ)系統(tǒng)中進(jìn)行劃區(qū)，每個(gè)區(qū)里的數(shù)據(jù)與既有系統(tǒng)是同時(shí)存儲(chǔ)，只不過(guò)既有系統(tǒng)存儲(chǔ)時(shí)間短，冷存儲(chǔ)中劃分的區(qū)域存儲(chǔ)時(shí)間長(zhǎng)。每個(gè)站點(diǎn)只能通過(guò)視頻嵌入平臺(tái)向冷存儲(chǔ)系統(tǒng)中寫入，不能直接調(diào)取，若調(diào)取需要在視頻監(jiān)控嵌入平臺(tái)上調(diào)取，其數(shù)據(jù)遷移模式見圖11。

4 結(jié)束語(yǔ)

通過(guò)研究與試驗(yàn)驗(yàn)證，冷儲(chǔ)存技術(shù)符合Q/CR575—2017《鐵路視頻監(jiān)控系統(tǒng)技術(shù)規(guī)范》，可實(shí)現(xiàn)以最優(yōu)方式延長(zhǎng)鐵路視頻監(jiān)控系統(tǒng)視頻存儲(chǔ)時(shí)間[11]，降低基礎(chǔ)設(shè)施和系統(tǒng)運(yùn)維的成本，并節(jié)省機(jī)房空間。

鐵路視頻監(jiān)控系統(tǒng)作為一種直觀、實(shí)時(shí)、準(zhǔn)確的維護(hù)管理應(yīng)用系統(tǒng)，已在鐵路進(jìn)行了全面部署應(yīng)用，而視頻存儲(chǔ)系統(tǒng)作為最重要的組成部分，隨著數(shù)據(jù)量的不斷激增，其成本、運(yùn)維功耗及機(jī)房空間都存在亟待解決的問(wèn)題。采用冷儲(chǔ)存技術(shù)將會(huì)很好地解決上述問(wèn)題，實(shí)現(xiàn)PB/EB級(jí)以上數(shù)據(jù)的高效存儲(chǔ)，節(jié)省采購(gòu)和運(yùn)維成本，并幫助數(shù)據(jù)中心實(shí)現(xiàn)綠色節(jié)能降耗。