焦冬冬 尤 穎 賈莉莉
(公安部第三研究所安全防范技術(shù)部 上海 200031)
全球在2010年正式進入大數(shù)據(jù)時代,全球數(shù)據(jù)量大約每兩年翻一番,意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。爆炸式增長的數(shù)據(jù),正推動人類進入大數(shù)據(jù)的時代。對于視頻監(jiān)控行業(yè)產(chǎn)生的大數(shù)據(jù)來說,一臺1080P高清網(wǎng)絡(luò)攝像機,速度能夠高達每秒 60幀,1.8T的數(shù)據(jù)就由這樣的攝像機一個月產(chǎn)生,如果攝像頭數(shù)量較多或多系統(tǒng)集成造成數(shù)據(jù)類型較多,長時間存儲的負擔(dān)一般企業(yè)難以承擔(dān)。存儲壓力劇增,一方面對于存儲服務(wù)器的承載能力要求很高,除了有能力存儲大量的數(shù)據(jù)之外,還要面對更多的數(shù)據(jù)類型,這些數(shù)據(jù)的來源包括網(wǎng)上交易、網(wǎng)絡(luò)社交活動、自動傳感器、移動設(shè)備以及科學(xué)儀器等等。另一方面對于數(shù)據(jù)管理尤為重要,數(shù)據(jù)永遠都在增長之中,當(dāng)有需求去尋找某一段監(jiān)控片段的時,必須與智能檢索與智能分析技術(shù)相結(jié)合,才能更有效的攫取,成本也會相應(yīng)提高很多。
如果網(wǎng)絡(luò)長時間不佳,排隊機制的隊伍會很長,影響Web端視頻顯示的實時性。當(dāng)采用丟包的方式,雖然從實時顯示的角度看,提高了用戶的實時顯示的體驗度,當(dāng)用戶需要錄像回放的時候,有些重要的信息就沒有記錄,因為無法判斷哪些應(yīng)該丟的包數(shù)據(jù)?;诖髷?shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù),利用多地視頻存儲設(shè)備和平臺中心組成集散存儲中心,利用Hadoop集散數(shù)據(jù)分析,在Web端遠程實時顯示最佳視頻。
基于大數(shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù),結(jié)合視頻監(jiān)控業(yè)務(wù)特點,引入 Hadoop的架構(gòu),以頂層設(shè)計的視角來構(gòu)建面向大數(shù)據(jù)視頻監(jiān)控架構(gòu):數(shù)據(jù)源層、大數(shù)據(jù)存儲層、大數(shù)據(jù)計算層、業(yè)務(wù)及管理層。
數(shù)據(jù)源層,包括實時數(shù)據(jù)和非實時數(shù)據(jù)。實時數(shù)據(jù)指 IPC和傳感器產(chǎn)生的實時流媒體數(shù)據(jù)。非實時數(shù)據(jù)指從DVR、編碼器、第三方系統(tǒng)導(dǎo)入的媒體數(shù)據(jù),存儲本地服務(wù)器。
大數(shù)據(jù)存儲層,采用了HDFS和HBASE技術(shù),實現(xiàn)數(shù)據(jù)低成本、高可靠的管理。把采集的視頻流保存在HDFS集群內(nèi),通過HBase建立訪問的索引。把傳統(tǒng)NVR和專用存儲進行重構(gòu),把異地的存儲大數(shù)據(jù)和數(shù)據(jù)中心組成集群平臺的方式組成云平臺,納入到整體的分布式文件系統(tǒng)中來。
大數(shù)據(jù)計算層,實現(xiàn)智能分析和數(shù)據(jù)挖掘。通過MapReduce把對大視頻的分析進行分解,充分利用閑置異地資源,把計算任務(wù)交由多臺服務(wù)器進行并行計算分析,另外一方面,根據(jù)智能分析產(chǎn)生的視頻元數(shù)據(jù),通過Hive挖掘視頻元數(shù)據(jù)的價值信息。
業(yè)務(wù)及管理層,實現(xiàn)設(shè)備和業(yè)務(wù)管理?;诋惖卮鎯υO(shè)備和數(shù)據(jù)中心組成的服務(wù)器集群,可以保證業(yè)務(wù)系統(tǒng)的無故障運營,基于大數(shù)據(jù)網(wǎng)絡(luò)診斷分析實現(xiàn)對攝像頭等設(shè)備的監(jiān)管,達到遠程視頻監(jiān)控的Web實時顯示。
當(dāng)網(wǎng)絡(luò)傳輸數(shù)據(jù)到云平臺出現(xiàn)大量并發(fā)加上網(wǎng)絡(luò)狀態(tài)不佳出現(xiàn)傳輸瓶頸。Web遠程客戶端直接連接IPC保證顯示的實時性,然后視頻高清數(shù)據(jù)存儲于本地,同時采取分層分段傳輸?shù)阶罴丫W(wǎng)絡(luò)云平臺服務(wù)器,或者到網(wǎng)絡(luò)空閑時傳入云平臺存儲,云平臺對后傳入的錄像按錄像時間進行一系列的拼接整合,給用戶的體驗是一段完整的視頻錄像數(shù)據(jù)。當(dāng)云平臺存儲到Web遠程客戶端出現(xiàn)網(wǎng)絡(luò)傳輸瓶頸,攝像機的數(shù)據(jù)雖然能實時傳入云平臺,但是Web遠程客戶端不能實時顯示數(shù)據(jù)。此時云平臺對實時數(shù)據(jù)源進行處理壓縮和前一幀進行比對算法,采用異步更新、局部替代的方式保證Web遠程客戶端的顯示實時性,最慢以圖片的方式顯示。同時采用主動推送的方式推送到Web遠程客戶端,從而減輕了瀏覽器的主動請求壓力,避免Web瀏覽器不必要的資源消耗,降低瀏覽器假死現(xiàn)象。提高用戶的體驗度。
實時大數(shù)據(jù)顯示的分段優(yōu)化比較方法,IPC感知層把大數(shù)據(jù)傳輸?shù)匠志脤?,持久層的大?shù)據(jù)分析比對在研判層,經(jīng)過研判層的分段優(yōu)化比較,推送到響應(yīng)層Web服務(wù)器,最后傳輸?shù)浇换觲eb遠程客戶端,可參考圖1實時大數(shù)據(jù)分段優(yōu)化對比。所述的研判層分段優(yōu)化比較包括以下步驟:
a.持久層向研判層傳輸,控制當(dāng)前推送的實時大數(shù)據(jù);
b.持久層等待響應(yīng)層反饋消息;
c.判斷響應(yīng)當(dāng)前控制的實時大數(shù)據(jù),若沒有響應(yīng),判斷是否超時,若超時,執(zhí)行步驟a,若沒有超時執(zhí)行步驟b;若有響應(yīng),執(zhí)行步驟d;
d.分段優(yōu)化比較,修正成最優(yōu)大數(shù)據(jù);
e.顯示當(dāng)前的大數(shù)據(jù)是否完畢,若顯示完畢,結(jié)束;若沒有顯示完畢,待優(yōu)化的大數(shù)據(jù)片段繼續(xù)執(zhí)行步驟d;
上述研判層包括控制層、分段比較算法、優(yōu)化算法,響應(yīng)層包括web服務(wù)器和視頻服務(wù)器等,持久層是大數(shù)據(jù)云平臺存放。
圖1 實時大數(shù)據(jù)顯示的分段優(yōu)化比對流程
此優(yōu)化機制只要采用實時大數(shù)據(jù)顯示的分段對比優(yōu)化,實現(xiàn)遠程監(jiān)控的實時性不可或缺,保障后期的回看獲得高清晰流暢畫面的質(zhì)量。在傳統(tǒng)的安防遠程監(jiān)控系統(tǒng)中,數(shù)據(jù)傳遞的流程:先數(shù)據(jù)獲取或者直接丟包,采用一些機制達到低時延、高并發(fā)的交易、高度靈活的數(shù)據(jù)結(jié)構(gòu);然后進行數(shù)據(jù)傳輸;最后對數(shù)據(jù)進行梳理,進行一些深度分析,保證視頻傳輸。
基于大數(shù)據(jù)遠程視頻監(jiān)控 Web顯示技術(shù)的發(fā)展由于環(huán)境因素影響,如由于實際環(huán)境中光照變化、目標運動復(fù)雜性、遮擋、目標與背景顏色相似、雜亂背景等都會增加分段優(yōu)化比對的分析與Web瀏覽器的響應(yīng)欺騙?,F(xiàn)在網(wǎng)絡(luò)傳輸連續(xù)性中斷造成視頻數(shù)據(jù)丟失,一些歷史工程改造,對系統(tǒng)進行二次或者多次的長周期的開發(fā)、部署、升級也是問題,大數(shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù)是安防行業(yè)發(fā)展熱點和難點?;诖髷?shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù)能更快更廣泛地應(yīng)用于金融、交通等各個領(lǐng)域中,普及到人們的日常生活當(dāng)中,給人們的工作和生活帶來安全保障。高清化、網(wǎng)絡(luò)化和智能化的安防行業(yè)在新的紀元中,雖然會面臨這樣那樣的問題,但是我相信隨著云計算、大數(shù)據(jù)應(yīng)用和HTML5等技術(shù)的成熟和完善,基于大數(shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù)必定會更廣范圍的應(yīng)用,勢必加快安防行高速發(fā)展,降低集成商的集成維護升級成本,降低舊工程改造成本,最大化利用已有的資源,同時為用戶提供更好的的實時體驗。Web端的實時顯示可以達到跨平臺、跨終端,在 4G網(wǎng)絡(luò)的越來越普及的環(huán)境下,基于大數(shù)據(jù)遠程視頻監(jiān)控Web顯示技術(shù)在移動端依然同樣可以獲得廣泛的應(yīng)用。
[1]胡傳平,梅林.視頻監(jiān)控如何應(yīng)對深度應(yīng)用的挑戰(zhàn).人民公安報,2012,12,27(4):581-589.
[2]Zhe Sun,Jun Shen,Jianming Yong.Integrated Computer-Aided Engineering,2013,20(1).
[3]Dalman,T.,Drnemann,T. Juhnke,E. e.g Cloud MapReduce for Monte Carlo bootstrap applied to Metabolic Flux Analysis Future generations computer systems.
[4]Leu,J.-S,Yee,Y.-S,Chen,W.-L.Comparison of Map-Reduce and SQL on large-scale data processing.Journal of the Chinese Institute of Engineers.
[5]Kathleen Ericson,Shrideep Pallickara.On the performance of high dimensional data clustering and classification algorithms.Future generations computer systems.
[6]Cui Jie,Li Taoshen,Lan Hongxing.Design and Development of the Mass Data Storage Platform Based on Hadoop.Journal of Computer Research and Development,2012,49(z1).(崔杰,李陶深,蘭紅星.基于Hadoop的海量數(shù)據(jù)存儲平臺設(shè)計與開發(fā).計算機研究與發(fā)展,2012,49(z1)).
[7]XIAO Qin-yu.Key techniques about video surveillance based on intelligent video.Manufacturing Automation,2012,34(12).(肖沁雨.智能視頻監(jiān)控關(guān)鍵技術(shù)分析.制造業(yè)自動化,2012,34(12)).
[8]Lu Jiyuan,Huang Chenghui,Hou Fang,Li Bin.Image Classification and Annotation Based on Hadoop Cloud Computing Platform.Telecommunications Science,2014,30(2).(陸寄遠,黃承慧,侯昉,李斌.基于Hadoop云計算平臺的圖像分類與標注.電信科學(xué),2014,30(2)).
[9]彭俊.基于內(nèi)容的圖像分布式處理平臺的設(shè)計與實現(xiàn)[碩士學(xué)位論文].華中科技大學(xué):2013.
[10]LIU Min-xian,MA Qiang.Research of web real-time recommendation model based on mixed.Computer Engineering and Design,2011,32(10).(劉敏嫻,馬強.基于混合型的Web實時推薦模型研究.計算機工程與設(shè)計,2011,32(10)).