文/勞定雄
作者系高新興科技集團(tuán)股份有限公司首席架構(gòu)師
視頻監(jiān)控由八十年代的模擬閉路電視開始,在經(jīng)歷了數(shù)字化、網(wǎng)絡(luò)化等重要發(fā)展歷程后,如今正邁向系統(tǒng)融合和視頻大數(shù)據(jù)的新時(shí)代。與此同時(shí),也不得不面對(duì)由此引發(fā)的一系列問題。本文認(rèn)為,云計(jì)算技術(shù)能為這些問題提供良好的解決方案。
安防管理平臺(tái)目前主要是針對(duì)視頻監(jiān)控的管理,GB/T28181-2011標(biāo)準(zhǔn)的發(fā)布和實(shí)施,將在很大程度上改善各大平臺(tái)廠家各自為戰(zhàn)、互不兼容的亂象,安防行業(yè)也迎來了“大聯(lián)網(wǎng)”的潮流。而其它系統(tǒng)例如警綜、消防、卡口、門禁等,只是基于視頻瀏覽等基礎(chǔ)功能進(jìn)行有限的對(duì)接。但隨著技術(shù)能力的發(fā)展和信息平臺(tái)的建設(shè),多個(gè)不同系統(tǒng)之間的協(xié)同應(yīng)用是一個(gè)重要的趨勢(shì),這些系統(tǒng)之間將能實(shí)現(xiàn)無縫的深度整合,形成社會(huì)化的融合大系統(tǒng)。
圖1:視頻監(jiān)控?cái)?shù)據(jù)量的增長趨勢(shì)(單位:PB)
首先,數(shù)據(jù)生成的厚度和精度不斷提升,高清技術(shù)要求不斷提升視頻數(shù)據(jù)精度,高分辨率和高幀率成為視頻監(jiān)控建設(shè)主流需求。其次,數(shù)據(jù)的生成點(diǎn)不斷增加,每年的監(jiān)控覆蓋范圍和監(jiān)控點(diǎn)、卡口數(shù)量都以30%以上的增長率快速增加。我國安裝的監(jiān)控?cái)z像頭逐年增長,目前已超過3000萬個(gè),每年產(chǎn)生數(shù)萬PB的數(shù)據(jù)量。如圖1所示。
據(jù)統(tǒng)計(jì),目前在大數(shù)據(jù)中占主導(dǎo)地位的是圖像視頻數(shù)據(jù),2012年其占比已達(dá)到了80%,2013年預(yù)計(jì)接近90%。
高清、聯(lián)網(wǎng)、協(xié)同、融合,這些特性在提供了更有效的安防監(jiān)控管理手段的同時(shí),也帶來了信息處理的難題。首先,數(shù)據(jù)的爆炸式增長,意味著需要付出更多的努力才能在更多的數(shù)據(jù)中尋找到有價(jià)值的信息。其次,視頻數(shù)據(jù)的非結(jié)構(gòu)化特征決定其蘊(yùn)含豐富信息的同時(shí),價(jià)值密度卻不高,大多數(shù)的視頻是無用的,它們?cè)诖鎯?chǔ)之后幾乎不會(huì)被瀏覽,卻又必須在硬盤中保存相當(dāng)?shù)臅r(shí)間。所以,如果僅靠人力來甄別所有這些信息的價(jià)值,是極其困難的。如何讓這些海量的數(shù)據(jù)更好地為社會(huì)服務(wù),對(duì)安防行業(yè)來說是一個(gè)必須面對(duì)的挑戰(zhàn),體現(xiàn)在以下幾方面。
在安防應(yīng)用中,視頻監(jiān)控?cái)?shù)據(jù)通常進(jìn)行集中存儲(chǔ)和管理,監(jiān)控?cái)?shù)據(jù)并發(fā)地持續(xù)寫入安防管理平臺(tái)的存儲(chǔ)系統(tǒng)中,作為備份或提供瀏覽訪問。這些數(shù)據(jù)具有高并發(fā)、大容量的特點(diǎn)。以720P為例,在5Mbps的碼率下,每個(gè)攝像頭每天產(chǎn)生的視頻數(shù)據(jù)約42GB,而一個(gè)中等城市的監(jiān)控規(guī)模一般為數(shù)千到數(shù)萬個(gè)攝像頭。同時(shí),這些數(shù)據(jù)一般要求必須在系統(tǒng)中保存一個(gè)月以上。對(duì)普通的文件系統(tǒng)來說,其塊大小一般為1-16KB,用于存儲(chǔ)視頻監(jiān)控?cái)?shù)據(jù)會(huì)產(chǎn)生較大的開銷,大block的設(shè)計(jì)更適合此類存儲(chǔ)。存儲(chǔ)系統(tǒng)還必須具有高級(jí)別的容錯(cuò)性,存儲(chǔ)介質(zhì)的故障率通常較高,故障發(fā)生時(shí)不應(yīng)造成監(jiān)控?cái)?shù)據(jù)的丟失。此外,由于城市安防項(xiàng)目的不斷建設(shè),系統(tǒng)需要進(jìn)行在線擴(kuò)容和升級(jí),這就要求存儲(chǔ)系統(tǒng)具有高度的可擴(kuò)展性,可在系統(tǒng)中簡(jiǎn)單便捷地增加存儲(chǔ)設(shè)備。
目前一般采用分級(jí)集中存儲(chǔ)的方案,在區(qū)級(jí)、地市級(jí)的子平臺(tái)中存儲(chǔ)所管轄區(qū)域的監(jiān)控?cái)?shù)據(jù),而與上級(jí)平臺(tái)之間通過提供接口來實(shí)現(xiàn)數(shù)據(jù)的單向訪問。子平臺(tái)中的存儲(chǔ)系統(tǒng)通常使用iSCSI磁盤陣列來進(jìn)行存儲(chǔ),針對(duì)不同的應(yīng)用等級(jí)而選擇相應(yīng)的RAID級(jí)別,以達(dá)到平衡其性能與容錯(cuò)性的目的。在當(dāng)前的應(yīng)用之下,大部分?jǐn)?shù)據(jù)僅僅只是被寫入存儲(chǔ)系統(tǒng)中,而在將來,數(shù)據(jù)可能被頻繁地讀出以供系統(tǒng)進(jìn)行數(shù)據(jù)挖掘和智能分析。相比較而言,云存儲(chǔ)是更理想的方案,在大容量、并發(fā)性、吞吐量、可靠性、可擴(kuò)展等方面有著天然的優(yōu)勢(shì),除了能更好地滿足安防監(jiān)控?cái)?shù)據(jù)存儲(chǔ)的各項(xiàng)需求,還能更方便地開展數(shù)據(jù)的再加工和再分析,可以更好地實(shí)現(xiàn)數(shù)據(jù)共享、協(xié)同監(jiān)控。
圖像視頻數(shù)據(jù)的理解和識(shí)別一直是計(jì)算機(jī)視覺領(lǐng)域的難題,計(jì)算機(jī)通過對(duì)像素的分析,可以很容易獲得圖像的色塊、紋理、形狀等信息,但無法像人一樣對(duì)其蘊(yùn)含的豐富內(nèi)容進(jìn)行識(shí)別并進(jìn)行語義上的描述,這也稱為“語義鴻溝”。因此,我們?nèi)匀灰馁M(fèi)大量的人力物力,在海量的視頻監(jiān)控?cái)?shù)據(jù)中查找有價(jià)值的信息。最近十多年來,基于內(nèi)容的智能分析在安防領(lǐng)域得到了研究和推廣,但目前也僅局限于較低層次的應(yīng)用,例如人臉識(shí)別、車牌識(shí)別、物體檢測(cè)、人流統(tǒng)計(jì)、周界防范等。智能分析的除了受限于算法的發(fā)展,更受限于計(jì)算能力的發(fā)展,智能分析的算法復(fù)雜度較高,而且其樣本數(shù)量龐大,非普通計(jì)算系統(tǒng)所能勝任。
近期發(fā)生的一些典型案件,其偵破過程都耗費(fèi)了大量人力物力在海量的視頻中尋找蛛絲馬跡,例如波士頓爆炸案,警方稱每段視頻至少要看400遍。而在長春“304”案件中,投資上億元的天網(wǎng)工程未能發(fā)揮作用,也引起公眾的強(qiáng)烈質(zhì)疑。目前監(jiān)控系統(tǒng)所獲取的絕大部分視頻數(shù)據(jù),僅僅作為備份證據(jù)存儲(chǔ)在硬盤中,監(jiān)控系統(tǒng)幾乎沒有能力對(duì)這些非結(jié)構(gòu)化的視頻數(shù)據(jù)進(jìn)行任何有價(jià)值的挖掘,導(dǎo)致我們陷入管中窺豹的困境。那么,我們?cè)撊绾喂芾砗屠眠@些體量巨大而且不斷增長的視頻數(shù)據(jù)?
視頻轉(zhuǎn)碼也是安防監(jiān)控中常見的需求,應(yīng)能根據(jù)視頻的等級(jí)、時(shí)效等因素制定轉(zhuǎn)碼策略,選擇在空域、時(shí)域上重采樣后重新壓縮,或者轉(zhuǎn)換成更高級(jí)別的編碼標(biāo)準(zhǔn),例如最新發(fā)布的H.265,從而可以更有效地利用存儲(chǔ)資源、適應(yīng)更豐富的終端類型。
安防監(jiān)控的發(fā)展趨勢(shì)是融合化,多種系統(tǒng)之間資源和數(shù)據(jù)深度共享,實(shí)現(xiàn)統(tǒng)一協(xié)作。通過對(duì)多種關(guān)聯(lián)數(shù)據(jù)進(jìn)行挖掘,可以分析出更有價(jià)值的信息。例如利用卡口系統(tǒng)的數(shù)據(jù)和監(jiān)控視頻的錄像,獲得指定車輛的行駛軌跡,可用于套牌車輛的檢測(cè)或嫌疑車輛的追蹤。利用人像、指紋、社交網(wǎng)絡(luò)等數(shù)據(jù),進(jìn)行針對(duì)人員的刑偵線索分析。此外,還可進(jìn)行社會(huì)輿情分析、金融詐騙分析、案件規(guī)律分析、事故災(zāi)害分析、公共交通優(yōu)化等等更深層次的應(yīng)用,為公共安全的指揮決策、情報(bào)分析提供有力的支撐。
云計(jì)算的概念在2006年被正式提出,是一場(chǎng)由互聯(lián)網(wǎng)行業(yè)發(fā)起的技術(shù)革命,而在其它行業(yè),也如火如荼地開展了相應(yīng)的研究和應(yīng)用。安防監(jiān)控面臨的各種問題,歸根結(jié)底是對(duì)海量的安防數(shù)據(jù)進(jìn)行存儲(chǔ)、處理、分析的問題,同時(shí)又能靈活地提供多樣化的應(yīng)用服務(wù),云計(jì)算無疑是最熱門也最適合的解決方案。
面對(duì)廣域范圍密集監(jiān)控下不斷增長的海量視頻數(shù)據(jù)以及多個(gè)城市管理部門的多元業(yè)務(wù)需要,廣域級(jí)安防管理平臺(tái)需要解決數(shù)據(jù)中心管理、底層資源虛擬化、海量數(shù)據(jù)存儲(chǔ)與分析、多元業(yè)務(wù)集成與融合等關(guān)鍵問題。
安防管理平臺(tái)采集視頻數(shù)據(jù)和其它與安防相關(guān)的業(yè)務(wù)數(shù)據(jù),存儲(chǔ)在云計(jì)算系統(tǒng)中,并根據(jù)應(yīng)用請(qǐng)求和任務(wù)策略進(jìn)行相應(yīng)的計(jì)算處理,并呈現(xiàn)給用戶。具體來說,安防監(jiān)控平臺(tái)的云計(jì)算系統(tǒng)可抽象為物理資源層、云計(jì)算框架、功能服務(wù)層。如圖2所示。
圖2:安防管理平臺(tái)的云計(jì)算應(yīng)用框架
其中,視頻接入、數(shù)據(jù)采集、內(nèi)容分發(fā)、應(yīng)用管理通過獨(dú)立的服務(wù)集群來完成,云計(jì)算系統(tǒng)專注于對(duì)大數(shù)據(jù)的存儲(chǔ)和處理。
物理資源層的主要任務(wù)是統(tǒng)一組織管理云計(jì)算系統(tǒng)涉及的各類物理資源,包括計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)、數(shù)據(jù)庫、網(wǎng)絡(luò)傳輸設(shè)備在內(nèi)的各種底層異構(gòu)物理資源,經(jīng)過虛擬化管理和調(diào)度,對(duì)平臺(tái)提供自由擴(kuò)展的能力集合,可實(shí)現(xiàn)快速有效地存儲(chǔ)由監(jiān)控業(yè)務(wù)產(chǎn)生的海量視頻數(shù)據(jù)資源。
物理資源層有兩種實(shí)施方式,一種是建設(shè)廣域級(jí)的云計(jì)算數(shù)據(jù)中心,匯聚和處理各類安防業(yè)務(wù)數(shù)據(jù),構(gòu)建“警務(wù)云”或“安防云”,甚至成為智慧城市的組成部分。另一種方式是構(gòu)建視頻監(jiān)控系統(tǒng)內(nèi)的小型云計(jì)算平臺(tái),僅負(fù)責(zé)存儲(chǔ)海量的視頻數(shù)據(jù)和抓取少量的外部系統(tǒng)數(shù)據(jù),并對(duì)它們進(jìn)行處理,如智能分析、視頻轉(zhuǎn)碼、車輛軌跡分析等。
功能服務(wù)層基于面向數(shù)據(jù)的理念,將服務(wù)抽象成訪問、融合、服務(wù)策略三大部分。訪問包括對(duì)數(shù)據(jù)的檢索、查看、統(tǒng)計(jì),也包括對(duì)實(shí)時(shí)視頻和歷史錄像的轉(zhuǎn)發(fā)和播放。融合則是將各種類型的數(shù)據(jù)進(jìn)行關(guān)聯(lián),可以挖掘更深層次的融合應(yīng)用。服務(wù)策略提供了指示監(jiān)控云執(zhí)行實(shí)時(shí)指令或計(jì)劃任務(wù)的方法。
通過在本層中統(tǒng)一實(shí)現(xiàn)各種基本功能模塊,包括離線或?qū)崟r(shí)地對(duì)數(shù)據(jù)進(jìn)行處理、分析、挖掘,如人臉識(shí)別、指紋比對(duì)、行為分析等,通過協(xié)議供上層不同應(yīng)用程序請(qǐng)求執(zhí)行,使上層盡量使用系統(tǒng)中統(tǒng)一的服務(wù)功能,可消除軟件上的重復(fù)建設(shè)、相互孤立和標(biāo)準(zhǔn)不一。
云計(jì)算框架層包括存儲(chǔ)、計(jì)算、控制三個(gè)部分,它屏蔽云計(jì)算平臺(tái)的編程細(xì)節(jié),提供簡(jiǎn)單開放的接口,使功能服務(wù)層的功能模塊可以很容易地進(jìn)行云計(jì)算相關(guān)任務(wù)的開發(fā)。
基于云計(jì)算框架的開發(fā)與傳統(tǒng)開發(fā)在理念上稍有不同,傳統(tǒng)軟件設(shè)計(jì)原則的側(cè)重點(diǎn)在于穩(wěn)定性、低延時(shí)、局部性能等,而云計(jì)算時(shí)代在很大程度上是對(duì)大數(shù)據(jù)進(jìn)行處理,它的評(píng)估指標(biāo)發(fā)生了偏移,因此更多地考慮可擴(kuò)展性、多用戶、高吞吐量、容錯(cuò)性、全局效率等問題。另外,穩(wěn)定性的問題變得不再突出,云計(jì)算假設(shè)系統(tǒng)是不確定的,它可以容忍故障,能夠保證整個(gè)系統(tǒng)不受某個(gè)環(huán)節(jié)出錯(cuò)的影響。
對(duì)于安防監(jiān)控來說,如果僅僅是利用云計(jì)算平臺(tái)對(duì)監(jiān)控?cái)?shù)據(jù)進(jìn)行存儲(chǔ),并不能發(fā)揮云計(jì)算的威力,關(guān)鍵的是要把數(shù)據(jù)的存儲(chǔ)和對(duì)數(shù)據(jù)的處理有效地整合起來,形成一個(gè)強(qiáng)大的可擴(kuò)展的智能化監(jiān)控大系統(tǒng)。此外,還有一項(xiàng)重要的工作,是對(duì)云計(jì)算平臺(tái)應(yīng)用算法的研究。根據(jù)安防監(jiān)控的應(yīng)用需求,研究更優(yōu)化的各類算法,包括視頻處理、智能分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等各個(gè)方面。