■ 文/甘肅政法大學(xué) 賈志城

關(guān)鍵字：智慧公安視頻 圖形處理器 視頻云存儲(chǔ) 大數(shù)據(jù)技術(shù)

1 引言

隨著我國(guó)經(jīng)濟(jì)發(fā)展速度的不斷提高，物聯(lián)網(wǎng)技術(shù)異軍突起且發(fā)展迅速。尤其是視頻監(jiān)控系統(tǒng)得到廣泛應(yīng)用，技術(shù)水平日漸提升，從不同層面滿(mǎn)足了信息社會(huì)的實(shí)際需求。由于世界范圍內(nèi)各類(lèi)公共安全事件頻發(fā)，社會(huì)民眾對(duì)安全的需求越來(lái)越高，視頻監(jiān)控系統(tǒng)作為一種有效壓縮犯罪空間和在線維權(quán)的安防產(chǎn)品得到社會(huì)民眾的普遍認(rèn)可。公共安全部門(mén)、政府機(jī)關(guān)、企事業(yè)單位、社區(qū)物業(yè)及小區(qū)居民等各級(jí)部門(mén)和個(gè)人均開(kāi)始普遍使用視頻監(jiān)控系統(tǒng)，應(yīng)對(duì)各類(lèi)突發(fā)事件和用于安全防范。

公共安全部門(mén)應(yīng)用視頻監(jiān)控系統(tǒng)的首要任務(wù)是壓縮和管控犯罪活動(dòng)空間，預(yù)防和查處形式繁多的安全事件，完成針對(duì)安全事件的偵查和嫌疑人羈押、看管?！捌桨渤鞘小焙汀把┝凉こ獭钡裙舶踩ㄔO(shè)項(xiàng)目旋即成為城市智慧公安綜合視頻系統(tǒng)建設(shè)的重要基礎(chǔ)設(shè)施，業(yè)務(wù)功能包括智慧警務(wù)數(shù)據(jù)匯總需求、多渠道信息采集功能、平臺(tái)內(nèi)部數(shù)據(jù)標(biāo)準(zhǔn)化共享化及多系統(tǒng)間多路接口規(guī)范化等。綜合視頻分析技術(shù)是借助計(jì)算機(jī)圖像處理，完成視頻監(jiān)控大數(shù)據(jù)的適時(shí)信息清洗和分析，進(jìn)而完成視頻監(jiān)控管理功能由“看得見(jiàn)”向“控得住”的理念轉(zhuǎn)變。視頻分析技術(shù)應(yīng)用的圖形處理器技術(shù)、大數(shù)據(jù)技術(shù)以及視頻云存儲(chǔ)技術(shù)在助力公安機(jī)關(guān)維護(hù)社會(huì)穩(wěn)定，打擊犯罪方面發(fā)揮著重要的技術(shù)支撐作用。

2 圖形處理器技術(shù)

公安綜合視頻系統(tǒng)的基礎(chǔ)數(shù)據(jù)集合是視頻數(shù)據(jù)。視頻數(shù)據(jù)的構(gòu)成單元全部是數(shù)據(jù)幀，數(shù)據(jù)幀的應(yīng)用及處理屬于典型的圖形圖像運(yùn)算，由圖形處理器（Graphics Processing Unit，GPU—圖形處理器）完成。GPU的產(chǎn)生和應(yīng)用源自于數(shù)學(xué)計(jì)算和幾何運(yùn)算。圖形圖像的渲染處理必須依賴(lài)于GPU的專(zhuān)屬數(shù)學(xué)運(yùn)算指令集，CPU指令集只包含通用機(jī)器指令集。因此，GPU的圖形圖像運(yùn)算能力是CPU所不能匹敵的，由于CPU和GPU獨(dú)立存在于不同計(jì)算場(chǎng)景，其運(yùn)行方式和存在價(jià)值各有不同。

隨著集成電路和圖形圖像處理技術(shù)的深度應(yīng)用，GPU結(jié)構(gòu)體系融入了可編程邏輯單元、特殊功能單元和多級(jí)向量算術(shù)邏輯單元，其峰值運(yùn)算日漸強(qiáng)大。GPU的發(fā)展歷程包括由單一功能圖形圖像處理變換器向通用處理圖形處理器GPGPU（General Purpose Graphics Processing Unit，通用圖形處理器）的轉(zhuǎn)變。GPU適合較高并行度、超量浮點(diǎn)計(jì)算能力以及矩陣預(yù)算的數(shù)據(jù)運(yùn)算，GPU優(yōu)異的浮點(diǎn)運(yùn)算能力足以支撐計(jì)算分類(lèi)和卷積兩類(lèi)關(guān)鍵運(yùn)算，在保有必要精度前提下，相較于通用CPU，GPU憑借更高的運(yùn)算處理速度，能夠有效消減運(yùn)算服務(wù)器投入，遂行高效率的數(shù)據(jù)中心運(yùn)作。

GPU歷經(jīng)近40年的發(fā)展，產(chǎn)生了3D圖形繪制處理器，同時(shí)能夠完成超大規(guī)模并行處理的具有染色器架構(gòu)的圖形處理器也已面市。GPU的硬件結(jié)構(gòu)歷經(jīng)固定功能流水線階段、可編程染色器階段和大規(guī)模并行的統(tǒng)一染色器階段等三個(gè)階段。

圖形圖像處理算法歷來(lái)都是圖形圖像高質(zhì)量渲染處理的關(guān)鍵起點(diǎn)，一直是業(yè)界的研究重點(diǎn)，算法的更新?lián)Q代一直成為GPU硬件體系結(jié)構(gòu)發(fā)展的動(dòng)力。光柵化算法、實(shí)時(shí)交互式渲染相繼成為算法演進(jìn)的標(biāo)志，而可編程技術(shù)在GPU結(jié)構(gòu)上的成熟，再次激發(fā)了圖形圖像處理算法的又一次進(jìn)步，高質(zhì)量實(shí)時(shí)渲染成為可能。GPU硬件體系結(jié)構(gòu)的快速發(fā)展和算法的改進(jìn)為公安綜合視頻系統(tǒng)的穩(wěn)定應(yīng)用提供了基礎(chǔ)平臺(tái)。

3 視頻云存儲(chǔ)技術(shù)

視頻云存儲(chǔ)技術(shù)作為通用云存儲(chǔ)系統(tǒng)的改進(jìn)模式，同時(shí)又區(qū)別于通用云存儲(chǔ)。視頻云存儲(chǔ)技術(shù)面向業(yè)務(wù)流的任務(wù)需求資源配給策略，把計(jì)算資源集群應(yīng)用、負(fù)載均衡調(diào)度、計(jì)算/內(nèi)存/網(wǎng)絡(luò)資源虛擬化、云服務(wù)化、分布式存儲(chǔ)等多種技術(shù)融為一體，并將多路異型輔存資源以分布式策略賦予集群化并統(tǒng)一分配，由此完成高性能、高可靠、高容量、高可用的數(shù)據(jù)中心業(yè)務(wù)資源交換。智慧公安綜合視頻系統(tǒng)的視頻數(shù)據(jù)存儲(chǔ)依然是后期數(shù)據(jù)應(yīng)用的基礎(chǔ)環(huán)節(jié)。智慧公安綜合視頻大數(shù)據(jù)對(duì)存儲(chǔ)資源的需求不外乎拓展視頻系統(tǒng)數(shù)據(jù)存儲(chǔ)能力和躍升系統(tǒng)的數(shù)據(jù)吞吐量?jī)牲c(diǎn)。

早期的輔助存儲(chǔ)資源拓展通過(guò)躍升單機(jī)機(jī)器系統(tǒng)的硬盤(pán)存儲(chǔ)容量，以及多硬盤(pán)環(huán)境下的存儲(chǔ)資源擴(kuò)展完成。前者的拓展相對(duì)簡(jiǎn)單，硬盤(pán)單盤(pán)容量歷經(jīng)MB→GB→TB，后者歷經(jīng)直連式存儲(chǔ)DAS（Direct-Attached Storage，直連式存儲(chǔ)）→網(wǎng)絡(luò)附加存儲(chǔ)NAS（Network Attached Storage，網(wǎng)絡(luò)附加存儲(chǔ)）→存儲(chǔ)區(qū)域網(wǎng)絡(luò)SAN（Storage Area Network，存儲(chǔ)區(qū)域網(wǎng)絡(luò)），現(xiàn)在發(fā)展到了云存儲(chǔ)階段。

DAS是最先投入使用的直接式輔助存儲(chǔ)器拓展方式，其工作方式就是直接將硬盤(pán)組設(shè)備連接于服務(wù)器等設(shè)備端，其接口之間無(wú)存儲(chǔ)網(wǎng)絡(luò)。因此，早期的DAS結(jié)構(gòu)應(yīng)用于數(shù)據(jù)量較小的應(yīng)用場(chǎng)景中，發(fā)揮其較好的性能，而在復(fù)雜應(yīng)用場(chǎng)景中，DAS存儲(chǔ)結(jié)構(gòu)略顯不足。

NAS是指通過(guò)網(wǎng)絡(luò)與其他設(shè)備相連接并提供文件訪問(wèn)能力的存儲(chǔ)設(shè)備。NAS結(jié)構(gòu)通常的實(shí)現(xiàn)方式是通過(guò)高速網(wǎng)絡(luò)交換機(jī)連接存儲(chǔ)設(shè)備和服務(wù)器主機(jī)，由此實(shí)現(xiàn)高速和大容量的數(shù)據(jù)存儲(chǔ)和訪問(wèn)。NAS已經(jīng)被各類(lèi)型企業(yè)和機(jī)構(gòu)廣泛采用，但NAS架構(gòu)同樣存在與大數(shù)據(jù)存儲(chǔ)不適應(yīng)的問(wèn)題，主要包括受局域網(wǎng)帶寬限制明顯、不適應(yīng)數(shù)據(jù)塊級(jí)別的訪問(wèn)方式和無(wú)法實(shí)現(xiàn)數(shù)據(jù)集中備份等問(wèn)題。

SAN是提供格式統(tǒng)一的、數(shù)據(jù)塊級(jí)訪問(wèn)能力的一種專(zhuān)用局域網(wǎng)絡(luò)。SAN 通常用于將具有數(shù)據(jù)存儲(chǔ)能力的存儲(chǔ)設(shè)備，如磁盤(pán)陣列、磁盤(pán)庫(kù)等設(shè)備，通過(guò)高速交換網(wǎng)絡(luò)連接在數(shù)據(jù)處理服務(wù)器上，服務(wù)器操作系統(tǒng)按照訪問(wèn)本地硬盤(pán)數(shù)據(jù)的方式完成針對(duì)SAN數(shù)據(jù)的高速訪問(wèn)。相較于DAS和NAS，SAN架構(gòu)的優(yōu)良特性能夠確保其在大數(shù)據(jù)環(huán)境下的重要地位，主要包括系統(tǒng)整合程度高、數(shù)據(jù)集中度高、擴(kuò)展性高、成本低等優(yōu)點(diǎn)。

云盤(pán)或云存儲(chǔ)系統(tǒng)具有很多傳統(tǒng)存儲(chǔ)不可比擬的優(yōu)勢(shì)，可擴(kuò)展性好、成本低、易于訪問(wèn)且可靠性高。由于云存儲(chǔ)系統(tǒng)受到越來(lái)越多用戶(hù)青睞，應(yīng)用范圍越來(lái)越廣，促使廣大存儲(chǔ)廠商改變了過(guò)去銷(xiāo)售軟硬件產(chǎn)品的方式，轉(zhuǎn)為銷(xiāo)售存儲(chǔ)資源和服務(wù)，云存儲(chǔ)服務(wù)平臺(tái)應(yīng)用而生。

4 大數(shù)據(jù)技術(shù)

大數(shù)據(jù)技術(shù)是指基于結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的海量數(shù)據(jù)完成數(shù)據(jù)分析的技術(shù)。大數(shù)據(jù)技術(shù)框架具有分布式、集群化、統(tǒng)一存儲(chǔ)、統(tǒng)一訪問(wèn)、動(dòng)態(tài)擴(kuò)容等特點(diǎn)。海量數(shù)據(jù)是大數(shù)據(jù)技術(shù)的處理對(duì)象，源自于各類(lèi)產(chǎn)生數(shù)據(jù)的媒介，諸如手機(jī)通信數(shù)據(jù)、微博留言、視頻上傳數(shù)據(jù)、網(wǎng)站訪問(wèn)、物流運(yùn)送、科學(xué)文獻(xiàn)等社會(huì)各行各業(yè)的活動(dòng)數(shù)據(jù)。大數(shù)據(jù)技術(shù)正是基于上述各類(lèi)數(shù)據(jù)進(jìn)行處理而得到具有價(jià)值的新數(shù)據(jù)。

大數(shù)據(jù)技術(shù)框架通?；谕ㄓ肏adoop、Spark大數(shù)據(jù)基礎(chǔ)架構(gòu)而優(yōu)化建成。傳統(tǒng)數(shù)據(jù)分析方法已經(jīng)不能夠?qū)崿F(xiàn)基于大數(shù)據(jù)的高效率分析，需要借助于大數(shù)據(jù)數(shù)據(jù)分析方案來(lái)完成。大數(shù)據(jù)技術(shù)提供分布式存儲(chǔ)數(shù)據(jù)庫(kù)HDFS、抽象模型RDD等，適用于海量數(shù)據(jù)的存儲(chǔ)和分析，這兩類(lèi)技術(shù)為大數(shù)據(jù)的分析提供技術(shù)保障。Hadoop是Apache基金會(huì)研發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，實(shí)現(xiàn)分布式存儲(chǔ)系統(tǒng)HDFS用于解決海量數(shù)據(jù)存儲(chǔ)和分析問(wèn)題。Hadoop在分布式存儲(chǔ)上不僅能保證可靠性和可擴(kuò)展性，在海量數(shù)據(jù)的計(jì)算上同時(shí)也具有成本低、高容錯(cuò)性等特點(diǎn)。Hadoop生態(tài)圈有很多子項(xiàng)目和框架，其中分布式文件存儲(chǔ)系統(tǒng)HDFS和分布式計(jì)算框架Map Reduce是最核心的兩個(gè)，有著獨(dú)特而先進(jìn)性的設(shè)計(jì)思想。HDFS主要解決海量數(shù)據(jù)和實(shí)時(shí)流數(shù)據(jù)的處理和需求分析，可以大量配置在各類(lèi)服務(wù)器上。借助其高容錯(cuò)性、高可靠性和高吞吐量等特點(diǎn)，完成對(duì)海量數(shù)據(jù)的有效存儲(chǔ)。Map Reduce是一種編程模式，能夠高效進(jìn)行海量數(shù)據(jù)的并行運(yùn)算。

Spark并行計(jì)算框架同樣屬于Apache基金會(huì)開(kāi)發(fā)的項(xiàng)目。Spark計(jì)算框架基于內(nèi)存進(jìn)行計(jì)算，解決Hadoop基于硬盤(pán)計(jì)算導(dǎo)致效率低下的問(wèn)題。Spark為大數(shù)據(jù)開(kāi)發(fā)人員提供了彈性分布式數(shù)據(jù)集為核心的開(kāi)發(fā)接口，能夠高效的實(shí)現(xiàn)數(shù)據(jù)劃分和大數(shù)據(jù)的并行計(jì)算等工作。Spark生態(tài)圈十分豐富，整合了數(shù)據(jù)倉(cāng)庫(kù)、實(shí)時(shí)流計(jì)算、機(jī)器學(xué)習(xí)模塊、圖計(jì)算和統(tǒng)計(jì)模塊等框架，能夠滿(mǎn)足大數(shù)據(jù)分析中的離線、實(shí)時(shí)流數(shù)據(jù)批處理、數(shù)據(jù)查詢(xún)和機(jī)器學(xué)習(xí)需求，同時(shí)可對(duì)資源調(diào)度提供豐富的模式，支持多種資源管理器，同時(shí)也支持從Hadoop的分布式文件存儲(chǔ)系統(tǒng)HEFS和分布式數(shù)據(jù)庫(kù)HBase中讀寫(xiě)數(shù)據(jù)。Spark計(jì)算框架的核心是Spark Cor為Spark提供了最核心和最基礎(chǔ)的功能實(shí)現(xiàn)，包括Spark Context存儲(chǔ)體系和計(jì)算引擎等，為其他框架提供支持。同時(shí)Spark Core提供的存儲(chǔ)機(jī)制，在各個(gè)工作節(jié)點(diǎn)執(zhí)行計(jì)算任務(wù)時(shí)，會(huì)優(yōu)先使用各個(gè)節(jié)點(diǎn)的內(nèi)存進(jìn)行數(shù)據(jù)存儲(chǔ)，只有當(dāng)內(nèi)存不夠時(shí)，才會(huì)用硬盤(pán)進(jìn)行存儲(chǔ)，減少磁盤(pán)I/O，提高計(jì)算任務(wù)執(zhí)行效率。

5 結(jié)語(yǔ)

圖形處理器技術(shù)、視頻云存儲(chǔ)技術(shù)、大數(shù)據(jù)技術(shù)等先進(jìn)技術(shù)作為構(gòu)建城市智慧公安綜合視頻系統(tǒng)的三種關(guān)鍵技術(shù)，圖形處理器GPU的硬件體系結(jié)構(gòu)演進(jìn)和算法迭代發(fā)展，云存儲(chǔ)系統(tǒng)的跨平臺(tái)存儲(chǔ)，成就了大數(shù)據(jù)存在的并行計(jì)算架構(gòu)及其彈性分布式數(shù)據(jù)應(yīng)用，提升了我國(guó)社會(huì)治安防控水平和智慧化城市的創(chuàng)新理念，成為城市智慧公安綜合視頻系統(tǒng)取得階段性成效的有效驅(qū)動(dòng)力量。