喬波
南京萊斯信息技術(shù)股份有限公司 江蘇 南京 210000
面對(duì)日益嚴(yán)峻的城市交通管理形勢(shì)以及不斷提高的城市交通管理要求。交通管理部門(mén)對(duì)面日益增多的交通數(shù)據(jù),如何運(yùn)用大數(shù)據(jù)技術(shù)對(duì)海量交通數(shù)據(jù)進(jìn)行分析,深度挖掘數(shù)據(jù)價(jià)值,為交通管理業(yè)務(wù)決策提供支撐,成為交通管理發(fā)展的重點(diǎn)。本文重點(diǎn)探討大數(shù)據(jù)技術(shù)在交通管理行業(yè)中的應(yīng)用。
大數(shù)據(jù)技術(shù)核心意義在于對(duì)海量數(shù)據(jù)進(jìn)行專業(yè)化處理,發(fā)掘數(shù)據(jù)價(jià)值,獲得數(shù)據(jù)盈利。大數(shù)據(jù)技術(shù)主要包括數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)建模、數(shù)據(jù)分析、數(shù)據(jù)展示等能力。
(1)數(shù)據(jù)采集:數(shù)據(jù)采集是大數(shù)據(jù)的生命周期中的第一個(gè)環(huán)節(jié),通過(guò)MapReduce等軟件工具,搭建相關(guān)采集平臺(tái),采集各類多元異構(gòu)的數(shù)據(jù)。
數(shù)據(jù)采集涵蓋常見(jiàn)的數(shù)據(jù)庫(kù)數(shù)據(jù)表、視圖和數(shù)據(jù)接口等結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ),以及照片、視頻、音頻等非結(jié)構(gòu)數(shù)據(jù)的存儲(chǔ),通過(guò)數(shù)據(jù)源管理、任務(wù)調(diào)度、任務(wù)監(jiān)控等功能實(shí)現(xiàn)數(shù)據(jù)全方位數(shù)據(jù)采集和數(shù)據(jù)清洗。
(2)數(shù)據(jù)存儲(chǔ):大數(shù)據(jù)存儲(chǔ)根據(jù)不同的數(shù)據(jù)采用不同的技術(shù)路線,具體分為三種:結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
應(yīng)根據(jù)實(shí)際業(yè)務(wù)需要,建立符合業(yè)務(wù)需要的標(biāo)準(zhǔn)數(shù)據(jù)資源目錄及數(shù)據(jù)專題目錄。數(shù)據(jù)完成采集后將保存至符合其業(yè)務(wù)邏輯的數(shù)據(jù)資源目錄下,便于數(shù)據(jù)資源的保存、管理以及為后期的數(shù)據(jù)資源開(kāi)放提供堅(jiān)實(shí)的基礎(chǔ)。
(3)數(shù)據(jù)處理:在數(shù)據(jù)存儲(chǔ)的基礎(chǔ)上,對(duì)多個(gè)異構(gòu)的數(shù)據(jù)集進(jìn)行清洗、轉(zhuǎn)換,生成新的數(shù)據(jù)集,為后續(xù)數(shù)據(jù)分析、數(shù)據(jù)挖掘提供支撐。
(4)數(shù)據(jù)建模:在數(shù)據(jù)處理的基礎(chǔ)上,根據(jù)業(yè)務(wù)應(yīng)用,建立對(duì)應(yīng)的數(shù)據(jù)分析模型,為數(shù)據(jù)分析提供支撐。
(5)數(shù)據(jù)分析:對(duì)數(shù)據(jù)建?;A(chǔ)上,進(jìn)行假設(shè)檢驗(yàn)、差異分析、相關(guān)分析、因子分析、聚類分析、快速聚類法與聚類法、判別分析等,分析海量數(shù)據(jù)的規(guī)律以及數(shù)據(jù)間的關(guān)聯(lián)關(guān)系。
(6)數(shù)據(jù)展示:運(yùn)用圖表、圖形、3D模型、時(shí)空演變等方式,動(dòng)態(tài)展示數(shù)據(jù)分析后的結(jié)果。
交通管理行業(yè)歷經(jīng)數(shù)十年的發(fā)展,目前大部分城市的交通感知體系已基本建設(shè)完成,每天產(chǎn)生海量的城市交通數(shù)據(jù),數(shù)據(jù)來(lái)源對(duì)象廣泛、數(shù)據(jù)種類繁多。
首先,交通整體數(shù)據(jù)體量巨大,其中一二線城市數(shù)據(jù)體量已達(dá)PB級(jí)別,省級(jí)數(shù)據(jù)體量甚至達(dá)到EB、ZB級(jí)別。其次,交通管理數(shù)據(jù)種類繁多,主要分為結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。再次,除了采集交通管理內(nèi)部數(shù)據(jù)外,近年來(lái)也開(kāi)始接入其他部門(mén)和交通相關(guān)的數(shù)據(jù),如交通運(yùn)輸、公安部門(mén)數(shù)據(jù)。
面對(duì)海量的多元異構(gòu)數(shù)據(jù),傳統(tǒng)數(shù)據(jù)采集、處理、分析等技術(shù)已經(jīng)無(wú)法應(yīng)對(duì),制約了交通規(guī)劃、信號(hào)優(yōu)化、違法抓拍等交管業(yè)務(wù)的進(jìn)一步發(fā)展。運(yùn)用大數(shù)據(jù)技術(shù),采集海量交通數(shù)據(jù),在此基礎(chǔ)上結(jié)合交通管理業(yè)務(wù),進(jìn)行處理、建模、分析、展示,為交通管理單位業(yè)務(wù)決策提供支撐,讓管理單位對(duì)未來(lái)趨勢(shì)有掌握,促進(jìn)交通管理水平的全面提升[1]。
隨著城市卡口數(shù)量的增多,每分鐘車(chē)輛采集數(shù)據(jù)也隨之增多,大中型城市高峰時(shí)期,每分鐘過(guò)車(chē)可達(dá)10萬(wàn)次以上。
運(yùn)用大數(shù)據(jù)技術(shù),對(duì)海量過(guò)車(chē)數(shù)據(jù)實(shí)時(shí)采集、存儲(chǔ)的同時(shí),和城市車(chē)輛布控庫(kù)、黑名單庫(kù)、盜搶庫(kù)等進(jìn)行實(shí)時(shí)對(duì)比,實(shí)現(xiàn)每分鐘億次級(jí)別的分析,為交通管理部門(mén)發(fā)現(xiàn)嫌疑車(chē)輛、布控車(chē)輛。
在與實(shí)時(shí)數(shù)據(jù)進(jìn)行對(duì)比的同時(shí),大數(shù)據(jù)技術(shù)還能和歷史數(shù)據(jù)進(jìn)行對(duì)比分析,深度挖掘嫌疑車(chē)輛,為車(chē)輛實(shí)時(shí)布控報(bào)警、套牌分析、黑車(chē)分析、落腳點(diǎn)分析等業(yè)務(wù)需求提供技術(shù)支持。
隨著路口交通設(shè)備增多(視頻、卡口、各類檢測(cè)器),互聯(lián)網(wǎng)數(shù)據(jù)的接入,城市路口交通信息種類越來(lái)越豐富,數(shù)據(jù)量越來(lái)越大。如何融合、分析路口各類數(shù)據(jù),優(yōu)化路口配時(shí)方案,為區(qū)域級(jí)交通信號(hào)管控服務(wù),成為交管業(yè)務(wù)的重點(diǎn)。
面對(duì)路口多源異構(gòu)的海量數(shù)據(jù),運(yùn)用大數(shù)據(jù)技術(shù),提取海量路口實(shí)時(shí)信息,對(duì)數(shù)據(jù)進(jìn)行清洗、融合,結(jié)合歷史數(shù)據(jù)進(jìn)行分析,提供完善的路口配時(shí)方案,為路口、路線甚至區(qū)域級(jí)交通信號(hào)管控業(yè)務(wù)提供技術(shù)支持。
目前省級(jí)交通違法、事故數(shù)據(jù)將近十億,且用傳統(tǒng)Oracle數(shù)據(jù)庫(kù)進(jìn)行存放,查詢統(tǒng)計(jì)耗時(shí)及長(zhǎng),傳統(tǒng)數(shù)據(jù)分析方式難以對(duì)其進(jìn)行分析挖掘。
利用大數(shù)據(jù)技術(shù),融合省級(jí)海量違法、事故、駕駛?cè)?、機(jī)動(dòng)車(chē)數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行清洗、融合、挖掘分析,分析數(shù)據(jù)規(guī)律以及數(shù)據(jù)之間的關(guān)聯(lián),形成源頭監(jiān)管、風(fēng)險(xiǎn)隱患、違法高發(fā)、事故高發(fā)等業(yè)務(wù)專題,為省級(jí)交通管理違法、事故業(yè)務(wù)開(kāi)展提供數(shù)據(jù)支持。
傳統(tǒng)違法檢測(cè)技術(shù),只能檢測(cè)機(jī)動(dòng)車(chē)闖紅燈、違停、路口變道等少量違法行為,難以滿足現(xiàn)在交通管理需要。
運(yùn)用大數(shù)據(jù)技術(shù)在傳統(tǒng)檢測(cè)的基礎(chǔ)上,還可以分析車(chē)輛套牌、拋灑、非機(jī)動(dòng)車(chē)、行人違法,同時(shí)還能實(shí)現(xiàn)車(chē)輛細(xì)節(jié)檢測(cè)、目標(biāo)跟蹤等功能。解決了交通事件識(shí)別困難、識(shí)別率低等業(yè)務(wù)難點(diǎn),為交通管理者提供了豐富準(zhǔn)確的交通事件信息,為指揮調(diào)度、輔助決策等業(yè)務(wù)提供數(shù)據(jù)支撐。
將大數(shù)據(jù)技術(shù)與交警內(nèi)控管理相結(jié)合,圍繞“主動(dòng)防控”,針對(duì)勤務(wù)與接處警,通過(guò)數(shù)據(jù)異常主動(dòng)識(shí)別警員不合規(guī)行為,進(jìn)一步加強(qiáng)執(zhí)法規(guī)范化建設(shè)和隊(duì)伍正規(guī)化建設(shè),切實(shí)強(qiáng)化執(zhí)法過(guò)程監(jiān)督,充分發(fā)揮“數(shù)據(jù)”的作用,通過(guò)數(shù)據(jù)自動(dòng)比對(duì)、全面考核、實(shí)時(shí)監(jiān)管、智能預(yù)警,進(jìn)一步提高交通管理的效率和安全性,提升城市品位和交通管理水平,在全社會(huì)營(yíng)造文明執(zhí)法、科技執(zhí)法、規(guī)范執(zhí)法的良好氛圍,把路面執(zhí)法管理工作做得更實(shí)、更細(xì)、更好。
大數(shù)據(jù)技術(shù)擁有傳統(tǒng)技術(shù)無(wú)法比擬的數(shù)據(jù)采集、處理、分析等能力,通過(guò)和交管業(yè)務(wù)的緊密結(jié)合,在交通海量數(shù)據(jù)價(jià)值分析挖掘方向應(yīng)用廣泛、效果良好。未來(lái)需要不斷提升大數(shù)據(jù)技術(shù)的各項(xiàng)能力,同時(shí)結(jié)合人工智能等技術(shù),更好的挖掘交通數(shù)據(jù)價(jià)值,為交通管理決策提供更好的支撐,推動(dòng)交通管理行業(yè)的進(jìn)一步發(fā)展。