張積存 宋雪萍 費(fèi)繼友 王 凱

1(大連交通大學(xué)機(jī)械工程學(xué)院 遼寧 大連 116028) 2(東軟集團(tuán)(大連)有限公司 遼寧 大連 116085)

0 引 言

近年來(lái)，我國(guó)在公共安全信息化建設(shè)方面的投入飛速增長(zhǎng)，其中視頻監(jiān)控系統(tǒng)是一個(gè)主要的發(fā)展方向。對(duì)視頻的監(jiān)控、追蹤已經(jīng)成為各級(jí)公安部門(mén)主要的破案手段。隨著城市部署的車(chē)輛卡口點(diǎn)位越來(lái)越多，卡口數(shù)量增加，各地公安機(jī)關(guān)已經(jīng)擁有大量的車(chē)輛卡口數(shù)據(jù)和視頻圖像資源[1-2]。以北京市為例，全市每日通過(guò)交通卡口采集的過(guò)車(chē)數(shù)據(jù)都達(dá)到千萬(wàn)級(jí)別的數(shù)據(jù)量。但是越來(lái)越多的視頻資源帶來(lái)幫助的同時(shí)，也給存儲(chǔ)和分析造成巨大困難。

如何充分利用這些資源，結(jié)合現(xiàn)代化信息技術(shù)，為情報(bào)、刑偵、治安等不同警種服務(wù)，已經(jīng)成為公安機(jī)關(guān)信息化建設(shè)的主要需求。然而目前已有的基于車(chē)輛的大數(shù)據(jù)分析系統(tǒng)[3-5]大同小異，多是基于對(duì)數(shù)據(jù)的查詢，存在著分析數(shù)據(jù)種類單一、分析時(shí)間滯后、系統(tǒng)使用率低等問(wèn)題。這類系統(tǒng)僅解決了“有”的問(wèn)題，而不能滿足“精”的需求。

為使車(chē)輛數(shù)據(jù)得到更充分的應(yīng)用，分析更全面、更準(zhǔn)確、更及時(shí)，以滿足公安機(jī)關(guān)日益精進(jìn)的信息化建設(shè)需求，本文在已經(jīng)完成的視頻結(jié)構(gòu)化平臺(tái)的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)車(chē)輛大數(shù)據(jù)分析系統(tǒng)。本系統(tǒng)以平臺(tái)提供的結(jié)構(gòu)化數(shù)據(jù)為數(shù)據(jù)源，結(jié)合公安網(wǎng)中大量車(chē)輛信息、業(yè)務(wù)數(shù)據(jù)和圖像數(shù)據(jù)，使用Kafka消息隊(duì)列、Elasticsearch分布式引擎、Redis內(nèi)存數(shù)據(jù)庫(kù)和大量的模型算法，實(shí)現(xiàn)了海量數(shù)據(jù)的實(shí)時(shí)傳輸、存儲(chǔ)、檢索和分析，提供豐富的業(yè)務(wù)實(shí)戰(zhàn)應(yīng)用。

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)架構(gòu)設(shè)計(jì)

車(chē)輛大數(shù)據(jù)分析系統(tǒng)基于視頻結(jié)構(gòu)化平臺(tái)，共包括采集層、存儲(chǔ)層、服務(wù)層和應(yīng)用層，并考慮安全保障體系和標(biāo)準(zhǔn)規(guī)范體系。系統(tǒng)軟件架構(gòu)設(shè)計(jì)如圖1所示。

圖1 系統(tǒng)軟件架構(gòu)設(shè)計(jì)視圖

(1) 應(yīng)用層?；赩ue.js框架開(kāi)發(fā)的Web平臺(tái)，針對(duì)不同警種的需求提供相關(guān)的應(yīng)用功能。平臺(tái)的應(yīng)用功能包含智能檢索、異常排查、一車(chē)一檔、布控告警、統(tǒng)計(jì)分析和17種技戰(zhàn)法(包括異常停留、快速離城、區(qū)域徘徊、遮擋面部、晝伏夜出、頻繁夜出、頻繁過(guò)車(chē)、首次入城、首次出現(xiàn)、重點(diǎn)車(chē)輛分析、無(wú)牌車(chē)、套牌車(chē)、隱匿車(chē)輛挖掘、時(shí)空碰撞、同行車(chē)[6]、落腳點(diǎn)、相似車(chē)牌串并)。

(2) 服務(wù)層。服務(wù)層包括模型算法服務(wù)、應(yīng)用服務(wù)、Elasticsearch實(shí)時(shí)全文檢索服務(wù)?；诖鎯?chǔ)層的數(shù)據(jù)，為上層應(yīng)用提供算法分析、模型訓(xùn)練、智能檢索等服務(wù)。包括：算法集、模型庫(kù)、分布式計(jì)算中心和分布式數(shù)據(jù)檢索引擎。

(3) 數(shù)據(jù)資源層?；贓S(Elasticsearch)分布式搜索引擎平臺(tái)，對(duì)海量過(guò)車(chē)數(shù)據(jù)進(jìn)行存儲(chǔ)，為數(shù)據(jù)分析提供支撐。Redis內(nèi)存數(shù)據(jù)庫(kù)保證算法集群獲取數(shù)據(jù)的實(shí)時(shí)性。業(yè)務(wù)庫(kù)采用MySQL數(shù)據(jù)庫(kù)，存儲(chǔ)各業(yè)務(wù)功能相關(guān)數(shù)據(jù)。

(4) 采集層。使用視頻結(jié)構(gòu)化平臺(tái)提供的標(biāo)準(zhǔn)化數(shù)據(jù)對(duì)接接口，從各類平臺(tái)采集海量的卡口數(shù)據(jù)，并使用Kafka作為消息總線進(jìn)行數(shù)據(jù)的實(shí)時(shí)傳輸。

1.2 系統(tǒng)邏輯處理設(shè)計(jì)

車(chē)輛大數(shù)據(jù)分析系統(tǒng)在實(shí)際工作中，依托于視頻結(jié)構(gòu)化平臺(tái)采集接口提供的結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)進(jìn)入卡口監(jiān)視消息總線后，一方面供給ES(Elasticsearch)檢索引擎，滿足前端的實(shí)時(shí)檢索；另一方面存入Redis內(nèi)存數(shù)據(jù)庫(kù)，并與人員專題庫(kù)數(shù)據(jù)、車(chē)駕管數(shù)據(jù)一起提供給模型算法模塊，由算法模塊實(shí)現(xiàn)自動(dòng)化標(biāo)簽、一車(chē)一檔、布控告警等功能供前端調(diào)用。系統(tǒng)邏輯結(jié)構(gòu)圖如圖2所示。

圖2 系統(tǒng)邏輯處理結(jié)構(gòu)視圖

1.3 系統(tǒng)部署運(yùn)行

(1) 系統(tǒng)部署：各模塊均采用集群部署，隨著業(yè)務(wù)規(guī)模擴(kuò)展，數(shù)據(jù)接入增多，各服務(wù)節(jié)點(diǎn)也可以平滑橫向擴(kuò)展，保證服務(wù)的高可用性。在測(cè)試環(huán)境下，可處理日均400萬(wàn)的過(guò)車(chē)數(shù)據(jù)。系統(tǒng)部署運(yùn)行如圖3所示。系統(tǒng)部署配置情況如表1所示。

圖3 系統(tǒng)部署運(yùn)行圖

表1 系統(tǒng)部署配置

(2) 通信傳輸:前后端基于HTTP協(xié)議進(jìn)行消息通信，后端的數(shù)據(jù)傳輸基于Kafka消息隊(duì)列。

(3) 存儲(chǔ):原始過(guò)車(chē)數(shù)據(jù)索引到Elasticsearch中，分析結(jié)果存儲(chǔ)到MySQL中，過(guò)車(chē)數(shù)據(jù)經(jīng)預(yù)處理后，緩存到Redis中，以備算法可以快速讀取。

(4) 災(zāi)備:數(shù)據(jù)存儲(chǔ)采用主從模式，集群部署，即使部分服務(wù)宕機(jī)，也可保證數(shù)據(jù)正常存儲(chǔ)。Elasticsearch中的數(shù)據(jù)會(huì)自動(dòng)創(chuàng)建副本，即使部分節(jié)點(diǎn)宕機(jī)，也可保證數(shù)據(jù)的完整性。系統(tǒng)定期將數(shù)據(jù)備份到數(shù)據(jù)中心，使用RAID5硬盤(pán)存儲(chǔ)，保證數(shù)據(jù)可恢復(fù)。

(5) 系統(tǒng)運(yùn)行:系統(tǒng)算法由數(shù)據(jù)采集事件驅(qū)動(dòng)，使用實(shí)時(shí)消息隊(duì)列進(jìn)行數(shù)據(jù)傳輸，高性能內(nèi)存數(shù)據(jù)庫(kù)Redis進(jìn)行數(shù)據(jù)緩存，算法基于緩存的數(shù)據(jù)進(jìn)行分布式運(yùn)算，從而保證計(jì)算結(jié)果的準(zhǔn)實(shí)時(shí)性。

2 關(guān)鍵技術(shù)及系統(tǒng)實(shí)現(xiàn)

2.1 關(guān)鍵技術(shù)

2.1.1Kafka消息隊(duì)列

Kafka是一種高吞吐量的分布式發(fā)布/訂閱消息系統(tǒng)。即使非常普通的硬件Kafka也可以支持每秒數(shù)百萬(wàn)的消息吞吐量。

本文利用Kafka分布式消息隊(duì)列技術(shù)[7-10]處理海量請(qǐng)求，支持高吞吐量的消息發(fā)布和訂閱。利用Kafka集群作為系統(tǒng)的消息總線，當(dāng)采集接口、其他平臺(tái)訂閱等多種生產(chǎn)者產(chǎn)生數(shù)據(jù)時(shí)，Kafka集群將消息發(fā)布給ES引擎和算法等多個(gè)消費(fèi)者模塊，從而實(shí)現(xiàn)海量數(shù)據(jù)的實(shí)時(shí)傳輸，圖4為Kafka消息總線的結(jié)構(gòu)圖。

圖4 Kafka消息總線示意圖

2.1.2Elasticsearch分布式搜索引擎

本文通過(guò)搭建ES(Elasticsearch)分布式搜索引

擎來(lái)實(shí)現(xiàn)海量數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)及檢索。ES是一個(gè)分布式、高擴(kuò)展、高實(shí)時(shí)的搜索與數(shù)據(jù)分析引擎。它能很方便地使大量數(shù)據(jù)具有搜索、分析和探索的能力。它可以近乎實(shí)時(shí)地存儲(chǔ)、檢索數(shù)據(jù)，而且具有良好的擴(kuò)展性，可以擴(kuò)展到上百臺(tái)服務(wù)器，處理PB級(jí)別的數(shù)據(jù)[11-15]。

ES的實(shí)現(xiàn)原理主要分為以下幾個(gè)步驟：

(1) 首先用戶將數(shù)據(jù)提交到Elasticsearch數(shù)據(jù)庫(kù)中。

(2) 通過(guò)分詞控制器將對(duì)應(yīng)的語(yǔ)句分詞，將其權(quán)重和分詞結(jié)果一并存入數(shù)據(jù)。

(3) 當(dāng)用戶搜索數(shù)據(jù)時(shí)候，根據(jù)權(quán)重將結(jié)果排名、打分，再將返回結(jié)果呈現(xiàn)給用戶。

2.1.3數(shù)據(jù)實(shí)時(shí)分析

Redis是一個(gè)開(kāi)源的，內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)系統(tǒng)。它可以用作數(shù)據(jù)庫(kù)、緩存和消息中間件，支持多種類型的數(shù)據(jù)結(jié)構(gòu)(如字符串、散列、列表、集合、有序集合)與范圍查詢。為了保證效率，Redis的數(shù)據(jù)保存在內(nèi)存中，并且支持一定的持久化功能，可以將內(nèi)存中的數(shù)據(jù)保存在磁盤(pán)中，重啟的時(shí)候可以再次加載進(jìn)行使用，這保證了高并發(fā)場(chǎng)景下數(shù)據(jù)的安全性和一致性。其性能極高，讀的速度可以達(dá)到110 000次/s,寫(xiě)的速度可達(dá)81 000次/s。并且支持集群、分布式、主從同步等配置，原則上可以無(wú)限擴(kuò)展，讓更多的數(shù)據(jù)存儲(chǔ)在內(nèi)存中。

本文使用Kafka消息隊(duì)列作為消息總線保證數(shù)據(jù)實(shí)時(shí)傳輸，利用Redis的超高性能保證數(shù)據(jù)實(shí)時(shí)讀寫(xiě)。

當(dāng)新增數(shù)據(jù)產(chǎn)生時(shí)，一方面發(fā)布到ES引擎進(jìn)行存儲(chǔ)，另一方面發(fā)布到Redis內(nèi)存數(shù)據(jù)庫(kù)，供給模型算法模塊進(jìn)行實(shí)時(shí)分析。系統(tǒng)的算法模塊包含十余種業(yè)務(wù)相關(guān)的算法模型：異常停留、套牌車(chē)、同行車(chē)、落腳點(diǎn)、區(qū)域徘徊、時(shí)空碰撞等。這些算法模型服務(wù)分布式運(yùn)行在兩臺(tái)配置為CPU:E5-2630 V4×2;內(nèi)存:16 GB DDR4×2的機(jī)器上。Redis的高性能讀寫(xiě)能力允許各算法模型同時(shí)讀取數(shù)據(jù)，通過(guò)運(yùn)行各類算法實(shí)時(shí)地為車(chē)輛數(shù)據(jù)標(biāo)記各類異常行為標(biāo)簽，同時(shí)將標(biāo)簽化的數(shù)據(jù)存儲(chǔ)在MySQL數(shù)據(jù)庫(kù)中作為模型中間庫(kù)以供查詢檢索使用。實(shí)時(shí)分析流程如圖5所示，系統(tǒng)7×24小時(shí)不間斷地對(duì)產(chǎn)生的每條過(guò)車(chē)記錄進(jìn)行實(shí)時(shí)算法分析，生成實(shí)時(shí)的車(chē)輛異常行為數(shù)據(jù)標(biāo)簽，對(duì)每一輛通過(guò)交通卡口的車(chē)輛都動(dòng)態(tài)建立檔案，用于大數(shù)據(jù)分析碰撞。系統(tǒng)根據(jù)車(chē)輛異常行為標(biāo)簽以及異常行為出現(xiàn)的頻率，會(huì)自動(dòng)進(jìn)行預(yù)警，并將預(yù)警信息推薦給Web平臺(tái)。平臺(tái)使用者能在第一時(shí)間發(fā)現(xiàn)有異常行為的車(chē)輛，從而提前采取布控等措施,極大地提高事前預(yù)判、預(yù)防、預(yù)警能力。

圖5 實(shí)時(shí)分析流程

2.1.4數(shù)據(jù)融合分析

系統(tǒng)提供接口對(duì)接、人工錄入、批量導(dǎo)入等多種形式，將其他與車(chē)輛關(guān)聯(lián)的數(shù)據(jù)(車(chē)駕管、人員專題庫(kù)數(shù)據(jù)、盜搶車(chē)輛等)融入到車(chē)輛研判算法中，為車(chē)輛研判提供更多的有價(jià)值的線索，提升數(shù)據(jù)價(jià)值，提高辦案效率。圖6是車(chē)輛布控告警流程，系統(tǒng)通過(guò)融合車(chē)架管數(shù)據(jù)，獲取到車(chē)輛車(chē)牌號(hào)碼信息，從而達(dá)到以人找車(chē)，進(jìn)行布控告警的目的。圖7是完整軌跡的數(shù)據(jù)融合分析流程圖。通過(guò)融合人臉識(shí)別數(shù)據(jù)、酒店住宿數(shù)據(jù)、出行數(shù)據(jù)等，再結(jié)合交通卡口的車(chē)輛信息，就能夠刻畫(huà)出布控目標(biāo)完整的人車(chē)軌跡，用于案件的深度大數(shù)據(jù)研判分析，提高偵破率。

圖6 布控告警流程

圖7 完整軌跡流程

2.2 系統(tǒng)實(shí)現(xiàn)

根據(jù)數(shù)據(jù)性質(zhì)的不同，分別采用MySQL、Redis、Elasticsearch三種不同的數(shù)據(jù)庫(kù)來(lái)進(jìn)行數(shù)據(jù)存儲(chǔ)和管理。數(shù)據(jù)庫(kù)實(shí)現(xiàn)如圖8所示，三種數(shù)據(jù)庫(kù)特性比較如表2所示。

圖8 數(shù)據(jù)庫(kù)實(shí)現(xiàn)框圖

表2 數(shù)據(jù)庫(kù)特性對(duì)比表

(1) 應(yīng)用層的用戶、角色、權(quán)限管理、字典表管理以及算法結(jié)果使用Mysql進(jìn)行存儲(chǔ)。

(2) 過(guò)車(chē)數(shù)據(jù)的預(yù)處理結(jié)果，用于算法的實(shí)時(shí)計(jì)算，采用內(nèi)存數(shù)據(jù)庫(kù)Redis進(jìn)行緩存。

(3) 離線算法需要實(shí)現(xiàn)對(duì)機(jī)動(dòng)車(chē)過(guò)車(chē)記錄的高性能搜索，可支持查詢、統(tǒng)計(jì)、聚合，所以選擇當(dāng)前主流的Elasticsearch存儲(chǔ)機(jī)動(dòng)車(chē)過(guò)車(chē)記錄。

服務(wù)層采用java語(yǔ)言開(kāi)發(fā)，系統(tǒng)為Windows系統(tǒng)。應(yīng)用層為基于Vue.js框架的Web平臺(tái)。圖9為系統(tǒng)主界面，共包含各統(tǒng)計(jì)分析，智能檢索、車(chē)輛追蹤、異常排查等的功能入口按鈕。圖10為技戰(zhàn)法分類界面，共包含17中技戰(zhàn)法。圖11-圖13為部分功能界面運(yùn)行效果。

圖9 系統(tǒng)首頁(yè)

圖10 技戰(zhàn)法界面

圖11 車(chē)輛檔案

圖12 技戰(zhàn)法—區(qū)域徘徊

圖13 車(chē)輛追蹤

3 系統(tǒng)測(cè)試

本文使用北京某區(qū)域交通卡口三個(gè)月過(guò)車(chē)數(shù)據(jù)進(jìn)行系統(tǒng)功能測(cè)試及性能測(cè)試。測(cè)試數(shù)據(jù)量大于一億條。

3.1 系統(tǒng)功能測(cè)試

系統(tǒng)功能測(cè)試主要是利用Cypress E2E(end to end) Web 測(cè)試框架通過(guò)對(duì)應(yīng)用層Web平臺(tái)進(jìn)行UI自動(dòng)化測(cè)試并保存每次服務(wù)端的返回結(jié)果生成txt文件進(jìn)行業(yè)務(wù)驗(yàn)證，以檢測(cè)系統(tǒng)各功能是否實(shí)現(xiàn)以及運(yùn)行效果。表3為Web模塊各項(xiàng)功能列表。

表3 Web模塊各項(xiàng)功能

系統(tǒng)進(jìn)行了6次全功能測(cè)試及10余次隨機(jī)UI測(cè)試。整個(gè)測(cè)試過(guò)程未發(fā)現(xiàn)崩潰性和嚴(yán)重性錯(cuò)誤，并且生成的結(jié)果文件通過(guò)業(yè)務(wù)驗(yàn)證滿足業(yè)務(wù)需求，可以證明系統(tǒng)在功能上滿足用戶需求。

3.2 系統(tǒng)性能測(cè)試

(1) 典型業(yè)務(wù)場(chǎng)景測(cè)試。使用三輛已知號(hào)牌的車(chē)輛作為測(cè)試的目標(biāo)車(chē)輛，按照規(guī)劃的測(cè)試路線行駛，形成伴隨關(guān)系，并按計(jì)劃進(jìn)行停留，通過(guò)不同的卡口位置，共歷時(shí)7天。結(jié)合3個(gè)月時(shí)間采集到的約1億2千萬(wàn)條卡口實(shí)際過(guò)車(chē)數(shù)據(jù)進(jìn)行共30余項(xiàng)業(yè)務(wù)場(chǎng)景測(cè)試。以智能檢索、同行車(chē)、落腳點(diǎn)、布控告警為例說(shuō)明測(cè)試結(jié)果。

① 智能檢索：根據(jù)起止時(shí)間、車(chē)牌號(hào)、車(chē)牌顏色、車(chē)輛類型、車(chē)型車(chē)款、車(chē)身顏色、車(chē)內(nèi)飾品、是否系安全帶等條件進(jìn)行車(chē)輛檢索，達(dá)到快速捕捉目標(biāo)車(chē)輛的目的。測(cè)試以三輛已知號(hào)牌車(chē)輛為目標(biāo)車(chē)輛，自由組合各項(xiàng)檢索條件進(jìn)行多次測(cè)試。

測(cè)試結(jié)果表明：從開(kāi)始分析到結(jié)果顯示平均耗時(shí)約為55 ms，并準(zhǔn)確找到測(cè)試目標(biāo)車(chē)輛。

② 同行車(chē)：融合FP-groupth算法以及車(chē)輛軌跡對(duì)比分析算法進(jìn)行同行車(chē)、伴隨車(chē)挖掘與分析。測(cè)試分別以其中一輛已知號(hào)牌車(chē)輛為目標(biāo)車(chē)輛，分析并找出其同行車(chē)。

測(cè)試結(jié)果表明：從開(kāi)始分析到結(jié)果顯示平均耗時(shí)約為430 ms，并準(zhǔn)確找到同行的測(cè)試車(chē)。

③ 落腳點(diǎn)：以起止時(shí)間、車(chē)牌號(hào)、車(chē)牌顏色為條件(不同車(chē)牌類型存在有相同車(chē)牌號(hào)的情況，如綠牌車(chē)和藍(lán)牌車(chē)可以有相同車(chē)牌號(hào))，使用改進(jìn)的Optics聚類算法進(jìn)行目標(biāo)車(chē)輛的落腳點(diǎn)挖掘。以三輛已知號(hào)牌車(chē)輛為目標(biāo)車(chē)輛進(jìn)行測(cè)試。

測(cè)試結(jié)果表明：從開(kāi)始分析到結(jié)果顯示平均耗時(shí)約為245 ms，并準(zhǔn)確找到目標(biāo)車(chē)輛的落腳點(diǎn)。

④ 布控告警：以一輛測(cè)試車(chē)輛為目標(biāo)車(chē)輛，模擬布控告警實(shí)時(shí)測(cè)試。系統(tǒng)顯示布控車(chē)輛已有的過(guò)車(chē)記錄，刻畫(huà)行車(chē)軌跡。當(dāng)布控目標(biāo)車(chē)的過(guò)車(chē)數(shù)據(jù)再次被系統(tǒng)檢測(cè)到時(shí)，進(jìn)行報(bào)警并顯示目標(biāo)車(chē)的位置。

測(cè)試結(jié)果表明：從過(guò)車(chē)數(shù)據(jù)采集入庫(kù)到推送給UI響應(yīng)，數(shù)據(jù)平均延遲時(shí)間約為550 ms，符合布控告警對(duì)實(shí)時(shí)性的要求。

(2) 大數(shù)據(jù)下的系統(tǒng)性能測(cè)試。系統(tǒng)性能測(cè)試是在進(jìn)行UI自動(dòng)化測(cè)試的同時(shí)，監(jiān)控系統(tǒng)各模塊的響應(yīng)時(shí)間；在產(chǎn)生新數(shù)據(jù)時(shí)，監(jiān)控各算法模型的計(jì)算時(shí)間來(lái)驗(yàn)證系統(tǒng)各模塊性能。表4為UI測(cè)試時(shí)系統(tǒng)各模塊的平均響應(yīng)時(shí)間。表5為新增數(shù)據(jù)時(shí)各模塊平均響應(yīng)時(shí)間。

表4 UI測(cè)試各模塊平均響應(yīng)時(shí)間 單位：ms

表5 新增數(shù)據(jù)時(shí)各模塊平均響應(yīng)時(shí)間

測(cè)試結(jié)果表明，本系統(tǒng)在車(chē)輛數(shù)據(jù)達(dá)億級(jí)時(shí)，各功能的響應(yīng)時(shí)間均在秒級(jí)。在新增數(shù)據(jù)達(dá)到每秒2 000條，即每天新增1.728億條車(chē)輛數(shù)據(jù)時(shí)(目前一般除特大型城市外，一個(gè)大中型城市，每天卡口車(chē)輛數(shù)據(jù)在千萬(wàn)條級(jí)別，測(cè)試數(shù)據(jù)已超過(guò)一個(gè)城市每日實(shí)際產(chǎn)生的卡口車(chē)輛數(shù)據(jù))，各模塊的傳輸、存儲(chǔ)和運(yùn)算時(shí)間也都達(dá)到秒級(jí)響應(yīng)。性能上近乎可以做到實(shí)時(shí)分析和實(shí)時(shí)查詢，能夠滿足當(dāng)前用戶的需求。將來(lái)隨著城市車(chē)輛保有量的增加以及車(chē)輛卡口采集點(diǎn)位的不斷建設(shè)，每日新增的數(shù)據(jù)量也將持續(xù)增加，可以考慮通過(guò)硬件擴(kuò)容的方式，增加Kafka和ES節(jié)點(diǎn)，通過(guò)集群部署的方式，提升系統(tǒng)的負(fù)載能力，從而滿足系統(tǒng)實(shí)時(shí)性的使用要求。

4 結(jié) 語(yǔ)

本文設(shè)計(jì)開(kāi)發(fā)了基于車(chē)輛信息的大數(shù)據(jù)分析系統(tǒng)。相比于已有的相關(guān)大數(shù)據(jù)系統(tǒng)[16-18]，本系統(tǒng)具有時(shí)效性高、實(shí)用性強(qiáng)、推薦結(jié)果精準(zhǔn)、分析全面等優(yōu)點(diǎn)?？偨Y(jié)歸納為以下三個(gè)方面：

(1) 分析手段：區(qū)別于現(xiàn)有的大數(shù)據(jù)系統(tǒng)主要基于規(guī)則查詢的手段，本系統(tǒng)建立了大量業(yè)務(wù)相關(guān)的模型庫(kù)，算法庫(kù)用以分析、挖掘數(shù)據(jù)價(jià)值。

(2) 時(shí)效性：相比于現(xiàn)有的大數(shù)據(jù)系統(tǒng)多是事后查詢分析，本系統(tǒng)可以進(jìn)行實(shí)時(shí)分析，做到事先預(yù)警、及時(shí)布控。

(3) 實(shí)用性：相比單純的過(guò)車(chē)數(shù)據(jù)，本文結(jié)合人員專題庫(kù)數(shù)據(jù)進(jìn)行融合分析，人車(chē)一體，分析更全面。

目前本系統(tǒng)已經(jīng)在北京、甘肅等多地正式投入使用。使龐大的過(guò)車(chē)數(shù)據(jù)得到充分利用，為公安機(jī)關(guān)布控預(yù)警、異常排查、重點(diǎn)車(chē)輛管控等工作提供更全面、更準(zhǔn)確、更智能的應(yīng)用服務(wù)。