高秀艷+耿興隆

摘 要 當(dāng)今社會(huì)，隨著機(jī)動(dòng)車(chē)數(shù)量暴增，城市交通擁堵、交通信息管理等問(wèn)題日益嚴(yán)重。研究并設(shè)計(jì)合適的交通流量分析系統(tǒng)，可以通過(guò)采集交通流量的大數(shù)據(jù)，掌握實(shí)時(shí)道路情況并有效預(yù)測(cè)未來(lái)某時(shí)段的道路交通。采用hadoop分布式文件系統(tǒng)對(duì)海量交通大數(shù)據(jù)進(jìn)行存儲(chǔ)，使用神經(jīng)網(wǎng)絡(luò)算法對(duì)數(shù)據(jù)進(jìn)行建模處理，使用MapReduce作為核心算法進(jìn)行運(yùn)算，實(shí)驗(yàn)證明，這是良好的解決方案。

關(guān)鍵詞 智能交通；大數(shù)據(jù)；云計(jì)算；Hadoop

中圖分類(lèi)號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2017）188-0066-02

當(dāng)今社會(huì)，隨著機(jī)動(dòng)車(chē)數(shù)量暴增，城市交通擁堵、交通信息管理等問(wèn)題日益嚴(yán)重。在城市飛速發(fā)展及車(chē)輛迅速增加的背景下，研究并設(shè)計(jì)合適的交通流量分析系統(tǒng)，使其能適時(shí)收集交通流量數(shù)據(jù)并對(duì)數(shù)據(jù)做出合理正確的分析，從而及時(shí)掌握實(shí)時(shí)道路情況并進(jìn)而有效預(yù)測(cè)未來(lái)某時(shí)段的道路交通情況已迫在眉睫。由于交通數(shù)據(jù)具有大數(shù)據(jù)的特點(diǎn)，因此使用分布式文件系統(tǒng)進(jìn)行數(shù)據(jù)存儲(chǔ)，采用大數(shù)據(jù)的處理技術(shù)對(duì)收集到的海量數(shù)據(jù)建立合適的數(shù)據(jù)處理模型并進(jìn)行分析處理，采用MapReduce作為核心算法進(jìn)行運(yùn)算，最終實(shí)現(xiàn)流量情況預(yù)測(cè)。

1 大數(shù)據(jù)主要處理技術(shù)

目前，對(duì)大數(shù)據(jù)的處理技術(shù)主要有以下

幾種[1-3]：

1）數(shù)據(jù)挖掘。數(shù)據(jù)挖掘是對(duì)數(shù)據(jù)進(jìn)行篩選等有效處理的一種技術(shù)，目的是從海量數(shù)據(jù)中通過(guò)去噪、轉(zhuǎn)換、凈化、挖掘提取等過(guò)程篩選出有價(jià)值的部分。在處理過(guò)程中經(jīng)常借助多處理階段模型、機(jī)器學(xué)習(xí)、支持向量機(jī)等。

2）遺傳算法。遺傳算法的概念來(lái)源于達(dá)爾文的生物進(jìn)化論，即從海量的可能結(jié)果中獲取最優(yōu)的個(gè)體，在實(shí)際應(yīng)用中常用來(lái)獲得最優(yōu)解。其基本思想是從給定的候選解中，使用根據(jù)適應(yīng)條件計(jì)算出的適應(yīng)度對(duì)其進(jìn)行遞歸淘汰，直至得到最優(yōu)解。遺傳算法是對(duì)大量數(shù)據(jù)進(jìn)行篩選提取有用信息的重要手段。

3）神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，即ANNs）是模式識(shí)別中經(jīng)常用到的算法，它是模仿動(dòng)物神經(jīng)結(jié)構(gòu)及行為特征的分布式并行信息處理的數(shù)據(jù)處理模型。常用的人工神經(jīng)網(wǎng)絡(luò)模型有BP、RBF、Hopfield等。在眾多的神經(jīng)網(wǎng)絡(luò)工具中， NeuroSolutions憑借其良好的網(wǎng)絡(luò)設(shè)計(jì)界面、優(yōu)化的遺傳算法以及先進(jìn)的模型訓(xùn)練程序，能夠在快速、高效的實(shí)現(xiàn)信息獲取方面發(fā)揮重要作用。

4）馬爾可夫模型。馬爾可夫模型是一種適合于隨機(jī)過(guò)程的數(shù)據(jù)模型，其更為常用的是各種延伸的模型，如隱馬爾可夫模型、灰色馬爾可夫模型等。它在語(yǔ)音識(shí)別及圖像識(shí)別中應(yīng)用較為

廣泛。

每一種處理技術(shù)都有其特點(diǎn)，但是最關(guān)鍵的是對(duì)數(shù)據(jù)的預(yù)處理及模型的建立。在模型的建立過(guò)程中都需要用大量樣本數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練，因此樣本的合理性是模型訓(xùn)練的關(guān)鍵，而訓(xùn)練所需時(shí)間則是考慮數(shù)據(jù)處理算法性能的重要因素。

2 交通流量分析系統(tǒng)設(shè)計(jì)思想

2.1 系統(tǒng)簡(jiǎn)介

本系統(tǒng)通過(guò)對(duì)交通流量大數(shù)據(jù)進(jìn)行分析，充分利用“云計(jì)算”及相關(guān)技術(shù)在交通信息化中的應(yīng)用，基于“云計(jì)算”設(shè)計(jì)研究了智能交通管理系統(tǒng)設(shè)計(jì)和解決方案。利用Hadoop系統(tǒng)結(jié)構(gòu)，對(duì)3個(gè)節(jié)點(diǎn)的Hadoop集群進(jìn)行完全分布式部署，然后在該集群上編寫(xiě)MapReduce 程序。設(shè)計(jì)了基于Hadoop的MapReduce模式的交通信息服務(wù)系統(tǒng)，并通過(guò)仿真系統(tǒng)及模擬數(shù)據(jù)對(duì)該系統(tǒng)進(jìn)行測(cè)試。本系統(tǒng)具有如下特點(diǎn)：

1）所用樣本數(shù)據(jù)來(lái)源具有實(shí)際意義。系統(tǒng)在設(shè)計(jì)及仿真時(shí)使用保定市某路口采集到的數(shù)據(jù)，數(shù)據(jù)可以反應(yīng)實(shí)際交通流量情況。

2）對(duì)數(shù)據(jù)樣本進(jìn)行了充分的篩選、降噪處理。

3）對(duì)于海量數(shù)據(jù)采用服務(wù)器集群的分布式處理，提高運(yùn)算速度的同時(shí)保證了數(shù)據(jù)的健壯。

4）平臺(tái)搭建使用Linux操作系統(tǒng)，當(dāng)PC機(jī)設(shè)備或軟件不能滿足需要時(shí)，還可在虛擬機(jī)環(huán)境下進(jìn)行仿真。

2.2 系統(tǒng)主要功能

本系統(tǒng)主要通過(guò)對(duì)采集到的數(shù)據(jù)進(jìn)行篩選、降噪等預(yù)處理后，使用數(shù)據(jù)樣本對(duì)模型進(jìn)行訓(xùn)練，得到能夠反映下一時(shí)刻交通流量信息的模型。之后根據(jù)給出的當(dāng)前狀態(tài)數(shù)據(jù)，預(yù)測(cè)未來(lái)時(shí)刻的交通情況，進(jìn)而給出推薦路徑。

2.3 系統(tǒng)模型設(shè)計(jì)

系統(tǒng)模型如圖1所示，系統(tǒng)包括3層，分別為服務(wù)器、中間件以及底層。

2.4 系統(tǒng)技術(shù)實(shí)現(xiàn)

1）數(shù)據(jù)處理部分：使用神經(jīng)網(wǎng)絡(luò)算法對(duì)采集到的樣本進(jìn)行處理從而得到模型，仿真實(shí)驗(yàn)中使用在保定市某路口采集到的2 000組數(shù)據(jù)進(jìn)行，其中1600組用于模型訓(xùn)練，400組用于流量預(yù)測(cè)。

2）數(shù)據(jù)存儲(chǔ)部分：在實(shí)驗(yàn)室中使用PC機(jī)，在Linux系統(tǒng)環(huán)境下搭建hadoop集群分布式文件系統(tǒng)用于數(shù)據(jù)的存儲(chǔ)。

3）數(shù)據(jù)運(yùn)算：使用MapReduce算法對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)與分析，分割采集到的交通路徑數(shù)據(jù)，并輸出最短路徑集。

Map過(guò)程實(shí)現(xiàn)實(shí)現(xiàn)路徑分割的部分代碼如

下[4]，其中key值用于表示起點(diǎn)或終點(diǎn)：

對(duì)應(yīng)的Reduce函數(shù)實(shí)現(xiàn)輸出最短路徑集的部分代碼為：

3 結(jié)論

在實(shí)驗(yàn)室環(huán)境中利用PC機(jī)搭建了“云”平臺(tái)，將模擬的代表城市交流流量的大數(shù)據(jù)信息布到該云上并進(jìn)行分析調(diào)試，仿真完成交通流量信息服務(wù)系統(tǒng)的開(kāi)發(fā)和測(cè)試。結(jié)論如下：

1）Hadoop不是完美的解決方案，由于交通流量數(shù)據(jù)具有大數(shù)據(jù)的特點(diǎn)，而且交通情況具有實(shí)時(shí)性，在對(duì)大數(shù)據(jù)的處理中，神經(jīng)網(wǎng)絡(luò)、優(yōu)化的遺傳算法等都體現(xiàn)出了各自的優(yōu)勢(shì)。尋找更適合的處理交通流量大數(shù)據(jù)的算法并用到系統(tǒng)中，將使系統(tǒng)的分析結(jié)果更為準(zhǔn)確。

2）樣本的采集會(huì)對(duì)模型的精確產(chǎn)生重要的影響，后續(xù)的研究中將更多的考慮其它因素對(duì)數(shù)據(jù)樣本精確性的影響，如：

偶然因素如交通事故對(duì)數(shù)據(jù)造成的不確定性；

天氣原因產(chǎn)生的數(shù)據(jù)隨機(jī)性；

時(shí)間對(duì)數(shù)據(jù)樣本的影響，如工作日與非工作日、高峰時(shí)段與非高峰時(shí)段數(shù)據(jù)的變化。

參考文獻(xiàn)

[1]甘曉，李國(guó)杰.大數(shù)據(jù)成為信息科技新關(guān)注點(diǎn)[N].中國(guó)科學(xué)報(bào)，2012-06-27.

[2]高秀艷，郝艷榮.大數(shù)據(jù)技術(shù)在高校畢業(yè)生就業(yè)質(zhì)量評(píng)價(jià)體系中的應(yīng)用研究[J].科技傳播，2017，4（7）：65-66.

[3]尚光龍，張澤鋒.大數(shù)據(jù)技術(shù)在信息管理中的應(yīng)用[J].河北北方學(xué)院學(xué)報(bào)，2016，5（5）：30-34.

[4]耿興隆，王麗.基于Hadoop的交通流量統(tǒng)計(jì)分析系統(tǒng)的應(yīng)用研究[J].河北軟件職業(yè)技術(shù)學(xué)院學(xué)報(bào)，2016，3（1）：44-47.

基金項(xiàng)目：本文為保定市科技局科學(xué)技術(shù)研究與發(fā)展指導(dǎo)計(jì)劃項(xiàng)目（項(xiàng)目編號(hào)：16ZG022）。

作者簡(jiǎn)介：高秀艷，講師，研究方向計(jì)算機(jī)軟件教學(xué)、模式識(shí)別。

耿興隆，講師，研究方向?yàn)橛?jì)算機(jī)教學(xué)及嵌入式系統(tǒng)開(kāi)發(fā)。