于碩　李澤宇

摘要：隨著目前計(jì)算機(jī)科學(xué)技術(shù)的飛速發(fā)展以及計(jì)算機(jī)硬件對(duì)數(shù)據(jù)處理能力的飛速提升，人類已經(jīng)進(jìn)入了數(shù)據(jù)信息時(shí)代。文章從宏觀方面對(duì)大數(shù)據(jù)在城市交通中的應(yīng)用進(jìn)行了闡述，并說(shuō)明了現(xiàn)今交通大數(shù)據(jù)的挑戰(zhàn)以及目前對(duì)大數(shù)據(jù)的幾種常用存儲(chǔ)方案以及常用的處理技術(shù)。

關(guān)鍵詞：交通大數(shù)據(jù)；大數(shù)據(jù)存儲(chǔ)方案；大數(shù)據(jù)處理技術(shù)；數(shù)據(jù)信息 文獻(xiàn)標(biāo)識(shí)碼：A

中圖分類號(hào)：U495 文章編號(hào)：1009-2374（2017）04-0090-02 DOI：10.13535/j.cnki.11-4406/n.2017.04.046

1 大數(shù)據(jù)概述

1.1 大數(shù)據(jù)定義

大數(shù)據(jù)，又稱海量數(shù)據(jù)、巨量數(shù)據(jù)等，通常指那些無(wú)法通過常規(guī)存儲(chǔ)媒介存儲(chǔ)，無(wú)法通過人工或者常規(guī)數(shù)據(jù)處理軟件進(jìn)行管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)是一個(gè)抽象的概念，究竟多大的數(shù)據(jù)量可以定義為大數(shù)據(jù)至今沒有一個(gè)定論。大數(shù)據(jù)具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征，也就是說(shuō)，大數(shù)據(jù)不僅僅體現(xiàn)在存儲(chǔ)數(shù)量級(jí)的大小上，而且還在于數(shù)據(jù)的獲取、存儲(chǔ)、維護(hù)、處理等方面。

1.2 大數(shù)據(jù)特點(diǎn)

IBM公司針對(duì)大數(shù)據(jù)的特性提出了大數(shù)據(jù)的5V特點(diǎn)：Volume（大量）、Velocity（高速）、Variety（多樣性）、Value（價(jià)值）和Veracity（真實(shí)性）。

其中Volume（大量）指大數(shù)據(jù)的數(shù)據(jù)量級(jí)巨大，可以從幾百TB到幾百PB甚至EB級(jí)別的規(guī)模。與幾十年前印刷品占據(jù)主流的時(shí)候不同，信息時(shí)代數(shù)據(jù)的產(chǎn)生速度非?？?，據(jù)國(guó)際數(shù)據(jù)公司（IDC）的統(tǒng)計(jì)，僅在2011年時(shí)，全世界范圍內(nèi)被創(chuàng)建和復(fù)制的數(shù)據(jù)總量就有1.8ZB左右，已經(jīng)遠(yuǎn)遠(yuǎn)超過有史以來(lái)人類通過印刷品傳播的信息量的總和。據(jù)該公司預(yù)測(cè)，中國(guó)的大數(shù)據(jù)市場(chǎng)將在2012～2016年間增長(zhǎng)5倍，中國(guó)已經(jīng)真正步入了大數(shù)據(jù)時(shí)代。

Velocity（高速）指大多數(shù)場(chǎng)景下，我們都要求大數(shù)據(jù)要在一定的時(shí)間限制內(nèi)得到及時(shí)的處理。例如美團(tuán)、大眾點(diǎn)評(píng)等團(tuán)購(gòu)軟件，通過對(duì)用戶的地理位置定位實(shí)時(shí)向用戶推薦附近美食、團(tuán)購(gòu)優(yōu)惠等。

Variety（多樣性）指大數(shù)據(jù)包含各式各樣形態(tài)以及各種格式的數(shù)據(jù)源。針對(duì)不同場(chǎng)景，數(shù)據(jù)有多種存儲(chǔ)方式，例如json格式、xml文件、數(shù)據(jù)庫(kù)文件等方式。

Value（價(jià)值）指大數(shù)據(jù)中蘊(yùn)藏的有價(jià)值的信息，通過大數(shù)據(jù)的分析挖掘等手段，可以帶來(lái)巨大的商業(yè)或?qū)W術(shù)價(jià)值。例如淘寶通過對(duì)用戶購(gòu)物以及瀏覽數(shù)據(jù)進(jìn)行挖掘，從而給用戶推薦合適的商品，為淘寶創(chuàng)造了巨大的利潤(rùn)。

Veracity（真實(shí)性）指大數(shù)據(jù)的數(shù)據(jù)來(lái)源，處理結(jié)果要保證與真實(shí)情況相符合，即它們可以如實(shí)反映或者折射出社會(huì)現(xiàn)實(shí)等。例如網(wǎng)上購(gòu)物網(wǎng)站中，賣家的刷單情況就會(huì)影響數(shù)據(jù)分析結(jié)果對(duì)它的正確評(píng)價(jià)。

2 交通大數(shù)據(jù)

2.1 概述

隨著世界范圍內(nèi)城鄉(xiāng)發(fā)展的步伐不斷加快，公路網(wǎng)、鐵路網(wǎng)的大規(guī)模覆蓋，城市的交通建設(shè)成為了越來(lái)越重要的課題。傳統(tǒng)模式下的城市交通建設(shè)、管理等在今天出現(xiàn)了種種弊端。由此，在大數(shù)據(jù)時(shí)代的背景下，通過大數(shù)據(jù)的分析、處理，對(duì)城市交通進(jìn)行動(dòng)態(tài)的指導(dǎo)規(guī)劃成為了目前大數(shù)據(jù)的主要現(xiàn)實(shí)應(yīng)用場(chǎng)景之一。

在高德地圖的“2014年中國(guó)主要城市擁堵分析”報(bào)告中，北京、上海、廣州、深圳、哈爾濱和杭州位于前列，高峰期行車平均速度在20km/h左右徘徊。尤其節(jié)假日黃金周期間，擁堵情況更加嚴(yán)重，使原本脆弱的城市路網(wǎng)的運(yùn)行可靠性越來(lái)越低。

2.2 交通大數(shù)據(jù)來(lái)源

交通大數(shù)據(jù)來(lái)源廣泛，城市交通網(wǎng)每天產(chǎn)生各類交通數(shù)據(jù)不計(jì)其數(shù)。按照類型，交通大數(shù)據(jù)的來(lái)源大致可以分為來(lái)源于人的數(shù)據(jù)、來(lái)源于交通工具的數(shù)據(jù)、來(lái)源于行業(yè)監(jiān)管的數(shù)據(jù)和來(lái)源于其他方面的數(shù)據(jù)幾類。以下將分別就這幾類數(shù)據(jù)來(lái)源做簡(jiǎn)要說(shuō)明：

2.2.1 來(lái)源于人的數(shù)據(jù)。人作為道路交通的主要參與者，汽車駕駛員的駕駛軌跡、交通警察所在路口的位置、公交車乘客的刷卡記錄以及行人的行走軌跡等都是交通參與者的重要數(shù)據(jù)來(lái)源。目前，基于公共交通的電子收費(fèi)數(shù)據(jù)已經(jīng)有了各種豐碩的研究成果和工作。針對(duì)該類數(shù)據(jù)的工作也是目前學(xué)術(shù)界交通大數(shù)據(jù)的研究重點(diǎn)之一。

2.2.2 來(lái)源于交通工具的數(shù)據(jù)。車是城市交通中的主體，按照功能群體可以大致分為公交車、私家車、出租車和網(wǎng)約車4類。每種類型的車都有各自的特點(diǎn)：公交車路線固定，而且能夠直接獲得乘客的刷卡數(shù)據(jù)，得到乘客的上下車地點(diǎn)等信息；私家車涉及的數(shù)據(jù)相對(duì)來(lái)說(shuō)難以獲取，該類數(shù)據(jù)涉及到駕駛?cè)说膫€(gè)人隱私，但同時(shí)也是最為有價(jià)值的一類數(shù)據(jù)；出租車沒有固定路線，但是卻有相對(duì)固定的活動(dòng)范圍；網(wǎng)約車是最近幾年興起的一類新興群體，通過應(yīng)用平臺(tái)的私家車主可以利用空閑時(shí)間提供服務(wù)，緩解高峰期打車難等問題。

此外，基于物聯(lián)網(wǎng)、車聯(lián)網(wǎng)等數(shù)字終端設(shè)備的傳感器采集的車輛信息也是交通大數(shù)據(jù)的重要組成部分。

2.2.3 來(lái)源于行業(yè)的監(jiān)管數(shù)據(jù)。很多特殊行業(yè)，如危險(xiǎn)品運(yùn)輸、快遞服務(wù)業(yè)、貨運(yùn)公司等行業(yè)都會(huì)對(duì)相應(yīng)的業(yè)務(wù)有一定的監(jiān)管數(shù)據(jù)，該類數(shù)據(jù)雖然有一定局限性，但是數(shù)據(jù)準(zhǔn)確性、可靠性非常高。

2.2.4 來(lái)源于其他方面的數(shù)據(jù)。除了上述提到的兩大類數(shù)據(jù)之外，城市道路本身以及天氣等客觀因素其實(shí)也屬于交通大數(shù)據(jù)的一部分。城市各個(gè)主干分支路線的擁堵程度以及天氣對(duì)路況的影響會(huì)在一定程度上決定該段道路的擁堵程度，如果能夠及時(shí)掌握這類數(shù)據(jù)，通過適當(dāng)?shù)乃惴ǚ治鲆约罢{(diào)配，可以在很大程度上緩解交通壓力。

2.3 研究現(xiàn)狀及現(xiàn)階段問題與挑戰(zhàn)

目前交通大數(shù)據(jù)的應(yīng)用場(chǎng)景越來(lái)越多，包括在交通管理中的應(yīng)用、在智能交通中的應(yīng)用、在擁堵檢測(cè)中的應(yīng)用以及在事故分析與處理中的應(yīng)用等多種應(yīng)用場(chǎng)景。

首先，根據(jù)交通大數(shù)據(jù)的分析，可以為城市交通的管理、決策、規(guī)劃和運(yùn)營(yíng)提供有效支持，通過對(duì)客流量的分析優(yōu)化交通規(guī)劃實(shí)現(xiàn)按需控制；其次，根據(jù)道路流量數(shù)據(jù)，通過分析預(yù)測(cè)等手段，隨時(shí)針對(duì)道路突發(fā)狀況進(jìn)行處理，比如封閉事故路段，自動(dòng)將車輛分流至其他路段等；再次，通長(zhǎng)時(shí)間對(duì)交通數(shù)據(jù)的分析處理，可以找出當(dāng)前城市交通網(wǎng)中諸如信號(hào)燈、交通崗、人行橫道等設(shè)置的不合理之處加以調(diào)整；最后，通過交通大數(shù)據(jù)我們還可以在提升城市交通網(wǎng)絡(luò)流暢性的同時(shí)，為車聯(lián)網(wǎng)應(yīng)用、社會(huì)管理等提供一種新的手段和方式。

3 交通大數(shù)據(jù)存儲(chǔ)方案

3.1 MPP關(guān)系型數(shù)據(jù)庫(kù)

MPP架構(gòu)的新型數(shù)據(jù)庫(kù)集群采用SharedNothing結(jié)構(gòu)，通過粗粒度索引、列存儲(chǔ)等技術(shù)，結(jié)合MPP架構(gòu)的分布式計(jì)算模式完成大數(shù)據(jù)的分析和存儲(chǔ)。該類架構(gòu)具有高性能和高擴(kuò)展性的特點(diǎn)，在企業(yè)分析類應(yīng)用領(lǐng)域獲得了廣泛應(yīng)用。而且該架構(gòu)的運(yùn)行環(huán)境多為低成本的服務(wù)器，經(jīng)濟(jì)性上也具有很大優(yōu)勢(shì)。

3.2 基于Hadoop的非關(guān)系型數(shù)據(jù)庫(kù)

Hadoop是由Apache基金會(huì)開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，它的核心思想是HDFS和Map Reduce。通過對(duì)該項(xiàng)開源技術(shù)的擴(kuò)展和封裝，可以將海量數(shù)據(jù)部署到價(jià)格低廉的硬件上，并能夠提高其吞吐量。尤其對(duì)于處理非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及復(fù)雜的ETL流程等，該類型數(shù)據(jù)庫(kù)有著獨(dú)特的優(yōu)勢(shì)。

3.3 大數(shù)據(jù)一體機(jī)

大數(shù)據(jù)一體機(jī)是一種專門為大數(shù)據(jù)設(shè)計(jì)的軟硬件結(jié)合產(chǎn)品。它由一組集成的服務(wù)器、存儲(chǔ)設(shè)備、操作系統(tǒng)和數(shù)據(jù)庫(kù)管理系統(tǒng)構(gòu)成。該類存儲(chǔ)方式具有很好的穩(wěn)定性和縱向擴(kuò)展性。

4 交通大數(shù)據(jù)處理技術(shù)

4.1 Apache Spark

Apache Spark是一套卓越的開源處理引擎，專門面向復(fù)雜分析、高速處理和易用性需求而打造。它提供了很多立足于數(shù)據(jù)結(jié)構(gòu)上的編程接口，因此我們根據(jù)需求完成具有特定功能的處理程序。Spark的處理速度極快，而且支持多種語(yǔ)言為其編寫應(yīng)用，能夠輕松處理實(shí)時(shí)數(shù)據(jù)流，支持復(fù)雜的分析操作。

4.2 Hadoop

Hadoop是一個(gè)開源的分布式處理軟件框架，它的可靠性非常高，它會(huì)假設(shè)元素存儲(chǔ)失敗等場(chǎng)景，維護(hù)多個(gè)數(shù)據(jù)副本，確保能夠?qū)κ〉慕Y(jié)點(diǎn)做出處理重新分配任務(wù)。Hadoop依賴于社區(qū)服務(wù)器，因此成本低廉。

4.3 MapReduce編程模型

MapReduce是一種針對(duì)大規(guī)模數(shù)據(jù)集的并行運(yùn)算提出的編程模型。它使編程人員在不會(huì)分布式編程的情況下能夠?qū)⒊绦蜻\(yùn)行在分布式系統(tǒng)上。它主要運(yùn)用了映射（Map）和歸約（Reduce）的思想，通過指定一個(gè)映射函數(shù)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，之后制定并發(fā)的歸約函數(shù)，保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。

4.4 各類分布式數(shù)據(jù)庫(kù)

隨著數(shù)據(jù)量的日益增長(zhǎng)，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)暴露出越來(lái)越多的問題，由此，以NoSQL為代表的非關(guān)系型數(shù)據(jù)庫(kù)開始飛速發(fā)展，開始了數(shù)據(jù)存儲(chǔ)從集中式數(shù)據(jù)庫(kù)到分布式數(shù)據(jù)庫(kù)的轉(zhuǎn)變。分布式數(shù)據(jù)庫(kù)直接將數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中通過相應(yīng)的查詢語(yǔ)句直接返回查詢結(jié)果。

5 總結(jié)與展望

大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨，并且已經(jīng)應(yīng)用在現(xiàn)實(shí)生活中的方方面面，我們的生活與大數(shù)據(jù)已經(jīng)密不可分。交通大數(shù)據(jù)作為與日常生活息息相關(guān)的一個(gè)大數(shù)據(jù)應(yīng)用領(lǐng)域已經(jīng)有了很多豐碩成果，但是就應(yīng)用流程來(lái)看，從數(shù)據(jù)獲取到數(shù)據(jù)存儲(chǔ)，從數(shù)據(jù)處理到結(jié)果分析都存在著各種各樣的困難與挑戰(zhàn)。因此，想要真正能夠合理高效地利用大數(shù)據(jù)還有很長(zhǎng)的路要走。

參考文獻(xiàn)

[1] 劉維貴.“大數(shù)據(jù)”研究綜述[J].辦公自動(dòng)化：綜合版，2014，7（1）.

[2] 陶雪嬌，胡曉峰，劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學(xué)報(bào)，2013，（s1）.

[3] 段宗濤，鄭西彬，李瑩，等.道路交通大數(shù)據(jù)及其關(guān)鍵技術(shù)研究[J].微電子學(xué)與計(jì)算機(jī)，2015，（6）.

[4] 陸化普，孫智源，屈聞聰.大數(shù)據(jù)及其在城市智能交通系統(tǒng)中的應(yīng)用綜述[J].交通運(yùn)輸系統(tǒng)工程與信息，2015，15（5）.

[5] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計(jì)算機(jī)研究與發(fā)展，2013，50（1）.

作者簡(jiǎn)介：于碩（1990-），女，吉林長(zhǎng)春人，大連財(cái)經(jīng)學(xué)院工商管理學(xué)院助教，碩士，研究方向：數(shù)據(jù)挖掘、圖像處理。

（責(zé)任編輯：王 波）