李鐸 賴粵

摘要：大數(shù)據(jù)吸引了越來越多的關注并應用于不同的研究領域。文章重點闡述了車載自組織網(wǎng)絡中的幾點關鍵問題，具體映射大數(shù)據(jù)的4V特征，提出車載大數(shù)據(jù)處理平臺框架，探索新的解決思路。

關鍵詞：車載自組織網(wǎng)絡；云計算；大數(shù)據(jù)；Hadoop； Spark

2011年5月，在“云計算相遇大數(shù)據(jù)”為主題的EMCWorld 2011會議中，EMC拋出了大數(shù)據(jù)（Big Data）概念。根據(jù)IDC的定義：大數(shù)據(jù)技術被設計用于在成本可承受的條件下，通過非?？焖伲╲elocity）的采集、發(fā)現(xiàn)和分析，從大量（volumes）、多類別（variety）的數(shù)據(jù)中提取價值（value），將是IT領域新一代的技術與架構。

在通信系統(tǒng)中大數(shù)據(jù)技術的實現(xiàn)主要是通過收集和整合來自異構服務所提供的數(shù)據(jù)。在異構網(wǎng)絡環(huán)境中，深入的科學研究有待突破，使得技術服務更加貼近用戶需求。這一塊的研究主要集中包含有大規(guī)模分布式數(shù)據(jù)處理平臺（Hadoop）提供的數(shù)據(jù)倉庫產(chǎn)品和一些數(shù)據(jù)分析技術，比如機器學習和數(shù)據(jù)挖掘等。

大數(shù)據(jù)時下還是一個新興的熱門技術，不可避免地碰到諸多挑戰(zhàn)，需要采用合適的技術去管理和分析大數(shù)據(jù)創(chuàng)造價值，增加預測的準確性，提高管理和安全性。

車載自組織網(wǎng)絡（Vehicular AdHoc Networks，VANETs）被認為是智能交通系統(tǒng)的一部分，是以車為節(jié)點的一種特殊形式的移動自組織網(wǎng)絡，在交通工程中有其自身的一些特點，近年來得到更廣泛的關注。車載自組織網(wǎng)絡由2個部分組成：車與車之間的通信（V2V），車與路邊基礎設施之間的無線通信（V21）。每輛自發(fā)參與的車變?yōu)橐粋€中繼或者無線節(jié)點連接其他的車輛，從而成為網(wǎng)絡的一部分，覆蓋的范圍大概是l00-300m之間。一旦車輛行駛超出這個范圍，網(wǎng)絡就會掉線。

汽車現(xiàn)在已經(jīng)是人們生活中的一部分，車輛作為移動終端越發(fā)智能化，在車載自組織網(wǎng)絡中，數(shù)據(jù)由車輛和路側(cè)單元配置的智能傳感器件生成，從而導致不斷增加的數(shù)據(jù)復雜度，特別是突發(fā)的數(shù)據(jù)量增大，需要結合云計算的彈性進行快速處理?；谲囕d自組織網(wǎng)絡的車載安全、安保、信息娛樂、交通信息、導航、車輛故障診斷、預判等業(yè)務蓬勃發(fā)展。不難看出，在車載自組織網(wǎng)絡應用需求的推動下，大數(shù)據(jù)無疑為其提供了堅實的技術后盾。因為無論是車輛的接入、服務內(nèi)容的選擇還是服務的精準性，都為大數(shù)據(jù)提供了有利的介入空間。大數(shù)據(jù)很平滑地拓展到了交通領域。通過應用大數(shù)據(jù)技術，可以從巨量的操作數(shù)據(jù)中獲得更好的認知和了解，以期提高交通管理效率。

1 車載自組織網(wǎng)絡中的大數(shù)據(jù)問題

大數(shù)據(jù)的特征通常用4個V來概括：大量化（Volume）、多樣化（Variety）、快速化（Velocity）、價值密度低（Value），只有具備這些特點的數(shù)據(jù)，才是大數(shù)據(jù)。大數(shù)據(jù)是工程技術和策略技術的結合。大數(shù)據(jù)要求改變?nèi)藗円酝鶎_性的苛求，轉(zhuǎn)而追求混雜性，不再偏執(zhí)于對因果關系的追問，轉(zhuǎn)為追求相關關系，這種思維的轉(zhuǎn)變是革命性的。

車載自組織網(wǎng)絡前進的動力主要來自于大眾的應用需求，交通安全、交通堵塞、車輛智能管理、環(huán)境保護等一系列問題。本文試圖闡述將車載自組織網(wǎng)絡的特征映射到大數(shù)據(jù)的屬性，以期驗證車載自組織網(wǎng)絡中的有些問題可被當作大數(shù)據(jù)問題，并使用大數(shù)據(jù)技術進行解決分析處理。這些問題包括：

實時數(shù)據(jù)：車載自組織網(wǎng)絡中的數(shù)據(jù)是實時更新的并存儲在數(shù)據(jù)庫中，生成很大的表給予路由決策使用。這部分對應大數(shù)據(jù)的體量大的特征，巨量的數(shù)據(jù)由不同的數(shù)據(jù)源實時生成。

變化的網(wǎng)絡密度：車輛配置的智能傳感器件產(chǎn)生不同形式的數(shù)據(jù)，網(wǎng)絡的密度隨著車輛密度而改變。這部分對應大數(shù)據(jù)的多樣性特征，包含有結構化數(shù)據(jù)和非結構化數(shù)據(jù)。

高度動態(tài)拓撲和移動模型：車輛作為中繼或者節(jié)點的網(wǎng)絡中，由于速度的高度改變影響頻繁的網(wǎng)絡分片和網(wǎng)絡密度的變化。這部分吻合大數(shù)據(jù)快速化特征，不單單是生成數(shù)據(jù)速率很快，而且也要求處理輸入數(shù)據(jù)的耗時更短。

大規(guī)模網(wǎng)絡和超強計算能力：大規(guī)模網(wǎng)絡中汽車配置的智能傳感期間增強了節(jié)點的計算能力，這要求抽取數(shù)據(jù)的價值來預測路由決策。這部分對應于大數(shù)據(jù)的價值密度特征，在對節(jié)點分析和預測行為以期論證某個理論或者做決策優(yōu)化的時候很重要。

因此，車載自組織網(wǎng)絡問題可以被當作一個很好的大數(shù)據(jù)分析的案例。

2 車載自組織網(wǎng)絡的大數(shù)據(jù)分析

車載自組織網(wǎng)絡的研究有助于改善交通系統(tǒng)、供應鏈管理以及物流。通過GPS、RFID、傳感器、攝像頭處理等裝置獲得道路、汽車和駕駛員成千上萬的變量參數(shù)，車輛可以完成自身環(huán)境和狀態(tài)信息的采集。弄清道路的交通流量、本地天氣情況、駕駛員的操作習慣以及對突發(fā)情況的應變反應。這個規(guī)模是巨大的。僅百萬公里的道路、百萬輛的汽車、百萬名的駕駛員幾年下來提供的數(shù)據(jù)量就很令人震驚。當下，唯有采用大數(shù)據(jù)技術可在合理的時間對這些巨量的數(shù)據(jù)進行處理才能獲取有價值的東西。

在汽車及其相關的設備已經(jīng)或正在向數(shù)字化轉(zhuǎn)變的今天，汽車產(chǎn)業(yè)生態(tài)圈急需大數(shù)據(jù)技術對數(shù)據(jù)進行處理，并使之產(chǎn)生真正可見的價值。從技術上講，它包括大數(shù)據(jù)的收集、轉(zhuǎn)化、存儲、分析、共享、可視化和應用集成等領域，需要對產(chǎn)生于各系統(tǒng)終端的結構化、非結構化數(shù)據(jù)進行采集，對數(shù)據(jù)分析挖掘，建立相關模型，并針對客戶及行業(yè)需求。

一個簡單的服務應用就能夠產(chǎn)生、收集很多類型的數(shù)據(jù)。數(shù)據(jù)產(chǎn)生的速度很快并且要求快速的處理。這些數(shù)據(jù)隱藏了部分有價值的信息，必須進行深入的挖掘、分析。車載大數(shù)據(jù)的處理，就是挖掘其中的隱含價值，將大數(shù)據(jù)從某個方面進行加工處理得到特定業(yè)務的便利性甚至是預見性的核心數(shù)據(jù)。傳統(tǒng)的關系型數(shù)據(jù)庫處理不了這么巨大的數(shù)據(jù)，大數(shù)據(jù)必然無法用單臺的計算機進行處理，必須采用分布式計算架構。對海量數(shù)據(jù)的挖掘必須依托云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術，需要采用新的技術來處理這么巨量車載大數(shù)據(jù)。本文重點考察2個具有代表性的技術：

Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力高速運算和存儲。Hadoop的框架的最核心的設計就是：HDFS和MapReduce。HDFS實現(xiàn)存儲，而MapReduce實現(xiàn)分析處理。主要應用批量處理，計算完成的數(shù)據(jù)如需數(shù)據(jù)倉庫的存儲，存入Hive中，然后進行展現(xiàn)。

Spark為大數(shù)據(jù)的多種計算場景提供了一個通用的計算引擎，它立足于內(nèi)存計算，兼顧數(shù)據(jù)倉庫、流處理和圖計算等多種計算范式，是大數(shù)據(jù)系統(tǒng)領域的全棧計算平臺。針對源源不斷的數(shù)據(jù)，可以盡快處理，不產(chǎn)生積壓。在迭代處理、流式處理中表現(xiàn)優(yōu)異，提供的MLib組件實現(xiàn)了很多的機器學習算法。

本文綜合上述2個技術提出車載大數(shù)據(jù)處理平臺框架，如圖1所示，可兼容離線、近實時和實時環(huán)境下的不同業(yè)務場景。當大數(shù)據(jù)聯(lián)合車載自組織網(wǎng)絡提供服務時，車載大數(shù)據(jù)所包含的豐富的興趣點和海量資料，通過整合地圖資源和LBS領域的優(yōu)秀數(shù)據(jù)，挖掘客戶深層次的需求，為客戶提供增值應用服務。

3 結語

隨著云時代的來臨，大數(shù)據(jù)技術也滲透到了不同的研究和應用領域。車載自組織網(wǎng)絡作為以車為節(jié)點的一種特殊形式的移動自組織網(wǎng)絡，借助大數(shù)據(jù)技術的力量，可以煥發(fā)新的生機。