楊宇偉 顏英
摘? 要:在深入研究大數(shù)據(jù)在公交行業(yè)應(yīng)用的基礎(chǔ)上,本研究提出了公交大數(shù)據(jù)綜合管理平臺(tái)的系統(tǒng)框架,研究設(shè)計(jì)了面向公交行業(yè)管理者、公交營(yíng)運(yùn)管理者和公交出行者的關(guān)鍵應(yīng)用功能。基于容器、微服務(wù)和大數(shù)據(jù)等技術(shù)研制了公交大數(shù)據(jù)集群,并接入公交業(yè)務(wù)真實(shí)數(shù)據(jù)進(jìn)行了平臺(tái)示范應(yīng)用的效果驗(yàn)證,證明了大數(shù)據(jù)挖掘成果的準(zhǔn)確性和系統(tǒng)的可靠性,也證明了該技術(shù)對(duì)提升公交智能化運(yùn)營(yíng)管理效率、行業(yè)監(jiān)管效率和服務(wù)水平具有重要意義。
關(guān)鍵詞:公交大數(shù)據(jù);綜合管理平臺(tái);功能設(shè)計(jì)
中圖分類號(hào):U495;TP311.13? ? ? ?文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):2096-4706(2019)20-0016-04
Abstract:Based on the deep study of the application of big data in the public transportation industry,the paper proposes the system framework of the public transportation integrated management platform based on big data,studied and designed key application functions for public transport industry regulators,public transport operation managers and public travelers,the big data cluster of public transport was developed based on the technology of container,micro-service and big data and access to real data of public transport business to verify the effectiveness of the platform demonstration application,the accuracy of the big data mining results and the reliability of the system was proved. the significance of the technology was also proved in improving the efficiency of bus intelligent operation management,industry supervision efficiency and service level.
Keywords:public transport big data;integrated management platform;functional design
0? 引? 言
公共交通信息系統(tǒng)積累的海量多源異構(gòu)數(shù)據(jù)具有明顯的大數(shù)據(jù)特征,大量的數(shù)據(jù)孤島和數(shù)據(jù)分析處理能力的缺乏,導(dǎo)致大量數(shù)據(jù)資源沒有得到充分有效的利用。隨著移動(dòng)互聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)、云計(jì)算等新一代技術(shù)在交通領(lǐng)域的應(yīng)用日趨成熟,國(guó)內(nèi)多家公司先后在智慧交通領(lǐng)域建設(shè)了交通大腦,如阿里巴巴的雙核“城市大腦+交通小腦”、杭州公交云的“公交數(shù)據(jù)大腦”、海信的“城市智慧心臟”、滴滴的“滴滴大腦”等。它們都對(duì)海量數(shù)據(jù)進(jìn)行了充分利用,挖掘數(shù)據(jù)之間的關(guān)聯(lián),從已有數(shù)據(jù)中挖掘有價(jià)值的信息。
由于現(xiàn)有大數(shù)據(jù)產(chǎn)品更側(cè)重于移動(dòng)支付等公交信息化應(yīng)用,尚未全面覆蓋公交運(yùn)營(yíng)管理和決策等業(yè)務(wù)應(yīng)用,所以沒有實(shí)際有效解決公交運(yùn)營(yíng)管理痛點(diǎn)。為了挖掘更多的公交應(yīng)用潛力,進(jìn)一步提高公交智能化管理運(yùn)營(yíng)效率和服務(wù)水平。本研究深入探索大型公交集團(tuán)運(yùn)營(yíng)管理與決策應(yīng)用需求,從公交行業(yè)管理者、公交營(yíng)運(yùn)管理者和公交出行者的角度進(jìn)行了關(guān)鍵應(yīng)用功能設(shè)計(jì),自主研制了公交大數(shù)據(jù)綜合管理平臺(tái),并基于公交運(yùn)營(yíng)真實(shí)數(shù)據(jù)進(jìn)行了示范應(yīng)用,效果證明該平臺(tái)實(shí)現(xiàn)和提升了公交運(yùn)行的綜合管控效率和運(yùn)營(yíng)效率,對(duì)原有公交行業(yè)智能化管理水平的提升具有重要推動(dòng)作用。
1? 公交大數(shù)據(jù)綜合管理平臺(tái)系統(tǒng)框架設(shè)計(jì)
公交大數(shù)據(jù)綜合管理平臺(tái)通過(guò)底層設(shè)備采集海量多源的公交業(yè)務(wù)原始數(shù)據(jù),經(jīng)過(guò)接入、存儲(chǔ)、處理與分析后,為公交行業(yè)管理者、公交營(yíng)運(yùn)管理者和公交出行者提供不同層面的信息服務(wù)。平臺(tái)系統(tǒng)架構(gòu)如圖1所示。
整個(gè)系統(tǒng)架構(gòu)采用插件化和分層設(shè)計(jì)思想,邏輯上主要分為數(shù)據(jù)采集層、數(shù)據(jù)集成層、平臺(tái)處理層、應(yīng)用層和展示層。每一模塊層通過(guò)邊界接口與上層或下層的模塊層進(jìn)行交互,避免跨層的交互,各功能模塊是高內(nèi)聚、松耦合的。且平臺(tái)從物理安全、網(wǎng)絡(luò)安全、應(yīng)用安全、數(shù)據(jù)安全和主機(jī)安全等方面確保整體的安全性。每層功能的簡(jiǎn)要介紹如下。
(1)數(shù)據(jù)采集層:平臺(tái)將公交基礎(chǔ)數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、流媒體數(shù)據(jù)、地圖數(shù)據(jù)和其他數(shù)據(jù)(如公交客流數(shù)據(jù)、車載GPS數(shù)據(jù)、信號(hào)優(yōu)先數(shù)據(jù)、車輛狀態(tài)數(shù)據(jù)、站臺(tái)/車輛/場(chǎng)站視頻、和天氣等)通過(guò)數(shù)據(jù)集成層匯聚到公交大數(shù)據(jù)平臺(tái)中;
(2)數(shù)據(jù)集成層:數(shù)據(jù)集成層包括數(shù)據(jù)預(yù)處理服務(wù)和消息傳輸服務(wù)。為平臺(tái)提供數(shù)據(jù)導(dǎo)入、抽取清洗、協(xié)議轉(zhuǎn)換、格式處理、數(shù)據(jù)編碼、消息發(fā)布訂閱等功能。通過(guò)ETL工具對(duì)采集的多源異構(gòu)數(shù)據(jù)進(jìn)行預(yù)處理后,將數(shù)據(jù)傳輸?shù)酱髷?shù)據(jù)平臺(tái)存儲(chǔ),或者通過(guò)消息發(fā)布訂閱中間件將數(shù)據(jù)傳輸?shù)狡脚_(tái)處理層。其中數(shù)據(jù)預(yù)處理包括數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)編碼和數(shù)據(jù)加載等,對(duì)數(shù)據(jù)質(zhì)量進(jìn)行判別和處理。比如對(duì)數(shù)據(jù)格式進(jìn)行規(guī)范化轉(zhuǎn)換,過(guò)濾掉對(duì)實(shí)際業(yè)務(wù)毫無(wú)意義的臟數(shù)據(jù),對(duì)不完整的數(shù)據(jù)進(jìn)行補(bǔ)缺操作,對(duì)錯(cuò)誤數(shù)據(jù)進(jìn)行修正,以及按照一定的算法篩選出滿足特定數(shù)據(jù)分析需求的數(shù)據(jù);
(3)平臺(tái)處理層:平臺(tái)處理層包括數(shù)據(jù)存儲(chǔ)與管理、集群資源管理、資源協(xié)調(diào)調(diào)度、大數(shù)據(jù)處理引擎、容器管理和微服務(wù)等功能模塊,為大數(shù)據(jù)的應(yīng)用提供全方位支持。負(fù)責(zé)將數(shù)據(jù)集成層清洗處理后的數(shù)據(jù)進(jìn)行高效的存儲(chǔ)與管理,根據(jù)對(duì)數(shù)據(jù)分析實(shí)時(shí)性和數(shù)據(jù)處理場(chǎng)景的不同需求,利用業(yè)務(wù)規(guī)則或數(shù)據(jù)挖掘等算法在大數(shù)據(jù)處理引擎進(jìn)行分布式計(jì)算,對(duì)公交非實(shí)時(shí)應(yīng)用進(jìn)行離線批處理,對(duì)公交車輛到站預(yù)報(bào)等實(shí)時(shí)應(yīng)用進(jìn)行在線流處理。為了防止集群資源的浪費(fèi),平臺(tái)對(duì)集群資源進(jìn)行管理和協(xié)調(diào)調(diào)度,協(xié)調(diào)多種資源的分配和管理。輔助管理提供易用性、可維護(hù)性以及健壯性的框架,實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)的統(tǒng)一管理和運(yùn)維;
(4)應(yīng)用層:深入研究公交相關(guān)應(yīng)用的規(guī)律和機(jī)理,應(yīng)用層下達(dá)任務(wù)執(zhí)行指令到平臺(tái)處理層,不斷對(duì)算法模型(如到站預(yù)報(bào)、客流分析等算法)進(jìn)行選取、效果評(píng)估驗(yàn)證和調(diào)整優(yōu)化,直至返回的測(cè)評(píng)結(jié)果符合預(yù)期,最終實(shí)現(xiàn)到站預(yù)報(bào)、客流分析等大數(shù)據(jù)應(yīng)用;
(5)展示層:根據(jù)不同用戶的需求,設(shè)計(jì)開發(fā)面向公交行業(yè)管理者、營(yíng)運(yùn)管理者和公眾的可視化示范展示系統(tǒng),可視化呈現(xiàn)公交基礎(chǔ)信息、公交安全運(yùn)營(yíng)信息、服務(wù)綜合水平信息、公交擁擠度信息和公交客流信息等各類信息。
2? 公交大數(shù)據(jù)綜合管理平臺(tái)關(guān)鍵應(yīng)用功能設(shè)計(jì)
本研究主要探索設(shè)計(jì)公交典型業(yè)務(wù)的大數(shù)據(jù)應(yīng)用,從公交營(yíng)運(yùn)管理、公交監(jiān)督和決策等角度設(shè)計(jì)不同的專題,基于公交大數(shù)據(jù)平臺(tái),對(duì)采集的海量公交業(yè)務(wù)數(shù)據(jù)進(jìn)行分析,實(shí)現(xiàn)公交行業(yè)的大數(shù)據(jù)挖掘和應(yīng)用,為公交出行者、營(yíng)運(yùn)管理者和行業(yè)監(jiān)督者提供服務(wù),為輔助決策提供數(shù)據(jù)指標(biāo)支撐,通過(guò)大數(shù)據(jù)平臺(tái)進(jìn)一步提升統(tǒng)計(jì)效率、精確度和實(shí)時(shí)性。
2.1? 面向公交出行者的數(shù)據(jù)挖掘與應(yīng)用
本研究以提高乘客信息發(fā)布的準(zhǔn)確度、擴(kuò)充乘客信息發(fā)布的內(nèi)容和形式、為公眾提供豐富智能化的公眾出行服務(wù)為目的。面向公交出行者的數(shù)據(jù)挖掘與應(yīng)用包括基于視頻監(jiān)控的公交擁擠度信息計(jì)算與發(fā)布和基于大數(shù)據(jù)的公交到站時(shí)間預(yù)測(cè)優(yōu)化等典型應(yīng)用。
2.1.1? 基于視頻監(jiān)控的公交擁擠度信息的計(jì)算與發(fā)布
本研究在基于視頻終端擁擠度識(shí)別技術(shù)和視頻圖像識(shí)別技術(shù)的基礎(chǔ)上,研究設(shè)計(jì)了基于視頻監(jiān)控的車內(nèi)擁擠度判別技術(shù),在公交大數(shù)據(jù)平臺(tái)分析海量視頻流數(shù)據(jù),對(duì)算法模型進(jìn)行迭代優(yōu)化,從而實(shí)現(xiàn)車輛擁擠度、車輛滿載率、車輛乘坐舒適度等指標(biāo)的自動(dòng)發(fā)布,為公眾提供實(shí)時(shí)準(zhǔn)確的交通出行信息服務(wù),幫助出行者根據(jù)交通狀況選擇更合適的出行路線及換乘方式,減少因擁堵造成的時(shí)間成本浪費(fèi)。
2.1.2? 基于大數(shù)據(jù)的公交到站時(shí)間預(yù)測(cè)優(yōu)化
以公交基礎(chǔ)數(shù)據(jù)、公交車輛實(shí)時(shí)到站數(shù)據(jù)為輸入內(nèi)容,考慮天氣、路段、時(shí)間段、工作日等影響因子的權(quán)重,采用支持向量機(jī)和卡爾曼濾波相結(jié)合的方案,設(shè)計(jì)基于大數(shù)據(jù)的公交到站時(shí)間預(yù)測(cè)算法,在公交大數(shù)據(jù)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析比對(duì),迭代優(yōu)化、自主進(jìn)化,不斷對(duì)模型進(jìn)行修正,提高模型的抗干擾能力和預(yù)測(cè)的準(zhǔn)確性。利用大數(shù)據(jù)分析優(yōu)化公交到站時(shí)間預(yù)測(cè),提高到站預(yù)測(cè)的精度和性能。實(shí)時(shí)準(zhǔn)確地為乘客提供公交車輛到站時(shí)間預(yù)測(cè)和到站距離查詢服務(wù),優(yōu)化客戶候車預(yù)期,減輕乘客等候過(guò)程中的焦慮感,從而節(jié)約乘客的出行時(shí)間,提升客戶滿意度,吸引更多乘客采用公交出行方式。
2.2? 面向公交營(yíng)運(yùn)管理者的數(shù)據(jù)挖掘與應(yīng)用
本研究以提高營(yíng)運(yùn)管理者的綜合管理效率為目的。面向公交營(yíng)運(yùn)管理者的數(shù)據(jù)挖掘與應(yīng)用包括基于大數(shù)據(jù)的公交行車計(jì)劃智能編制、基于大數(shù)據(jù)的公交客流信息分析、基于大數(shù)據(jù)的公交安全隱患監(jiān)測(cè)等典型應(yīng)用。
2.2.1? 基于大數(shù)據(jù)的公交行車計(jì)劃智能編制
現(xiàn)有的行車計(jì)劃以人工編制為主,依賴編制者的經(jīng)驗(yàn),更新頻率較低,無(wú)法滿足需求供給變化和應(yīng)對(duì)突發(fā)情況。利用公交大數(shù)據(jù)處理平臺(tái)匯聚的海量多源數(shù)據(jù),設(shè)計(jì)基于大數(shù)據(jù)的公交行車計(jì)劃智能編制算法,在深度學(xué)習(xí)中對(duì)算法模型進(jìn)行效果評(píng)估和不斷修正,根據(jù)不同場(chǎng)景(比如天氣、活動(dòng)、節(jié)假日等)自動(dòng)優(yōu)化運(yùn)行計(jì)劃,提高運(yùn)行計(jì)劃編制的智能化程度,輔助公交運(yùn)營(yíng)部門掌握城市客流波動(dòng)趨勢(shì)和線網(wǎng)運(yùn)能飽和度,精確制定調(diào)度排班計(jì)劃,實(shí)現(xiàn)實(shí)時(shí)智能調(diào)配,提高調(diào)度管理效率,為進(jìn)一步開辟全新公共交通線路、輔助線路優(yōu)化等提供支持,實(shí)現(xiàn)公共出行供需側(cè)運(yùn)力平衡。
2.2.2? 基于大數(shù)據(jù)的公交客流信息分析
通過(guò)客流采集設(shè)備、GPS、售票機(jī)、閘機(jī)等多源公交客流數(shù)據(jù),結(jié)合圖像識(shí)別處理和時(shí)間對(duì)應(yīng)法則等技術(shù),對(duì)客流出行特征、人群時(shí)空分布等進(jìn)行大數(shù)據(jù)分析,用各種方式(如不同顏色、報(bào)表等)向運(yùn)營(yíng)管理者展示線路客流情況,展示不同時(shí)空層次下不同線路、班次或站點(diǎn)的客流分布。為公交計(jì)劃排班、公交調(diào)度及線路調(diào)整提供數(shù)據(jù)支撐。
平臺(tái)還可以預(yù)測(cè)客流高峰時(shí)間段,通過(guò)對(duì)大客流進(jìn)行自動(dòng)識(shí)別、預(yù)警和實(shí)時(shí)監(jiān)控,為應(yīng)急預(yù)案提供輔助支撐,包括輔助高峰時(shí)間段大站排班調(diào)整,運(yùn)營(yíng)時(shí)間調(diào)整等優(yōu)化方案的制定。在該時(shí)間段內(nèi)適當(dāng)增加車輛班次,緩解運(yùn)力緊張。
2.2.3? 基于大數(shù)據(jù)的公交安全隱患監(jiān)測(cè)分析
采集公交車輛、駕駛員、線路、場(chǎng)站等數(shù)據(jù),比如駕駛員的年齡、身體狀況、駕齡方面的數(shù)據(jù),以及線路重點(diǎn)站臺(tái)和路段、場(chǎng)站車速管控、人車分離等方面的數(shù)據(jù)。運(yùn)用關(guān)聯(lián)規(guī)則算法,找到和事故有強(qiáng)關(guān)聯(lián)的影響因素,結(jié)合視頻圖像識(shí)別技術(shù),在大數(shù)據(jù)平臺(tái)通過(guò)車輛實(shí)時(shí)運(yùn)行數(shù)據(jù)和視頻監(jiān)控畫面提取分析駕駛員的疲勞駕駛和酒駕等情況,生成公交車輛和駕駛員的安全畫像。對(duì)行車過(guò)程中的車輛和駕駛員的安全隱患進(jìn)行組合風(fēng)險(xiǎn)評(píng)估和實(shí)時(shí)排名分析,實(shí)現(xiàn)對(duì)車輛和駕駛員安全行車的實(shí)時(shí)監(jiān)測(cè)和報(bào)警預(yù)警,為安全行車提供決策支持。對(duì)安全風(fēng)險(xiǎn)較高的異常車輛(如事故高發(fā)公交車輛)進(jìn)行重點(diǎn)監(jiān)控,增加維護(hù)頻率。在行駛過(guò)程中對(duì)組合風(fēng)險(xiǎn)較高的駕駛員(如疲勞駕駛)進(jìn)行實(shí)時(shí)安全提醒或報(bào)警等。為安全行車和車輛調(diào)配提供信息化判斷標(biāo)準(zhǔn),減少惡性交通事故率。同時(shí)利用高密度采樣調(diào)查獲得秒級(jí)GPS定位數(shù)據(jù),提高違法公交車輛的追蹤效率。
2.3? 面向公交行業(yè)監(jiān)督與決策者的數(shù)據(jù)挖掘與應(yīng)用
本研究以加強(qiáng)對(duì)行業(yè)的管理范圍和力度,且為決策提供準(zhǔn)確合理的數(shù)據(jù)支撐為目的,為實(shí)現(xiàn)政府高效管理提供可能。面向公交行業(yè)管理與決策者的數(shù)據(jù)挖掘與應(yīng)用主要包括基于大數(shù)據(jù)的公交行業(yè)區(qū)級(jí)管理等典型應(yīng)用。
采集公交運(yùn)營(yíng)事故和服務(wù)等數(shù)據(jù),在公交大數(shù)據(jù)綜合管理平臺(tái)進(jìn)行處理分析,生成與企業(yè)營(yíng)運(yùn)服務(wù)、安全事故、違章、信訪處理、媒體投訴等有關(guān)的重要指標(biāo)數(shù)據(jù),找到公交吸引力不夠、事故發(fā)生等的深層次原因,有助于管理部門采取監(jiān)管措施,加大檢查核查力度,提高檢查核查頻率,督促企業(yè)進(jìn)行整改,提升服務(wù)水平和安全管理水平。實(shí)踐證明,該平臺(tái)的大數(shù)據(jù)分析結(jié)果是準(zhǔn)確合理的,能達(dá)到管理預(yù)警的目標(biāo),從而提高管理效率。
2.4? 公交大數(shù)據(jù)平臺(tái)特點(diǎn)
考慮到未來(lái)幾年內(nèi)或更長(zhǎng)時(shí)間內(nèi)的數(shù)據(jù)應(yīng)用和業(yè)務(wù)發(fā)展要求,平臺(tái)系統(tǒng)框架從各個(gè)環(huán)節(jié)采用集群化微服務(wù)架構(gòu)和容器管理服務(wù),微服務(wù)架構(gòu)具有可獨(dú)立部署、擴(kuò)展性強(qiáng)、擴(kuò)展時(shí)對(duì)已有系統(tǒng)幾乎無(wú)影響等特點(diǎn),容器技術(shù)為系統(tǒng)的部署、升級(jí)提供了便利,確保了平臺(tái)的高可靠性和易擴(kuò)展性。
2.4.1? 數(shù)據(jù)接入層面
數(shù)據(jù)采集層具有易擴(kuò)展性,接入數(shù)據(jù)來(lái)源開放,可接入更多公交運(yùn)營(yíng)業(yè)務(wù)數(shù)據(jù)或其他行業(yè)數(shù)據(jù)。數(shù)據(jù)集成層采用集群化方式部署,確保服務(wù)的高可靠性。
2.4.2? 軟件組件層面
平臺(tái)采用集群化方式部署,提供容器管理和微服務(wù),在實(shí)現(xiàn)數(shù)據(jù)共享和交換的同時(shí),注重對(duì)數(shù)據(jù)和應(yīng)用實(shí)現(xiàn)隔離與保護(hù),確保了軟件的可靠性、安全性和可擴(kuò)展性。
2.4.3? 應(yīng)用功能層面
隨著業(yè)務(wù)需求的增多,應(yīng)用功能層面可以實(shí)現(xiàn)更廣泛、更全面的功能。應(yīng)用層采用集群化微服務(wù)和容器管理服務(wù),微服務(wù)以鏡像的形式運(yùn)行在容器中。各個(gè)算法模塊和應(yīng)用通過(guò)微服務(wù)的形式進(jìn)行快速部署以及對(duì)外提供服務(wù),提高了應(yīng)用層的靈活性和易擴(kuò)展性。平臺(tái)還提供單點(diǎn)登錄功能,支持各應(yīng)用系統(tǒng)以超鏈接或單點(diǎn)登錄的方式接入平臺(tái),用戶一次登錄即可訪問多個(gè)相互信任的應(yīng)用系統(tǒng),無(wú)需重復(fù)登錄,有助于提升用戶體驗(yàn)。
3? 公交大數(shù)據(jù)綜合管理平臺(tái)示范應(yīng)用
在研究系統(tǒng)框架和關(guān)鍵應(yīng)用功能的基礎(chǔ)上,本文的研究搭建了公交大數(shù)據(jù)集群環(huán)境,并接入真實(shí)數(shù)據(jù)完成了公交大數(shù)據(jù)綜合管理平臺(tái)的工程示范應(yīng)用。
3.1? 平臺(tái)環(huán)境搭建
對(duì)比分析市面上受認(rèn)可的Hadoop大數(shù)據(jù)平臺(tái)發(fā)行版,如華為、Intel、Cloudera、MapR以及HortonWorks等發(fā)行版,綜合考慮平臺(tái)的開源性、穩(wěn)定性、強(qiáng)大社區(qū)支持、費(fèi)用和業(yè)務(wù)需求等各方面因素,最終選擇Cloudera來(lái)搭建公交大數(shù)據(jù)的示范應(yīng)用平臺(tái)。
Cloudera提供了一個(gè)穩(wěn)定集成和可擴(kuò)展的企業(yè)級(jí)大數(shù)據(jù)管理平臺(tái),方便對(duì)集群各組件進(jìn)行安裝部署和管理[1]。Kubernetes是一個(gè)基于容器技術(shù)和微服務(wù)架構(gòu)的分布式系統(tǒng)支撐平臺(tái),具備可擴(kuò)展的資源自動(dòng)調(diào)度和智能負(fù)載均衡等能力[2]。本研究采用Kubernetes+Cloudera部署了三節(jié)點(diǎn)的大數(shù)據(jù)集群環(huán)境。
集群采用50M運(yùn)營(yíng)商專線網(wǎng)絡(luò),所有節(jié)點(diǎn)都連接到相同的接入層交換機(jī),實(shí)現(xiàn)平臺(tái)數(shù)據(jù)互通和資源調(diào)度。網(wǎng)絡(luò)拓?fù)淙鐖D2所示,平臺(tái)環(huán)境部署在三節(jié)點(diǎn)服務(wù)器上,通過(guò)交換機(jī)為公交大數(shù)據(jù)綜合管理平臺(tái)提供高效可靠安全的信息交換服務(wù),數(shù)據(jù)流可直接在應(yīng)用服務(wù)、數(shù)據(jù)與終端用戶之間傳輸。
3.2? 平臺(tái)應(yīng)用數(shù)據(jù)接入
本平臺(tái)采集匯聚了公交基礎(chǔ)數(shù)據(jù)、實(shí)時(shí)數(shù)據(jù)、流媒體數(shù)據(jù)、地圖數(shù)據(jù)和其他數(shù)據(jù)等五類數(shù)據(jù),實(shí)現(xiàn)了數(shù)據(jù)接入規(guī)范化和集中管理,為公交大數(shù)據(jù)挖掘和應(yīng)用提供數(shù)據(jù)資源。接入的五類數(shù)據(jù)信息分別如下:
(1)基礎(chǔ)數(shù)據(jù):停車誘導(dǎo)屏基礎(chǔ)信息、公交企業(yè)基礎(chǔ)信息、公交場(chǎng)站基礎(chǔ)信息、公交站點(diǎn)信息、站牌站桿基礎(chǔ)信息、公交線路基礎(chǔ)信息、公交車輛基礎(chǔ)信息、公交從業(yè)人員基礎(chǔ)信息等數(shù)據(jù)項(xiàng);
(2)實(shí)時(shí)數(shù)據(jù):計(jì)劃排班信息、運(yùn)營(yíng)調(diào)度信息、票務(wù)信息、停車誘導(dǎo)信息、公交客流信息、車輛到站信息、公交車輛狀態(tài)信息、場(chǎng)站進(jìn)出口信息、車輛位置信息、公交服務(wù)信息、公交投訴信息、事故信息、能耗信息、新能源信息等;
(3)流媒體數(shù)據(jù):場(chǎng)站視頻信息、公交車載視頻信息等;
(4)地圖數(shù)據(jù):區(qū)縣行政界限、街鎮(zhèn)行政界限、水域、道路、河流、綠化、地形、橋梁信息等;
(5)其他數(shù)據(jù):天氣信息、環(huán)境信息、各類統(tǒng)計(jì)報(bào)表等數(shù)據(jù)項(xiàng)。
3.3? 平臺(tái)應(yīng)用效果
本平臺(tái)接入了上海某公交運(yùn)營(yíng)公司某些線路的真實(shí)數(shù)據(jù),根據(jù)營(yíng)運(yùn)管理者和行業(yè)監(jiān)督者的管理需求,可視化呈現(xiàn)各類管理數(shù)據(jù)信息(如綜合管理、安全管理、服務(wù)質(zhì)量等)。公交大數(shù)據(jù)綜合管理平臺(tái)應(yīng)用示范可視化展示如圖3所示。對(duì)面向公交行業(yè)管理者、公交營(yíng)運(yùn)管理者和公交出行者的關(guān)鍵應(yīng)用功能進(jìn)行了平臺(tái)示范應(yīng)用的效果驗(yàn)證,證明了大數(shù)據(jù)挖掘與應(yīng)用成果的準(zhǔn)確性和系統(tǒng)的可靠性,證明了本平臺(tái)對(duì)提升公交運(yùn)行的智能化運(yùn)營(yíng)管理和服務(wù)水平具有重要意義。
4? 結(jié)? 論
本研究從工程應(yīng)用的角度深入探索公交業(yè)務(wù)需求,對(duì)公交大數(shù)據(jù)綜合管理平臺(tái)的系統(tǒng)框架、平臺(tái)關(guān)鍵應(yīng)用功能和公交大數(shù)據(jù)部署環(huán)境進(jìn)行了詳細(xì)介紹。本平臺(tái)接入大量真實(shí)數(shù)據(jù)到研究環(huán)境中進(jìn)行測(cè)試和驗(yàn)證,證明了大數(shù)據(jù)挖掘成果的準(zhǔn)確性和關(guān)鍵應(yīng)用功能的可推廣性。在既有技術(shù)積累和項(xiàng)目實(shí)踐經(jīng)驗(yàn)的基礎(chǔ)上,未來(lái)本成果會(huì)面向市場(chǎng),并能帶來(lái)經(jīng)濟(jì)效益。
本平臺(tái)目前針對(duì)的是公交行業(yè)的綜合管理,接入的數(shù)據(jù)有限,應(yīng)用不廣泛。隨著需求的不斷增多,平臺(tái)會(huì)接入更多其他行業(yè)的數(shù)據(jù),更多數(shù)據(jù)的共享交換和深度融合會(huì)挖掘出更多更有價(jià)值的信息,使大數(shù)據(jù)應(yīng)用研究更全面,給予工程應(yīng)用更多智能化提升方面的幫助。
參考文獻(xiàn):
[1] 宋立桓,陳建平.Cloudera Hadoop大數(shù)據(jù)平臺(tái)實(shí)戰(zhàn)指南 [M].北京:清華大學(xué)出版社,2019.
[2] 龔正,吳治輝,王偉,等.Kubernetes權(quán)威指南:從Docker到Kubernetes實(shí)踐全接觸:第2版 [M].北京:電子工業(yè)出版社,2016.
作者簡(jiǎn)介:楊宇偉(1986.11-),男,漢族,上海寶山人,工程師,碩士研究生,研究方向:系統(tǒng)集成。