鞠軍,李照彬
(1.新疆交通建設(shè)管理局,新疆 烏魯木齊 830049,2.北京交科公路勘察設(shè)計(jì)研究院有限公司,北京 100083)
近年來(lái),國(guó)家大力發(fā)展智慧交通,推動(dòng)大數(shù)據(jù)、云計(jì)算、人工智能等新技術(shù)在交通領(lǐng)域的應(yīng)用,全國(guó)各地的高速公路管理部門(mén)也在開(kāi)發(fā)和使用智慧交通系統(tǒng)方面進(jìn)行了大量嘗試,各省高速公路運(yùn)營(yíng)管理部門(mén)也在逐步規(guī)劃大數(shù)據(jù)中心建設(shè)[1]。為此,本文基于現(xiàn)有的省級(jí)高速公路運(yùn)營(yíng)管理業(yè)務(wù)系統(tǒng)的運(yùn)行情況和運(yùn)營(yíng)管理中發(fā)現(xiàn)的實(shí)際問(wèn)題,提出了省級(jí)高速公路大數(shù)據(jù)中心技術(shù)方案。
目前,經(jīng)過(guò)多年信息化建設(shè)、視頻上云改造、全國(guó)取消省界收費(fèi)站等,大部分省份高速公路在基礎(chǔ)設(shè)施、路網(wǎng)感知、出行服務(wù)等方面信息化程度得到提升,各省份基本建成了涵蓋路網(wǎng)運(yùn)行監(jiān)測(cè)、機(jī)電系統(tǒng)運(yùn)維、收費(fèi)數(shù)據(jù)統(tǒng)計(jì)分析等高速公路主要業(yè)務(wù)的信息化系統(tǒng),相關(guān)數(shù)據(jù)已形成一定規(guī)模。加之取消高速公路省界收費(fèi)站工程實(shí)施后,高速公路收費(fèi)系統(tǒng)進(jìn)行了大幅調(diào)整,設(shè)置ETC 門(mén)架系統(tǒng)實(shí)現(xiàn)車(chē)輛通行費(fèi)分段計(jì)費(fèi),MTC 車(chē)輛使用5.8GHz 復(fù)合通行卡作為通行介質(zhì),收費(fèi)數(shù)據(jù)格式進(jìn)行了改變,門(mén)架流水、車(chē)牌抓拍數(shù)據(jù)大幅增加,可有效支撐交通大數(shù)據(jù)分析應(yīng)用,具備開(kāi)展大數(shù)據(jù)中心建設(shè)的條件和基礎(chǔ)。
(1)數(shù)據(jù)融合困難
隨著高速公路路網(wǎng)的不斷擴(kuò)大和數(shù)字化建設(shè)的不斷推進(jìn),高速公路管控服務(wù)系統(tǒng)規(guī)模和數(shù)據(jù)體量呈指數(shù)增長(zhǎng),但各業(yè)務(wù)系統(tǒng)獨(dú)立開(kāi)發(fā)運(yùn)營(yíng),數(shù)據(jù)無(wú)法在各業(yè)務(wù)系統(tǒng)間流暢運(yùn)轉(zhuǎn),統(tǒng)計(jì)數(shù)據(jù)時(shí)往往需在多個(gè)業(yè)務(wù)系統(tǒng)中人工調(diào)取,根據(jù)要求手動(dòng)建立數(shù)據(jù)庫(kù)表,增加了運(yùn)營(yíng)管理難度。視頻等非結(jié)構(gòu)化數(shù)據(jù)也很難與管理系統(tǒng)中的結(jié)構(gòu)化數(shù)據(jù)相結(jié)合,突發(fā)應(yīng)急事件時(shí)需根據(jù)事件上報(bào)信息,手動(dòng)查找、調(diào)取對(duì)應(yīng)視頻圖片,難以實(shí)現(xiàn)數(shù)據(jù)的融合應(yīng)用。
(2)業(yè)務(wù)系統(tǒng)改動(dòng)難度大
現(xiàn)有高速公路業(yè)務(wù)系統(tǒng)普遍存在因開(kāi)發(fā)時(shí)間早,業(yè)務(wù)流程難以滿(mǎn)足現(xiàn)有管理需求的問(wèn)題。經(jīng)過(guò)多年運(yùn)行,業(yè)務(wù)系統(tǒng)與外場(chǎng)設(shè)施結(jié)合也較為緊密,升級(jí)業(yè)務(wù)系統(tǒng)所需的成本也隨之增加,同時(shí)管理單位業(yè)務(wù)人員對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)更加熟悉。以上多種因素疊加導(dǎo)致難以對(duì)業(yè)務(wù)系統(tǒng)直接進(jìn)行徹底的更換、升級(jí),影響了高速公路運(yùn)營(yíng)管控服務(wù)水平。
(3)性能難以匹配數(shù)據(jù)增長(zhǎng)
經(jīng)過(guò)多年信息化系統(tǒng)建設(shè)和視頻云聯(lián)網(wǎng)改造等,高速公路業(yè)務(wù)系統(tǒng)具備了一定的信息化能力,但隨著視頻云聯(lián)網(wǎng)改造后視頻資源大幅度增加,外場(chǎng)監(jiān)控設(shè)備不斷加密,新建路段不斷接入,加之取消省界收費(fèi)站后,收費(fèi)模式發(fā)生了變化,數(shù)據(jù)體量大幅增加,業(yè)務(wù)系統(tǒng)核心硬件設(shè)備處理能力難以支撐業(yè)務(wù)系統(tǒng)運(yùn)行。此外,根據(jù)各省十四五規(guī)劃,高速公路路網(wǎng)里程都大幅提升,隨之帶來(lái)的車(chē)輛通行數(shù)據(jù)量大幅增加,核心設(shè)備的數(shù)據(jù)處理能力、數(shù)據(jù)存儲(chǔ)容量和信息安全防護(hù)能力都難以匹配數(shù)據(jù)的爆發(fā)式增長(zhǎng)。
針對(duì)高速公路管理運(yùn)營(yíng)中的實(shí)際問(wèn)題,本文對(duì)高速公路大數(shù)據(jù)中心建設(shè)方案進(jìn)行了研究,提出以下解決方案。
依據(jù)資源整合、充分利舊的理念,在不改變現(xiàn)有業(yè)務(wù)系統(tǒng)的基礎(chǔ)上,以互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、AI等新一代信息技術(shù)為手段,建設(shè)開(kāi)放共享、彈性擴(kuò)容的大數(shù)據(jù)云平臺(tái),部署全量的數(shù)據(jù)應(yīng)用處理工具,實(shí)現(xiàn)完備的大數(shù)據(jù)分析應(yīng)用功能。充分整合業(yè)務(wù)系統(tǒng)數(shù)據(jù)資源,運(yùn)用云平臺(tái)計(jì)算存儲(chǔ)資源,初步應(yīng)用大數(shù)據(jù)融合、分析、挖掘能力,實(shí)現(xiàn)高速公路運(yùn)營(yíng)管理、出行服務(wù)等方面流量預(yù)測(cè)、態(tài)勢(shì)分析等典型應(yīng)用和可視化展示[2]。
軟件平臺(tái)采用混合云架構(gòu)保證關(guān)鍵業(yè)務(wù)和信息的本地安全性,又能實(shí)現(xiàn)隨著業(yè)務(wù)擴(kuò)展向公有云溢出,保障云環(huán)境的靈活性和可擴(kuò)展性,實(shí)現(xiàn)對(duì)業(yè)務(wù)隨需應(yīng)變的支持;而在具備特殊需求的復(fù)雜關(guān)鍵業(yè)務(wù)上,其靈活性也能讓各信息系統(tǒng)在二者之間切換。
云平臺(tái)總體架構(gòu)如圖1所示。
圖1 云平臺(tái)總體架構(gòu)圖
云平臺(tái)主要包含三層架構(gòu):基礎(chǔ)資源層、平臺(tái)層、應(yīng)用層。
基礎(chǔ)資源層為統(tǒng)一的資源共享平臺(tái),采用業(yè)界成熟的云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù),建立資源共享池服務(wù)于上層需求,提高資源利用率和自動(dòng)化管控程度,以適用于大型分布式應(yīng)用和大數(shù)據(jù)分析處理的技術(shù)要求。
平臺(tái)層構(gòu)建以安全、可靠、彈性為核心的分布式技術(shù)平臺(tái)架構(gòu),滿(mǎn)足業(yè)務(wù)靈活多變的要求,實(shí)現(xiàn)應(yīng)用快速迭代。將技術(shù)組件共享的部分抽象在該層實(shí)現(xiàn),構(gòu)建具有PB 級(jí)數(shù)據(jù)處理能力的大數(shù)據(jù)技術(shù)平臺(tái),支撐內(nèi)外部信息資源的整合共享、海量異構(gòu)數(shù)據(jù)的高效處理與數(shù)據(jù)服務(wù)能力的彈性擴(kuò)展,實(shí)現(xiàn)大數(shù)據(jù)分析常態(tài)化。
上層為應(yīng)用層,基于下面兩層面向創(chuàng)新應(yīng)用在該層實(shí)現(xiàn),為運(yùn)營(yíng)方、管理方提供服務(wù)。
(1)基礎(chǔ)資源層建設(shè)方案
基礎(chǔ)資源層主要建設(shè)基于虛擬化技術(shù)的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源池,為上層應(yīng)用提供高彈性、穩(wěn)定、安全、快速部署的虛擬資源。基礎(chǔ)資源層部署云服務(wù)軟件,提供大數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)工具所需的虛擬化計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源池,提供分布式計(jì)算服務(wù)、異構(gòu)計(jì)算服務(wù)、虛擬數(shù)據(jù)中心、分布式存儲(chǔ)服務(wù)、云網(wǎng)絡(luò)服務(wù)、云主機(jī)服務(wù)等。
建設(shè)數(shù)據(jù)消息集成總線(xiàn),提供數(shù)據(jù)集成和應(yīng)用集成能力,實(shí)現(xiàn)數(shù)據(jù)中心各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)和服務(wù)交換,允許各類(lèi)不同的業(yè)務(wù)系統(tǒng)以統(tǒng)一標(biāo)準(zhǔn)的方式進(jìn)行數(shù)據(jù)交互,按松耦合的方式組合各類(lèi)服務(wù),快速支撐新的業(yè)務(wù)功能或業(yè)務(wù)流程。
(2)平臺(tái)層建設(shè)方案
平臺(tái)層部署應(yīng)用開(kāi)發(fā)和運(yùn)行需要的數(shù)據(jù)能力,為上層應(yīng)用平臺(tái)、數(shù)據(jù)平臺(tái)提供大數(shù)據(jù)分析支撐和服務(wù)。平臺(tái)層組件主要包括大數(shù)據(jù)分析平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)及多種數(shù)據(jù)工具,包括數(shù)據(jù)采集加工、數(shù)據(jù)治理、標(biāo)簽、可視化、報(bào)表分析工具等,提供離線(xiàn)數(shù)據(jù)、實(shí)時(shí)流數(shù)據(jù)的數(shù)據(jù)集成、數(shù)據(jù)清晰轉(zhuǎn)換、數(shù)據(jù)處置加工、數(shù)據(jù)挖掘等服務(wù)[3]。平臺(tái)層包含的大數(shù)據(jù)分析平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)是大數(shù)據(jù)平臺(tái)軟件建設(shè)的核心平臺(tái),也是數(shù)據(jù)工程中數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)、規(guī)范設(shè)計(jì)、數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)服務(wù)、數(shù)據(jù)安全等功能的重要支撐。完善的大數(shù)據(jù)平臺(tái)可以支持大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)計(jì)算分析引擎等數(shù)據(jù)底座,快速構(gòu)建從數(shù)據(jù)接入到數(shù)據(jù)分析的數(shù)據(jù)系統(tǒng),消除數(shù)據(jù)孤島,統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),加快數(shù)據(jù)變現(xiàn),實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。
(3)應(yīng)用層建設(shè)方案
應(yīng)用層聚焦于高速公路業(yè)務(wù)場(chǎng)景,在現(xiàn)有業(yè)務(wù)系統(tǒng)功能基礎(chǔ)上,關(guān)注管理業(yè)務(wù)痛點(diǎn),解決業(yè)務(wù)流程數(shù)字化程度低、數(shù)據(jù)時(shí)效性準(zhǔn)確性差、業(yè)務(wù)無(wú)法跨系統(tǒng)調(diào)用、多業(yè)務(wù)系統(tǒng)無(wú)法融合等問(wèn)題。對(duì)高速公路出入口流水、門(mén)架數(shù)據(jù)、氣象數(shù)據(jù)、節(jié)假日歷史數(shù)據(jù)、互聯(lián)網(wǎng)地圖數(shù)據(jù)、視頻監(jiān)測(cè)數(shù)據(jù)等多源數(shù)據(jù)進(jìn)行專(zhuān)題數(shù)據(jù)處理,搭建基于多業(yè)務(wù)系統(tǒng)數(shù)據(jù)的融合分析模型,提高現(xiàn)有高速公路管控服務(wù)系統(tǒng)功能的準(zhǔn)確率和效率,實(shí)現(xiàn)如流量預(yù)測(cè)、擁堵預(yù)測(cè)、態(tài)勢(shì)分析、決策分析、車(chē)輛溯源等跨平臺(tái)、跨業(yè)務(wù)系統(tǒng)的業(yè)務(wù)功能,切實(shí)提高高速公路管控服務(wù)水平,提升用戶(hù)出行服務(wù)體驗(yàn)。
大數(shù)據(jù)中心軟件平臺(tái)采用云架構(gòu)方案部署,包括基礎(chǔ)資源層、平臺(tái)層及應(yīng)用層。結(jié)合資源整合、充分利舊的理念和軟件平臺(tái)架構(gòu),可在盡量不改變現(xiàn)有業(yè)務(wù)系統(tǒng)的基礎(chǔ)上建設(shè)大數(shù)據(jù)中心,新建大數(shù)據(jù)中心通過(guò)核心交換機(jī)接入原有數(shù)據(jù)中心,數(shù)據(jù)來(lái)源為原有數(shù)據(jù)中心業(yè)務(wù)系統(tǒng)。
大數(shù)據(jù)中心硬件平臺(tái)網(wǎng)絡(luò)架構(gòu)根據(jù)業(yè)務(wù)、資源、管理及安全的要求,可分為五個(gè)區(qū)域:業(yè)務(wù)區(qū)、大數(shù)據(jù)分析區(qū)、運(yùn)維管理區(qū)、安全管理區(qū)、外聯(lián)區(qū),根據(jù)各業(yè)務(wù)不同的需求,提供計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)、大數(shù)據(jù)并行計(jì)算等能力,滿(mǎn)足業(yè)務(wù)應(yīng)用需要。
大數(shù)據(jù)中心總體架構(gòu)如圖2所示。
圖2 大數(shù)據(jù)中心總體架構(gòu)
(1)業(yè)務(wù)區(qū)
主要提供大數(shù)據(jù)中心計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)資源,通過(guò)虛擬化技術(shù)分配虛擬機(jī)資源,為應(yīng)用層應(yīng)用系統(tǒng)部署提供環(huán)境。應(yīng)用系統(tǒng)根據(jù)功能需求分配相應(yīng)的計(jì)算及存儲(chǔ)資源,并在數(shù)據(jù)倉(cāng)庫(kù)中建設(shè)相應(yīng)的專(zhuān)題庫(kù)支撐業(yè)務(wù)應(yīng)用系統(tǒng)快速響應(yīng),通過(guò)數(shù)據(jù)總線(xiàn)實(shí)現(xiàn)數(shù)據(jù)及消息共享。據(jù)此,業(yè)務(wù)區(qū)應(yīng)部署計(jì)算服務(wù)器、存儲(chǔ)服務(wù)器、網(wǎng)絡(luò)管理服務(wù)器、數(shù)據(jù)總線(xiàn)服務(wù)器、數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器,提供應(yīng)用系統(tǒng)所需的數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)空間、存儲(chǔ)資源池、計(jì)算資源池、網(wǎng)絡(luò)管理、數(shù)據(jù)共享功能。
計(jì)算存儲(chǔ)服務(wù)器通過(guò)接入交換機(jī)和管理交換機(jī)接入云平臺(tái)內(nèi)部的核心交換機(jī),網(wǎng)絡(luò)配置應(yīng)采用全光網(wǎng)架構(gòu),各服務(wù)器通過(guò)光纖與交換機(jī)連接,保證數(shù)據(jù)帶寬。各交換機(jī)采用冗余配置,提高系統(tǒng)運(yùn)行可靠性。
(2)大數(shù)據(jù)分析區(qū)
大數(shù)據(jù)分析區(qū)主要完成大數(shù)據(jù)分析的管理控制服務(wù),提供高性能、低成本、靈活易用的大數(shù)據(jù)計(jì)算和存儲(chǔ)平臺(tái),包含分布式存儲(chǔ)、流處理、批處理等大數(shù)據(jù)組件,為海量數(shù)據(jù)信息的分析挖掘提供支撐。大數(shù)據(jù)分析需要大規(guī)模并行運(yùn)算,數(shù)據(jù)訪(fǎng)問(wèn)量大、并發(fā)高,宜專(zhuān)門(mén)設(shè)置區(qū)域提供硬件環(huán)境。大數(shù)據(jù)批處理、流處理、高性能計(jì)算等組件負(fù)載高、流量大,可采用獨(dú)立服務(wù)器單獨(dú)部署,保障大數(shù)據(jù)分析過(guò)程的穩(wěn)定性。
(3)云平臺(tái)管理區(qū)
云平臺(tái)管理區(qū)主要完成各服務(wù)器節(jié)點(diǎn)硬件設(shè)備的維護(hù)管理和云平臺(tái)業(yè)務(wù)管理,根據(jù)大數(shù)據(jù)中心整體服務(wù)器、交換機(jī)、網(wǎng)絡(luò)安全設(shè)備等數(shù)量,配置相應(yīng)數(shù)量的云管理服務(wù)器并部署云服務(wù)軟件,提供大數(shù)據(jù)平臺(tái)資源管理及網(wǎng)絡(luò)管理功能,實(shí)現(xiàn)自動(dòng)化運(yùn)維管理,將運(yùn)維腳本批量下發(fā)到指定虛擬機(jī)、計(jì)算/管理服務(wù)器并執(zhí)行,簡(jiǎn)化重復(fù)性大的運(yùn)維管理工作。
(4)安全管理區(qū)
安全管理區(qū)建設(shè)大數(shù)據(jù)中心網(wǎng)絡(luò)安全系統(tǒng),大數(shù)據(jù)中心應(yīng)依據(jù)《交通運(yùn)輸行業(yè)信息系統(tǒng)安全等級(jí)保護(hù)定級(jí)指南》開(kāi)展定級(jí)、備案、等保安全建設(shè)整改、等保測(cè)評(píng)等工作。在大數(shù)據(jù)中心定級(jí)基礎(chǔ)上,部署相應(yīng)等級(jí)的網(wǎng)絡(luò)安全設(shè)備,包括防火墻、數(shù)據(jù)庫(kù)審計(jì)、綜合日志審計(jì)、堡壘機(jī)、網(wǎng)管、準(zhǔn)入認(rèn)證、漏洞掃描、Web應(yīng)用防火墻等,并在大數(shù)據(jù)平臺(tái)內(nèi)部部署云安全組件,提供云平臺(tái)內(nèi)部必要網(wǎng)絡(luò)安全防護(hù)。網(wǎng)絡(luò)安全設(shè)備可采用獨(dú)立硬件部署,也可采用軟件方式部署至云平臺(tái)虛擬機(jī)內(nèi)部。各業(yè)務(wù)區(qū)也應(yīng)通過(guò)獨(dú)立防火墻形式或虛擬防火墻形式提供防護(hù),各區(qū)域數(shù)據(jù)通過(guò)核心交換機(jī)時(shí),需先經(jīng)過(guò)防火墻過(guò)濾,保障各區(qū)域網(wǎng)絡(luò)安全。
(5)外聯(lián)區(qū)
外聯(lián)區(qū)為外部訪(fǎng)問(wèn)區(qū)域,需根據(jù)外部訪(fǎng)問(wèn)需求,部署防火墻、入侵防御、抗DDOS 攻擊、Web 應(yīng)用防火墻、計(jì)算存儲(chǔ)服務(wù)器等。
大數(shù)據(jù)與高速公路運(yùn)營(yíng)管理、出行服務(wù)結(jié)合是進(jìn)一步提高高速公路管理服務(wù)水平和用戶(hù)出行服務(wù)體驗(yàn)的重要手段。本文重點(diǎn)研究了基于現(xiàn)有業(yè)務(wù)系統(tǒng)的大數(shù)據(jù)中心建設(shè)技術(shù)方案,目前部分省份已開(kāi)展了高速公路大數(shù)據(jù)中心建設(shè),在規(guī)劃建設(shè)過(guò)程中,可探索收費(fèi)站、路段分中心邊緣側(cè)的平臺(tái)建設(shè),打造云端結(jié)合的大數(shù)據(jù)中心,進(jìn)一步提高資源利用效率和管控能力。