雷強(qiáng)勝 劉 立 俞 博

（重慶市交通規(guī)劃研究院，重慶 401147）

隨著經(jīng)濟(jì)社會(huì)的發(fā)展和物質(zhì)生活水平提高，城市汽車保有量呈快速增長(zhǎng)態(tài)勢(shì)，對(duì)城市道路交通造成很大負(fù)擔(dān)，部分交通設(shè)施已達(dá)到承受極限。在大數(shù)據(jù)時(shí)代，城市道路交通數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，具有多源、異構(gòu)、數(shù)量巨大等特點(diǎn)[1-3]?？焖俑咝Х治鰯?shù)據(jù)并將分析結(jié)果充分利用，可以提高交通基礎(chǔ)設(shè)施的使用率及城市交通運(yùn)行效率，是城市交通工作的重點(diǎn)。SuperMap大數(shù)據(jù)地理信息系統(tǒng)采用先進(jìn)的大數(shù)據(jù)框架平臺(tái)，能夠滿足技術(shù)人員及管理人員對(duì)交通基礎(chǔ)設(shè)施數(shù)據(jù)的使用需求[4-5]。文章基于SuperMap大數(shù)據(jù)地理信息系統(tǒng)構(gòu)建交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)，為交通設(shè)施數(shù)據(jù)管理提供平臺(tái)。

1 建設(shè)目標(biāo)

建設(shè)交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)的總體目標(biāo)為實(shí)現(xiàn)跨系統(tǒng)數(shù)據(jù)共享，解決信息孤島，提升數(shù)據(jù)管理能力，輔助決策分析，提供統(tǒng)一的數(shù)據(jù)服務(wù)。

（1）為解決查詢效率低下、實(shí)時(shí)性差、缺乏空間查詢等問題，基于交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)建造數(shù)據(jù)倉(cāng)庫(kù)，提高交通數(shù)據(jù)的利用率，為領(lǐng)導(dǎo)的科學(xué)決策提供必要的技術(shù)支持。

（2）為實(shí)現(xiàn)交通海量數(shù)據(jù)的數(shù)據(jù)查詢、分析性能和數(shù)據(jù)管理應(yīng)用水平，創(chuàng)新性地利用大數(shù)據(jù)管理技術(shù)，為交通管理大數(shù)據(jù)決策、大數(shù)據(jù)分析、大數(shù)據(jù)作戰(zhàn)、大數(shù)據(jù)監(jiān)管和大數(shù)據(jù)服務(wù)打下堅(jiān)實(shí)基礎(chǔ)。

交通大數(shù)據(jù)管理平臺(tái)界面如圖1所示。

圖1 交通大數(shù)據(jù)管理平臺(tái)界面

2 需求分析

2.1 整合現(xiàn)有交通數(shù)據(jù)資源

各類交通設(shè)施數(shù)據(jù)分散在不同的應(yīng)用系統(tǒng)中，各系統(tǒng)的數(shù)據(jù)接口、數(shù)據(jù)庫(kù)結(jié)構(gòu)等缺乏統(tǒng)一標(biāo)準(zhǔn)，數(shù)據(jù)發(fā)布未形成統(tǒng)一的標(biāo)準(zhǔn)，無法實(shí)現(xiàn)互聯(lián)互通和信息共享，豐富的信息資源有待有效的開發(fā)利用，限制交通信息化整體效益的發(fā)揮，成為交通信息化建設(shè)中迫切需要解決的問題。構(gòu)建交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)，實(shí)現(xiàn)已有系統(tǒng)整合、優(yōu)化，可以有效利用信息化資源。

2.2 整合現(xiàn)有系統(tǒng)需求

目前，已具有多個(gè)涉及交通設(shè)施數(shù)據(jù)的專題應(yīng)用系統(tǒng)，隨著信息化深入建設(shè)，相關(guān)數(shù)據(jù)系統(tǒng)數(shù)量會(huì)越來越多，需要對(duì)系統(tǒng)進(jìn)行整合，避免一個(gè)用戶使用多個(gè)系統(tǒng)、多次申請(qǐng)賬號(hào)、多次登錄的問題。

2.3 數(shù)據(jù)共享的需求

在“共建共享”模式要求下，交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)必須是開放、可共享的。數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)不僅能夠滿足本查詢系統(tǒng)，也能夠?qū)崿F(xiàn)數(shù)據(jù)的對(duì)外共享能力。需要考慮數(shù)據(jù)共享過程中數(shù)據(jù)權(quán)限控制以及數(shù)據(jù)安全問題。

2.4 深化交通數(shù)據(jù)開發(fā)應(yīng)用模式

綜合運(yùn)用大數(shù)據(jù)、可視化及地理信息技術(shù)，直觀、生動(dòng)地整合、呈現(xiàn)、分析數(shù)據(jù)，深挖數(shù)據(jù)價(jià)值，從傳統(tǒng)紙質(zhì)報(bào)表轉(zhuǎn)向基于可視化形式，實(shí)時(shí)對(duì)城區(qū)交通進(jìn)行研判、規(guī)劃、決策。通過構(gòu)建交通數(shù)據(jù)倉(cāng)庫(kù)，實(shí)現(xiàn)對(duì)交通行業(yè)信息數(shù)據(jù)資源的深度挖掘，提高數(shù)據(jù)利用價(jià)值。

2.5 提升宏觀決策能力

隨著大數(shù)據(jù)的發(fā)展，利用數(shù)據(jù)決策、根據(jù)數(shù)據(jù)說話、使用數(shù)據(jù)治理成為相關(guān)單位開展工作的重要方式，迫切需要建立綜合的數(shù)據(jù)平臺(tái)，快速、準(zhǔn)確、實(shí)時(shí)地了解交通行業(yè)的發(fā)展情況，為加快新舊動(dòng)能轉(zhuǎn)換實(shí)施定向調(diào)控和精細(xì)化管理。通過構(gòu)建交通數(shù)據(jù)倉(cāng)庫(kù)，綜合運(yùn)用大數(shù)據(jù)分析、大數(shù)據(jù)挖掘及大數(shù)據(jù)可視化等技術(shù)對(duì)交通情況進(jìn)行實(shí)時(shí)監(jiān)測(cè)，能夠更全面、準(zhǔn)確地反映發(fā)展情況，為領(lǐng)導(dǎo)決策提供更精準(zhǔn)的應(yīng)用服務(wù)。

3 系統(tǒng)設(shè)計(jì)原則

3.1 開放性原則

交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)的架構(gòu)應(yīng)是開放的，支持各應(yīng)用系統(tǒng)間的分享硬件資源、軟件資源、網(wǎng)絡(luò)資源、開發(fā)接口和關(guān)于地理信息功能軟件的服務(wù)。

3.2 可擴(kuò)展性原則

系統(tǒng)架構(gòu)應(yīng)具備先進(jìn)性和可擴(kuò)展性，保證后期需要對(duì)系統(tǒng)進(jìn)行升級(jí)改造時(shí)，能夠保護(hù)現(xiàn)有的投資。系統(tǒng)的結(jié)構(gòu)應(yīng)合理，具有良好的可擴(kuò)展性，能夠比較容易地適應(yīng)調(diào)整、擴(kuò)充和刪減；能夠與其他系統(tǒng)的接口兼容，充分利用各系統(tǒng)的特長(zhǎng)。

3.3 實(shí)用性原則

系統(tǒng)設(shè)計(jì)應(yīng)結(jié)合實(shí)際需求，圍繞應(yīng)用，注重實(shí)效方針，利用成熟技術(shù)，設(shè)計(jì)界面美觀、布局簡(jiǎn)潔、功能實(shí)用、操作方便的系統(tǒng)，解決用戶實(shí)際業(yè)務(wù)問題。

3.4 安全性原則

全面考慮系統(tǒng)運(yùn)行的安全性，從物理環(huán)境（包括機(jī)房、網(wǎng)絡(luò)及設(shè)備）、數(shù)據(jù)層面、應(yīng)用層面、安全管理制度等方面進(jìn)行全方位的設(shè)計(jì)。部署在公有環(huán)境的應(yīng)用涉及的計(jì)算資源、存儲(chǔ)資源以及地理信息數(shù)據(jù)和專題數(shù)據(jù)等信息必須符合相關(guān)保密安全要求。

4 系統(tǒng)設(shè)計(jì)思路

4.1 構(gòu)建交通大數(shù)據(jù)倉(cāng)庫(kù)

圍繞各部門的實(shí)際需求，通過數(shù)據(jù)匯聚、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)融合、數(shù)據(jù)發(fā)布等過程，形成權(quán)威統(tǒng)一的交通大數(shù)據(jù)倉(cāng)庫(kù)，實(shí)現(xiàn)交通大數(shù)據(jù)全生命周期管理。

4.2 建立標(biāo)準(zhǔn)化、流程化、自動(dòng)化數(shù)據(jù)倉(cāng)庫(kù)

匯聚各信息系統(tǒng)的多源異構(gòu)數(shù)據(jù)種類多、類型復(fù)雜，各類數(shù)據(jù)具有不同的更新頻率及更新方式，人工處理的工作效率較低，無法持續(xù)投入建設(shè)。因此，實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)自動(dòng)化運(yùn)行成為該項(xiàng)目建設(shè)的重要內(nèi)容。

數(shù)據(jù)倉(cāng)庫(kù)建立包含數(shù)據(jù)匯聚、轉(zhuǎn)換、存儲(chǔ)等多個(gè)階段，為了滿足處理流程自動(dòng)化運(yùn)行要求，需要完成數(shù)據(jù)匯聚標(biāo)準(zhǔn)化、數(shù)據(jù)處理流程化、流程運(yùn)行任務(wù)化、任務(wù)執(zhí)行可監(jiān)控等內(nèi)容的設(shè)計(jì)與建設(shè)。

4.3 部門協(xié)作，開放共享，集成應(yīng)用

圍繞業(yè)務(wù)工作的整體流程，開展多部門間的協(xié)同應(yīng)用，通過數(shù)據(jù)倉(cāng)庫(kù)及查詢系統(tǒng)建設(shè)，充分利用數(shù)據(jù)在業(yè)務(wù)協(xié)同中的價(jià)值，通過統(tǒng)一的數(shù)據(jù)服務(wù)接口對(duì)外開放應(yīng)用，實(shí)現(xiàn)“數(shù)據(jù)協(xié)同、業(yè)務(wù)共享”。

5 總體技術(shù)路線

5.1 基于大數(shù)據(jù)計(jì)算和存儲(chǔ)技術(shù)，支持超大規(guī)模數(shù)據(jù)在線處理和管理

交通設(shè)施空間數(shù)據(jù)具有大數(shù)據(jù)的4V特性。本項(xiàng)目構(gòu)建的時(shí)空信息數(shù)據(jù)種類多樣、數(shù)據(jù)量大，具有挖掘分析的價(jià)值，需要使用大數(shù)據(jù)技術(shù)進(jìn)行管理。

時(shí)空信息數(shù)據(jù)的存儲(chǔ)、管理和分析需借助支持時(shí)空大數(shù)據(jù)的GIS專業(yè)軟件。傳統(tǒng)的GIS軟件以數(shù)據(jù)獲取、存儲(chǔ)、管理功能為主，添加各種時(shí)間維度和空間維度的專題圖展示功能，可以實(shí)現(xiàn)空間統(tǒng)計(jì)、地理分區(qū)、路徑分析、選址優(yōu)化等空間分析功能，在城市建設(shè)、交通運(yùn)輸、氣象預(yù)測(cè)、區(qū)域發(fā)展、決策支持等方面發(fā)揮非常重要的作用。針對(duì)時(shí)空大數(shù)據(jù)，現(xiàn)有數(shù)據(jù)管理和分析算法難以擴(kuò)展到大規(guī)模的分布式并行計(jì)算系統(tǒng)上、無法滿足對(duì)非結(jié)構(gòu)化的未知數(shù)據(jù)的探索性分析的需要。因此，需要基于最新的虛擬化計(jì)算基礎(chǔ)設(shè)施（如OpenStack/Docker）和分布式計(jì)算架構(gòu)（如Spark/Hadoop）技術(shù)構(gòu)建GISpark，支撐時(shí)空大數(shù)據(jù)分析。本系統(tǒng)基于SuperMap構(gòu)建，充分利用SuperMap在空間大數(shù)據(jù)存儲(chǔ)、處理方面的強(qiáng)大功能。

5.2 基于數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，實(shí)現(xiàn)多源數(shù)據(jù)融合與聯(lián)機(jī)分析

數(shù)據(jù)處理系統(tǒng)大致可以分為聯(lián)機(jī)事務(wù)處理OLTP、聯(lián)機(jī)分析處理OLAP兩類系統(tǒng)。OLTP對(duì)實(shí)時(shí)性要求高，主要處理數(shù)據(jù)庫(kù)記錄的增刪改查等基本的日常事務(wù)，通常用于業(yè)務(wù)應(yīng)用系統(tǒng)的建設(shè)。OLAP系統(tǒng)的實(shí)時(shí)性和事務(wù)性要求不高，數(shù)據(jù)倉(cāng)庫(kù)主要采用OLAP系統(tǒng)建立，支持大數(shù)據(jù)量的分析操作，側(cè)重決策支持，提供直觀、豐富的結(jié)果展示形式。

數(shù)據(jù)倉(cāng)庫(kù)需要將各業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)匯聚，數(shù)據(jù)體量和并發(fā)量較大，符合數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的特點(diǎn)，基于數(shù)據(jù)倉(cāng)庫(kù)可以形成涵蓋時(shí)間、空間以及屬性的多維數(shù)據(jù)體系，支持多維數(shù)據(jù)分析，構(gòu)建可持續(xù)更新的城市指標(biāo)體系，支撐智能化的業(yè)務(wù)模型和業(yè)務(wù)應(yīng)用。傳統(tǒng)的OLTP數(shù)據(jù)管理方式已經(jīng)不能滿足需求，迫切需要為時(shí)空大數(shù)據(jù)與云平臺(tái)建立數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，以滿足大量的數(shù)據(jù)分析和挖掘工作，提高平臺(tái)的智能化程度。

5.3 利用Geo-ETL技術(shù)，實(shí)現(xiàn)數(shù)據(jù)的匯聚融合

隨著數(shù)據(jù)庫(kù)技術(shù)的應(yīng)用和發(fā)展，研究人員嘗試對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行再加工，形成綜合的、面向分析的環(huán)境，更好地支持決策分析，形成數(shù)據(jù)倉(cāng)庫(kù)。在數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中，業(yè)務(wù)數(shù)據(jù)庫(kù)中的數(shù)據(jù)向數(shù)據(jù)倉(cāng)庫(kù)遷移的工作量較大，因?yàn)樵袛?shù)據(jù)庫(kù)的數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一、數(shù)據(jù)形式不一致。ETL工具為解決數(shù)據(jù)遷移過程中的問題，將數(shù)據(jù)進(jìn)行“凈化提煉”，裝入數(shù)據(jù)倉(cāng)庫(kù)，是建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的重點(diǎn)之一。

建設(shè)交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)時(shí)，利用Geo-ETL技術(shù)從數(shù)據(jù)源中抽取需要的數(shù)據(jù)，清洗數(shù)據(jù)，按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型將數(shù)據(jù)加載至數(shù)據(jù)倉(cāng)庫(kù)中，完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)化的過程。

5.4 基于新一代地圖服務(wù)技術(shù)，實(shí)現(xiàn)數(shù)據(jù)即時(shí)發(fā)布與個(gè)性化表達(dá)

大數(shù)據(jù)分布式計(jì)算新一代地圖表達(dá)技術(shù)支持影像、矢量、三維數(shù)據(jù)的標(biāo)準(zhǔn)化建庫(kù)、自動(dòng)化制圖和電子地圖的一鍵免切圖快速發(fā)布和即時(shí)瀏覽，以矢量瓦片方式支持動(dòng)畫、動(dòng)態(tài)和演示模變化，實(shí)現(xiàn)地圖數(shù)據(jù)的個(gè)性化、動(dòng)態(tài)化表達(dá)。

以時(shí)空信息為基礎(chǔ)，將全市二維、靜態(tài)、動(dòng)態(tài)等信息資源，通過一體化技術(shù)手段進(jìn)行展示與應(yīng)用，提供個(gè)性化配圖功能。用戶可以按照不同需求，定制包含不同的個(gè)性化地圖，配置地圖風(fēng)格，滿足各專業(yè)部門對(duì)不同專題信息的需求。

6 系統(tǒng)設(shè)計(jì)

（1）組合查詢及自定義空間范圍查詢分析。

整合各類交通匯總數(shù)據(jù)，提供基于地理信息的查詢與分析。綜合數(shù)據(jù)查詢結(jié)果，以統(tǒng)計(jì)表格、統(tǒng)計(jì)圖、專題圖的形式展現(xiàn)；支持對(duì)交通數(shù)據(jù)按照空間要素查詢；支持按照定制的區(qū)域進(jìn)行定制分析；支持自定義區(qū)劃分析，自定義的邊界，基于地理信息對(duì)數(shù)據(jù)進(jìn)行空間篩選和統(tǒng)計(jì)分析。

交通大數(shù)據(jù)查詢功能如圖2所示。

圖2 交通大數(shù)據(jù)查詢功能

（2）空間GIS分析。

系統(tǒng)支持空間和屬性分析，通過構(gòu)建統(tǒng)一的空間地理分析框架，實(shí)現(xiàn)交通信息的全面整合，為各專業(yè)用戶提供靈活、多角度的空間GIS分析，包括緩沖分析、熱力分析、空間求交等。

（3）CAD數(shù)據(jù)上傳疊加。

支持帶坐標(biāo)的DWG格式的CAD規(guī)劃數(shù)據(jù)上傳，可以疊加至現(xiàn)有數(shù)據(jù)圖層，進(jìn)行疊加展示。

（4）方案分屏查看。

系統(tǒng)支持在地圖上疊加規(guī)劃方案，通過多屏展示方式進(jìn)行方案對(duì)比聯(lián)動(dòng)，對(duì)多個(gè)設(shè)計(jì)方案或不同的調(diào)整結(jié)果進(jìn)行比較。

（5）數(shù)據(jù)導(dǎo)出。

實(shí)現(xiàn)系統(tǒng)數(shù)據(jù)的導(dǎo)出，包括查詢數(shù)據(jù)結(jié)果、專題地圖、渲染圖等，為用戶提供統(tǒng)一數(shù)據(jù)導(dǎo)出工具。

（6）流量監(jiān)控及報(bào)警。

提供高頻訪問探測(cè)、數(shù)據(jù)防泄漏功能，自動(dòng)探測(cè)與制止惡意扒取數(shù)據(jù)行為，主要功能包括流量監(jiān)測(cè)和數(shù)據(jù)異常告警處理功能。

7 結(jié)語(yǔ)

重慶交通設(shè)施空間數(shù)據(jù)查詢系統(tǒng)已應(yīng)用于交通規(guī)劃、交通管理、交通研究等領(lǐng)域，基于SuperMap大數(shù)據(jù)地理信息系統(tǒng)的框架對(duì)支撐多行業(yè)應(yīng)用起關(guān)鍵作用。