曹樹(shù)青++舒曉明++梁向棋++張寶瑞
摘 要:通過(guò)對(duì)大數(shù)據(jù)基本概念的介紹及基本特征的闡釋,深入分析大數(shù)據(jù)的本質(zhì),并簡(jiǎn)要介紹了智能航道的概念、框架及關(guān)鍵技術(shù),探討大數(shù)據(jù)在智能航道應(yīng)用上的優(yōu)勢(shì),分析智能航道建設(shè)中大數(shù)據(jù)平臺(tái)搭建應(yīng)注意的方面。
關(guān)鍵詞:大數(shù)據(jù) 智能航道 數(shù)據(jù)挖掘
近兩年,“大數(shù)據(jù)”一詞備受人們關(guān)注。大數(shù)據(jù)本質(zhì)究竟是什么,它在智能航道的建設(shè)中充當(dāng)什么角色,能給智能航道的建設(shè)帶來(lái)什么優(yōu)勢(shì),進(jìn)而給智能航道的建設(shè)帶來(lái)什么啟示,智能航道中大數(shù)據(jù)平臺(tái)該如何架構(gòu)?下面談?wù)勥@方面的看法。
大數(shù)據(jù)的定義及特征
1、大數(shù)據(jù)定義
什么是大數(shù)據(jù)?高德納咨詢公司的定義是:大數(shù)據(jù)是大量、高速、多變的信息資產(chǎn),它需要新型的處理方式去促成更強(qiáng)的決策能力、洞察力與優(yōu)化處理。維基百科的定義是:大數(shù)據(jù)由巨型數(shù)據(jù)集組成,這些數(shù)據(jù)集大小常超出人類在可接受時(shí)間下的收集、使用、管理和處理能力。各機(jī)構(gòu)定義雖然不同,但都有一個(gè)共識(shí):大數(shù)據(jù)是一個(gè)數(shù)據(jù)集的集合,這個(gè)集合如此龐大而復(fù)雜,以至于它無(wú)法通過(guò)傳統(tǒng)的數(shù)據(jù)庫(kù)管理工具來(lái)進(jìn)行處理,從各種類型的大量數(shù)據(jù)中,快速獲取有價(jià)值信息的能力,就是大數(shù)據(jù)技術(shù),它不是一種特定的技術(shù),而是一類技術(shù)的統(tǒng)稱。
2、大數(shù)據(jù)特征
大數(shù)據(jù)有四個(gè)特征(4V):①數(shù)據(jù)量大(Volume)。數(shù)據(jù)量從GB級(jí)別躍升到TB乃至PB級(jí)別。②數(shù)據(jù)類型繁多(Variety)。包括文檔、圖片、音視頻、地理位置及傳感器等數(shù)據(jù),不僅包括傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù),也包括半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)。③流動(dòng)速度快(Velocity)。數(shù)據(jù)是動(dòng)態(tài)產(chǎn)生的流式數(shù)據(jù),數(shù)據(jù)流動(dòng)速度快到難以用傳統(tǒng)的模式去處理。④價(jià)值密度低(Value)。數(shù)據(jù)量呈指數(shù)增長(zhǎng),而隱藏在數(shù)據(jù)中的有價(jià)值信息卻沒(méi)有相應(yīng)的呈指數(shù)增長(zhǎng),但其應(yīng)用價(jià)值極高。大數(shù)據(jù)有幾個(gè)關(guān)鍵點(diǎn),首先,其數(shù)據(jù)來(lái)源不是小范圍的樣本,而是所有數(shù)據(jù),其允許不精確的數(shù)據(jù),混雜的數(shù)據(jù)反而會(huì)帶來(lái)更有價(jià)值的信息。其次,它放棄對(duì)因果關(guān)系的渴求,而取而代之關(guān)注相關(guān)關(guān)系。也就是說(shuō)只要知道“是什么”,而不需要知道“為什么”??偠灾?,大數(shù)據(jù)的核心就是預(yù)測(cè)趨勢(shì),就是洞見(jiàn)未來(lái)。
大數(shù)據(jù)與智能航道
1、智能航道定義
“智能航道”(Intelligent Waterway)是指在數(shù)字航道基礎(chǔ)上,利用智能傳感器、物聯(lián)網(wǎng)、自動(dòng)控制、人工智能等技術(shù),自動(dòng)獲取航道系統(tǒng)要素信息,通過(guò)融合處理與深度挖掘,實(shí)現(xiàn)航道規(guī)劃科學(xué)化、建養(yǎng)智能化、管理現(xiàn)代化,為水路運(yùn)輸高效、安全、節(jié)能提供實(shí)時(shí)、精確、便捷的航道服務(wù)。
2、大數(shù)據(jù)與智能航道關(guān)系
從智能航道的定義中可以看出,航道數(shù)字化僅僅是基礎(chǔ),智能航道其核心是從全面數(shù)據(jù)化后的航道中,對(duì)所獲得的關(guān)于航道的海量數(shù)據(jù)進(jìn)行專業(yè)化的數(shù)據(jù)分析、數(shù)據(jù)挖掘,進(jìn)而實(shí)現(xiàn)從數(shù)據(jù)到信息、從信息到知識(shí)、從知識(shí)到洞察力的過(guò)程,洞察力才是“智能”二字的具體體現(xiàn)。而大數(shù)據(jù),正是從海量數(shù)據(jù)中挖掘出知識(shí),進(jìn)而幫助決策和洞見(jiàn)未來(lái)的一類技術(shù)。大數(shù)據(jù),正是實(shí)現(xiàn)“智能”二字的核心,是智能航道發(fā)展的引擎。
大數(shù)據(jù)在智能航道應(yīng)用上的優(yōu)勢(shì)
1、改進(jìn)傳統(tǒng)的航道河床演變研究
傳統(tǒng)的航道河床研究是基于所測(cè)得的航道水文(流速、流量、泥沙)、水深、岸線等相關(guān)要素?cái)?shù)據(jù),依據(jù)水流泥沙運(yùn)動(dòng)規(guī)律,結(jié)合該航道的歷史河床結(jié)構(gòu)數(shù)據(jù),構(gòu)建相應(yīng)的物理模型和數(shù)學(xué)模型來(lái)對(duì)航道河床的演變進(jìn)行分析,其數(shù)據(jù)來(lái)源是小量具有典型特征的數(shù)據(jù)。而在智能航道中,航道的水文、水深、岸線等要素?cái)?shù)據(jù),是實(shí)時(shí)監(jiān)測(cè)和實(shí)時(shí)獲取的,其數(shù)據(jù)量不是小部分?jǐn)?shù)據(jù),而是所有數(shù)據(jù)。大數(shù)據(jù)的核心,其數(shù)據(jù)分析面對(duì)的是全部數(shù)據(jù)。依據(jù)所獲得的實(shí)時(shí)全部數(shù)據(jù),可以對(duì)航道河床演變的趨勢(shì)進(jìn)行分析和預(yù)測(cè)。如可依據(jù)實(shí)時(shí)獲取的水文和岸線數(shù)據(jù),結(jié)合水流泥沙運(yùn)動(dòng)規(guī)律以及崩塌臨界值,可以預(yù)測(cè)岸線的變化及崩塌情況。依據(jù)實(shí)時(shí)獲取的水深數(shù)據(jù),結(jié)合水流泥沙運(yùn)動(dòng)規(guī)律,可預(yù)測(cè)水下地形地貌變化的趨勢(shì),進(jìn)而分析河床的演變。這正是航道河床演變中“洞察力”的具體體現(xiàn),依據(jù)河床的演變趨勢(shì)的預(yù)測(cè),航道管理部門可以采取相應(yīng)的措施來(lái)對(duì)航道進(jìn)行維護(hù)整治,進(jìn)而穩(wěn)定航槽。
2、完善航道整治建筑物預(yù)警機(jī)制
航道整治建筑物主要有各種壩(丁壩、順壩、潛壩等)、魚嘴、護(hù)灘帶、護(hù)坡護(hù)岸等,由于水流作用,航道整治建筑物會(huì)發(fā)生水毀情況,而目前對(duì)建筑物的水毀情況難以監(jiān)控。而在智能航道中,通過(guò)安裝在航道整治建筑物上的水流傳感器等各類傳感器獲取的全部實(shí)時(shí)數(shù)據(jù),結(jié)合壩體結(jié)構(gòu)及受力情況,通過(guò)大數(shù)據(jù)所構(gòu)建的數(shù)據(jù)挖掘模型對(duì)航道整治建筑物的結(jié)構(gòu)安全穩(wěn)定性進(jìn)行綜合模糊評(píng)判,可以預(yù)測(cè)航道整治建筑物發(fā)生水毀情況的趨勢(shì),主管部門可以結(jié)合判定結(jié)果采取相關(guān)措施來(lái)對(duì)航道整治建筑物進(jìn)行加固或是修補(bǔ)等,進(jìn)而形成完善的航道整治建筑物維護(hù)預(yù)警機(jī)制。
3、提高航運(yùn)效率
傳統(tǒng)的船舶航行中,航行路線的選擇更多的依賴于航標(biāo)和駕駛員的經(jīng)驗(yàn),具有一定的隨意性。智能航道中,大數(shù)據(jù)能依據(jù)各型各類傳感器實(shí)時(shí)獲取的航道流速流態(tài)等流場(chǎng)數(shù)據(jù),上水航行時(shí)選取水流流速較小的水域,下水航行時(shí)選取水流流速較大的水域,進(jìn)而規(guī)劃出船舶航行最佳路徑,并依據(jù)航道流場(chǎng)的實(shí)時(shí)變化,實(shí)時(shí)修正船舶導(dǎo)航路徑,這樣既節(jié)約了航行時(shí)間,又降低了航行的經(jīng)濟(jì)成本,還能減少油耗帶來(lái)的污染。
4、提高航運(yùn)安全水平
航運(yùn)安全是航道管理中重要的一部分,航行船舶的碰撞或是船舶自身故障導(dǎo)致的沉船帶來(lái)的損失是慘重的,其自身可控性和主動(dòng)應(yīng)急救援能力相對(duì)陸路是較弱的。而大數(shù)據(jù)的實(shí)時(shí)性和可預(yù)測(cè)性有助于提高航運(yùn)安全水平。在船舶駕駛員監(jiān)測(cè)方面,酒精探測(cè)傳感器、駕駛員疲勞監(jiān)測(cè)系統(tǒng)等船載檢測(cè)裝置通過(guò)提取駕駛員的身體特征、面部特征、眼部特性、頭部運(yùn)動(dòng)特性、操作行為特性等數(shù)據(jù),綜合評(píng)判駕駛員的駕駛狀態(tài),并進(jìn)行報(bào)警提示甚至采取相應(yīng)措施來(lái)控制船舶的航行。同時(shí),依據(jù)航道上船舶自身的定位裝置及船舶的航速、航向等數(shù)據(jù),分析船舶的運(yùn)動(dòng)軌跡,大數(shù)據(jù)快速整合航道上每艘船傳感器所傳回的數(shù)據(jù),分析航行路線的安全性,當(dāng)兩艘船的航行軌跡超出安全距離或是船舶航行在航道管理部門規(guī)定的航道外后,及時(shí)發(fā)出預(yù)警提示。大數(shù)據(jù)以其快速反應(yīng)時(shí)間和綜合決策模型,能有效的減少船舶航行安全事故,提高航運(yùn)安全水平。endprint
以上幾方面都是談到大數(shù)據(jù)在智能航道中的預(yù)測(cè)趨勢(shì)和洞見(jiàn)未來(lái)的能力,顯然,大數(shù)據(jù)在智能航道上的應(yīng)用優(yōu)勢(shì)遠(yuǎn)不止以上幾方面??梢哉f(shuō),只有想不到的,沒(méi)有做不到的。當(dāng)前國(guó)家正在逐步推進(jìn)全流域長(zhǎng)江黃金水道的建設(shè),長(zhǎng)江經(jīng)濟(jì)帶的建設(shè)已經(jīng)上升為國(guó)家戰(zhàn)略層面,當(dāng)長(zhǎng)江航運(yùn)再次復(fù)興時(shí),依據(jù)長(zhǎng)江上船舶航行路線和沿江港口城市的貨運(yùn)吞吐量,甚至挖掘出船舶航行與沿江港口城市的經(jīng)濟(jì)健康狀況的相關(guān)性也不是沒(méi)有可能。大數(shù)據(jù)技術(shù),它只需要能夠分析出二者的相關(guān)性就足以幫助洞見(jiàn)趨勢(shì),而不需要分析經(jīng)濟(jì)健康與否背后的原因。依據(jù)沿江港口城市經(jīng)濟(jì)健康狀況,又可挖掘出其與國(guó)家東部產(chǎn)業(yè)向西轉(zhuǎn)移狀況的相關(guān)性,進(jìn)而在戰(zhàn)略層面上給國(guó)家提供數(shù)據(jù)分析。這就正如谷歌公司的流感趨勢(shì)預(yù)測(cè)速度比美國(guó)疾控中心還要快一樣,甚至能比國(guó)家統(tǒng)計(jì)局的數(shù)據(jù)統(tǒng)計(jì)分析速度還要快。
大數(shù)據(jù)給智能航道建設(shè)的啟示
1、加強(qiáng)數(shù)據(jù)感知與獲取
大數(shù)據(jù)強(qiáng)調(diào)的是海量數(shù)據(jù),所有數(shù)據(jù)。所以智能航道建設(shè)中,航道河床數(shù)據(jù)、航標(biāo)數(shù)據(jù)、水文數(shù)據(jù)、整治建筑物數(shù)據(jù)、船舶數(shù)據(jù)、氣象數(shù)據(jù)、用戶行為等數(shù)據(jù)都要納入考慮,并建立相應(yīng)的數(shù)據(jù)庫(kù)。與航道相關(guān)的文檔數(shù)據(jù)、圖片數(shù)據(jù)、音視頻數(shù)據(jù)等結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)都要錄入航道數(shù)據(jù)庫(kù)。數(shù)據(jù)的全面性非常重要,只有感知了全部數(shù)據(jù),才可能掌控航道狀態(tài),洞見(jiàn)航道狀態(tài)和發(fā)展趨勢(shì)。
2、做好數(shù)據(jù)庫(kù)頂層設(shè)計(jì)
良好的頂層設(shè)計(jì)有助于數(shù)據(jù)的存儲(chǔ)、融合、提取、分析以及挖掘。智能航道中的大數(shù)據(jù)分析平臺(tái)可由基礎(chǔ)數(shù)據(jù)層、基礎(chǔ)設(shè)施層、數(shù)據(jù)挖掘?qū)印⒔K端發(fā)布層組成?;A(chǔ)數(shù)據(jù)層對(duì)所獲得的所有數(shù)據(jù)進(jìn)行整合,融合成航道要素?cái)?shù)據(jù)庫(kù)、航運(yùn)要素?cái)?shù)據(jù)庫(kù)、氣象環(huán)境數(shù)據(jù)庫(kù)等?;A(chǔ)設(shè)施層通過(guò)建立云計(jì)算平臺(tái),將各類基礎(chǔ)IT設(shè)施虛擬化為設(shè)備資源服務(wù),為大數(shù)據(jù)分析所需要的計(jì)算能力提供基礎(chǔ)支撐。數(shù)據(jù)挖掘?qū)油ㄟ^(guò)對(duì)基礎(chǔ)數(shù)據(jù)層數(shù)據(jù)的分析和挖掘,結(jié)合各類專家數(shù)學(xué)模型,對(duì)所獲得的航道要素、航運(yùn)要素、氣象環(huán)境等數(shù)據(jù)進(jìn)行實(shí)時(shí)分析和處理,實(shí)現(xiàn)航道演變趨勢(shì)預(yù)測(cè)、航運(yùn)通航狀態(tài)預(yù)測(cè)等一系列洞見(jiàn)未來(lái)的行為。終端發(fā)布層采用云計(jì)算服務(wù),將航道的狀態(tài)、船舶通航狀態(tài)、天氣氣象狀態(tài)等信息通過(guò)多終端(PC、平板電腦、智能手機(jī)等)、多類型(文字、音視頻等)發(fā)布給管理者和一般用戶。管理者可以根據(jù)大數(shù)據(jù)分析結(jié)果進(jìn)行綜合評(píng)判,一般用戶可以實(shí)時(shí)感知和獲取自己需要的數(shù)據(jù),同時(shí)反過(guò)來(lái)用戶狀態(tài)、行為所產(chǎn)生的數(shù)據(jù)又可反饋回基礎(chǔ)數(shù)據(jù)庫(kù),為后續(xù)給一般用戶提供個(gè)性化的定制服務(wù)提供數(shù)據(jù)分析依據(jù)。
參考文獻(xiàn):
[1] 熊學(xué)斌,呂永祥. 長(zhǎng)江蘭家沱—大埠街河段智能航道建設(shè)實(shí)施方案研究[J]. 水運(yùn)工程. 2012(11)
[2] 呂永祥. 長(zhǎng)江干線航道要素狀態(tài)感知與交互技術(shù)分析[J]. 水運(yùn)工程. 2012(09)
[3] 邱衛(wèi)云. 智能交通大數(shù)據(jù)分析云平臺(tái)技術(shù)[J]. 中國(guó)交通信息化. 2013(10)
(作者單位:長(zhǎng)江航道測(cè)量中心)endprint