趙龍飛, 姜曉軼, 孫 苗, 曹 磊, 郭 雪, 呂憧憬

面向海運(yùn)統(tǒng)計(jì)的AIS大數(shù)據(jù)挖掘分析研究

趙龍飛1, 2, 姜曉軼1, 2, 孫 苗1, 2, 曹 磊1, 2, 郭 雪1, 2, 呂憧憬1, 2

(1. 國家海洋信息中心, 天津 300171; 2. 自然資源部海洋信息技術(shù)創(chuàng)新中心, 天津 300171)

為解決傳統(tǒng)海運(yùn)產(chǎn)業(yè)統(tǒng)計(jì)方法數(shù)據(jù)質(zhì)量不高、時效性差、統(tǒng)計(jì)產(chǎn)品陳舊短缺、公信力不足等的問題, 提出基于AIS大數(shù)據(jù)挖掘分析開展海運(yùn)統(tǒng)計(jì)的方法。詳細(xì)闡述了基于AIS大數(shù)據(jù)的海運(yùn)統(tǒng)計(jì)分析技術(shù)路線、大數(shù)據(jù)平臺技術(shù)架構(gòu), 以及電子圍欄分析、航行事件分析、航次分析和統(tǒng)計(jì)指標(biāo)生成等關(guān)鍵模型算法。以2019年3月至5月全球大宗貨品船舶的AIS數(shù)據(jù)應(yīng)用為例表明, 該方法可提供港口、海上通道和大宗貨品三方面的海運(yùn)大數(shù)據(jù)統(tǒng)計(jì)指標(biāo), 為實(shí)現(xiàn)海運(yùn)即時化、準(zhǔn)確化、精細(xì)化的統(tǒng)計(jì)分析與展現(xiàn)提供了新思路。

海運(yùn)統(tǒng)計(jì); 大數(shù)據(jù); 海洋經(jīng)濟(jì); AIS; 挖掘分析

海運(yùn)業(yè)是國際貿(mào)易的橋梁和紐帶[1]。海運(yùn)統(tǒng)計(jì)是摸清海運(yùn)貿(mào)易量、提供海運(yùn)產(chǎn)業(yè)運(yùn)行情況的重要工具, 對于發(fā)現(xiàn)海運(yùn)產(chǎn)業(yè)存在的問題, 科學(xué)制定海運(yùn)產(chǎn)業(yè)政策, 實(shí)施正確、有力的海洋經(jīng)濟(jì)宏觀調(diào)控措施, 從而推進(jìn)海洋強(qiáng)國和海運(yùn)強(qiáng)國建設(shè)等具有重要意義[2-3]。當(dāng)前, 作為政府統(tǒng)計(jì)中的部門統(tǒng)計(jì)之一, 海運(yùn)統(tǒng)計(jì)仍遵循制度設(shè)計(jì)、調(diào)查采集、數(shù)據(jù)整理上報、數(shù)據(jù)發(fā)布與開發(fā)利用的流程開展, 面臨著數(shù)據(jù)質(zhì)量不高、時效性差、統(tǒng)計(jì)產(chǎn)品陳舊短缺、數(shù)據(jù)公信力不足等的問題[4]。大數(shù)據(jù)統(tǒng)計(jì)通過對產(chǎn)業(yè)運(yùn)行過程中產(chǎn)生的樣本海量、實(shí)時、非結(jié)構(gòu)化等傳統(tǒng)統(tǒng)計(jì)調(diào)查無法獲取的數(shù)據(jù)進(jìn)行挖掘分析, 如電商交易數(shù)據(jù)、位置數(shù)據(jù)等, 為從根本上解決傳統(tǒng)統(tǒng)計(jì)存在問題打開了新視角[5]。

近幾年基于船舶自動識別系統(tǒng)(automatic identifi-cation system, AIS)大數(shù)據(jù)進(jìn)行船舶航行、航道和港口作業(yè)統(tǒng)計(jì)以及經(jīng)濟(jì)運(yùn)行態(tài)勢分析成為新的趨勢[6-13]。何建春[14]基于船舶AIS、RFID、視頻監(jiān)控等多傳感融合的全樣本水運(yùn)統(tǒng)計(jì)模型與方法, 對內(nèi)河航道船舶流量流向、貨物流量流向、船舶航行里程、航道航行密度進(jìn)行了統(tǒng)計(jì)分析與展現(xiàn); 劉滿娜[15]建立了基于AIS的港口監(jiān)控與分析系統(tǒng), 實(shí)現(xiàn)船舶進(jìn)出港、船舶錨泊和系泊等的分析統(tǒng)計(jì); 祝天虎[16]以AIS和大數(shù)據(jù)挖掘技術(shù)為基礎(chǔ), 設(shè)計(jì)了基于Hadoop的聚類算法和船舶航次預(yù)測算法, 實(shí)現(xiàn)了對鐵礦石貿(mào)易量的預(yù)測。航運(yùn)電商平臺如船訊網(wǎng)、Hifleet船隊(duì)在線等將海量零散、動態(tài)的AIS等海運(yùn)數(shù)據(jù)搜集、整理、建模后形成多維基礎(chǔ)大數(shù)據(jù)模型, 并提供了大宗貨品海運(yùn)統(tǒng)計(jì)、港口運(yùn)營效能、船舶運(yùn)力分布及預(yù)測、集裝箱準(zhǔn)班率等分析產(chǎn)品和服務(wù)。

宏觀層面的海運(yùn)統(tǒng)計(jì)包括港口、對外貿(mào)易和大宗貨品等方面, 基于AIS開展海運(yùn)統(tǒng)計(jì)分析不僅需要全球范圍的港口、泊位數(shù)據(jù), 還要接入、處理并分析所有船舶的海量全球?qū)崟r和歷史AIS數(shù)據(jù), 并能據(jù)此挖掘出各類型貨物的運(yùn)量情況[17]。但從筆者搜索到的業(yè)界及學(xué)術(shù)界的公開資料及文獻(xiàn)來看, 對基于大數(shù)據(jù)平臺架構(gòu)的AIS接入、存儲、處理分析技術(shù)和宏觀海運(yùn)統(tǒng)計(jì)挖掘分析模型構(gòu)建的整體技術(shù)方案仍描述不足。因此, 本文面向港口、對外貿(mào)易及大宗貨品的海運(yùn)大數(shù)據(jù)統(tǒng)計(jì)分析需求, 給出了基于AIS開展海運(yùn)統(tǒng)計(jì)的技術(shù)方法, 詳細(xì)闡述了AIS大數(shù)據(jù)平臺的構(gòu)建方案, 以及電子圍欄分析、航行事件挖掘、航次分析等關(guān)鍵模型算法, 并以歷史全球大宗貨品船舶的AIS數(shù)據(jù)為例進(jìn)行了實(shí)證分析, 為變革海運(yùn)統(tǒng)計(jì)模式, 實(shí)現(xiàn)海運(yùn)即時化、準(zhǔn)確化、精細(xì)化的大數(shù)據(jù)統(tǒng)計(jì)分析與展現(xiàn)奠定技術(shù)基礎(chǔ)。

1 方法概述

1.1 AIS數(shù)據(jù)

本文提出的海運(yùn)大數(shù)據(jù)統(tǒng)計(jì)分析方法主要基于AIS數(shù)據(jù)。根據(jù)IMO《國際海上人命安全公約》規(guī)定, 總噸大于300 t的海運(yùn)船舶都需要安裝AIS終端設(shè)備。船舶發(fā)送的AIS信息通?？梢员桓浇陌痘蛘咝l(wèi)星AIS接收裝置接收, 基本可實(shí)現(xiàn)全球范圍的船舶追蹤。AIS數(shù)據(jù)主要包括動態(tài)信息和靜態(tài)信息, 其中動態(tài)信息主要包括船舶位置(經(jīng)緯度坐標(biāo))、航速、航向等, 靜態(tài)信息包括船舶載重、吃水、目的港和預(yù)到時間等。動態(tài)信息一般由與AIS相連接的物聯(lián)網(wǎng)設(shè)備自動提供, 這些信息在航行時通常幾秒鐘更新一次, 在停泊時幾分鐘更新1次, 且準(zhǔn)確性較高。靜態(tài)信息一般由人工輸入, 存在信息缺失或者不正確問題, 可靠性相對較差。

1.2 技術(shù)路線

基于船舶AIS開展海運(yùn)統(tǒng)計(jì)的數(shù)據(jù)模型涉及AIS動態(tài)感知信息以及船舶檔案、港口、泊位、海上通道等基礎(chǔ)數(shù)據(jù)以及這些信息在業(yè)務(wù)上、邏輯上、時空上的相互關(guān)系。大數(shù)據(jù)統(tǒng)計(jì)模型的建立有賴于船舶流量流向、貨物流量流向、船舶進(jìn)出港、途經(jīng)海上通道等信息的生成, 其實(shí)現(xiàn)的整體技術(shù)流程如圖1所示。

圖1 基于AIS大數(shù)據(jù)的海運(yùn)統(tǒng)計(jì)技術(shù)路線

1) 數(shù)據(jù)資料收集: 包括全球范圍內(nèi)實(shí)時及歷史衛(wèi)星AIS數(shù)據(jù)、船舶檔案數(shù)據(jù)、全球港口及泊位數(shù)據(jù)等, 來源包括商業(yè)采購、英國勞氏海事數(shù)據(jù)庫、人工調(diào)研補(bǔ)充等。

2) 大數(shù)據(jù)平臺及分析模型構(gòu)建: 利用分布式存儲和云計(jì)算技術(shù), 搭建AIS大數(shù)據(jù)存儲和計(jì)算平臺, 研發(fā)并集成電子圍欄分析、航行事件判斷、航次生成等挖掘分析模型算法, 滿足AIS實(shí)時數(shù)據(jù)接入、存儲和處理分析的要求。

3) 數(shù)據(jù)清洗及數(shù)據(jù)倉庫構(gòu)建: 基于大數(shù)據(jù)平臺, 開展AIS數(shù)據(jù)的抽取轉(zhuǎn)換和清洗等, 處理結(jié)果以船舶航跡點(diǎn)和航跡線的形式形成數(shù)據(jù)倉庫, 滿足后續(xù)挖掘分析的需要。

4) 航行事件挖掘: 通過對AIS航跡數(shù)據(jù)的挖掘分析, 將船舶航行過程劃分為預(yù)裝航行中、準(zhǔn)備裝貨、正在裝貨、裝貨完成、卸貨航行中、準(zhǔn)備卸貨、正在卸貨、卸貨完成8種航行狀態(tài)。

5) 航次分析: 分析船舶事件, 形成船舶航行從裝貨到卸貨的完整航次周期, 分析結(jié)果包含船舶航行航次的裝貨港口、卸貨港口、途經(jīng)海上通道、貨品類型和載貨量等信息。

6) 統(tǒng)計(jì)指標(biāo)生成: 在船舶航次信息基礎(chǔ)上, 進(jìn)行港口船舶進(jìn)出港統(tǒng)計(jì)、海上通道船舶流量統(tǒng)計(jì), 以及大宗貨品裝卸貨統(tǒng)計(jì)、進(jìn)出口統(tǒng)計(jì)等, 并形成多維度的大數(shù)據(jù)統(tǒng)計(jì)指標(biāo)。

7) 結(jié)果分析及可視化展示: 分析評估航次信息和成果指標(biāo)的準(zhǔn)確度, 迭代優(yōu)化挖掘分析模型, 同時開發(fā)前后臺功能, 實(shí)現(xiàn)基于GIS的分析結(jié)果關(guān)聯(lián)性交互查詢展示。

2 大數(shù)據(jù)平臺架構(gòu)

AIS大數(shù)據(jù)平臺的建設(shè)是實(shí)現(xiàn)海運(yùn)大數(shù)據(jù)統(tǒng)計(jì)的技術(shù)基礎(chǔ), 其目標(biāo)是基于實(shí)時與歷史AIS數(shù)據(jù), 結(jié)合船舶檔案、港口資料、調(diào)研數(shù)據(jù)等挖掘知識庫, 輔以在線加工, 通過不斷的數(shù)據(jù)挖掘和經(jīng)驗(yàn)積累, 形成特定的基礎(chǔ)數(shù)據(jù)庫和數(shù)據(jù)分析模型。最終自動化定時輸出港口、海上通道及貨品運(yùn)量等統(tǒng)計(jì)指標(biāo), 以及各類商品、船舶相關(guān)的動態(tài)信息, 并支持開放式編輯運(yùn)算、可視化交互展示和報表導(dǎo)出。

2.1 平臺總體架構(gòu)

秉承“高內(nèi)聚低耦合”的設(shè)計(jì)理念, AIS大數(shù)據(jù)平臺包括基礎(chǔ)設(shè)施層、數(shù)據(jù)資源層、數(shù)據(jù)分析層和服務(wù)封裝層四個部分, 如圖2所示。

圖2 AIS大數(shù)據(jù)平臺總體架構(gòu)圖

基礎(chǔ)設(shè)施層: 由網(wǎng)絡(luò)、主機(jī)、存儲、安全等設(shè)備組成, 為大數(shù)據(jù)平臺的存儲和計(jì)算提供基礎(chǔ)軟硬件支撐, 也為基于大數(shù)據(jù)平臺的各類應(yīng)用系統(tǒng)運(yùn)行提供基礎(chǔ)支撐環(huán)境。數(shù)據(jù)資源層: 實(shí)現(xiàn)包括實(shí)時AIS數(shù)據(jù)和歷史AIS數(shù)據(jù)的采集、抽取轉(zhuǎn)換和清洗, 并基于大數(shù)據(jù)存儲架構(gòu)滿足各類基礎(chǔ)數(shù)據(jù)、過程數(shù)據(jù)和成果數(shù)據(jù)存儲管理、查詢檢索等的需求。數(shù)據(jù)分析層: 集成大數(shù)據(jù)分析模型算法, 基于數(shù)據(jù)存儲層中的各類數(shù)據(jù), 通過挖掘分析, 生成船舶航行事件、航次、航跡等, 并最終形成各類航運(yùn)統(tǒng)計(jì)指標(biāo)。服務(wù)封裝層: 負(fù)責(zé)根據(jù)不同需求對各種大數(shù)據(jù)處理和分析功能進(jìn)行封裝并對外提供服務(wù)。

2.2 平臺數(shù)據(jù)架構(gòu)

基于大數(shù)據(jù)平臺總體架構(gòu), 結(jié)合AIS海運(yùn)統(tǒng)計(jì)技術(shù)路線, 實(shí)現(xiàn)對大數(shù)據(jù)平臺的數(shù)據(jù)流程設(shè)計(jì), 如圖3所示, 包括數(shù)據(jù)源、數(shù)據(jù)接入處理、數(shù)據(jù)存儲管理、數(shù)據(jù)計(jì)算分析和數(shù)據(jù)展示應(yīng)用5個部分。

1) 數(shù)據(jù)源: 包括實(shí)時AIS數(shù)據(jù)、歷史AIS數(shù)據(jù), 以及船舶檔案、港口、泊位、海上通道、電子海圖等基礎(chǔ)支撐數(shù)據(jù), 其中實(shí)時AIS數(shù)據(jù)是指實(shí)時產(chǎn)生并在較短時間間隔內(nèi)(一般不超過10 min)動態(tài)增加的流式AIS大數(shù)據(jù), 歷史AIS數(shù)據(jù)指過去某個時間段內(nèi)所有船舶發(fā)送的AIS數(shù)據(jù), 以文本文件的形式存儲, 數(shù)據(jù)格式為標(biāo)準(zhǔn)AIS原始報文。

圖 3 AIS大數(shù)據(jù)平臺數(shù)據(jù)架構(gòu)圖

2) 數(shù)據(jù)接入處理: 對實(shí)時AIS數(shù)據(jù), 首先搭建流數(shù)據(jù)處理框架, 通過TCP協(xié)議接入外部實(shí)時AIS數(shù)據(jù)源, 并統(tǒng)一交由Kafka消息中間件進(jìn)行存儲(Kafka實(shí)現(xiàn)高吞吐的同時可以保證準(zhǔn)確的發(fā)送給Flink流數(shù)據(jù)處理引擎, 避免因Flink出現(xiàn)故障導(dǎo)致數(shù)據(jù)丟失的問題)并分發(fā)給Flink進(jìn)行多機(jī)多線程處理。Flink流數(shù)據(jù)處理引擎首先需要完成AIS數(shù)據(jù)的清洗工作, 包括去除無效數(shù)據(jù)與重復(fù)數(shù)據(jù), 整合位置、吃水、目的地等, 并與上一條AIS數(shù)據(jù)對比補(bǔ)全航行相關(guān)數(shù)據(jù), 同時, Flink還將處理后的AIS數(shù)據(jù)存儲到AIS日志文件中, 并由Flume日志采集器定時獲取AIS日志文件并合并到AIS月日志文件中; 對歷史AIS數(shù)據(jù), 采用ETL工具Kettle執(zhí)行批量任務(wù)抽取報文文件, 并進(jìn)行清洗、去重、去無效等批操作, 形成統(tǒng)一格式的待處理文件, 同樣將處理結(jié)果存儲到AIS日志文件中。

3) 數(shù)據(jù)存儲管理: 對Flink處理后的實(shí)時AIS數(shù)據(jù), 一方面以“MMSI+日期”為Key存儲到Redis內(nèi)存數(shù)據(jù)庫中, 供Spark離線任務(wù)進(jìn)行航行事件生成和進(jìn)出海上通道判斷等實(shí)時性分析工作; 另一方面, 在空間內(nèi)存數(shù)據(jù)庫H2GIS中記錄船舶最近一次的位置, 滿足后期實(shí)時顯示船舶當(dāng)前位置的需求。對清洗后形成AIS日志文件, 通過Flume自動導(dǎo)入到Hive數(shù)據(jù)倉庫中, 方便后期問題回溯, 并為數(shù)據(jù)計(jì)算分析提供支撐?；贖Base存儲通過數(shù)據(jù)計(jì)算分析形成的航跡線、航行事件、航次信息和數(shù)據(jù)集市。船舶檔案、港口、泊位等基礎(chǔ)支撐數(shù)據(jù), 整體數(shù)據(jù)量不大, 且在進(jìn)行數(shù)據(jù)挖掘分析時需頻繁調(diào)用, 因此基于關(guān)系型數(shù)據(jù)庫MySQL進(jìn)行存儲。

4) 數(shù)據(jù)計(jì)算分析: 首先利用Spark事件分析任務(wù)批量從Redis內(nèi)存數(shù)據(jù)庫及Hive中提取AIS航跡點(diǎn)數(shù)據(jù), 結(jié)合MySQL中的船舶檔案、港口、泊位等基礎(chǔ)支撐數(shù)據(jù), 進(jìn)行分析形成航行事件數(shù)據(jù)并存儲到HBase中, 然后通過Spark航次分析任務(wù)從HBase中獲取待分析的航行事件并分析形成航次數(shù)據(jù)并存儲在HBase中。數(shù)據(jù)集市是最終呈現(xiàn)的統(tǒng)計(jì)指標(biāo)表與維度表, 包括港口統(tǒng)計(jì)、通道統(tǒng)計(jì)、貨品統(tǒng)計(jì)等方面, 其多維數(shù)據(jù)統(tǒng)計(jì)查詢通過分析型數(shù)據(jù)倉庫Kylin提供的接口實(shí)現(xiàn), Hive和HBase服務(wù)于Kylin, 為Kylin提供數(shù)據(jù), 并用HBase存放Kylin生成的Cube。利用Geomesa時空大數(shù)據(jù)處理引擎, 通過讀取存儲于HBase和Hive中的AIS數(shù)據(jù), 建立時空索引并基于Spark進(jìn)行計(jì)算分析, 進(jìn)而實(shí)現(xiàn)單船軌跡回放、多船航跡熱力圖、航跡線擬合等空間大數(shù)據(jù)分析, 并具備OGC標(biāo)準(zhǔn)服務(wù)接口數(shù)據(jù)訪問能力, 滿足后期數(shù)據(jù)展示應(yīng)用的需求。

5) 數(shù)據(jù)展示應(yīng)用: 以數(shù)據(jù)存儲和分析計(jì)算服務(wù)為支撐, 實(shí)現(xiàn)分析結(jié)果的統(tǒng)計(jì)圖表、統(tǒng)計(jì)報表和地圖可視化展示。本文基于UReport2報表引擎和ECharts可視化庫, 讀取存儲在HBase中的航次數(shù)據(jù)和統(tǒng)計(jì)指標(biāo)數(shù)據(jù), 實(shí)現(xiàn)報表化服務(wù)和圖表可視化服務(wù)。以H2GIS中的實(shí)時AIS點(diǎn)位數(shù)據(jù)及HBase中的航跡線數(shù)據(jù)為基礎(chǔ), 結(jié)合Geomesa的空間分析服務(wù), 利用Geoserver地圖服務(wù)器發(fā)布形成標(biāo)準(zhǔn)地圖服務(wù), 基于OpenLayers地圖庫, 實(shí)現(xiàn)海量船舶AIS航跡點(diǎn)及航跡線的地圖可視分析服務(wù)。

3 關(guān)鍵模型算法

根據(jù)港口、泊位等信息, 對海量AIS軌跡數(shù)據(jù)進(jìn)行分割, 解析出船舶的所有航次, 是實(shí)現(xiàn)海運(yùn)統(tǒng)計(jì)的關(guān)鍵?；贏IS軌跡數(shù)據(jù)對船舶航行中所在位置的航行狀態(tài)判斷, 即航行事件分析, 是航次生成的基礎(chǔ)。而航行事件分析有賴于AIS軌跡點(diǎn)與港口及泊位的位置關(guān)系分析, 即需通過電子圍欄技術(shù)實(shí)現(xiàn)。

3.1 電子圍欄分析

電子圍欄分析的核心內(nèi)容包括港口、泊位的電子圍欄構(gòu)建以及與船舶AIS軌跡點(diǎn)的相交計(jì)算。電子圍欄構(gòu)建是基于港口和泊位數(shù)據(jù)中的點(diǎn)位位置信息, 生成其多邊形范圍, 包括計(jì)算生成和人工調(diào)研繪制兩種方法, 計(jì)算生成是以港口和泊位的點(diǎn)位位置為圓心, 以特定值或以港口(泊位)與周邊港口(泊位)距離的最小值為半徑畫圓; 人工調(diào)研繪制是對重點(diǎn)區(qū)域港口和泊位通過實(shí)地調(diào)研或基于影像圖的方法手動繪制電子圍欄, 以獲得更為準(zhǔn)確的港口和泊位的空間范圍。在構(gòu)建的電子圍欄基礎(chǔ)上, 通過空間相交分析計(jì)算, 判斷AIS軌跡點(diǎn)是否在港口或泊位中, 詳細(xì)方法在此不再贅述。

3.2 航行事件分析

航行事件分析的主要流程是: 首先判斷船舶AIS軌跡點(diǎn)數(shù)據(jù)的航行狀態(tài)和航速, 然后與港口、泊位的電子圍欄進(jìn)行相交計(jì)算, 最后根據(jù)港口、泊位的裝卸貨標(biāo)識及船舶吃水值對船舶裝卸貨狀態(tài)及貨品類型進(jìn)行判斷, 形成包含8種航行狀態(tài)的船舶航行事件并按時間升序排列。

3.3 航次分析

航次分析通過分析按時間升序排列的航行事件, 形成航行周期并對應(yīng)到不同的運(yùn)輸航次。需要注意的是, 在一個航次周期中, 可能出現(xiàn)“多次裝貨”及“多次卸貨”的情況, 需分別根據(jù)“裝貨停止”和“卸貨停止”后下一事件的狀態(tài)進(jìn)行判別, 若“裝貨停止”事件后再次出現(xiàn)“預(yù)裝航行中”事件, 則該航次為“多次裝貨”; 若“卸貨停止”事件后再次出現(xiàn)“卸貨航行中”事件, 則該航次為“多次卸貨”, 詳細(xì)算法流程見圖4。

圖 4 航次分析算法流程圖

航次中的裝貨港口和卸貨港口可根據(jù)航行事件判斷中經(jīng)電子圍欄分析得出的泊位的所屬港口確定; 途經(jīng)海上通道通過航次航跡線與海上通道進(jìn)行相交計(jì)算分析判斷得到; 各航次的載貨類型可以依據(jù)裝卸貨泊位或港口的貨品類型屬性確定, 對應(yīng)航次的載貨量根據(jù)航次裝貨和卸貨后的吃水差進(jìn)行估算得出。

3.4 統(tǒng)計(jì)指標(biāo)生成

在航次分析形成的航次數(shù)據(jù)基礎(chǔ)上, 生成包含港口、海上通道、大宗貨品三方面的統(tǒng)計(jì)指標(biāo), 具體流程如下:

1) 港口統(tǒng)計(jì)

(1) 篩選出航次數(shù)據(jù)的裝貨港或卸貨港為需統(tǒng)計(jì)港口的航次;

(2) 篩選出進(jìn)離港時間在預(yù)先設(shè)定的統(tǒng)計(jì)周期(如月、季、半年、年等)的航次;

(3) 根據(jù)航次數(shù)據(jù)的裝貨港、卸貨港、途經(jīng)海上通道、載貨類型、載貨量等信息, 并結(jié)合船舶檔案數(shù)據(jù), 形成包含進(jìn)離港船舶累計(jì)載重及艘次、大宗貨品運(yùn)量、途經(jīng)海上通道、進(jìn)口國/出口國等多維度的港口統(tǒng)計(jì)指標(biāo)。

2) 海上通道統(tǒng)計(jì)

(1) 篩選出航次數(shù)據(jù)途經(jīng)海上通道包含需統(tǒng)計(jì)海上通道的航次;

(2) 篩選出途經(jīng)該海上通道的時間在預(yù)先設(shè)定的統(tǒng)計(jì)周期(如月、季、半年、年等)的航次;

(3) 根據(jù)航次數(shù)據(jù)的裝貨港及國家、卸貨港及國家、載貨類型、載貨量等信息, 并結(jié)合船舶檔案數(shù)據(jù), 形成包含進(jìn)出海上通道船舶累計(jì)載重及艘次、大宗貨品運(yùn)量、各港口/國家途經(jīng)該通道船舶累計(jì)載重及艘次等多維度的港口統(tǒng)計(jì)指標(biāo)。

3) 大宗貨品統(tǒng)計(jì)

(1) 對某一港口或海上通道的貨品統(tǒng)計(jì), 可按港口統(tǒng)計(jì)或海上通道統(tǒng)計(jì)方法, 形成包括運(yùn)輸大宗貨品船舶的累計(jì)載重及艘次、貨運(yùn)量、來源/去向港口及國家等多維統(tǒng)計(jì)指標(biāo);

(2) 對多個港口乃至某個國家的貨品統(tǒng)計(jì), 則需在港口統(tǒng)計(jì)的基礎(chǔ)上進(jìn)行匯總統(tǒng)計(jì), 形成包括運(yùn)輸船舶的累計(jì)載重及艘次、貨運(yùn)量、進(jìn)口/出口國、途經(jīng)海上通道等多維統(tǒng)計(jì)指標(biāo)。

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)

考慮到承擔(dān)大宗貨品海運(yùn)的船舶船型、裝卸貨港口、泊位都較為固定, 與本文提出的航行事件及航次分析算法適用場景一致, 因此, 以全球大宗貨品船舶的AIS數(shù)據(jù)挖掘分析為例, 驗(yàn)證本文方法的可行性。如表1及圖5所示, 本文實(shí)驗(yàn)采用的數(shù)據(jù)包括承擔(dān)大宗貨品運(yùn)輸?shù)娜? 005個港口, 41 222個泊位, 25 497艘船舶檔案, 以及這些船舶在2019年3月至5月產(chǎn)生的衛(wèi)星AIS數(shù)據(jù)(來源于美國的ORBCOMM公司), 約32億條。

表 1 實(shí)驗(yàn)數(shù)據(jù)介紹

圖 5 實(shí)驗(yàn)數(shù)據(jù)地圖可視化

4.2 實(shí)驗(yàn)結(jié)果與分析

按本文所述方法并采用6臺服務(wù)器作為計(jì)算節(jié)點(diǎn)搭建了大數(shù)據(jù)平臺, 其中, 主節(jié)點(diǎn)(Master)1個, 從節(jié)點(diǎn)(Slave)5個。構(gòu)建了港口和泊位的電子圍欄(如圖5b所示), 經(jīng)過對AIS數(shù)據(jù)的抽取轉(zhuǎn)換、清洗和挖掘分析(其中數(shù)據(jù)抽取與清洗耗時約17 h, 挖掘分析耗時約33 h), 共得到航次數(shù)據(jù)84 827條, 按船舶船型各航次分布情況如圖6所示。

圖 6 按船舶類型各航次分布情況

在航次數(shù)據(jù)基礎(chǔ)上, 形成了包含中國進(jìn)出口船舶過主要海上通道情況、沿海港口進(jìn)離港船舶情況, 以及煤炭、鐵礦石和原油3類大宗貨品進(jìn)口情況的統(tǒng)計(jì)指標(biāo)。圖7和圖8是2019年3—5月大宗貨品船舶中國進(jìn)出口所經(jīng)過主要海上通道的航次及載重統(tǒng)計(jì)情況, 其中載重是根據(jù)船舶檔案中的“滿載載重”累加計(jì)算得到。

圖 7 中國進(jìn)口船舶經(jīng)過海上通道統(tǒng)計(jì)

對2019年3—5月中國沿海港口的進(jìn)離港情況進(jìn)行統(tǒng)計(jì), 得出進(jìn)離港船舶數(shù)量排前十的港口, 統(tǒng)計(jì)結(jié)果如圖9如示, 從圖中可以看出, 寧波舟山港無論是從艘次還是載重看, 都排第一位, 這與中國大宗貨品海運(yùn)港口運(yùn)量的排名基本一致, 進(jìn)一步證明了一定程度上航次分析得出的“艘次”及“載重”大數(shù)據(jù)指標(biāo)可以從趨勢分析的層面代替?zhèn)鹘y(tǒng)統(tǒng)計(jì)的港口“吞吐量”指標(biāo)。

圖 8 中國出口船舶經(jīng)過海上通道統(tǒng)計(jì)

圖 9 沿海港口進(jìn)離港船舶統(tǒng)計(jì)

通過大宗貨品統(tǒng)計(jì), 分析得出中國2019年3—5月的原油、鐵礦石和煤炭3類大宗貨品的進(jìn)口量(表2),經(jīng)與海關(guān)公布的統(tǒng)計(jì)數(shù)據(jù)(網(wǎng)址: www.customs.gov.cn)進(jìn)行對比發(fā)現(xiàn), 3類貨品的大數(shù)據(jù)統(tǒng)計(jì)值均小于海關(guān)統(tǒng)計(jì)數(shù)據(jù)(約小3%～20%), 且2019年3月數(shù)據(jù)與海關(guān)數(shù)據(jù)差距更大, 2019年4—5月數(shù)據(jù)與海關(guān)數(shù)據(jù)差距逐步減小, 經(jīng)分析, 應(yīng)是缺乏2019年3月之前的AIS數(shù)據(jù), 對航次的挖掘不夠完整造成的。但大數(shù)據(jù)統(tǒng)計(jì)的結(jié)果與官方統(tǒng)計(jì)的趨勢一致, 且統(tǒng)計(jì)結(jié)果的準(zhǔn)確性會隨著基礎(chǔ)數(shù)據(jù)的完善及算法的優(yōu)化不斷提高, 這也進(jìn)一步從另一方面證明了本文提出的方法能滿足實(shí)際需要。

表 2 中國大宗貨品進(jìn)口量統(tǒng)計(jì)(×104 t)

為進(jìn)一步分析各港口、各貨品類型船舶的來源和流向, 基于大數(shù)據(jù)平臺對船舶AIS數(shù)據(jù)按航次進(jìn)行了航跡線可視化, 部分樣例圖如圖10所示, 從航跡線可以明顯的看出中國進(jìn)口鐵礦石的主要來源地包括澳大利亞、巴西、印度、加拿大等; 而通過航跡熱力圖可以反映大宗貨品海運(yùn)中不同沿海港口或海上通道的繁忙程度。

圖 10 AIS大數(shù)據(jù)可視化

5 結(jié)論與展望

本文面向港口、海上通道及大宗貨品海運(yùn)大數(shù)據(jù)統(tǒng)計(jì)分析需求, 給出了基于AIS開展海運(yùn)統(tǒng)計(jì)的技術(shù)方法、AIS大數(shù)據(jù)平臺的技術(shù)架構(gòu), 以及電子圍欄分析、航行事件挖掘、航次分析等關(guān)鍵模型算法。基于2019年3—5月全球大宗貨品船舶的AIS數(shù)據(jù), 以及船舶檔案、港口及泊位數(shù)據(jù), 對本文提出的方法進(jìn)行了實(shí)證分析。結(jié)果表明本文方法可以實(shí)現(xiàn)全球范圍內(nèi)海量船舶AIS數(shù)據(jù)的接入、清洗、處理及挖掘分析, 并在生成的航次數(shù)據(jù)基礎(chǔ)上, 實(shí)現(xiàn)了大宗貨品海運(yùn)的港口統(tǒng)計(jì)、海上通道統(tǒng)計(jì)及貨品運(yùn)量統(tǒng)計(jì), 形成的大數(shù)據(jù)統(tǒng)計(jì)指標(biāo)一定程度上可以作為傳統(tǒng)統(tǒng)計(jì)方法及指標(biāo)的補(bǔ)充; 結(jié)合大數(shù)據(jù)可視化方法, 對航跡線基于地圖的展示還可以直觀反應(yīng)船舶、貨品的來源和流向, 為變革海運(yùn)統(tǒng)計(jì)模式, 實(shí)現(xiàn)海運(yùn)即時化、準(zhǔn)確化、精細(xì)化的大數(shù)據(jù)統(tǒng)計(jì)分析與展現(xiàn)提供了新思路。

港口、泊位等基礎(chǔ)數(shù)據(jù)的完善是分析結(jié)果準(zhǔn)確性的保障, 但實(shí)際情況中, 數(shù)據(jù)的獲取及更新相當(dāng)困難, 因此, 引入機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、關(guān)聯(lián)規(guī)則等方法, 基于已有航次數(shù)據(jù)和AIS船舶軌跡對港口、泊位等的位置及屬性數(shù)據(jù)進(jìn)行補(bǔ)充、更新和完善是下一階段的研究方向; 此外, 由于模型和數(shù)據(jù)的限制, 本文并沒有考慮集裝箱船、漁船等船型船舶的海運(yùn)特點(diǎn)及其AIS信息挖掘分析方法, 這也是在今后的工作中需要研究的重點(diǎn)。

[1] 蘇興國. 歐盟海運(yùn)統(tǒng)計(jì)簡介[J]. 中國統(tǒng)計(jì), 2015(10): 30-31.

SU Xingguo. Brief introduction of EU maritime statistics[J]. China Statistics, 2015(10): 30-31.

[2] 王月恒, 王晶, 劉欣俠. 大數(shù)據(jù)時代新型對外貨物貿(mào)易統(tǒng)計(jì)體系研究[J]. 中國市場, 2017(19): 101, 103.

Wang Yueheng, Wang Jing, Liu Xinxia. Research on the new statistical system of foreign trade in goods in the era of big data[J]. China Market, 2017(19): 101, 103.

[3] 王杰, 唐順梅, 于海. 海運(yùn)大國與海運(yùn)強(qiáng)國辨析[J]. 大連海事大學(xué)學(xué)報(社會科學(xué)版), 2009(3): 44-47, 57.

Wang Jie, Tang Shunmei, Yu Hai. Differentiation and analysis of maritime power and big maritime country[J]. Journal of Dalian Maritime University (Social Sciences Edition), 2009(3): 44-47, 57.

[4] 徐叢春. 大數(shù)據(jù)時代海洋統(tǒng)計(jì)改革的思考[J]. 海洋經(jīng)濟(jì), 2016, 6(6): 54-60.

Xu Congchun. Reflections on the reform of marine statistics in the era of big data[J]. Marine Economy, 2016, 6(6): 54-60.

[5] 趙銳. 我國海洋經(jīng)濟(jì)統(tǒng)計(jì)存在的問題及完善途徑分析[J]. 中國統(tǒng)計(jì), 2013(2): 48-50.

Zhao Rui. Analysis on the problems and improvement ways of China’s marine economic statistics[J]. China Statistics, 2013(2): 48-50.

[6] 田璐, 張敖木翰, 張翼, 等. 船舶AIS大數(shù)據(jù)資源管理及分析應(yīng)用架構(gòu)設(shè)計(jì)[J]. 交通運(yùn)輸研究, 2019, 5(5): 31-40.

Tian Lu, Zhang Aomuhan, Zhang Yi, et al. Ship AIS big data management, analysis and application architecture design[J]. Transport Research, 2019, 5(5): 31-40.

[7] 李紅祥, 方遜. 基于AIS的船舶交通流量統(tǒng)計(jì)方法研究[J]. 武漢理工大學(xué)學(xué)報(交通科學(xué)與工程版), 2011, 35(4): 853-857.

Li Hongxiang, Fang Xun. Statistical method research of vessel traffic flow based on AIS[J]. Journal of Wuhan University of Technology (Transportation Science & Engineering), 2011, 35(4): 853-857.

[8] 徐明強(qiáng). 基于AIS數(shù)據(jù)的港口船舶營運(yùn)效率評估系統(tǒng)[J]. 中國航海, 2018, 41(3): 119-122.

Xu Mingqiang. Evaluation system of operation efficiency of ships in port based on AIS data[J]. Navigation of China, 2018, 41(3): 119-122.

[9] 朱倩茹, 廖程浩, 王龍, 等. 基于AIS數(shù)據(jù)的精細(xì)化船舶排放清單方法[J]. 中國環(huán)境科學(xué), 2017, 37(12): 4493-4500.

Zhu Qianru, Liao Chenghao, Wang Long, et al. Application of fine vessel emission inventory compilation method based on AIS data[J]. China Environmental Science, 2017, 37(12): 4493-4500.

[10] Jalkanen J P, Johansson L, Kukkonen J. A comprehensive inventory of ship traffic exhaust emissions in the European sea areas in 2011[J]. Atmospheric Chemistry and Physics, 2016, 16: 71-84.

[11] Maragkogianni A, Papaefthimious S. Eva-lua-ting the social cost of cruise ships air emissions in major ports of Greece[J]. Transportation Research－Part D, 2015, 36: 10-17.

[12] Lonati G, Cernuschi S, Sidi S. Air quality impact assessment of at-berth ship emissions: Case-study for the project of a new freight port[J]. Science of the Total Environment, 2010, 409: 192-200.

[13] 張建雄. 基于AIS的港口船舶動態(tài)統(tǒng)計(jì)系統(tǒng)[J]. 中國水運(yùn), 2015(2): 56-57.

Zhang Jianxiong. Port ship dynamic statistics system based on AIS[J]. China Shipping, 2015(2): 56-57.

[14] 何建春. 試述基于多傳感信息融合的內(nèi)河水運(yùn)統(tǒng)計(jì)應(yīng)用研究[J]. 中國水運(yùn), 2017, 561(10): 39-40.

He Jianchun. Application research on inland water transport statistics based on multi-sensor information fusion[J]. China Water Transport, 2017, 561(10): 39-40.

[15] 劉滿娜. 基于AIS的港口監(jiān)控與分析系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D]. 北京: 北京郵電大學(xué), 2014.

Liu Manna. Design and implemrnt of port monitoring and analysis system based on AIS[D]. Beijing: Beijing University of Posts and Telecommunications, 2014.

[16] 祝天虎. 全球鐵礦石貿(mào)易與航運(yùn)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 北京: 北京郵電大學(xué), 2019.

Zhu Tianhu. Design and implementation of global iron ore trade and shipping analysis system[D]. Beijing: Beijing University of Posts and Telecommunications, 2019.

[17] 朱吉雙, 邱偉維, 菅文濤. 水運(yùn)大數(shù)據(jù)開發(fā)與應(yīng)用研究——以船舶自動識別系統(tǒng)(AIS)為例[J]. 綜合運(yùn)輸, 2020, 42(4): 33-37.

Zhu Jishuang, Qiu Weiwei, JIan Wentao. Development and application of big data in the waterborne transportation—A case study of the ship automatic identification system[J]. China Transportation Review, 2020, 42(4): 33-37.

AIS big data mining for maritime statistics

ZHAO Long-fei1, 2, JIANG Xiao-yi1, 2, SUN Miao1, 2, CAO Lei1, 2, GUO Xue1, 2, Lü Chong-jing1, 2

(1. National Marine Data and Information Service, Tianjin 300171, China; 2. Marine Information Technology Innovation Center of the Ministry of Natural Resources, Tianjin 300171, China)

To address the problems of poor data quality, poor timeliness, outdated statistical products, and the unreliable traditional statistical methods of the maritime industry, a method of maritime statistics based on automatic identification system (AIS) big data mining analysis is proposed in this paper. The technical route of a maritime statistical analysis based on AIS big data, the technical architecture of big data platform, and the key model algorithm of electronic fence analysis, navigation event analysis, voyage analysis, and statistical index generation are elaborated in detail. With the application of AIS data of global bulk cargo ships from March to May in 2019 as an example, this method can provide big data statistical indicators of port, sea passage, and bulk cargo, as well as provide a new idea for realizing real-time, accurate, and refined statistical analysis and presentation of maritime transportation.

maritime transport statistics; big data; marine economy; AIS; mining analysis

Dec. 16, 2020

TP399

A

1000-3096(2021)12-0055-10

10.11759/hykx20201216003

2020-12-16;

2021-03-02

國家重點(diǎn)研發(fā)計(jì)劃(2017YFC1405300)

[National Key R & D plan, No. 2017YFC1405300]

趙龍飛(1991—), 男, 山東鄆城人, 助理研究員, 碩士, 主要從事海洋大數(shù)據(jù)挖掘分析與海洋信息化研究, E-mail: zhaolongfei220@163.com; 曹磊(1987—),通信作者, 男, 工程師, 碩士, E-mail: 544341126@qq.com

(本文編輯: 趙衛(wèi)紅)