文 孔 濤,姚高樂,陳廣通,駱 瑩(天津航標(biāo)處,天津 300456)
AIS系統(tǒng)是一種岸基和船載廣播式自動(dòng)識(shí)別報(bào)告系統(tǒng),在海上交通組織和保障船舶航行安全方面發(fā)揮著重要作用。由于AIS通信協(xié)議的公開透明性以及AIS系統(tǒng)自身的脆弱性,部分廠商片面逐利,加之各種不當(dāng)操作,導(dǎo)致大量船臺(tái)技術(shù)不合規(guī),船舶AIS動(dòng)、靜態(tài)信息錯(cuò)漏空情況嚴(yán)重,AIS船臺(tái)信息的低符合度給船舶協(xié)調(diào)避碰、海上交通指揮以及基于AIS的大數(shù)據(jù)分析帶來負(fù)面影響。
由于AIS技術(shù)在船-船、船-岸信息交互中的獨(dú)特優(yōu)勢,基于AIS技術(shù)的各類衍生設(shè)備應(yīng)運(yùn)而生,如AIS搜救發(fā)射器(AIS SART)、人員搜救信標(biāo)(MOB)、AIS航標(biāo)等,特別是基于AIS技術(shù)的網(wǎng)位儀利用AIS CLASS A/B報(bào)文或21號(hào)報(bào)文(專用于航標(biāo)報(bào)告)播發(fā)任意設(shè)置的名稱、位置、MMSI、類型等信息,發(fā)射功率、發(fā)射頻率、通信接入方式等設(shè)備參數(shù)均由廠商隨意設(shè)置,大量占用有限的AIS時(shí)隙資源,給AIS VDL鏈路管理造成了很大困擾,不僅干擾船舶避碰操作,影響AIS數(shù)據(jù)的挖掘應(yīng)用,而且對(duì)我國國際形象也造成不良影響。近年來還出現(xiàn)了通過模擬生成的欺騙性報(bào)文和錯(cuò)誤AIS信息,亟需利用智能化監(jiān)管手段提升不合規(guī)信息監(jiān)測能力,為海事執(zhí)法部門提供精準(zhǔn)高效的技術(shù)支持。
AIS動(dòng)態(tài)信息符合度監(jiān)測相較于靜態(tài)信息監(jiān)測更加困難,在符合度監(jiān)測的基礎(chǔ)上,還需結(jié)合合理性檢測等輔助方法,技術(shù)要求復(fù)雜,也是海事監(jiān)管的難點(diǎn)。故本文提出了基于AIS VDL的AIS船臺(tái)動(dòng)態(tài)信息符合度監(jiān)測系統(tǒng)設(shè)計(jì)方案,包括系統(tǒng)架構(gòu)組成、動(dòng)態(tài)信息、頻率和時(shí)隙的監(jiān)測算法規(guī)則,希望為海事執(zhí)法增加新利器,凈化海上無線電通信秩序。
AIS船臺(tái)在使用中根據(jù)船舶航行狀態(tài)以2S至3min的時(shí)間間隔播發(fā)船舶動(dòng)態(tài)報(bào)文,A類船播發(fā)AIS 1、2、3號(hào)消息,B類船播發(fā)AIS 18、19號(hào)消息。AIS船臺(tái)動(dòng)態(tài)信息符合度監(jiān)測,主要對(duì)上述消息字段根據(jù)相關(guān)標(biāo)準(zhǔn)規(guī)則進(jìn)行符合度校驗(yàn),具體為實(shí)時(shí)監(jiān)測AIS船臺(tái)是否接入羅經(jīng)信號(hào)(旋轉(zhuǎn)速率、對(duì)地航向監(jiān)測)、AIS船臺(tái)定位信息是否有效(經(jīng)度、緯度、位置準(zhǔn)確度監(jiān)測)、AIS船臺(tái)是否接入計(jì)程儀(測速)信號(hào)(對(duì)地航速監(jiān)測)、動(dòng)態(tài)報(bào)文播發(fā)頻率。在符合度監(jiān)測的基礎(chǔ)上,還增加合理性檢測等輔助方法。此外,還配置時(shí)隙分析儀用于實(shí)時(shí)分析AIS船臺(tái)播發(fā)電文的時(shí)隙符合度。
動(dòng)態(tài)信息標(biāo)準(zhǔn)符合度監(jiān)測對(duì)解析后的結(jié)構(gòu)化報(bào)文數(shù)據(jù)按順序進(jìn)行各項(xiàng)分析。設(shè)置白名單、黑名單機(jī)制處理流程[1],根據(jù)錯(cuò)誤的嚴(yán)重程度設(shè)置了高、中、低3階錯(cuò)誤等級(jí),以方便錯(cuò)誤處置。
AIS船臺(tái)動(dòng)態(tài)信息符合度監(jiān)測系統(tǒng)主要由動(dòng)態(tài)信息實(shí)時(shí)獲取模塊、主控模塊、內(nèi)存狀態(tài)數(shù)據(jù)維護(hù)模塊、AIS船臺(tái)是否接入羅經(jīng)模塊、AIS船臺(tái)是否接入計(jì)程儀模塊、AIS船臺(tái)定位信息是否有效模塊、AIS船臺(tái)動(dòng)態(tài)電文播發(fā)頻率是否合規(guī)模塊、AIS船臺(tái)動(dòng)態(tài)電文播發(fā)時(shí)隙是否合規(guī)模塊以及黑白名單維護(hù)模塊組成。系統(tǒng)架構(gòu)見圖1:
圖1 系統(tǒng)架構(gòu)圖
1. 動(dòng)態(tài)信息獲取模塊:負(fù)責(zé)維護(hù)kafka集群的配置,連接kafka集群,訂閱集群中AIS動(dòng)態(tài)消息主題隊(duì)列,并從訂閱的kafka集群的動(dòng)態(tài)信息topic中獲取kafka集群發(fā)布的數(shù)據(jù),將獲取到的數(shù)據(jù)傳給主控模塊進(jìn)行分析。
2. 主控模塊:服務(wù)包含多個(gè)符合度監(jiān)測,主控模塊負(fù)責(zé)對(duì)接收到的動(dòng)態(tài)數(shù)據(jù)進(jìn)行調(diào)度,逐項(xiàng)進(jìn)行監(jiān)測,同時(shí)比對(duì)黑白名單,對(duì)有問題的數(shù)據(jù)輸出至MySQL數(shù)據(jù)庫。
3. 內(nèi)存狀態(tài)數(shù)據(jù)維護(hù)模塊:負(fù)責(zé)連接redis內(nèi)存數(shù)據(jù)庫,并維護(hù)數(shù)據(jù)船舶動(dòng)態(tài)數(shù)據(jù)緩存,為業(yè)務(wù)分析模塊提供船舶動(dòng)態(tài)狀態(tài)數(shù)據(jù)支撐。
4. AIS船臺(tái)是否接入羅經(jīng)信號(hào)、是否接入計(jì)程儀、定位信息是否有效、動(dòng)態(tài)電文播發(fā)頻率是否合規(guī)、動(dòng)態(tài)電文播發(fā)時(shí)隙是否合規(guī)模塊:根據(jù)主控模塊調(diào)度,根據(jù)監(jiān)測算法對(duì)報(bào)文相應(yīng)字段進(jìn)行標(biāo)準(zhǔn)符合度校驗(yàn),將結(jié)果返回給主控模塊統(tǒng)一處理。
5. 黑白名單維護(hù)模塊
黑白名單模塊通過連接redis內(nèi)存數(shù)據(jù)庫,在redis中維護(hù)一個(gè)黑白名單,負(fù)責(zé)存儲(chǔ)經(jīng)過動(dòng)態(tài)符合度監(jiān)測的合格以及不合格的船舶,經(jīng)監(jiān)測結(jié)果正常的船舶移入白名單,配置時(shí)間內(nèi)不進(jìn)行重復(fù)檢查,超過配置時(shí)間自動(dòng)移除白名單;經(jīng)監(jiān)測結(jié)果異常的船舶移入黑名單,不再進(jìn)行重復(fù)檢查,需要用戶手動(dòng)解除黑名單。
1. 監(jiān)測流程和輸出結(jié)果說明
關(guān)于實(shí)時(shí)監(jiān)測AIS船臺(tái)是否接入羅經(jīng)信號(hào),主要通過監(jiān)測AIS報(bào)文位置數(shù)據(jù)中船舶旋轉(zhuǎn)速率(ROTAIS)字段、實(shí)際航向字段是否符合規(guī)則校驗(yàn),本算法根據(jù)ITURM.1371-5標(biāo)準(zhǔn)整理ROTAIS字段、實(shí)際航向字段校驗(yàn)規(guī)則算法,同時(shí)增加合理性檢測,作為提示性消息。由于B類船沒有ROTAIS數(shù)據(jù),所以B類船只對(duì)實(shí)際航向字段進(jìn)行校驗(yàn)。監(jiān)測流程見圖2:
圖2 AIS船臺(tái)是否接入羅經(jīng)信號(hào)監(jiān)測流程圖
輸出結(jié)果說明如下:
(1)實(shí)際航向字段為空或默認(rèn)值,錯(cuò)誤等級(jí):中;(2)ROTAIS字段為空或默認(rèn)值,錯(cuò)誤等級(jí):中;(3)實(shí)際航向字段不符合規(guī)則要求,錯(cuò)誤等級(jí):中;(4)ROTAIS字段不符合規(guī)則要求,錯(cuò)誤等級(jí):中;(5)ROTAIS字段內(nèi)容不合理,錯(cuò)誤等級(jí):低。
2. 監(jiān)測算法規(guī)則
(1)空白校驗(yàn),檢驗(yàn)實(shí)際航向是否為空值或默認(rèn)值(511);(2)空白校驗(yàn),A類船校驗(yàn)ROTAIS是否為空值或默認(rèn)值(-128);(3)有效性校驗(yàn),A類船校驗(yàn)ROTAIS是否有效,值為±127之間;(4)有效性校驗(yàn),檢驗(yàn)實(shí)際航向字段的值是否有效,0-359之間。
1. 監(jiān)測流程和輸出結(jié)果說明
關(guān)于實(shí)時(shí)監(jiān)測AIS船臺(tái)是否接入計(jì)程儀(測速)信號(hào),主要通過監(jiān)測AIS報(bào)文位置數(shù)據(jù)中SOG字段符合度的規(guī)則校驗(yàn),本算法根據(jù)ITU-RM.1371-5標(biāo)準(zhǔn)整理船舶SOG校驗(yàn)規(guī)則算法,同時(shí)增加合理性檢測,作為提示性消息。監(jiān)測流程見圖3:
圖3 AIS船臺(tái)是否接入計(jì)程儀監(jiān)測流程圖
輸出結(jié)果說明如下:
(1)字段為空或默認(rèn)值,錯(cuò)誤等級(jí):中;(2)字段內(nèi)容不符合規(guī)則要求,錯(cuò)誤等級(jí):中;(3)字段內(nèi)容不合理,錯(cuò)誤等級(jí):低。
2. 監(jiān)測算法規(guī)則
(1)空白校驗(yàn),SOG是否為空值或默認(rèn)值(1023);(2)有效性校驗(yàn),SOG是否在0-1022之間;(3)合理性校驗(yàn),根據(jù)船舶類型、船舶尺寸SOG合理性。
1. 監(jiān)測流程和輸出結(jié)果說明
對(duì)于監(jiān)測AIS船臺(tái)定位信息是否有效,主要通過監(jiān)測AIS報(bào)文位置中船舶緯度、經(jīng)度字段符合度的規(guī)則校驗(yàn),本算法根據(jù)ITU-RM.1371-5標(biāo)準(zhǔn)整理船舶緯度、經(jīng)度校驗(yàn)規(guī)則算法。監(jiān)測流程見圖4:
圖4 AIS船臺(tái)定位信息是否有效監(jiān)測流程圖
緯度、經(jīng)度字段校驗(yàn)結(jié)果,錯(cuò)誤類型分為以下幾種:
(1)字段為空或默認(rèn)值,錯(cuò)誤等級(jí):中;(2)字段內(nèi)容不符合規(guī)則要求,錯(cuò)誤等級(jí):中。
2. 監(jiān)測算法規(guī)則
(1)空白校驗(yàn),檢驗(yàn)緯度、經(jīng)度是否有為空值或默認(rèn)值(經(jīng)度=181,緯度=91),經(jīng)緯度全部滿足非空才通過;(2)有效性校驗(yàn),經(jīng)度在±180之間,緯度在±90之間,經(jīng)緯度全部滿足非空才通過。
1. 監(jiān)測流程和輸出結(jié)果說明
動(dòng)態(tài)電文播發(fā)頻率校驗(yàn)算法負(fù)責(zé)對(duì)A、B兩類船舶播發(fā)動(dòng)態(tài)位置進(jìn)行監(jiān)測。A類船舶位置信息電文為1、2、3號(hào)電文,電文的播發(fā)頻率根據(jù)船舶的航行狀態(tài)以及航速航向信息發(fā)生變化;B類船舶位置信息電文為18、19號(hào)電文,電文的播發(fā)頻率根據(jù)船舶的航速信息發(fā)生變化。算法根據(jù)船舶的不同類型以及航行狀態(tài)檢測船舶在各種不同的情況下的播發(fā)頻率是否符合ITU-RM.1371-5的標(biāo)準(zhǔn)規(guī)定。監(jiān)測流程見圖5:
圖5 AIS船臺(tái)動(dòng)態(tài)電文播發(fā)頻率符合度是否合規(guī)監(jiān)測流程圖
緯度、經(jīng)度字段校驗(yàn)結(jié)果,錯(cuò)誤類型分為以下幾種:
(1)播發(fā)頻率不合格船舶MMSI;(2)被判定為播發(fā)頻率不合格時(shí)播發(fā)頻率狀態(tài)(過快還是過慢)。
2.監(jiān)測算法規(guī)則
(1)如果船舶出現(xiàn)在黑名單數(shù)據(jù)庫中,即船舶已經(jīng)被確認(rèn)為播發(fā)頻率不合格的船舶,則不再對(duì)此船舶的電文進(jìn)行下一步分析;(2)判斷船舶是否出現(xiàn)在白名單中,如果是,判斷白名單中船舶插入記錄時(shí)間是否超過6個(gè)月;如果未超過6個(gè)月,不再對(duì)此船舶進(jìn)行下一步分析;否則正常分析此船舶;(3)判斷船舶MMSI是否已經(jīng)存在于內(nèi)存中,如果不存在,插入新的船舶記錄,否則進(jìn)行下一步船舶分析;(4)船舶分析時(shí)需要根據(jù)船舶的電文類型進(jìn)行分類,首先判斷船舶類型,根據(jù)異常播發(fā)頻率間隔說明表確定船舶此次發(fā)送電文的時(shí)間與上一次發(fā)送的時(shí)間間隔是否為異常間隔:①如果時(shí)間間隔不在設(shè)置的閾值內(nèi),將內(nèi)存記錄的異常次數(shù)+1,判斷異常次數(shù)大于等于50,則說明船舶播發(fā)頻率異常,將不合格船舶存入黑名單中;如果內(nèi)存記錄的異常次數(shù)小于50,則更新內(nèi)存中船舶數(shù)據(jù)記錄。②如果時(shí)間間隔在設(shè)置的閾值內(nèi),將內(nèi)存記錄的異常次數(shù)-1,最少減到0為止;然后判斷船舶監(jiān)測的時(shí)間是否已經(jīng)達(dá)到一個(gè)月,即船舶在一個(gè)月以內(nèi)未出現(xiàn)播發(fā)頻率異常問題,則將船舶存入白名單內(nèi)。
異常播發(fā)頻率間隔說明如表1所示:
表1 A類船舶標(biāo)準(zhǔn)與播發(fā)頻率閾值表
表2 B類船舶標(biāo)準(zhǔn)與播發(fā)頻率閾值表
1. 監(jiān)測流程和輸出結(jié)果說明
AIS系統(tǒng)是時(shí)分的傳輸系統(tǒng),所以它要求臺(tái)站之間要有一個(gè)精確的時(shí)間同步,并對(duì)時(shí)間進(jìn)行分割。當(dāng)AIS船臺(tái)工作時(shí),會(huì)定期按照時(shí)隙規(guī)則播發(fā)動(dòng)態(tài)報(bào)文,動(dòng)態(tài)報(bào)文中通信狀態(tài)字段,根據(jù)類型可以解析出具體時(shí)隙使用相關(guān)的子消息。本算法根據(jù)ITU-RM.1371-5標(biāo)準(zhǔn)整理時(shí)隙相關(guān)算法,對(duì)動(dòng)態(tài)報(bào)文進(jìn)行分析監(jiān)測時(shí)隙符合度,主要監(jiān)測發(fā)送時(shí)隙與預(yù)約時(shí)隙符合性、預(yù)約時(shí)隙實(shí)際發(fā)送情況。由于消息特點(diǎn),本算法只檢測使用自組織時(shí)分多址(SOTDMA)的1號(hào)和2號(hào)報(bào)文。監(jiān)測流程見圖6:
圖6 AIS船臺(tái)動(dòng)態(tài)電文播發(fā)時(shí)隙符合度是否合規(guī)監(jiān)測流程
動(dòng)態(tài)報(bào)文播發(fā)時(shí)隙校驗(yàn)結(jié)果,錯(cuò)誤類型分為以下幾種:
(1)播發(fā)時(shí)隙與預(yù)約時(shí)隙不符合,錯(cuò)誤等級(jí):中;
(2)船臺(tái)只預(yù)約時(shí)隙,但是不發(fā)送消息,錯(cuò)誤等級(jí):高。
2. 監(jiān)測算法規(guī)則
(1)校驗(yàn)緩存數(shù)據(jù)是否存在設(shè)備時(shí)隙數(shù)據(jù),如沒有則存入緩存時(shí)隙數(shù)據(jù);(2)如果存在時(shí)隙數(shù)據(jù),則判斷時(shí)隙超時(shí)字段是否為0,代表時(shí)隙預(yù)約數(shù)據(jù);(3)如時(shí)隙超時(shí)字段為0,則判斷緩存中上一條報(bào)文時(shí)隙超時(shí)字段是否為0:①如連續(xù)多次都為時(shí)隙預(yù)約數(shù)據(jù),則判斷為船臺(tái)只預(yù)約時(shí)隙,但是不發(fā)送消息,輸出結(jié)果b;②如只有本條為0,則根據(jù)時(shí)隙偏移計(jì)算時(shí)隙預(yù)約情況,并更新緩存,正常結(jié)束;(4)如時(shí)隙超時(shí)字段不為0,則判斷緩存是否存在時(shí)隙預(yù)約信息:①如沒有時(shí)隙預(yù)約信息,則更新緩存當(dāng)前播發(fā)時(shí)隙信息,正常結(jié)束;②如存有時(shí)隙預(yù)約信息,則判斷當(dāng)前報(bào)文時(shí)隙是否符合時(shí)隙預(yù)約信息,如果多次不滿足,則判斷為播發(fā)時(shí)隙與預(yù)約時(shí)隙不符合,輸出結(jié)果a[2]。
通過接入全國AIS數(shù)據(jù)庫、船舶檢驗(yàn)數(shù)據(jù)庫以及船舶無線電數(shù)據(jù)庫,采用Spark與Hadoop為基礎(chǔ)的大數(shù)據(jù)處理平臺(tái),基于AIS VDL的AIS船臺(tái)動(dòng)態(tài)信息符合度監(jiān)測系統(tǒng)實(shí)現(xiàn)了對(duì)全國AIS船臺(tái)動(dòng)態(tài)報(bào)文、通信頻率、通信時(shí)隙的ITU-RM.1371-5協(xié)議符合度實(shí)時(shí)監(jiān)測和大容量處理,已作為北海航海保障中心開發(fā)的AIS VDL監(jiān)測系統(tǒng)重要組成部分,在監(jiān)測“一碼多船”、不合規(guī)船臺(tái)、船臺(tái)協(xié)議不合規(guī)及船舶定位異常等方面精準(zhǔn)可靠。據(jù)統(tǒng)計(jì),AIS VDL系統(tǒng)2020年5月上線至2021年9月共篩查動(dòng)態(tài)信息異常船舶55 212艘,其中A類船舶12 163艘,占22%,B類船舶43 049艘,占78%。在支持水上無線電秩序?qū)m?xiàng)整治中成效顯著,動(dòng)態(tài)信息異常船舶占比由上線之初的9.823%降至2020年11月的0.799%,降幅達(dá)92%(見圖7)?;谙到y(tǒng)處理生成的數(shù)據(jù)也持續(xù)提供給“凈海衛(wèi)士”水上無線電輔助執(zhí)法程序,為全國水上無線電秩序?qū)m?xiàng)整治工作提供了可信的數(shù)據(jù)支撐。
圖7 船臺(tái)動(dòng)態(tài)信息異常船舶占比
基于AIS VDL的AIS船臺(tái)動(dòng)態(tài)信息符合度監(jiān)測系統(tǒng)實(shí)現(xiàn)了對(duì)異常AIS船臺(tái)信息的精準(zhǔn)甄別,優(yōu)化了AIS數(shù)據(jù)源和海上無線電通信秩序。同時(shí),要在應(yīng)用中不斷優(yōu)化該系統(tǒng)判斷算法,提高異常甄別準(zhǔn)確率;完善對(duì)外數(shù)據(jù)服務(wù)接口,為涉海用戶接入AIS VDL數(shù)據(jù)庫提供便利;充分利用AIS VDL系統(tǒng)接入船舶檢驗(yàn)數(shù)據(jù)庫和船舶無線電數(shù)據(jù)庫的優(yōu)勢,過濾生成高質(zhì)量的純凈AIS數(shù)據(jù)源,為海事監(jiān)管和相關(guān)領(lǐng)域大數(shù)據(jù)分析提供更加精準(zhǔn)的數(shù)據(jù)支撐。