薛敏 耿建寧

1. 海裝裝備項目管理中心 北京 100071；2. 中船航海科技有限責(zé)任公司 北京 100074

引言

智能化是現(xiàn)代船舶發(fā)展的重要方向，主要是從智能感知到智能決策，進而實現(xiàn)船舶智能控制的過程，以達到解放人力、智能避碰和自主航行的目的。而一艘船舶從設(shè)計到生產(chǎn)再到試驗，涉及面廣且專業(yè)性強，技術(shù)發(fā)展和改進難度較大。因此，雖然智能船舶的發(fā)展極其重要和迫切，但其技術(shù)發(fā)展和實施過程卻極其緩慢。

1 國內(nèi)外現(xiàn)狀研究

我國智能船舶的發(fā)展遵循系統(tǒng)布局、創(chuàng)新驅(qū)動、梯次推進、重點突破的原則，按照“輔助決策-遠程控制-無人自主”的研發(fā)路徑有序開展。依托國家重大科研項目和“產(chǎn)學(xué)研用”專業(yè)化協(xié)作團隊，經(jīng)過幾年的研究與探索，我國在智能船舶和船舶自主航行領(lǐng)域取得了較好的成果。但是在船舶智能領(lǐng)域，對于增強現(xiàn)實技術(shù)在船舶輔助駕駛領(lǐng)域的研究起步較晚。天津航標處利用AR技術(shù)構(gòu)建虛擬助航系統(tǒng)，通過GPS+3D技術(shù)獎虛擬航標精準投放至全球，船舶借助專用設(shè)備，航行至該區(qū)域，實時采集到虛擬助航系統(tǒng)、虛擬航道規(guī)劃服務(wù)每位船舶遠洋航行提供高效助航服務(wù)。

2015年，法國艦艇建造局（DCNS）在歐洲海軍裝備展上發(fā)布了XWIND 4000“全數(shù)字化”概念艦設(shè)計方案，該方案運用了語音控制技術(shù)、體感技術(shù)、增強現(xiàn)實技術(shù)，使艦員在艦橋上擁有360°全方位視野。所有的數(shù)字化系統(tǒng)均運行于安全的數(shù)據(jù)中心體系結(jié)構(gòu)上，該體系結(jié)構(gòu)處于能根據(jù)作戰(zhàn)需求變化而分配相應(yīng)資源的虛擬環(huán)境中。

2019年，日本三菱重工在?？仗旆绖?wù)展發(fā)布了將用于日本30DX護衛(wèi)艦上的“先進綜合戰(zhàn)情中心”設(shè)計方案，該方案運用了船舶智能操控技術(shù)、增強現(xiàn)實技術(shù)，通過360°環(huán)狀屏幕墻將駕駛室、態(tài)勢感知室、主機和動力控制室、戰(zhàn)情中心聯(lián)合在一起，提供全景展示環(huán)境，可以顯示護衛(wèi)艦的全向的外部環(huán)境，融合來自艦上電光探測系統(tǒng)，紅外系統(tǒng)、視頻系統(tǒng)甚至雷達傳感器的圖像和數(shù)據(jù)，使戰(zhàn)斗指揮員及時獲取和利用最新的情況信息，同時還可以讓艦員通過多功能控制界面執(zhí)行作戰(zhàn)、導(dǎo)航和通信等幾乎全部的艦上指揮與控制工作。

2019年法國BAE公司將來自雷達、聲吶、光電設(shè)備等態(tài)勢感知的數(shù)據(jù)和其他戰(zhàn)術(shù)信息通過數(shù)據(jù)連接到AR眼鏡，在某型護衛(wèi)艦上進行測試。展現(xiàn)在指揮員眼前的是虛擬的真實世界，友艦位置等信息數(shù)據(jù)將直接展現(xiàn)在這個視野中，讓艦員一目了然自己的狀態(tài)和位置，在艦上隨時隨地獲取戰(zhàn)術(shù)態(tài)勢和其他關(guān)鍵信息?？梢酝ㄟ^AR眼鏡檢測視野內(nèi)遠處的物體，并通過AI獲取該物體的分類數(shù)據(jù)，如果數(shù)據(jù)與看到的數(shù)據(jù)不匹配，可以直接對數(shù)據(jù)進行修改，如果發(fā)現(xiàn)可疑目標威脅到本方艦艇，可以直接在系統(tǒng)中標定該目標，整個系統(tǒng)的用戶都能看到，能夠在戰(zhàn)斗環(huán)境中建立起更高效、更準確的工作流程。

2018 年，英國海洋電子設(shè)備制造商Raymarine研發(fā)一款用于游艇的導(dǎo)航軟件——RaymarineClearCruise AR。該系統(tǒng)通過高清攝像頭采集船舶前方的實時視景，利用船載設(shè)備和傳感器獲取到視景中物標（例如：船舶、浮標）的對應(yīng)信息，運用增強現(xiàn)實技術(shù)，將生成的虛擬信息疊加到視景中，將實時的增強視景呈現(xiàn)在電子屏幕上。安裝該軟件的游艇可以做到：①清楚地識別周圍裝有 AIS 的船只；②不同船舶的顏色編碼，確定物標的狀態(tài)和風(fēng)險等級；③低能見度條件下，使游艇周圍的浮標等可視化。該系統(tǒng)由于安裝在游艇上，相對于其他類型船只速度較快，需要計算機快速處理大量船舶數(shù)據(jù)。

與國外典型船舶智能產(chǎn)品相比，國內(nèi)的同類產(chǎn)品起步晚、發(fā)展慢，技術(shù)尚需成熟，需開展智能航行感知系統(tǒng)設(shè)計，以彌補船舶智能航行領(lǐng)域的缺陷。

2 系統(tǒng)設(shè)計

本文提出了一種船舶智能航行感知系統(tǒng)集成設(shè)計，主要包括航行態(tài)勢感知和AR輔助決策系統(tǒng)設(shè)計兩部分。

2.1 航行態(tài)勢感知——以計算機視覺為基礎(chǔ)的智能感知產(chǎn)品

航行態(tài)勢感知是船舶自主航行的基礎(chǔ)。如果將智能船舶比作人，船舶自主航行比作人的行走，那么航行態(tài)勢感知傳感器相當于綜合利用人的眼睛、耳朵和鼻子等感官對周圍環(huán)境進行感知。航行態(tài)勢感知技術(shù)包括態(tài)勢感知傳感器、態(tài)勢感知數(shù)據(jù)融合等技術(shù)。

態(tài)勢感知傳感器是集成激光雷達、導(dǎo)航雷達、紅外攝像、RGB攝像及PTZ全方位視頻監(jiān)控和其他導(dǎo)航傳感器及設(shè)備，利用傳感器技術(shù)和計算機視覺的最新進展，通過信息融合和智能學(xué)習(xí)，實現(xiàn)船舶環(huán)境實時可視化和感知。通過實時采集雷達回波信息、全景激光雷達點云信息、視頻信息，進行信息去噪、整合、特征提取等預(yù)處理，基于智能技術(shù)，開展圖像處理等研究，實現(xiàn)目標自動檢測與識別。

態(tài)勢感知傳感器主要包括激光雷達、全景視覺、全景紅外、S波段雷達、X波段雷達。為了滿足不同船舶的航行需求，對空間分辨率、感知范圍、目標識別率、環(huán)境及處理效率各方面有不同的要求，為了更好地支撐不同的態(tài)勢感知需求，各傳感器對比如下表所示。

表1 傳感器對比分析表

船舶航行態(tài)勢感知數(shù)據(jù)往往有多個數(shù)據(jù)源，為了充分發(fā)揮多源數(shù)據(jù)價值，確保態(tài)勢信息的正確性和全局性，需要對多源態(tài)勢感知數(shù)據(jù)進行融合處理。針對航行中的船舶等目標，雷達、AIS、激光等主要信息源進行信息融合疊加顯示，實現(xiàn)各個信息源探測的目標結(jié)果進行正確的坐標統(tǒng)一。數(shù)據(jù)融合方法包含貝葉斯網(wǎng)絡(luò)[1]、D-S 證據(jù)理論[2]、粗糙集理論[3]、神經(jīng)網(wǎng)絡(luò)等[4]。

近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的數(shù)據(jù)融合方法逐漸受到人們的關(guān)注。深度學(xué)習(xí)的顯著特征是可以自動從數(shù)據(jù)中提取目標特征，所提取的高層特征具有表征性強、語義性好的特點[5]。因此，基于深度學(xué)習(xí)的數(shù)據(jù)融合是一種特征級數(shù)據(jù)融合，通過多次感知數(shù)據(jù)的迭代能夠更好地實現(xiàn)智能態(tài)勢感知，通過對激光雷達、全景視覺和全景紅外等感知數(shù)據(jù)的融合，能夠更好地輔助航行指揮員進行態(tài)勢感知，提高航行安全性。

2.2 AR輔助決策系統(tǒng)——以人工智能為基礎(chǔ)的船舶智能產(chǎn)品

傳統(tǒng)航行態(tài)勢的分析依靠人來處理多來源、多種形態(tài)的態(tài)勢信息，對目標的觀測手段為航行觀察視頻、導(dǎo)航雷達、AIS等，同一個目標不同來源的文字、圖片、視頻信息等需交叉比對，從而獲取一個目標的信息，工作量大，信息處理智能化程度不高，數(shù)據(jù)利用率低；另外，對于航行態(tài)勢感知的范圍不足，因駕駛室瞭望視野受限，兩側(cè)及向后視野不佳，夜間和雨雪霧天氣情況下人工瞭望受限，無法顯示艦艇全向的外部環(huán)境。智能航行態(tài)勢感知系統(tǒng)，通過增強現(xiàn)實技術(shù)將目標進行疊加，可提供多維態(tài)勢展示能力。

增強現(xiàn)實（Augmented Reality，簡稱AR）是一種實時地計算攝影機影像的位置及角度并加上相應(yīng)圖像的技術(shù)，從而將真實世界信息和虛擬世界信息“無縫”集成。通過該技術(shù)將視頻采集到的觀察視頻與電子海圖數(shù)據(jù)及傳感器觀測到的數(shù)據(jù)信息進行疊加，可以實現(xiàn)真實世界的數(shù)據(jù)的信息集成，將電子海圖立體起來，直觀的向用戶全面展示航行態(tài)勢[6]。

為了將觀察視頻與地理信息更好的對準，采用OSGEarth技術(shù)，OSGEarth技術(shù)提供了一個地理空間的開發(fā)工具包和地形引擎，該技術(shù)利用包含投影坐標系及經(jīng)緯度信息的地形數(shù)據(jù)進行定位，無論何種數(shù)據(jù)源的數(shù)據(jù)，只要能確定投影參考系，便能保證被放置在正確的位置上。且該技術(shù)提供開放式的繪圖標準，操作和數(shù)據(jù)的交互，一個統(tǒng)一的標準，使得該技術(shù)可以包含更多的數(shù)據(jù)源?；诖思夹g(shù)，可以完成三維地理空間的構(gòu)件及增強現(xiàn)實功能的實現(xiàn)。

圖1 AR輔助決策系統(tǒng)示意圖及結(jié)構(gòu)圖

2.3 智能航行感知系統(tǒng)功能

智能航行感知系統(tǒng)可以實現(xiàn)如下功能：

2.3.1 視頻接收及處理，通過視覺傳感器，接收外部的觀察視頻，并對視頻流進行解析顯示，可通過智能圖像處理功能識別視頻圖像中的目標。

2.3.2 數(shù)據(jù)源數(shù)據(jù)處理及整合功能。接收導(dǎo)航雷達、AIS、位置傳感器、速度傳感器等傳統(tǒng)的導(dǎo)航傳感器的信息，并對其進行解析處理，獲取船舶的運動狀態(tài)及周圍目標的運動狀態(tài)信息。對電子海圖數(shù)據(jù)的信息處理，獲取地理信息、礙航物、助航物等信息。

2.3.3 數(shù)據(jù)融合功能。融合視覺、雷達、AIS等接收的目標信息，融合海圖數(shù)據(jù)及視頻數(shù)據(jù)。

2.3.4 OSGEarth為引擎的三維地理空間開發(fā)。對視頻信息進行畸變處理后，進行三維坐標系標定，建立為OSGEarth的基礎(chǔ)圖層。通過組合傳感器及融合后的目標信息，將數(shù)據(jù)進行整合，建立為目標圖層。通過海圖數(shù)據(jù)的基礎(chǔ)地理信息解析及視頻數(shù)據(jù)，將助航物、礙航物、海圖危險信息等進行信息進行整合，建立為海圖標記圖層。

2.3.5 海圖作業(yè)功能。通過建立的三維地理空間，提供測距、量算、計劃航線、錨泊監(jiān)控等輔助海圖作業(yè)功能。

2.3.6 報警管理。對危及航行安全的避碰信息、擱淺信息、沉船等礙航信息進行報警管理。

智能航行態(tài)勢感知系統(tǒng)通過5部分模塊的有機結(jié)合，實現(xiàn)了在三維空間坐標系中將攝像頭視頻流和目標、航行海圖要素、避碰及本地傳感器等信息有機融合，為駕駛員的操縱決策提供了信息支撐，有效提升了船舶智能航行水平。

3 結(jié)束語

以各航行態(tài)勢感知傳感器為支撐，本文提出一種集成了航行態(tài)勢感知和AR輔助決策系統(tǒng)的智能航行感知系統(tǒng)，具備多源數(shù)據(jù)輸入和數(shù)據(jù)處理能力，在智能航行設(shè)備的研發(fā)和推廣方面具有極大的優(yōu)勢。同時，依托遠洋和內(nèi)河實船試驗和船舶航行支撐，可以獲取各類設(shè)備的實船試驗數(shù)據(jù)，為智能船舶航行的發(fā)展提供基礎(chǔ)。