劉武藝，楊神化,索永峰,孫志宏

(集美大學航海學院，福建 廈門 361021)

0 引言

我國與世界各國商業(yè)貿(mào)易日益頻繁，海上運輸業(yè)務逐年增多，船舶交通流密度逐漸增加，同時船舶趨于大型化、高速化方向發(fā)展，導致海上交通事故風險增大。海上交通事故中，船舶碰撞事故發(fā)生的概率遠大于其他海上事故[1]。駕駛員為判斷目標船對本船是否具有碰撞危險，需轉(zhuǎn)移視線從船載設備中獲取所需信息[2]，有可能錯過采取避碰措施的最佳有效時間，存在航行安全隱患。因此在不影響駕駛員正常瞭望的情況下，給其提供實時有效的信息十分關鍵。

增強現(xiàn)實技術(augmented reality,AR)是在虛擬現(xiàn)實技術基礎上發(fā)展而來的，它根據(jù)現(xiàn)實世界中的場景，借助計算機圖形學和計算機視覺等技術將虛擬物體加載到現(xiàn)實世界中，實現(xiàn)真實世界與虛擬場景的融合。增強現(xiàn)實技術具有三大特征：虛擬與現(xiàn)實的融合、實時交互和三維注冊[3-4]。由于增強現(xiàn)實抬頭顯示技術[5](augmented reality-head up display,AR-HUD)結(jié)合了增強現(xiàn)實和抬頭顯示兩者間的優(yōu)良特性，將其運用到船舶值班瞭望中，能為駕駛員提供船舶航行避碰的關鍵信息。

關于AR技術和HUD技術在助導航領域的應用，國內(nèi)外學者做了大量研究，并取得一些成果。美國海軍研發(fā)的“ARVCOP”系統(tǒng)[6]，利用AR技術將導航數(shù)據(jù)疊加到駕駛員視野中；Hyesun Park[7]根據(jù)汽車駕駛模擬器顯示的不同天氣(如：雨、雪、霧等)，利用AR-HUD技術投射車輛輔助導航信息；德國大陸集團(Continental)[8]開發(fā)一款車載AR-HUD系統(tǒng)，可以產(chǎn)生狀態(tài)投影面和增強投影面，為車輛和駕駛員尋求一種新的對話形式。楊雪[9]對車載AR-HUD道路安全提示信息界面設計原則進行了研究；李卓等[10]提出一種基于AR-HUD的汽車駕駛輔助系統(tǒng)，通過對不同能見度下駕駛員對危險程度的認知分析，驗證系統(tǒng)的可行性；鄒帆[11]提出將AR技術應用在船舶導助航的設想，并對該技術在船舶導助航領域所需解決的關鍵問題進行了分析。

船舶相對于飛行器和汽車而言，其所處環(huán)境更復雜，操縱難度更大，實時的輔助駕駛信息對駕駛員操船至關重要。鑒于運用AR-HUD技術可實現(xiàn)實時投射船舶駕駛信息，本文提出一種將AR-HUD技術應用于船舶航行的輔助瞭望系統(tǒng)，把目標船的相關數(shù)據(jù)投射到船舶駕駛臺擋風玻璃上，并對該系統(tǒng)進行了仿真實驗。

1 AR-HUD輔助瞭望系統(tǒng)設計及分析

AR-HUD系統(tǒng)設計流程圖如圖1所示。采用視線跟蹤算法[12]可確定駕駛員的觀察方向，利用航海雷達和AIS系統(tǒng)確定觀察的目標船，并從AIS系統(tǒng)獲取該目標船數(shù)據(jù)信息，對所采集信息進行篩選，將篩選的信息通過計算機處理，生成虛擬信息；計算駕駛員眼睛、駕駛艙擋風玻璃與目標船三者之間的關系，確定虛擬信息的投射位置，將投影信息發(fā)送給投射模塊，利用AR-HUD技術將目標船的數(shù)據(jù)信息投射到真實場景中，實現(xiàn)虛擬數(shù)據(jù)信息與真實世界目標船的疊加。

1.1 識別目標船

采用基于頭部自由運動的視線追蹤技術，確定駕駛員觀察方向，以此來識別目標船，并借助船載雷達，在雷達回波上計算得到駕駛員所觀察的目標船。視線追蹤目前主要分為兩大類，一類是基于頭部穿戴設備，該方法具有較高的追蹤精度，但由于需要穿戴設備，給使用者帶來不便；另一類是基于眼睛圖像特征估計，其中反射光斑法是一種常用方法。根據(jù)《STCW公約》要求，駕駛臺值班人數(shù)最少為兩人，可采取多臺相機協(xié)助瞭望。隨著造船技術的發(fā)展，目前有些船舶駕駛臺配備了瞭望椅，可在瞭望椅前方通過相機采集駕駛員觀察方向，利用反射光斑法[13]計算注視點的坐標，計算目標船相對于本船船艏向的夾角θ，在雷達回波上以偏離本船船艏向θ角度的方向搜索目標船。當該方向上有多艘船時，船員更關心距離本船較近的船，因此在偏離本船船艏向θ角度的方向與本船距離最近的就是目標船。

1.2 采集目標船信息

AIS可以提供目標船的靜態(tài)信息和動態(tài)信息，確定目標船后，通過AIS等船載設備獲取目標船位置信息及相關參數(shù)。采集目標船信息是為將獲取的數(shù)據(jù)進行投射，實現(xiàn)虛擬圖像與真實目標船的融合。各類船載設備為船舶駕駛員提供了大量數(shù)據(jù)信息，但是，駕駛員在操船時，無需獲知目標船全部信息，因為如果把所獲得目標船數(shù)據(jù)全部投射到駕駛臺前方，會給駕駛員帶來兩個困擾：一是投射繁多的數(shù)據(jù)會占據(jù)擋風玻璃的大部分空間，阻礙駕駛員正規(guī)瞭望；另一個是龐大的數(shù)據(jù)信息，使駕駛員不能快速甄別關鍵信息。因此，通過向航海專家和船長咨詢，得出兩船會遇時最為關鍵的目標船避碰信息，即：對地速度(SOG,speed over ground)、對地航向(COG,course over ground)、距離、方位、最小會遇距離(DCPA,distance of closest point of approaching)、最小會遇時間(TCPA,time to closest point of approaching)。

1.3 注冊虛擬信息

船載設備采集到的目標船數(shù)據(jù)信息，由計算機處理后，生成虛擬信息，再經(jīng)HUD投影設備投射到本船駕駛艙擋風玻璃屏上，實現(xiàn)船員觀察實景與投影虛像的融合，其原理如圖2所示。注冊[14]虛擬信息，實現(xiàn)虛實融合的關鍵在于投影位置，投影位置即：駕駛臺擋風玻璃所在平面與駕駛員觀察方向所在直線的交點。駕駛員觀察方向所在直線即駕駛員眼睛與目標船兩者所在直線。

2 AR-HUD輔助瞭望系統(tǒng)模型

2.1 增強信息投影算法

目標船與本船的水線以上高度存在三種情況：本船水線以上部分高于目標船、低于目標船和與目標船等高。現(xiàn)以本船水線以上部分高于目標船為例，計算增圖像投影算法。本船駕駛臺擋風玻璃、駕駛員眼睛及目標船三者之間的關系如圖3所示。其中：AB為目標船水線以上高度；BC為海平面；CO為本船水線到本船駕駛室的高度；D為本船與目標船船頂?shù)牡雀唿c；E為人眼所在位置；GM為擋風玻璃所在平面?zhèn)纫晥D；AE為駕駛員觀察方向；GMOF為本船駕駛室；N為駕駛員觀察方向與擋風玻璃之間的交點，即投射點。

以駕駛員所在位置為坐標原點，船艏向為X軸正向，駕駛員所在豎直方向為Z軸正向，建立空間坐標系。在駕駛臺擋風玻璃平面上取不在同一直線上的三點：(dOH,0,dGH),(dOM,dY,0),(dOM,-dY,0),由此可得擋風玻璃平面方程：

(1)

式中：α為擋風玻璃的傾角；dGM為擋風玻璃的長度；dOM為駕駛員到擋風玻璃的水平距離；-dY和dY為擋風玻璃在Y軸上對稱的兩點。

通過船載雷達可計算本船與目標船之間的距離d，如圖4所示。其中：S為目標船的位置；O為本船中駕駛員在XOY平面上的坐標投影；θ為目標船相對于本船船艏向的夾角。

駕駛員眼睛坐標(0,0,dOE)，目標船坐標(xTS,yTS,dDE)，根據(jù)兩者的坐標可確定駕駛員觀察方向的直線方程：

(2)

結(jié)合公式(1)和公式(2)可得交點坐標,即投影點坐標(xp,yp,zp)

(3)

式中：d0E為駕駛員眼睛高度；d0D為D點到駕駛艙的距離。

2.2 增強投影的坐標轉(zhuǎn)換關系

虛擬圖像投射到空間涉及到像素坐標系、圖像坐標系、投影儀坐標系和世界坐標系4者之間的轉(zhuǎn)換關系，需經(jīng)過以下3次轉(zhuǎn)換：世界坐標系到投影儀坐標系的轉(zhuǎn)換、投影儀坐標系到圖像坐標系的轉(zhuǎn)換以及圖像坐標系到像素平面的轉(zhuǎn)換。

1)世界坐標系到投影儀坐標系

世界坐標系到投影儀坐標系的轉(zhuǎn)換，由針孔成像原理可得：

(4)

其中：(xw,yw,zw)為世界坐標系中某點的坐標；(xc,yc,zc)為該點對應于投影儀坐標系中的坐標；R3×3為世界坐標系變換到投影儀坐標系的旋轉(zhuǎn)變換矩陣；t為兩者之間的平移變換矩陣；OT為3×1的零矩陣。

2)投影儀坐標系到圖像坐標系的轉(zhuǎn)換

投影儀坐標系到圖像坐標系的轉(zhuǎn)換原理如圖5所示。XO1Y為圖像坐標系，其中：M(xc,yc,zc)為某點在投影儀坐標系中的坐標；該點對應于圖像坐標系中的坐標為m(x,y)；A點為M點在XcOZc平面上的投影；B點為M點在Zc軸上的坐標；n點為m點在X軸上的坐標；f為鏡頭的焦距，即OO1之間的距離。其中三角形mnO1相似于三角形MAB，則有：x/xc=f/zc,y/yc=f/zc。整理可得：

(5)

3)圖像坐標系到像素平面的轉(zhuǎn)換

像素坐標系和圖像坐標系是在同一平面上，只是兩者的原點和單位不同，兩者的轉(zhuǎn)換關系：u=x/dx+u0v=y/dy+v0，其中：(u,v)為像素坐標系；(x,y)為圖像坐標系；dx、dy分別表示每像素單位在水平和豎直方向所占長度。

3 仿真實驗與結(jié)果分析

3.1 仿真實驗

利用自主研發(fā)的MTI-H2000型船舶操縱模擬器平臺[15-17]開展仿真實驗，通過Multigen Creator軟件對船舶進行建模，考慮到船模類型不會對實驗結(jié)果產(chǎn)生影響，視景中加載的本船和目標船采用同一種船模；利用教練站新建練習，會遇局面為本船與其他兩條船對遇，如圖6所示。目標船避碰參數(shù)如表1所示。并通過OSG(open-scene-graph)對會遇局面進行三維渲染。結(jié)合增強信息投影點計算算法，通過OSG中的碰撞檢測計算投影點，利用OSG中LineSegmentIntersector( )函數(shù)判斷駕駛員視線是否與物標發(fā)生接觸，由此確定增強信息的顯示位置。

表1 目標船避碰參數(shù)

3.2 仿真結(jié)果分析

當檢測到駕駛員視線與目標船在同一直線時，即可確定該投影點坐標。實驗中發(fā)現(xiàn)直接計算所得的位置顯示增強信息，會使增強信息遮擋目標船，為達到較好的目標船與增強信息融合效果，在不影響目標船與增強信息配準的條件下，對投影點進行平移，投影點矯正前后的坐標如表2所示，增強信息顯示達到理想效果。

表2 投影坐標矯正對照表

通過對目標船識別及目標船避碰信息的分析，計算求得目標船增強信息的投影算法，利用三維渲染引擎OSG對船舶值班輔助瞭望系統(tǒng)進行仿真，實驗發(fā)現(xiàn)利用AR-HUD技術能把船載設備提供的信息進行整合，給駕駛員提供及時有效的船舶避碰信息，滿足其對目標船的信息需求。后續(xù)實驗將會在仿真實驗的基礎上，進一步對避碰參數(shù)做研究，對船載設備提供的數(shù)據(jù)信息進行分類，根據(jù)駕駛員需要由其自行選擇調(diào)取所要顯示的信息，同時開展將AR-HUD技術應用于實船的實驗。

4 結(jié)語

AR-HUD技術應用于船舶航行輔助瞭望是船舶智能化的重要體現(xiàn)。一方面，它把相互獨立的GPS系統(tǒng)、AIS系統(tǒng)以及雷達等船載設備聯(lián)系起來，實現(xiàn)目標船數(shù)據(jù)信息的整合，并進行數(shù)據(jù)信息的融合處理；另一方面，它通過結(jié)合增強現(xiàn)實技術和傳統(tǒng)抬頭顯示技術，實現(xiàn)虛擬圖像與目標船現(xiàn)實場景的融合，使駕駛員在平視狀態(tài)下獲取目標船信息，快速做出船舶避碰決策計劃，降低了船舶碰撞危險。雖然該技術尚未在船舶航行輔助瞭望領域得到廣泛應用，但它定能為船舶駕駛帶來新的體驗，為實現(xiàn)船舶智能化和“e-航?！蹦繕嗽鎏硇滤悸?。