李鋒

摘? 要：基于船載的可視化的智能航標巡視是一種建立在船舶基礎上拍攝航標的方式，可以有效完成傳統(tǒng)人工巡視期間拍攝和測量不能完成的任務。該方式通過利用物聯網、大數據、人工智能等技術，通過無線傳感器、GPS定位等設備實現對航標的自動化監(jiān)測和管理，旨在提升船舶智能巡視的效果，推動智能航標巡視的發(fā)展和進步。

關鍵詞：船載；可視化；航標；巡視

航標巡視，是指運用視覺或其他等效技術手段對航標位置、涂色、結構、燈光、無線電信號等助航效能進行的完好性檢查。上海航標處作為上海轄區(qū)管理維護單位，負責轄區(qū)1 400多座航標的巡視維護工作。按照交通部海事局關于航標的管理要求，每年要對航標開展多次的巡視工作，工作任務艱巨，勞動強度較大。由于經費較為緊張，加之巡視工作要求較高，都給日常的航標維護工作提出了迫切需要解決的難題。上海航標處探索采用多種信息化手段進行巡視，加上遙測遙控系統(tǒng)的數據支持，可對轄區(qū)內航標的巡視工作進行全面的監(jiān)控，以達到履職的要求。

上海航標處為了降低運維成本，已經開展了利用在大型航標船出海起吊作業(yè)同時開展航標巡視工作，但對于人員的工作強度并未有效降低。基于目前視頻技術的高速發(fā)展，通過在航標船加裝智能視頻采集終端，在航行過程中實現自動捕捉航標的圖像及視頻情況，并將數據與正常航標數據模型進行比對，智能化提出疑似有問題航標的名單，從而實現更加精準的自動化巡視，從而降低人工巡視取證強度，還能客觀展現航標巡視的任務工作量，并優(yōu)化原有航標巡視流程，在降本增效方面具有重要意義。

1 智能航標巡視技術框架

智能航標巡視是將航標作業(yè)船舶作為水中移動平臺，并在作業(yè)船舶上添加遙感設備和高分辨率攝像機等設備，再借助計算機對獲取的數據信息的進行處理和分析，最終按照需求的精度情況，將這些數據信息制作成為相關圖像。智能航標巡視技術源自于計算機視覺技術和人工智能技術，目標是在航標圖像與巡視作業(yè)之間建立一種映射關系，使計算機從紛繁的現場視頻圖像中定位、識別和跟蹤水上航標，實時分析和判斷航標的外觀，根據預定的規(guī)則進行相應的報警或處理動作，從而能在航標失常時及時做出反應，做到早期的偵測和防范?；究蚣苋鐖D1所示，包括以下3個階段。

1）智能航標巡視的前期工作主要是對船載智能攝像機傳來的視頻流進行預處理，包括去抖動、圖像增強、陰影抑制、背景建模等。

2）智能航標巡視的中期工作主要包括各種航標的檢測、識別、分類和跟蹤，是智能視頻分析的關鍵。航標檢測將航標從視頻圖像的背景中分割提取出來，以備后續(xù)步驟的使用；在智能航標巡視的視頻中有多種航標，比如：航標燈浮和燈樁，需要根據一些特征值利用分類算法對航標進行分類；航標跟蹤屬于更高級的計算機視覺問題，它為下一步的行為理解提供充分的數據，包括特征選取、航標名稱估計和特征匹配等 。

3）智能航標巡視的后期工作通過建立航標數據模型，對檢測航標的類別進行語義分析和自然語言描述，判別出具體航標、異常狀態(tài)并進行事件報警 。

2 視頻航標識別跟蹤中的難點

對于智能航標巡視跟蹤問題，主要面臨的挑戰(zhàn)表現在航標背景在跟蹤過程中發(fā)生的復雜變化，這些變化包括：航標消失、航標形變、 背景干擾以及航標移動等情形。上述情況往往導致視頻序列中跟蹤航標所依賴的特征，如外觀、形狀或背景等信息，隨時間變化存在較大的不一致性， 使得跟蹤器在后續(xù)視頻幀中無法準確識別和跟蹤航標。

1）航標消失：航標消失是視頻航標跟蹤中最具挑戰(zhàn)性的問題之一，主要包括在某段時間內航標 （或部分航標）被其他物體遮擋或移出相機視野范圍，當航標重新出現時如何繼續(xù)跟蹤航標。影響此類問題的因素主要包括遮擋范圍和遮擋時間，若航標全部被遮擋或長時間被遮擋，往往會造成跟蹤器無法有效更新，從而跟蹤失敗。

2）航標變化：航標變化是視頻航標跟蹤中最常見的問題之一，主要包括航標形變、航標旋轉、航標傾斜等情形。通常來說，非剛性物體在跟蹤過程中都會發(fā)生不同程度的形變。

3） 背景干擾：背景干擾也是航標跟蹤問題經 常出現的問題，主要表現是背景雜亂和光照變化等情形。如何有效地進行前背景分離，從而精確地抓取前景抑制背景也是航標跟蹤的根本問題。而光照變化不僅對背景造成干擾，也使得航標前景本身的外觀特征發(fā)生一定程度的變化。強烈的光照變化通常造成不同幀序列之間航標外觀差異增大，而同一幀之內航標前背景差異減小，從而加大跟蹤的難度。

4）航標移動：視頻航標跟蹤所研究的對象主體往往是運動的航標，航標移動對航標跟蹤造成的困難主要包括航標快速運動和航標運動模糊等情形。由于航標跟蹤通常采取在航標前一幀所處位置周圍區(qū)域進行搜索的策略，因此航標快速移動可能造成航標與前序幀位置差異較大，甚至超出搜索區(qū)域。另一方面，航標移動本身造成的運動模糊也會造成航標前景虛化，從而影響航標特征表達。同樣的，相機移動甚至會造成整幅圖像的模糊，也是影響航標跟蹤效果的挑戰(zhàn)之一。

3 智能巡視的航標識別技術

3.1 基于時域的航標圖像識別

（1）幀間差分法。借助航標圖像2個像素點之間存在幀數連續(xù)關系，分析相同位置像素點之間的灰度情況，完成對航標的分析任務，進而判斷航標是否處于移動狀態(tài)。這類分析方式，獲取幀間的差分圖，再分析像素絕對值，如果絕對值較大的區(qū)域，則可以將這個區(qū)域作為航標的移動區(qū)域。相反，如果航標圖像像素絕對值較小，則認為的像素點區(qū)域為背景區(qū)域。幀間差法，具有清晰、直接等特點，可以順利完成對航標的檢測。

（2）背景差分法。在展開巡視拍攝前，需要對航標背景進行預設。完成后，獲取航標檢測圖像和預先設置的背景圖像的差值。獲取差值后，將其與預先設置閾值進行比較，根據比較結果獲取航標的具體情況。背景差分法受到航標背景圖像和預先設置的航標背景圖像兩者之間的質量影響，如果兩者的質量均能得到保障，則可以識別準確完整的航標。

3.2 基于空域的航標圖片識別

（1） 基于區(qū)域信息的航標圖片識別方法。借助航標背景區(qū)域和航標區(qū)域的中像素點的灰度情況、顏色等信息，完成對航標圖像區(qū)域的劃分。劃分完成后，保障每個區(qū)域之間沒有重疊。再根據劃分后的航標圖像信息，運用閾值法、松弛法等，完成對航標的識別。

（2）基于邊緣信息的航標圖片識別方法。這類識別方式主要對獲取航標圖像的邊緣進行灰度值變化比較。具體的比較方法是結合微分、二階微分等方式。再完成對邊緣點的分割，獲得有效的分割區(qū)，從而完成航標識別。

4 智能航標巡視的跟蹤方法

水中移動航標跟蹤即通過航標的有效表達，在視頻中尋找與航標模板最相似候選航標位置的過程。智能航標巡視視頻分析中移動航標跟蹤，對環(huán)境和航標自身變化具有很強的適應性，并且要克服航標實際變形過程對跟蹤的影響。在智能航標巡視中，使攝像機能夠自動跟蹤水上航標，在航標超出該攝像機監(jiān)控范圍之后，自動驅動攝像機繼續(xù)進行追蹤。采用一定的搜索算法對未來時刻航標的位置狀態(tài)進行估計假設可以縮小航標搜索范圍。其中比較常用的方法是預測移動體下一幀可能出現的位置，在其相關區(qū)域內尋找最優(yōu)點。依據移動航標的表達和相似性度量，移動航標跟蹤算法可以分為：基于區(qū)域的跟蹤、基于移動估計的跟蹤和基于航標模型的跟蹤。

4.1 基于區(qū)域的方法

基于區(qū)域的方法，是智能航標巡視視頻序列中運用部分存在近似性特點的幀圖像，對當前幀圖像和前一幀圖像的相似像素區(qū)的檢測，從而完成對航標在兩個幀圖像的差異比較，并獲取的所要追蹤的航標，最終完成航標的跟蹤。具體的方法如下：

（1）擬定一個或多個航標，且在背景圖像中的將跟蹤航標展示出來，將其作為模板；

（2）于后續(xù)視頻序列中，獲取航標的基本特征，且通過航標圖像檢測獲取的航標進行標記；

（3）對標記的航標進行分析，并通過航標位置的修正，完成對航標的跟蹤。

4.2 基于移動估計的跟蹤

基于移動估計的跟蹤，屬于較為常見的跟蹤方法，主要是借助航標圖像檢測獲取航標的基本信息和移動航標的相關移動規(guī)律，再結合得到的移動規(guī)律，對水中移動航標在下一幀圖像中的具體位置進行預測，完成航標跟蹤拍攝。

4.3 基于航標模型的跟蹤

基于航標特征的跟蹤方法，是將航標特征作為航標的基礎，并將這一特征作為下一幀圖像的基礎，對航標的進行確定，且劃定相關航標區(qū)域，完成對航標的跟蹤。具體的方法為：

（1）獲取航標的基本特征信息，且根據某一具體幀圖像中航標圖像的特征信息，構建航標的移動模型；

（2）結合航標的移動模型，對下一幀圖像中航標區(qū)域和航標位置的預測；

（3）預測完成后，將航標可能存在的特征區(qū)域進行提??；

（4）提取后，將原航標特征信息和提取的疑似航標特征進行比較，其中匹配度最高的航標則為跟蹤航標。選擇航標特征跟蹤方法，具有跟蹤效果明顯的特點，能夠順利完成對航標的跟蹤。

5 智能航標巡視具體方式

智能航標巡視利用船舶和航標的特點，充分運用目標識別和跟蹤技術，設計出一套集數據管理、智能標注、模型自動化訓練、資源自主調度、模型在線校驗、模型在線發(fā)布、存儲功能、高性能緩存加速、數據全鏈路安全保障等服務于一體的AI算法航標模型訓練系統(tǒng)。能夠根據航標專業(yè)需求采集到的數據訓練出航標專屬的AI算法模型，可以方便地部署到邊緣設備端或云端，為航標巡視應用賦予智能分析能力，助力航標作業(yè)擁抱AI，享受智能技術帶來的高效和便利，如圖2所示。

5.1 全景取證視頻終端

智能化視頻采集終端（見圖3）選用了全景攝像頭，該設備主要由取證主機、全景云臺、手控器、高清觸摸顯示屏、三防PAD組成，可實現抓拍、全景拼接、本地高清錄像存儲、3G /4G&WIFI無線網絡傳輸、支持雙卡傳輸、衛(wèi)星定位、遠程指揮操控、標記取證、夜間補光拍攝等功能，完全滿足各種狀況下全天候工作的需求，功能全面、操作簡單，可應用于圖片抓拍、安全保衛(wèi)、應急指揮等多個移動視頻監(jiān)控領域。

5.2 部署構架

巡視引擎應用場景多樣化，如數據保密的因素考慮，可選擇專網/局域網進行數據傳輸，也可以采用互聯網進行數據傳輸，如圖4所示。

（1）數據感知層：前端攝像機部署于船舶的頂層甲板開闊區(qū)域。通用視頻可存儲于邊緣端NVR設備中，巡視抓拍圖片可存儲在服務器自帶硬盤中，也可單獨配置中心存儲進行存儲。

（2）網絡傳輸層：數據也可采用局域網/互聯網的方式進行傳輸。公網環(huán)境良好時攝像機采用互聯網傳輸數據，平臺軟件需要有固定公網IP。

（3）行業(yè)應用層：航標管理部門可以通過平臺通道進行回傳圖片預覽和抓圖。也可直接與前端攝像機進行對接，進行現場的航標作業(yè)情況預覽和抓圖。

另外，前端攝像機可以選擇AI開放平臺攝像機，實現抓圖自動分析判斷，完成遠程智能巡視，巡視結果可選擇進行人工復核。

5.3 模型構建

在模型訓練階段，航標管理人員選擇模型應用類型、訓練數據集、訓練標簽和調優(yōu)模式，系統(tǒng)通過自動深度學習技術，實現航標模型自動化訓練。訓練平臺基于高性能并行訓練推理集群與自研深度學習框架，由數據管理、模型訓練、模型部署三大服務模塊組成，通過B/S與C/S兩個客戶端向航標管理人員提供可視化操作功能，如圖5所示。

（1）數據管理

提供數據導入、數據智能標注、數據質量診斷、數據概覽的一站式數據服務功能，幫助航標管理人員高效地處理和管理訓練樣本。

（2）模型訓練

基于平臺特性，提供自動化航標模型訓練服務，并提供可視化航標模型校驗、模型性能評估功能。

（3）模型部署

根據航標管理人員選擇的目標推理平臺，基于AI編譯器提供的訓練推理一體化框架，實現模型自動化編譯，提供模型導出、模型云端發(fā)布服務。

5.4 巡視方案

巡視引擎服務使用數據模型對巡視對象類型和檢測點基礎數據進行管理，數據模型的信息從數據管理服務中獲取，如果現有模型不能滿足要求，可在數據管理服務中添加。支持預置一些巡視對象類型和檢測點類型（如監(jiān)控點、環(huán)境量等用于檢測對象狀態(tài)的探測手段）常見的巡視方法包括移動現場巡視、視頻巡視、抓圖巡視、AI智能巡視等多種巡視方法。按任務執(zhí)行方式不同，巡視方法包括線上自動巡視、線上人工巡視、線下人工巡視。執(zhí)行方式說明如下：

（1）自動巡視：利用智能分析服務器、AI攝像機、AI開放平臺等智能分析能力，通過對視頻或圖片進行分析得出結論，減少人工參與，還可利用熱成像測溫、物聯傳感等方式進行自動巡視，見圖6。

（2）遠程巡視：通過登錄平臺查看視頻或圖片進行巡視，無須到現場，減少交通成本。

（3）現場巡視：巡視員到現場進行巡視，見圖7。

通過對智能攝像頭導入不斷學習的數據模型，平臺會不斷地完善巡視對象類型，從而更精準地對數據進行抓取入庫，達到航標巡視的標準要求，實現智能化航標巡視。

6 結束語

智能航標巡視的有效運行很大程度上依賴于智能分析技術各種算法的精確性 ，本文針對智能航標巡視中所用的智能視頻分析中的關鍵技術進行了分析。未來隨著智能視頻分析技術的不斷發(fā)展，以及網絡攝像機的圖像采集能力、監(jiān)控 網絡的傳輸能力、視頻信息處理的速度等不斷提高，智能航標巡視的技術及應用在水上航標巡視中越來越重要。