馮喜惠 山東交通學(xué)院航運(yùn)學(xué)院

李光正 山東交通學(xué)院船舶與港口工程學(xué)院

王波 韓洋 王士鵬 山東交通學(xué)院航運(yùn)學(xué)院

海洋漁業(yè)是中國(guó)的一種優(yōu)勢(shì)產(chǎn)業(yè)，但是因?yàn)橹袊?guó)漁船種類較多，作業(yè)范圍廣，從業(yè)人員規(guī)模較大，所以對(duì)于漁船安全的監(jiān)管力度要求很高。不法漁船多為“三無(wú)船舶”(無(wú)船名船號(hào)、無(wú)船舶執(zhí)照、無(wú)船籍港)，人員流動(dòng)性大，對(duì)漁船監(jiān)督工作造成極大的困難；但即使配備了AIS的身份識(shí)別裝置，部分不法漁船仍可能通過故意關(guān)閉AIS系統(tǒng)，或修改AIS信息來規(guī)避國(guó)家監(jiān)督管理機(jī)關(guān)的監(jiān)督。近年來，全國(guó)沿海各地正在積極探索“依港管船”和“港長(zhǎng)制”，依托漁港管漁船、管船員、管安全[1]，并已將漁船進(jìn)出港報(bào)告制度落地實(shí)施，因此在漁港內(nèi)建設(shè)完善的監(jiān)管系統(tǒng)可以有效的消除港內(nèi)漁船安全隱患及強(qiáng)化對(duì)涉嫌違法漁船、涉漁“三無(wú)”船舶的安全執(zhí)法監(jiān)督。

1.圖像識(shí)別在漁船監(jiān)管中的技術(shù)實(shí)現(xiàn)

深度學(xué)習(xí)算法是機(jī)器學(xué)習(xí)方面的重要方法之一，可以形成相應(yīng)用來建模人體腦部的神經(jīng)連接結(jié)構(gòu)的模式，對(duì)圖形、語(yǔ)音和圖像等有關(guān)信息的數(shù)據(jù)等，加以分析和描述[2，3]。近年來，依靠深度學(xué)習(xí)的圖像識(shí)別方法已主要運(yùn)用于圖像識(shí)別、交通視頻監(jiān)控、醫(yī)療畫像分析等各方面[4，5]。通過將漁船圖片數(shù)據(jù)集錄入神經(jīng)網(wǎng)絡(luò)模塊中，對(duì)圖片的特點(diǎn)進(jìn)行識(shí)別、提煉、分析，同時(shí)通過不斷訓(xùn)練與學(xué)習(xí)，使用訓(xùn)練好的模塊可以在實(shí)時(shí)視頻中更有效的獲得漁船目標(biāo)，進(jìn)而自動(dòng)進(jìn)行漁船身份識(shí)別，對(duì)“問題漁船”進(jìn)行管控并形成重點(diǎn)漁船信息庫(kù)，從而實(shí)現(xiàn)依港漁船監(jiān)管。

1.1 漁船圖像采集

計(jì)算能力和數(shù)據(jù)數(shù)量是影響深度學(xué)習(xí)算法模型的兩個(gè)重要因素，數(shù)據(jù)集的數(shù)量和質(zhì)量對(duì)檢測(cè)結(jié)果影響非常大。數(shù)據(jù)集中包含通過高清晰攝像頭在不同時(shí)間、不同天氣、不同高度所捕捉的來往漁船圖像以及拍攝的漁船影像信息，同時(shí)為增加數(shù)據(jù)集中圖片的數(shù)量與質(zhì)量，還須提供數(shù)字船只影像拍攝設(shè)備，考慮到各個(gè)階段的拍攝，還須配置熱成像鏡頭以及紅外激光攝像機(jī)。

1.2 漁船目標(biāo)檢測(cè)

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法[6]分為兩類，一類是兩級(jí)式檢測(cè)，主要分為兩個(gè)步驟，第一是選擇候選區(qū)域，第二是在候選區(qū)域內(nèi)進(jìn)行分類回歸；另一類是單級(jí)式檢測(cè)，整個(gè)過程是利用卷積神經(jīng)網(wǎng)絡(luò)提取特征生成特征圖，再通過不同長(zhǎng)寬比的錨點(diǎn)框在特征圖上進(jìn)行采樣后進(jìn)行分類回歸，一次性完成檢測(cè)。本文使用單級(jí)式檢測(cè)框架中的YOLO V3算法[7]，該算法綜合性能較好，是目前檢測(cè)精度和速度平衡性能最好的算法之一，可滿足對(duì)漁船目標(biāo)檢測(cè)的實(shí)時(shí)性和準(zhǔn)確性的要求。

YOLO算法(You Only Look Once)作為一個(gè)深度神經(jīng)網(wǎng)絡(luò)模型，主要用于目標(biāo)檢測(cè)。目標(biāo)檢測(cè)任務(wù)主要由以下兩個(gè)部分構(gòu)成：1)對(duì)物品分類;2)確定出目標(biāo)物品在圖中的具體位置[8]。YOLO V3采用了從端至端的設(shè)計(jì)思想，把目標(biāo)檢測(cè)重構(gòu)為簡(jiǎn)單的回歸現(xiàn)象，從圖象的元素?cái)?shù)，可以直觀得到目標(biāo)位置和分類概率。首先需要將圖片縮放到指定尺寸(768＊736),再將圖片劃分成S＊S的小格，每個(gè)網(wǎng)格對(duì)應(yīng)原圖上的某一塊區(qū)域，然后在每個(gè)網(wǎng)格中預(yù)測(cè)是否有物體以及屬于該類物體的類別。然后通過先驗(yàn)框和偏移量進(jìn)行預(yù)測(cè)框，預(yù)測(cè)后，把數(shù)據(jù)輸入到網(wǎng)絡(luò)里，再通過錨框和偏移量最后得出預(yù)測(cè)框的四個(gè)位置，這樣的預(yù)測(cè)框可以有很多種，接著再通過對(duì)IoU的置信度進(jìn)行非極大值抑制篩選預(yù)測(cè)框，從而得到最后預(yù)期的結(jié)果，見圖1。如果需要測(cè)算準(zhǔn)確率，通過檢測(cè)結(jié)果與實(shí)際結(jié)果的對(duì)比，進(jìn)而測(cè)算得出網(wǎng)絡(luò)的準(zhǔn)確性[9]。

圖1 漁船目標(biāo)檢測(cè)效果

1.3 漁船船舶分類

對(duì)漁船實(shí)施監(jiān)控，要通過漁船分類模型把目標(biāo)漁船在航道上同行的旅客、貨輪、拖輪、公共事務(wù)船舶等不同船只中識(shí)別開來。

經(jīng)典分類方法包含特征提取以及分類器訓(xùn)練兩個(gè)步驟，而傳統(tǒng)方法需要對(duì)被分類目標(biāo)有充分的了解才能提取準(zhǔn)確的特征，對(duì)分類模型門檻過高且針對(duì)不同分類任務(wù)移植性不高。近幾年的研究表明，在圖像分類任務(wù)中，相比于傳統(tǒng)分類方法，利用CNN提取抽象特征再結(jié)合SVM分類器的分類方法的分類效果要更好。

陳澤創(chuàng)[10]提出將深度卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)合經(jīng)典的SVM分類器為一個(gè)整體，進(jìn)而可以提取不同角度、不同局部區(qū)域的漁船船舶特征，并利用該特征對(duì)在復(fù)雜環(huán)境中的不同類型船舶進(jìn)行分類實(shí)驗(yàn)。首先將訓(xùn)練集的船舶圖像作為輸入，將AlexNet模型進(jìn)行遷移學(xué)習(xí)，使模型能夠辨認(rèn)漁船、貨船、公務(wù)船之間不同的特點(diǎn)，然后將學(xué)習(xí)后的AlexNet對(duì)訓(xùn)練集的船舶圖像進(jìn)行特征提取，然后將測(cè)試集的船舶圖像輸入學(xué)習(xí)后的AlexNet進(jìn)行特征提取，最后根據(jù)各自全連接層特征訓(xùn)練好的SVM分類器完成的三類船的分類預(yù)測(cè)，如圖2，并統(tǒng)計(jì)分類準(zhǔn)確率。

圖2 漁船船舶分類效果圖

1.4 重點(diǎn)漁船信息庫(kù)

通過將圖片收集平臺(tái)對(duì)抓拍到的重點(diǎn)漁船圖像加以分組識(shí)別后，系統(tǒng)將自動(dòng)形成重點(diǎn)漁船圖片庫(kù)，也可以通過從其他途徑獲取的重點(diǎn)漁船圖像加以擴(kuò)充。利用圖像分割模塊對(duì)圖片通過與目標(biāo)背景分離，以獲取目標(biāo)像素，在實(shí)施了背景消除、圖像去噪、數(shù)據(jù)強(qiáng)化等措施以后，再使用機(jī)器學(xué)習(xí)的方式完成特征提取，以建立船舶特征庫(kù)[11]。對(duì)正常使用并啟動(dòng)AIS系統(tǒng)的漁業(yè)船舶，要求其AIS檔案資料與船舶信息數(shù)據(jù)庫(kù)相關(guān)聯(lián)；關(guān)于沒有安裝AIS或修改AIS數(shù)據(jù)的問題漁船，可通過人工輸入的方法對(duì)其資料加以完善。

1.5 漁船身份識(shí)別

漁船在檢測(cè)并分類出之后,就必須把這些數(shù)據(jù)的船舶信息放到船舶的數(shù)據(jù)庫(kù)中進(jìn)行匹配,對(duì)漁船船舶身份進(jìn)行自動(dòng)識(shí)別。然后以AIS信息中的船舶信息參數(shù)為參考基準(zhǔn)，與基于圖像模型和船舶特征庫(kù)比對(duì)后提取的船舶信息參數(shù)進(jìn)行對(duì)比分析，判別是否是“問題漁船”[12]。在問題漁船出入港口后,主管部門通信平臺(tái)能夠快速掌握情況，及時(shí)采取相應(yīng)對(duì)策進(jìn)行追蹤調(diào)查、跟蹤整治，直至解決，有效杜絕安全隱患，具體流程見圖3。

圖3 漁船身份識(shí)別與告警流程圖

2.漁船監(jiān)管系統(tǒng)技術(shù)應(yīng)用

從整體來看，漁船監(jiān)管系統(tǒng)的實(shí)現(xiàn)除了基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)之外，還需要多源系統(tǒng)信息融合、多攝像機(jī)接力跟蹤、虛擬“電子圍欄”設(shè)立，最終在前端可視化平臺(tái)上進(jìn)行展示。

2.1 多源系統(tǒng)信息融合

AIS基站能夠接受到60公里海域內(nèi)漁船的身份信號(hào)，而利用CCTV系統(tǒng)和圖像識(shí)別技術(shù)可以掌握漁船的類別和身份信息。采用整合AIS信息系統(tǒng)、綜合海事VTS信息系統(tǒng)、CCTV閉路電視監(jiān)控系統(tǒng)和港口調(diào)度等多元化技術(shù)手段,可以獲得更為精確的信息，與漁船重點(diǎn)數(shù)據(jù)庫(kù)相比，能夠更全面了解漁船的航行動(dòng)向和在船人信息，并及時(shí)有效的判斷漁船身份。

根據(jù)“一船一檔”的原則，為每一艘漁船建立電子檔案，建立漁船檔案庫(kù)，提供漁船檔案的綜合檢索查詢、統(tǒng)計(jì)分析、可視化展示等功能。將漁業(yè)船舶進(jìn)出港時(shí)的數(shù)據(jù)資料、漁船在港口狀態(tài)和漁業(yè)船舶在各港口的位置狀況自動(dòng)記錄并提交至系統(tǒng),能夠即時(shí)掌握漁業(yè)船舶進(jìn)出港的錨泊數(shù)據(jù)，及時(shí)了解航線的通行狀況，通過流量統(tǒng)計(jì)數(shù)據(jù)實(shí)現(xiàn)漁船的調(diào)配。進(jìn)行人員管理，建設(shè)船員證書信息庫(kù)，同時(shí)進(jìn)行大數(shù)據(jù)分析、資料檢索、人員身份驗(yàn)證、船員培訓(xùn)船員的管理等業(yè)務(wù)。提供臺(tái)風(fēng)、海浪等預(yù)警報(bào)信息的集成與推送，為漁船實(shí)時(shí)提供氣象服務(wù)。

2.2 多攝像機(jī)接力目標(biāo)跟蹤

由于單個(gè)攝像頭監(jiān)視區(qū)域和監(jiān)測(cè)視角受限，加之目標(biāo)追蹤不穩(wěn)、復(fù)雜場(chǎng)景遮擋難以辨認(rèn)等問題，必須采用多個(gè)攝像頭以實(shí)現(xiàn)大范圍、多角度、長(zhǎng)距離的目標(biāo)跟蹤。采用多攝像機(jī)進(jìn)行目標(biāo)識(shí)別與定位最重要的是多攝像頭之間的協(xié)同合作，首先每個(gè)攝像頭對(duì)目標(biāo)都需要進(jìn)行識(shí)別跟蹤，然后利用目標(biāo)的空間信息與顏色特征進(jìn)行接力[13]。

圖4 漁船監(jiān)管系統(tǒng)框架圖

圖5 虛擬“電子圍欄”總體技術(shù)架構(gòu)圖

2.3 虛擬“電子圍欄”

港口內(nèi)虛擬的電子圍欄系統(tǒng)是將經(jīng)過數(shù)字化、信息化后的一系列坐標(biāo)或控制點(diǎn)所圍成的港口內(nèi)區(qū)域，可以對(duì)該特定地區(qū)進(jìn)行即時(shí)監(jiān)視，一旦有未經(jīng)許可的船只私自進(jìn)入該港區(qū)內(nèi)或在該港區(qū)未獲許可而私自離開時(shí)，電子圍欄系統(tǒng)會(huì)產(chǎn)生預(yù)警或警報(bào)的信息，并適時(shí)提醒有關(guān)人員對(duì)預(yù)警信息加以確認(rèn)[14]。港口虛擬“電子圍欄”可將港口碼頭、港外作業(yè)點(diǎn)、過駁點(diǎn)等所在區(qū)域的經(jīng)緯度虛擬成為一系列坐標(biāo)點(diǎn)，再結(jié)合GPS、AIS、CCTV、VTS及船只動(dòng)態(tài)管理、船只進(jìn)出港報(bào)告系統(tǒng)等，設(shè)置成港口虛擬“電子圍欄”，并同時(shí)整合了ECS電子海圖以及ECDIS電子海圖顯示系統(tǒng),并通過與海事綜合監(jiān)管平臺(tái)后臺(tái)數(shù)據(jù)系統(tǒng)進(jìn)行整合，可有效實(shí)現(xiàn)船舶身份識(shí)別。當(dāng)船只進(jìn)入虛擬"電子圍欄"控制區(qū)時(shí)，信息系統(tǒng)可進(jìn)行手動(dòng)比對(duì),對(duì)不符合要求的漁船,從前端顯示系統(tǒng)中作出預(yù)警及警報(bào)等信息提醒，以提示有關(guān)人員及時(shí)進(jìn)行了解和處置，也可采用如AIS軌跡標(biāo)記、CCTV拍攝、VTS自動(dòng)截圖等技術(shù)手段,將有關(guān)證據(jù)上傳至后臺(tái)系統(tǒng)的數(shù)據(jù)分析管理系統(tǒng)。

2.4 前端展示平臺(tái)

基于船舶信息數(shù)據(jù)庫(kù)、航道信息數(shù)據(jù)、電子海圖數(shù)據(jù)、港口信息數(shù)據(jù)以及海洋大數(shù)據(jù)，增強(qiáng)數(shù)據(jù)互聯(lián)與信息互通，將整個(gè)監(jiān)控區(qū)域內(nèi)的漁船目標(biāo)檢測(cè)、身份識(shí)別、錄像取證、報(bào)警管控等功能整合到一個(gè)綜合的前端展示平臺(tái)上呈現(xiàn)（如圖6），實(shí)現(xiàn)岸基管理、船隊(duì)、船舶及船舶設(shè)備、船員、救生設(shè)備等的全面連接，可實(shí)現(xiàn)信息一體化和監(jiān)管一體化，使監(jiān)管過程更加直觀化、信息化、可視化，系統(tǒng)中的報(bào)警和視頻回放功能可讓相關(guān)工作人員快速定位并跟蹤目標(biāo)，充分高效的提高監(jiān)管效率和監(jiān)管水平。

圖6 前端展示平臺(tái)[15]

3.結(jié)論

通過在漁港、航道內(nèi)等各地方使用該型智能監(jiān)控系統(tǒng),可以進(jìn)行對(duì)漁船的監(jiān)控和身份鑒定,同時(shí)可以對(duì)問題漁船進(jìn)行追溯和查詢，促使有關(guān)執(zhí)法監(jiān)管部門將對(duì)問題漁類船只的監(jiān)控工作變得更加信息化、電子化、智能化，從而促使現(xiàn)場(chǎng)監(jiān)管與執(zhí)法工作更加有據(jù)可依，希望能夠?yàn)槲覈?guó)各大“智慧漁港”的建成添磚加瓦。