關(guān)克平 韓笑 蔣宇

摘要：為提高在天氣惡劣、目標(biāo)密集、目標(biāo)被遮擋及其他復(fù)雜海況下船舶交通流統(tǒng)計的準(zhǔn)確率，提出一種將目標(biāo)檢測算法CenterNet、多目標(biāo)跟蹤算法DeepSORT與凸包算法中優(yōu)化逆時針（counter clockwise，CCW）判斷的單線法相結(jié)合的船舶交通流視覺圖像統(tǒng)計方法。使用Python對所選的數(shù)據(jù)和場景進(jìn)行測試，結(jié)果表明：CenterNet在多場景檢測中比YOLOv3更優(yōu)秀;基于目標(biāo)檢測的多目標(biāo)跟蹤算法具有良好實時性，能夠有效對抗因目標(biāo)抖動、密集、被遮擋等所導(dǎo)致的目標(biāo)丟失，繼而減少船舶交通流統(tǒng)計時常出現(xiàn)的漏檢、錯檢和重復(fù)統(tǒng)計等問題。

關(guān)鍵詞：

CenterNet; DeepSORT; 凸包檢測; 船舶交通流統(tǒng)計; 目標(biāo)檢測

中圖分類號：? U692

文獻(xiàn)標(biāo)志碼：? A

A visual image statistics method for ship traffic flow

based on TBD strategy

GUAN Keping， HAN Xiao， JIANG Yu

（

Merchant Marine College， Shanghai Maritime University， Shanghai 201306， China）

Abstract：

In order to improve the accuracy of ship traffic flow statistics under severe weather， dense targets， occluded targets and other complex sea conditions， a visual image statistics method for ship traffic flow is proposed， where the target detection algorithm CenterNet and the multi-target tracking algorithm DeepSORT are combined with the single-line method for the counter clockwise （CCW） judgment optimization in the convex hull algorithm. Python is adopted to test the selected data and scenes. The results show that： CenterNet is better than YOLOv3 in the multi-scene detection; the multi-target tracking algorithm based on target detection is of good real-time performance， and can effectively combat target loss caused by? target jitter， density and occlusion，

etc.， and then reduce the problems such as missed detection， false detection， and repeated statistics in traffic flow statistics.

Key words：

CenterNet; DeepSORT; convex hull detection; ship traffic flow statistics; target detection

收稿日期： 2020-08-23

修回日期： 2021-03-09

基金項目：

國家自然科學(xué)基金（51909155）

作者簡介：

關(guān)克平（1978—），男，福建寧德人，副教授，碩士，研究方向為航海仿真技術(shù)，（E-mail）kpguan@shmtu.edu.cn

0 引 言

隨著近年來水路運(yùn)輸業(yè)的發(fā)展，水上交通狀況逐漸變得復(fù)雜。交通管理人員全面掌握船舶航行動態(tài)、及時統(tǒng)計船舶交通流，可降低航運(yùn)事故的發(fā)生概率，減少事故損失。目前使用最廣泛的船舶交通流統(tǒng)計方法是基于船舶自動識別系統(tǒng)[1-3]（automatic identification system，AIS）的統(tǒng)計方法，如KIM等[4]利用背景估計實現(xiàn)船舶檢測并配合AIS實現(xiàn)了相關(guān)船舶信息匹配。

由于視頻能提供很多實時圖像細(xì)節(jié)，有學(xué)者提出一種基于虛擬線圈的船舶交通流檢測系統(tǒng)。CHEN等[5]在此基礎(chǔ)上增加了核化相關(guān)濾波器（kernelized correlation filter，KCF）算法對船舶進(jìn)行跟蹤，較好地解決了漏檢和重復(fù)計數(shù)的問題。ZOU等[6]用深度學(xué)習(xí)SSD（single shot multibox detector）算法進(jìn)行船舶交通流統(tǒng)計，可快速檢測出船舶，但該方法存在重復(fù)計數(shù)的問題。由于水上交通環(huán)境比陸上交通環(huán)境復(fù)雜，進(jìn)行長期、穩(wěn)健的船舶跟蹤非常具有挑戰(zhàn)性[7]。近年來，有學(xué)者將YOLOv2[8]和YOLOv3[9]算法應(yīng)用到船舶交通流統(tǒng)計中，解決漏檢和重復(fù)計數(shù)等問題，但對于目標(biāo)距離遠(yuǎn)或能見度低等情況，這兩種算法處理效果并不理想。

針對以上問題，本文提出一種將目標(biāo)檢測算法CenterNet、多目標(biāo)跟蹤算法DeepSORT和凸包算法中優(yōu)化逆時針（counter clockwise，CCW）判斷的單線法相結(jié)合的方法，實現(xiàn)對船舶交通流的精確統(tǒng)計。其中：CenterNet負(fù)責(zé)對目標(biāo)進(jìn)行分類和定位;DeepSORT負(fù)責(zé)對目標(biāo)檢測后的視頻序列中多個感興趣的目標(biāo)軌跡進(jìn)行跟蹤并提取，再通過時域關(guān)聯(lián)分配跟蹤識別碼，解算目標(biāo)的運(yùn)動軌跡信息;凸包算法中優(yōu)化CCW判斷的單線法負(fù)責(zé)完成船舶數(shù)量統(tǒng)計。該統(tǒng)計方法幾乎不占用計算資源，高效、可靠且兼容不同斜率線段的部署。通過以上3種算法的結(jié)合，可有效改善傳統(tǒng)船舶交通流統(tǒng)計中出現(xiàn)的漏檢、錯檢和重復(fù)計數(shù)等問題。

1 船舶檢測與跟蹤

1.1 CenterNet

CenterNet是無錨框類檢測網(wǎng)絡(luò)，在一定程度上借鑒了CornerNet[10]的整體框架和損失函數(shù)，并對其進(jìn)行了改進(jìn)，實現(xiàn)了檢測速度與檢測精度的權(quán)衡。其基本思想是：構(gòu)建模型時，將對象視為由其中心而非邊界框表示的點，通過關(guān)鍵點估計找到中心點，并回歸其他屬性（如邊界框?qū)挾群透叨龋﹣砩深A(yù)測框。通過引用熱力圖構(gòu)建CenterNet模型，根據(jù)預(yù)測點的高斯分布區(qū)域計算真實預(yù)測值。偏置預(yù)測被用來表示標(biāo)注信息從輸入圖像被映射到輸出特征圖時由取整操作所導(dǎo)致的坐標(biāo)誤差。CenterNet的網(wǎng)絡(luò)框架如圖1所示，其中檢測過程分為2個階段：下采樣階段和中心點生成階段。在下采樣階段，執(zhí)行全卷積網(wǎng)絡(luò)DLA-34或Resnet-18、Hourglass-104等對圖像進(jìn)行下采樣，同時提取圖像特征，獲得低4倍的特征圖?；谙虏蓸拥玫降奶卣鲌D生成目標(biāo)中心點。在中心點生成階段，使用3個分支網(wǎng)絡(luò)（熱圖生成分支網(wǎng)絡(luò)、中心偏移回歸分支網(wǎng)絡(luò)和目標(biāo)邊界框尺寸回歸分支網(wǎng)絡(luò)）預(yù)測目標(biāo)邊界框。

1.2 DeepSORT

多目標(biāo)跟蹤是對視頻序列中多個感興趣的目標(biāo)軌跡進(jìn)行跟蹤并提取，并通過時域關(guān)聯(lián)分配跟蹤識別碼，解算目標(biāo)的運(yùn)動軌跡信息。當(dāng)前主流的多目標(biāo)跟蹤算法[11]可分為2類：（1）基于相關(guān)濾波的多目標(biāo)跟蹤算法。其代表為基于KCF的多目標(biāo)跟蹤算法[12-13]，它使用多線程完成多個單目標(biāo)跟蹤。算法對第一幀圖像進(jìn)行采樣，由目標(biāo)區(qū)域形成循環(huán)矩陣，通過快速傅里葉變換轉(zhuǎn)換到頻域進(jìn)行求解，可降低時間復(fù)雜度;引入嶺回歸和核技巧，可有效提高跟蹤速度和精度。（2）DeepSORT。它是基于SORT的改進(jìn)算法[14]，其優(yōu)點是可以在整個視頻中跟蹤隨時出現(xiàn)的新目標(biāo)，但前提是要有一個好的目標(biāo)檢測算法。本文就是在DeepSORT前用CenterNet檢測出目標(biāo)，從而實現(xiàn)基于目標(biāo)檢測的多目標(biāo)跟蹤。

DeepSORT分別使用馬氏距離和余弦距離作為運(yùn)動特征和檢測框內(nèi)深度特征的相似度度量標(biāo)準(zhǔn)，再通過對兩種相似度加權(quán)平均得到總體相似度來進(jìn)行最近鄰匹配，通過遞歸卡爾曼濾波和級聯(lián)匹配逐幀優(yōu)先匹配出近期活躍度較高的目標(biāo)，以提高目標(biāo)追蹤的魯棒性。

2 船舶交通流統(tǒng)計方法

2.1 優(yōu)化CCW判斷的單線法

一般航道內(nèi)呈現(xiàn)2種交通流向，即駛出流向和駛?cè)肓飨?，見圖2a。船舶交通流統(tǒng)計中存在的問題有：船舶（如觀光船、執(zhí)法船等）重復(fù)往返造成重復(fù)計數(shù);由各方面因素（如角度變化、涌動等）引起的特征變化使得檢測框發(fā)生抖動;水上交通監(jiān)控通常采用遠(yuǎn)距離攝影，這使得船舶在整個視頻畫面中移動較少。其中船舶反復(fù)跨越檢測線導(dǎo)致重復(fù)計數(shù)的問題尤為明顯，見圖2b。

基于上述情況和多種交通流統(tǒng)計方法（虛擬線框法、雙線法和目標(biāo)鏈法等）的測試結(jié)果，采用凸包算法中優(yōu)化CCW判斷的單線法完成船舶數(shù)量統(tǒng)計。

優(yōu)化CCW判斷的單線法可用來判斷點線間的位置關(guān)系，本文對該方法進(jìn)行改進(jìn)后用來判斷船舶實時軌跡與檢測線相交的情況。該方法計數(shù)觸發(fā)機(jī)制為：已知近期某時刻歷史軌跡點A、當(dāng)前軌跡點B和虛擬檢測線端點C、D，若點A、B分別位于檢測線CD的兩邊，分別在順時針和逆時針方向分布，則線段AB與CD相交，可視作船舶正跨越檢測線，觸發(fā)計數(shù)，見圖3。

2.2 TBD策略

聯(lián)合目標(biāo)檢測的多目標(biāo)跟蹤策略[15]，也稱為TBD （tracking-by-detection）策略，是當(dāng)前業(yè)界研究熱點。本文采用的TBD策略為先用CenterNet進(jìn)行目標(biāo)檢測，再用DeepSORT進(jìn)行多目標(biāo)跟蹤。其實現(xiàn)過程分2步：①用目標(biāo)檢測算法將每幀圖像中感興趣的目標(biāo)檢測出來，得到目標(biāo)的位置坐標(biāo)、分類和可信度，這里假設(shè)檢測到的目標(biāo)數(shù)量為M;②將上一步中檢測到的目標(biāo)與上一幀中檢測到的目標(biāo)（假設(shè)上一幀中檢測到的目標(biāo)數(shù)量為N）一一關(guān)聯(lián)起來。換句話說，就是在M×N個配對中找出最相似的一對組合。

實際的智能海事監(jiān)控系統(tǒng)包含多個子模塊，各子模塊負(fù)責(zé)不同的任務(wù)且相互協(xié)調(diào)，整個系統(tǒng)實現(xiàn)框架如圖4所示，其中交通流計數(shù)模塊處于目標(biāo)檢測模塊和多目標(biāo)跟蹤模塊之后，它基于這兩個模塊的處理結(jié)果進(jìn)行交通流計數(shù)處理。

3 實驗與結(jié)果分析

3.1 模型數(shù)據(jù)構(gòu)成

前沿的算法研究都是在通用的COCO等數(shù)據(jù)集上進(jìn)行的。由于深度學(xué)習(xí)模型的訓(xùn)練依賴大量數(shù)據(jù)，為使模型具有更大的適用性，算法需要一定規(guī)模的優(yōu)質(zhì)數(shù)據(jù)支持。本文研究主要面向內(nèi)河或沿海水域的真實船舶，數(shù)據(jù)集以網(wǎng)絡(luò)圖片為主要來源，輔以公共船舶數(shù)據(jù)和上海黃浦江、吳淞口、港區(qū)等航拍視頻數(shù)據(jù)。

3.2 效果對比

為檢測目標(biāo)檢測算法CenterNet的可靠性，選取部分?jǐn)?shù)據(jù)作為測試數(shù)據(jù)，并選取部分典型場景進(jìn)行船舶目標(biāo)檢測，見圖5～8。

與YOLOv3的檢測結(jié)果對比可以看出：CenterNet對遠(yuǎn)距離小船舶目標(biāo)的檢測效果較好;平、俯視角檢測框緊實且定位準(zhǔn)確;對復(fù)雜背景、光照變換和能見度不良等干擾情況魯棒性好;能有效捕捉船舶局部特征，當(dāng)船舶處于圖片邊緣、進(jìn)出視覺范圍時檢測框偏大;當(dāng)船舶過近、被遮擋、密集或中心重疊時偶有漏檢情況。

由不同情況下的檢測結(jié)果對比可看出，YOLOv3對相似船型的檢測存在誤檢，而CenterNet對局部特征的檢測效果更好。整體看，CenterNet在多場景檢測中比YOLOv3更優(yōu)秀，具有更強(qiáng)的定位、分割、

識別等能力，能夠滿足船舶目標(biāo)檢測的精準(zhǔn)要求和實時需求。

3.3 聯(lián)調(diào)實驗效果對比

本文船舶交通流統(tǒng)計是結(jié)合船舶目標(biāo)檢測算法與多目標(biāo)跟蹤算法實現(xiàn)的，采用以CenterNet為主的CenterNet-DeepSORT算法，其流程見圖9。

為驗證CenterNet-DeepSORT算法的性能，通過聯(lián)調(diào)對視頻進(jìn)行跟蹤效果測試，部分輸出見圖10。

由圖10a和圖10c可以看出：利用CenterNet-DeepSORT算法能夠?qū)γ芗斑M(jìn)行跟蹤;從跟蹤軌跡平滑度可以看出，加入跟蹤后檢測框更加穩(wěn)定，僅在船舶姿態(tài)變化較大時出現(xiàn)抖動。圖10b中散

貨船被錯誤地分類為內(nèi)河船，圖10d中部分船舶在某些時刻沒有被YOLOv3-DeepSORT算法檢測或跟蹤到，跟蹤算法刪除了跟蹤歷史軌跡信息，并重新分配跟蹤識別碼，這也導(dǎo)致了跟蹤識別碼的翻倍。圖10d與圖10c相比，跟蹤識別碼切換或丟失更嚴(yán)重。

實際使用時，虛擬檢測線須布置在大多數(shù)船舶都傾向或必須通過區(qū)域，結(jié)合航道背景設(shè)置檢測線與主體交通流方向接近垂直。檢測線實際效果見圖11。

利用CenterNet-DeepSORT算法實現(xiàn)了多目標(biāo)跟蹤。經(jīng)過聯(lián)調(diào)發(fā)現(xiàn)，該算法具有良好的實時性，能夠有效對抗檢測抖動、船舶密集或被遮擋所導(dǎo)致的目標(biāo)丟失，同時能夠判斷不同視頻幀中的船舶是否為同一目標(biāo)，進(jìn)而對船舶交通流進(jìn)行更準(zhǔn)確的統(tǒng)計。

實驗中用到的測試數(shù)據(jù)包括 2 023張圖片，共包含6 423個船舶目標(biāo)。表1分別給出了基于傳統(tǒng)YOLOv3-DeepSORT算法和CenterNet-DeepSORT算法的船舶交通流統(tǒng)計結(jié)果。

由表1可知，CenterNet-DeepSORT算法在多場景檢測中比YOLOv3-DeepSORT算法更優(yōu)秀，具有更強(qiáng)的定位、分割、識別等能力，船舶交通流統(tǒng)計精度更高。

4 結(jié) 論

本文提出的將CenterNet和DeepSORT兩種算法與凸包算法中優(yōu)化CCW判斷的單線法相結(jié)合的船舶交通流視覺圖像統(tǒng)計方法，基于網(wǎng)絡(luò)圖片和上海黃浦江、吳淞口、港區(qū)等航拍視頻數(shù)據(jù)進(jìn)行目標(biāo)檢測和跟蹤實驗，結(jié)果表明： CenterNet-DeepSORT算法能夠滿足目前實際水上交通監(jiān)控場景的需要，

對多場景檢測的準(zhǔn)確性和魯棒性均強(qiáng)于 YOLOv3-

DeepSORT算法。這類算法具有較強(qiáng)的實時性和擴(kuò)展性，可用于降低海運(yùn)事故發(fā)生概率，減少事故損

失。然而，該方法使用的TBD策略只是加強(qiáng)了目標(biāo)檢測和跟蹤的準(zhǔn)確度，并沒有完全消除復(fù)雜海況下

出現(xiàn)的漏檢、錯檢和重復(fù)計數(shù)的問題。本文采用基于目標(biāo)檢測的多目標(biāo)跟蹤算法能夠識別出船舶類型、識別碼和對應(yīng)船舶運(yùn)動軌跡，而如何更有效地利用以上信息，進(jìn)一步提高跟蹤精度有待進(jìn)一步深入研究。

參考文獻(xiàn)：

[1]何正偉， 劉力榮， 楊帆， 等. 基于AIS 實時數(shù)據(jù)的航道交通擁堵快速判定方法[J].中國航海， 2018， 41（2）： 113-118.

[2]VESECKY J F， LAWS K E， PADUAN J D. Using HF surface wave radar and the ship automatic identification system （AIS） to monitor coastal vessels[C]∥2009 IEEE International Geoscience and Remote Sensing Symposium. IEEE，2009（3）：761-764.DOI： 10.1109/IGARSS.2009.5417876.

[3]WAWRUCH R. Tests of the accuracy of indications by ARPA and AIS of the opposite vessel true course， true speed and CPA[C]∥2018 19th International Radar Symposium （IRS）.Bonn， Germany： DGON， 2018： 1-10.DOI： 10.23919/IRS.2018.8448220.

[4]KIM H T， PARK J S， YU Y S. Ship detection using background estimation of video and AIS informations[J]. Journal of the Korea Institute of Information and Communication Engineering， 2010， 14（12）： 2636-2641.DOI： 10.6109/jkiice.2010.14.12.2636.

[5]CHEN Xinqiang， XU Xueqian， YANG Yongsheng， et al. Augmented ship tracking under occlusion conditions from maritime surveillance videos[J].IEEE Access， 2020， 8： 42884-42897.DOI： 10.1109/ACCESS.2020.2978054.

[6]ZOU Yiyang， ZHAO Lining， QIN Shanxing. Ship target detection and identification based on SSD_MobilenetV2[C]∥Information Technology and Mechatronics Engineering Conference （ITOEC）.IEEE， 2020： 1676-1680.DOI： 10.1109/ITOEC49 072.2020.9141734.

[7]LI Yang， ZHU Jianke. A scale adaptive kernel correlation filter tracker with feature integration[C]∥European Conference on Computer Vision. Springer， Cham， 2014： 254-265.DOI： 10.1007/978-3-319-16181-518.

[8]REDMON J， FARHADI A. YOLO9000： better， faster， stronger[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition. IEEE， 2017： 6517-6525.DOI： 10.1109/CVPR.2017.690.

[9]劉博， 王勝正， 趙建森， 等. 基于Darknet網(wǎng)絡(luò)和YOLOv3 算法的船舶跟蹤識別[J]. 計算機(jī)應(yīng)用， 2019， 39（6）： 1663-1668.DOI：10.11772/j.issn.1001-9081.2018102190.

[10]LAW H， DENG Jia. CornerNet： detecting objects as paired keypoints[J]. International Journal of Computer Vision， 2020， 128： 642-656.

[11]LEE C， YOO C D. Segment-wise online learning based on greedy algorithm for real-time multi-target tracking[C]∥IEEE International Conference on Image Processing. IEEE， 2015： 872-876.DOI： 10.1109/ICIP.2015.7350924.

[12]HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596. DOI： 10.1109/TPAMI.2014.2345390.

[13]WANG Yangping， YONG Jiu， ZHU Zhengping， et al. Augmented reality tracking registration based on improved KCF tracking and ORB feature detection[C]∥International Conference on Information， Communication and Networks.IEEE，2019： 230-233.DOI： 10.1109/ICICN.2019.8834947.

[14]WOJKE N， BEWLEY A， PAULUS D， et al. Simple online and real-time tracking with a deep association metric[C]∥International Conference on Image Processing. IEEE， 2017： 3645-3649.

[15]BI Xin， DU Jinsong， ZHANG Qingshi， et al.Improved multi-target radar TBD algorithm[J]. Journal of Systems Engineering and Electronics， 2015， 26（6）： 1229-1235. DOI： 10.1109/JSEE.2015.00135.

（編輯 趙勉）