陳信強(qiáng) 鄭金彪 凌 峻 王梓創(chuàng) 吳建軍 閻 瑩

（1.上海海事大學(xué)物流科學(xué)與工程研究院 上海 201306；2.上海海事大學(xué)商船學(xué)院 上海 201306；3.長(zhǎng)安大學(xué)運(yùn)輸工程學(xué)院 西安 710064）

0 引 言

我國(guó)航運(yùn)業(yè)快速發(fā)展，海上貨物運(yùn)輸呈現(xiàn)逐年顯著增加的趨勢(shì)，船舶進(jìn)出港數(shù)量及頻次也在快速增加，導(dǎo)致近海水域交通常常出現(xiàn)嚴(yán)重?fù)矶?，這對(duì)港口的安全生產(chǎn)和船舶安全航行提出了更高要求。近年來出現(xiàn)的突發(fā)公共衛(wèi)生事件（如新冠肺炎疫情）為港航工作環(huán)境下的人員、貨物安全運(yùn)輸?shù)热蝿?wù)增加了潛在的風(fēng)險(xiǎn)[1]。高效、快速、準(zhǔn)確識(shí)別碼頭現(xiàn)場(chǎng)工作人員及在航船舶船員的異常及危險(xiǎn)行為，為港口安全生產(chǎn)、智慧管控及船舶安全航行提供有效預(yù)警信息，對(duì)提高港口工作生產(chǎn)效率及船舶安全航行具有重要意義[2-3]。

視頻監(jiān)控已被廣泛應(yīng)用于港航相關(guān)領(lǐng)域的全業(yè)務(wù)、全生產(chǎn)作業(yè)過程中。面向港口工作環(huán)境的視頻監(jiān)控任務(wù)需要專職工作人員監(jiān)管觀看現(xiàn)場(chǎng)作業(yè)監(jiān)控視頻以提前研判可能發(fā)生的異?；蛘呶ｋU(xiǎn)事件。船舶駕駛臺(tái)的不同角度可布設(shè)相機(jī)以監(jiān)控船員實(shí)際工作狀態(tài)。為實(shí)現(xiàn)異常行為快速、準(zhǔn)確的自動(dòng)識(shí)別，越來越多的學(xué)者傾向于基于計(jì)算機(jī)視覺和人工智能技術(shù)開展港船人員異常行為識(shí)別研究。傳統(tǒng)的計(jì)算機(jī)視覺方法基于幀間特征提取、幀內(nèi)特征融合和特征編碼及分類等步驟實(shí)現(xiàn)視頻數(shù)據(jù)驅(qū)動(dòng)的行為識(shí)別[4]。改進(jìn)的密集軌跡算法被認(rèn)為是經(jīng)典的行為識(shí)別方法，算法性能明顯優(yōu)于其他行為識(shí)別方法[5]。

相比于傳統(tǒng)機(jī)器學(xué)習(xí)方法，研究人員發(fā)現(xiàn)深度學(xué)習(xí)相關(guān)方法處理行為識(shí)別任務(wù)的精度更高。秦宇龍等[6]設(shè)計(jì)了1種結(jié)合注意力機(jī)制和多尺度時(shí)空信息的深度卷積神經(jīng)網(wǎng)絡(luò)識(shí)別人體行為。Yang等[7]提出了1種基于在線更新擴(kuò)展信念規(guī)則行為識(shí)別方案，以應(yīng)對(duì)不同工作環(huán)境下的安全態(tài)勢(shì)感知挑戰(zhàn)。譚等泰等[8]提出了1種基于多幀圖像特征融合的行為識(shí)別模型，以解決視頻序列中部分動(dòng)作行為間隔時(shí)間較長(zhǎng)導(dǎo)致識(shí)別精度較低的問題。部分學(xué)者結(jié)合雙流神經(jīng)網(wǎng)絡(luò)、3D卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)開展人員行為識(shí)別相關(guān)工作[9-11]。海事領(lǐng)域?qū)W者基于最新的計(jì)算機(jī)視覺和人工智能相關(guān)算法，挖掘海事監(jiān)控視頻和船舶自動(dòng)識(shí)別系統(tǒng)數(shù)據(jù)（AIS）等數(shù)據(jù)源隱藏的行為時(shí)空數(shù)據(jù)信息[12]。已有研究表明基于港船監(jiān)控視頻的異常（或危險(xiǎn)）行為識(shí)別任務(wù)需要人工主動(dòng)干預(yù)[13]?；贏IS數(shù)據(jù)的船舶異常行為分析為水上交通事故溯源提供了數(shù)據(jù)支撐[14-15]，基于船載監(jiān)控視頻預(yù)警并研判船員異常行為的相關(guān)研究不多。

已有研究主要利用計(jì)算機(jī)視覺技術(shù)識(shí)別日常生活場(chǎng)景的能見度較好情況下的危險(xiǎn)行為，海事領(lǐng)域相關(guān)學(xué)者主要聚焦于AIS數(shù)據(jù)的宏觀交通安全行為分析，基于船舶監(jiān)控視頻數(shù)據(jù)開展微觀交通安全行為分析（即船員異常行為分析）的相關(guān)研究不多。針對(duì)港船環(huán)境的人員異常行為識(shí)別任務(wù)，筆者提出了1種融合人員檢測(cè)、跟蹤和行為識(shí)別框架，該框架利用深度學(xué)習(xí)方法檢測(cè)識(shí)別港船圖像序列中的人員及物體位置，基于聯(lián)合學(xué)習(xí)檢測(cè)和嵌入范式（joint learning of detection and embedding model，JDE）提取圖像特征，并將其作為異步交互聚合網(wǎng)絡(luò)（asynchronous interaction aggregation network，AIA）的輸入[16]，以判定港船圖像序列人員異常行為時(shí)序變化，實(shí)現(xiàn)港船圖像中異常行為識(shí)別。

1 視頻數(shù)據(jù)驅(qū)動(dòng)的港船人員異常行為識(shí)別框架

該框架首先使用JDE范式進(jìn)行實(shí)驗(yàn)人員信息提取，得到人員和物體的圖像特征信息及在視頻中的序列，JDE范式中使用YOLO V3（you only look once）算法實(shí)現(xiàn)人員和手機(jī)等港船人員異常行為相關(guān)聯(lián)的元素檢測(cè)，此基礎(chǔ)上應(yīng)用異步交互聚合網(wǎng)絡(luò)（asynchronous interaction aggregation network，AIA）模型識(shí)別人員、物體和異常行為之間的交互，實(shí)現(xiàn)港船人員異常行為識(shí)別任務(wù)，本研究提出的異常行為識(shí)別框架見圖1。

圖1首先使用YOLO V3模型的DarkNet-53作為骨干網(wǎng)絡(luò)對(duì)輸入的圖像進(jìn)行卷積操作，進(jìn)一步采用特征金字塔結(jié)構(gòu)對(duì)網(wǎng)絡(luò)的輸出信息進(jìn)行優(yōu)化處理，得到港船圖像中人員和物體特征信息及視頻序列信息，并以JDE范式將所有信息同時(shí)輸入到交互聚合模型進(jìn)行深度融合，其中港船人員相關(guān)圖像時(shí)空特征信息將被傳遞到特征池，更新后的特征信息將被傳遞到AIA交互聚合模型中以輸出最終的行為識(shí)別結(jié)果。

圖1 港船環(huán)境下人員異常行為識(shí)別流程圖Fig.1 Flow chart for detecting abnormal behaviors of workers at ship working fields

1.1 基于JDE范式的特征信息提取

通過對(duì)港船相關(guān)監(jiān)控視頻數(shù)據(jù)的分析，可發(fā)現(xiàn)港船環(huán)境下工作人員與其周圍的其他工作人員和物體（如手機(jī)、安全帽）總是存在時(shí)空關(guān)聯(lián)互動(dòng)，這種關(guān)聯(lián)性在基于視頻數(shù)據(jù)的行為識(shí)別任務(wù)顯得尤為重要?；诖?，需要提取并保留港船圖像中異常行為相關(guān)的人及物體的時(shí)序圖像特征。引入JDE范式，融合港船圖像特征提取過程與目標(biāo)檢測(cè)過程（基于YOLO模型的darknet網(wǎng)絡(luò)），為后續(xù)的異常行為識(shí)別提供時(shí)序圖像特征。

對(duì)于輸入的每一幀圖片，經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)及特征金字塔網(wǎng)絡(luò)對(duì)港船圖像特征進(jìn)行增強(qiáng)，得到港船圖像行為識(shí)別任務(wù)相關(guān)的預(yù)測(cè)引導(dǎo)信息。其中對(duì)圖像特征信息提取的網(wǎng)絡(luò)包含了卷積層和激活層，卷積函數(shù)和激活函數(shù)見式（1）~（2）。

式中：F(u,v)為圖像特征的像素值；ω為卷積核模板；Fl+1和Fl分別表示卷積層第l+1層和第l層的輸出；b為偏差量；⊙為卷積運(yùn)算；激活層采用Leaky-ReLU激活函數(shù)，xn和Yn分別表示激活層的第n層輸入和輸出；an為激活層的固定參數(shù)。

預(yù)測(cè)引導(dǎo)信息是由多個(gè)疊加的卷積層組成，其輸出(6P+Q)×W×H的概率預(yù)測(cè)圖，其中，P為該尺度下錨模板的數(shù)量；Q為嵌入的維度，W和H為錨點(diǎn)圖的寬和高。預(yù)測(cè)引導(dǎo)信息類型由3個(gè)部分組成：①尺度大小為4P×W×H的分類結(jié)果；②尺度大小為2P×W×H的回歸參數(shù)；③尺度大小為Q×W×H的嵌入圖。本文引入前景/背景的分類損失函數(shù)La、邊界框的回歸損失函數(shù)Lb及嵌入學(xué)習(xí)損失函數(shù)Lc這3類損失函數(shù)實(shí)現(xiàn)JDE范式的特征信息獲取。交叉熵?fù)p失函數(shù)La和Lc見式（3），邊界框的回歸損失函數(shù)Lb見式（4）。

式中：p(xs)為真實(shí)概率分布；q(xs)為預(yù)測(cè)概率分布。JDE范式將每個(gè)預(yù)測(cè)引導(dǎo)信息的學(xué)習(xí)目標(biāo)建模為1個(gè)多任務(wù)學(xué)習(xí)問題，即聯(lián)合學(xué)習(xí)目標(biāo)可以表示為每個(gè)尺度和每個(gè)分量的加權(quán)線性損失和，聯(lián)合學(xué)習(xí)目標(biāo)函數(shù)Lunite見式（5）。

式中：M為預(yù)測(cè)引導(dǎo)信息的種類數(shù)；M;j=a,b,c)為上述3種損失函數(shù)對(duì)應(yīng)的權(quán)重；為不同預(yù)測(cè)引導(dǎo)信息類型對(duì)應(yīng)的損失函數(shù)。本研究基于文獻(xiàn)[17]的任務(wù)獨(dú)立不確定性的理論確定自動(dòng)學(xué)習(xí)損失權(quán)重的方案。具有自動(dòng)損失權(quán)重均衡的學(xué)習(xí)目標(biāo)函數(shù)Lunite見式（6）。

1.2 異步交互聚合模型

在上述基于JDE范式的特征信息提取過程可獲得港船圖像中人及物體（手機(jī)、安全帽等）的實(shí)例級(jí)特征Pi、Oi和時(shí)間記憶特征Ni，利用異步交互聚合網(wǎng)絡(luò)建立交互聚合（interaction aggregation，IA）結(jié)構(gòu)以探索港船圖像中人與人、人與物及長(zhǎng)時(shí)間的人與異常行為之間的時(shí)空關(guān)聯(lián)性。此外，引入異步記憶更新算法（AMU）加快網(wǎng)絡(luò)訓(xùn)練的速度。

1.2.1 交互聚合結(jié)構(gòu)

IA結(jié)構(gòu)的輸入為港船圖像中人和物體的實(shí)例級(jí)特征Pi、Oi及時(shí)間記憶特征Ni，輸出動(dòng)作特征為Yi=Y(Pi,Oi,Ni,δ)，δ為IA結(jié)構(gòu)中的參數(shù)，Yi最終輸入到分類器進(jìn)行港船人員異常行為識(shí)別結(jié)果。IA結(jié)構(gòu)由多個(gè)針對(duì)單一行為交互而制定的交互模塊組成，交互模塊之間深度嵌套以獲得具有辨識(shí)度的深層行為特征?；诮换ツK的Softmax層輸出的點(diǎn)積注意力信息，可選擇查詢特征激活程度高的特征值，并將其合并以增強(qiáng)港船人員異常行為的查詢特征。本研究的交互模塊包含3種類型：P模塊、O模塊和N模塊。

P模塊用于描述港船圖像中人員之間的交互。它對(duì)不同的人員交互特征信息比較敏感，例如談話和傾聽，P模塊的輸入是目標(biāo)人員特征或增強(qiáng)的人員特征Pi。O模塊主要識(shí)別人員與物體之間的交互，其對(duì)港船圖像中人員在物體上的相關(guān)動(dòng)作更加敏感，該模塊的輸入是檢測(cè)獲得的物體特征Oi。檢測(cè)的物體種類較多的情況下，會(huì)根據(jù)檢測(cè)的置信度進(jìn)行抽樣提取。N模塊處理時(shí)空關(guān)聯(lián)較強(qiáng)的異常行為動(dòng)作，例如港口作業(yè)人員在港區(qū)不同位置違規(guī)看手機(jī)。N模塊的值輸入為時(shí)間記憶特征Ni。建立3種交互模塊結(jié)構(gòu)后，AIA模型構(gòu)建了密集串行IA結(jié)構(gòu)，見圖2。IA結(jié)構(gòu)的任意1個(gè)交互模塊對(duì)其前置的交互模塊輸出分配不同權(quán)重以整合學(xué)習(xí)。其對(duì)第n個(gè)模塊的整合查詢見式（7）。

式中：D為先前模塊的索引集合；Vm為索引集之間用Softmax函數(shù)歸一化后可學(xué)習(xí)的多維特征向量；Fi,m為第m個(gè)模塊輸出的增強(qiáng)特征。

1.2.2 異步記憶更新算法

長(zhǎng)期的記憶特征可以為港船環(huán)境下異常動(dòng)作識(shí)別提供有用的時(shí)間語義，要求獲取更多的港船圖像視頻序列以得到比較準(zhǔn)確的時(shí)間記憶特征Ni，增加了算法收斂時(shí)間。為此，本研究中采用異步記憶更新算法對(duì)記憶特征進(jìn)行持續(xù)更新，更好地利用異步內(nèi)存特性，加快算法的收斂速度。該算法基于對(duì)記憶池的讀寫操作完成計(jì)算過程。記憶池C記錄港船圖像的行為記憶特征，該記憶池的任意1個(gè)特征均為算法的估計(jì)值。算法在每次訓(xùn)練迭代通過讀和寫這2個(gè)基本操作實(shí)現(xiàn)港船人員行為特征識(shí)別的異步記憶。在給定的港船視頻片段sn(n=1,2,…,N)，從記憶池C中讀取目標(biāo)片段中的記憶此過程稱為讀操作。算法更新迭代完成后，利用目標(biāo)視頻片段中人的行為特征Pi作為估計(jì)特征寫進(jìn)記憶池C，此過程為寫操作。

2 實(shí)驗(yàn)結(jié)果分析

在港口環(huán)境和船舶駕駛艙環(huán)境下，具有安全隱患的行為動(dòng)作主要表現(xiàn)為：在工作區(qū)域長(zhǎng)時(shí)間走動(dòng)、在非工作區(qū)域長(zhǎng)時(shí)間站立、接打手機(jī)、玩手機(jī)、和他人長(zhǎng)時(shí)間談話等，因此本文設(shè)置的異常行為識(shí)別動(dòng)作包括站立、行走、打電話、看手機(jī)、談話、傾聽，現(xiàn)實(shí)場(chǎng)景中可根據(jù)異常行為判別機(jī)制來判斷工作人員是否在崗正常工作。為驗(yàn)證提出的港船環(huán)境異常行為識(shí)別框架的有效性，采集港船環(huán)境下典型異常行為監(jiān)控視頻并手動(dòng)標(biāo)定各片段，不同視頻片段具體信息見表1。視頻1、視頻2和視頻3均為模擬的港口工作環(huán)境，分別包含1名工作人員（即實(shí)驗(yàn)人員）和多名工作人員，視頻4為船舶駕駛臺(tái)得到的監(jiān)控視頻，其中包含多名船員在駕駛臺(tái)值班。

表1 港船人員異常行為的視頻片段信息Tab.1 Details for the collected video clips involved with anomaly behavior

港口工作環(huán)境視頻片段包含5種典型的異常行為：站立、行走、談話、看手機(jī)和打電話，即視頻1、視頻2和視頻3的典型異常行為。船舶駕駛臺(tái)的視頻片段（即視頻4）包含的異常行為有站立、行走、談話和傾聽。實(shí)驗(yàn)過程中使用的服務(wù)器搭載的顯卡為NVIDIA Quadro RTX 5000，內(nèi)存64GB，中央處理器為Intel(R)Xeon(R)Gold 6230 CPU@2.10GHz，運(yùn)行環(huán)境為Ubuntu 20.10，訓(xùn)練過程中隨機(jī)丟棄率參數(shù)設(shè)為2×10-1，學(xué)習(xí)率設(shè)為4×10-4，每次輸入的批樣本數(shù)量為1，算法的訓(xùn)練次數(shù)為7×105。本文中用作訓(xùn)練數(shù)據(jù)集的是原子可視化行為（atomic visual actions，AVA）數(shù)據(jù)集[18]。AVA數(shù)據(jù)集是1個(gè)用于時(shí)空行為檢測(cè)的數(shù)據(jù)集，來源于電影片段。主要提供擴(kuò)展視頻序列中每個(gè)人的多個(gè)動(dòng)作標(biāo)簽，包含的動(dòng)作標(biāo)簽有80類，主要分為姿勢(shì)、人-物互動(dòng)和人-人互動(dòng)這3類。

圖3為不同視頻片段的異常行為識(shí)別效果。圖3（a）顯示視頻中實(shí)驗(yàn)人員的異常行為均被精準(zhǔn)識(shí)別捕獲，如看手機(jī)、打電話、站立和行走。圖3（b）顯示構(gòu)建的異常行為識(shí)別方法能有效識(shí)別同1個(gè)視頻片段的多人異常行為。圖3（c）顯示了復(fù)雜環(huán)境下（光線較暗、實(shí)驗(yàn)人員被遮擋）多人異常行為的準(zhǔn)確識(shí)別結(jié)果。船舶駕駛臺(tái)的監(jiān)控視頻識(shí)別效果顯示船員目前的狀態(tài)行為是異常行為（如談話、傾聽和行走），見圖3（d）。圖3（d）的圖像序列顯示，船員站姿與正常值班狀態(tài)站姿及朝向明顯不同，這說明船舶值班員在駕駛臺(tái)工作的時(shí)候并沒有完全集中注意力，為船舶安全航行埋下引患。

實(shí)驗(yàn)中視頻異常行為動(dòng)作的識(shí)別精度Ji見式（8）。

式中：Di為異常動(dòng)作標(biāo)簽檢測(cè)的幀數(shù)；Ri為異常動(dòng)作標(biāo)簽真實(shí)的幀數(shù)；i=1,2,3,4,5,6分別對(duì)應(yīng)站立、行走、看手機(jī)、打電話、談話、傾聽這6種港船視頻中的異常行為動(dòng)作。

圖3（a）模擬了港口環(huán)境下工作人員（標(biāo)記為#1）站立、行走、看手機(jī)和打電話的行為，人員#1這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為64，186，95，155幀，對(duì)應(yīng)識(shí)別結(jié)果分別為69（包含5幀行走行為的誤識(shí)別結(jié)果），181，132（包含37幀打電話行為的誤識(shí)別結(jié)果），118幀。識(shí)別結(jié)果見表2，站立、行走、看手機(jī)、打電話的識(shí)別精度分別為100%，97%，100%，76%，由實(shí)驗(yàn)結(jié)果可知，將打電話行為誤識(shí)別為看手機(jī)的數(shù)據(jù)較多，且多發(fā)生在由看手機(jī)行為向打電話行為過渡片段。

表2 視頻1序列的異常行為識(shí)別結(jié)果Tab.2 Abnormal behavior recognition results for video 1 clips單位：%

為了驗(yàn)證該框架在多目標(biāo)情況下的識(shí)別效果，圖3（b）在與圖3（a）相同的港口環(huán)境下模擬對(duì)多名工作人員同時(shí)識(shí)別，實(shí)驗(yàn)結(jié)果見表3。視頻2中模擬了3名工作人員（分別標(biāo)記為#1、#2、#3）站立、行走、看手機(jī)和打電話的行為，人員#1這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為0，250，209，0幀，對(duì)應(yīng)識(shí)別結(jié)果分別為0，250，202幀，7（7幀均為看手機(jī)行為的誤識(shí)別結(jié)果），站立行為、看手機(jī)行為的識(shí)別精度分別為100%，97%；人員#2這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為205，45，250，0幀，對(duì)應(yīng)識(shí)別結(jié)果分別為181，69幀（包含24幀站立行為的誤識(shí)別結(jié)果），250，0幀，站立行為、行走行為、看手機(jī)行為的識(shí)別精度分別為88%，100%，100%。

表3 視頻2序列的異常行為識(shí)別結(jié)果Tab.3 Abnormal behavior recognition results for video 2 clips單位：%

圖3（b）中人員#3這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為90，160，220，30幀，對(duì)應(yīng)識(shí)別結(jié)果分別為71，179（包含19幀站立行為的誤識(shí)別結(jié)果）、223（包含3幀打電話行為的誤識(shí)別結(jié)果），27幀，站立行為、行走行為、看手機(jī)行為、打電話行為的識(shí)別精度分別為79%，100%，100%，90%。實(shí)驗(yàn)結(jié)果表明人員#2、人員#3的站立行為誤識(shí)別為行走行為的數(shù)據(jù)較多，且多發(fā)生在2個(gè)動(dòng)作轉(zhuǎn)換階段。

圖3（c）為復(fù)雜港口場(chǎng)景下（光線不佳、實(shí)驗(yàn)人員被遮擋）多實(shí)驗(yàn)人員的識(shí)別，結(jié)果見表4，實(shí)驗(yàn)中6名工作人員（分別標(biāo)記為#1、#2、#3、#4、#5、#6）的行為包括站立、行走、談話、看手機(jī)，人員#1這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為0，195，195，0幀，對(duì)應(yīng)識(shí)別結(jié)果分別為0，190，190，0幀，行走行為、談話行為的識(shí)別精度分別為97%，97%；人員#2這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為0，195，195，0幀，對(duì)應(yīng)識(shí)別結(jié)果分別為0，146，146，0幀，行走行為、談話行為的識(shí)別精度分別為75%，75%；人員#3這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為195，0，195，195幀，對(duì)應(yīng)識(shí)別結(jié)果分別為174，0，195幀談、141幀，站立行為、談話行為、看手機(jī)行為的識(shí)別精度分別為89%，100%，72%。

圖3 不同場(chǎng)景下的異常行為動(dòng)作識(shí)別效果圖Fig.3 The proposed framework performance on recognizing abnormal behavior from different video clips

表4 視頻3序列的異常行為識(shí)別結(jié)果Tab.4 Abnormal behavior recognition results for video 3 clips單位：%

圖3（c）中人員#4這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為55，140，195，9幀，對(duì)應(yīng)識(shí)別結(jié)果分別為48，139，189，9幀，站立行為、行走行為、談話行為、看手機(jī)行為的識(shí)別精度分別為87%，97%，99%，100%；人員#5這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為0，195，195，0幀，對(duì)應(yīng)識(shí)別結(jié)果分別為0，122，122，0幀，行走行為、談話行為的識(shí)別精度分別為62%，62%；人員#6這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為195，0，195，195幀，對(duì)應(yīng)識(shí)別結(jié)果分別為137，0，137，135幀，站立行為、談話行為、看手機(jī)行為的識(shí)別精度分別為70%，70%，69%。實(shí)驗(yàn)中人員#2、人員#5、人員#6行為動(dòng)作被遮擋的時(shí)間較多，導(dǎo)致識(shí)別精度較低，其他遮擋較少人員的識(shí)別精度較高，結(jié)果表明該框架對(duì)人員完全被遮擋時(shí)的識(shí)別效果不佳，對(duì)光線較暗情況下的識(shí)別效果較好。

為進(jìn)一步驗(yàn)證所提框架的有效性和可靠性，我們選取經(jīng)典行為識(shí)別算法SlowFast進(jìn)行對(duì)比[19]，使用SlowFast算法對(duì)視頻3中的實(shí)驗(yàn)人員行為進(jìn)行識(shí)別，視頻場(chǎng)景中光線不佳且存在人員被遮擋情況，識(shí)別結(jié)果見圖4。實(shí)驗(yàn)結(jié)果表明，SlowFast算法識(shí)別的動(dòng)作較單一，無法同時(shí)對(duì)實(shí)驗(yàn)人員多個(gè)行為動(dòng)作進(jìn)行高精度識(shí)別，當(dāng)實(shí)驗(yàn)人員部分被遮擋或者全部被遮擋時(shí)無法對(duì)其進(jìn)行識(shí)別。本文的識(shí)別框架在此場(chǎng)景下進(jìn)行的實(shí)驗(yàn)結(jié)果見圖3（c），結(jié)果表明，本文所提框架識(shí)別行為動(dòng)作多、識(shí)別精度高，Slow-Fast算法識(shí)別精度及動(dòng)作識(shí)別種類遠(yuǎn)小于本文的行為識(shí)別框架。

圖4 SlowFast算法對(duì)視頻3序列識(shí)別結(jié)果Fig.4 The recognition results of SlowFast for video 3 clips

圖3（d）為船舶駕駛艙真實(shí)場(chǎng)景，實(shí)驗(yàn)結(jié)果見表5，實(shí)驗(yàn)中4名工作人員（分別標(biāo)記為#1、#2、#3、#4）的行為包括站立、行走、談話、傾聽，人員#1這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為250，0，250，0幀，對(duì)應(yīng)識(shí)別結(jié)果分別為250，0，243，7（7幀均為談話行為的誤識(shí)別結(jié)果），站立行為、談話行為的識(shí)別精度分別為100%、97%；人員#2這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為7，243，250，0幀，對(duì)應(yīng)識(shí)別結(jié)果分別為41（包含34幀行走行為的誤識(shí)別結(jié)果），209，250，0幀，站立行為、行走行為、談話行為的識(shí)別精度分別為100%，86%，100%。

表5 視頻4序列的異常行為識(shí)別結(jié)果Tab.5 Abnormal behavior recognition results for video 4 clips單位：%

圖3（d）中人員#3這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為250，0，183，67幀，對(duì)應(yīng)識(shí)別結(jié)果分別為250，0，163，87幀（包含20幀談話行為的誤識(shí)別結(jié)果），站立行為、談話行為、傾聽行為的識(shí)別精度分別為100%，89%，90%；人員#4這4種行為對(duì)應(yīng)的真實(shí)標(biāo)簽數(shù)據(jù)分別為250，0，0，250幀，對(duì)應(yīng)識(shí)別結(jié)果分別為250，0，0，250幀，站立行為、傾聽行為的識(shí)別精度分別為100%，100%。實(shí)驗(yàn)中人員#2行為動(dòng)作轉(zhuǎn)換較多，其他人員多處于穩(wěn)定狀態(tài)，人員#2的行走行為誤識(shí)別數(shù)據(jù)高于其他人員，且誤識(shí)別數(shù)據(jù)多發(fā)生于2個(gè)行為動(dòng)作轉(zhuǎn)換階段。

以上4組實(shí)驗(yàn)視頻的所有行為動(dòng)作識(shí)別的平均精度為88%，對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行觀察發(fā)現(xiàn)，實(shí)驗(yàn)人員的動(dòng)作行為沒有發(fā)生頻繁變化的時(shí)候，識(shí)別結(jié)果精度較高，而誤識(shí)別或無法識(shí)別情況基本上發(fā)生在以下情況：①實(shí)驗(yàn)人員被遮擋較多或完全被遮擋時(shí)；②1個(gè)動(dòng)作向另1個(gè)動(dòng)作轉(zhuǎn)變的時(shí)候（例如當(dāng)行走行為和站立行為進(jìn)行交替時(shí)容易誤檢）；③2個(gè)動(dòng)作具有很高的相似度時(shí)（例如當(dāng)看手機(jī)行為轉(zhuǎn)變到打電話行為過程中的動(dòng)作與看手機(jī)動(dòng)作相似，故容易誤檢，誤檢時(shí)間在1 s左右）。

3 結(jié)束語

港船工作環(huán)境中人員的規(guī)范操作是港口生產(chǎn)和船舶安全航行的基本保障?；诟鄞O(jiān)控視頻數(shù)據(jù)研判和預(yù)警人員異常行為（或不安全行為），為港口安全生產(chǎn)和水上交通安全決策提供重要數(shù)據(jù)依據(jù)。提出的異常人員識(shí)別模型基于深度學(xué)習(xí)模型和JDE范式的提取人員異常行為特征，并利用異步交互聚合模型識(shí)別確定異常行為類型。實(shí)驗(yàn)結(jié)果表明，提出的人員異常行為識(shí)別框架在不同港船工作環(huán)境中都能獲得較好的精度。在港口工作環(huán)境下的監(jiān)控視頻數(shù)據(jù)的實(shí)驗(yàn)結(jié)果顯示算法能識(shí)別的人員異常行為精度為85%，基于船舶駕駛臺(tái)監(jiān)控視頻顯示，提出的異常行為識(shí)別框架能識(shí)別97%的不安全船員行為（如談話、行走等）。本研究提出的框架能準(zhǔn)確識(shí)別港船工作環(huán)境下典型的人員異常行為。后續(xù)將進(jìn)一步拓展算法可識(shí)別的異常行為類型（未戴口罩、打架、未佩戴安全帽等）及工作人員被遮擋情況下異常行為識(shí)別。