陳佳林 和青 李云波 潘志松

（中國人民解放軍陸軍工程大學(xué)指揮控制工程學(xué)院 江蘇省南京市 210007）

工業(yè)園區(qū)的視頻監(jiān)控是保證園區(qū)開展安全生產(chǎn)的重要組成部分。大部分情況下，需要布設(shè)多個攝像頭全方位覆蓋園區(qū)內(nèi)的各條道路以全方位的進(jìn)行監(jiān)控。采用人工方式對圖像進(jìn)行判別的可信度較高，但是需要耗費人力資源。隨著深度學(xué)習(xí)問世以來，人工智能領(lǐng)域發(fā)展迅速，也給視頻目標(biāo)檢測領(lǐng)帶來了新的突破，文獻(xiàn)[1]提出基于TensorFlow 的輸電線異物識別方法。運用人工智能中目標(biāo)檢測的方法可以代替人工進(jìn)行目標(biāo)檢測同時也能取得較高的精度。但不便于在硬件有限的情況下部署。

對于園區(qū)內(nèi)的行人和車輛進(jìn)行檢測屬于目標(biāo)檢測任務(wù)。傳統(tǒng)的目標(biāo)檢測通過構(gòu)建詞袋模型并結(jié)合分類算法對圖片進(jìn)行分類和目標(biāo)檢測?；舅枷胧菍D片切分為許多細(xì)小的圖片塊并將其作為特征，計算統(tǒng)計特點作為分類依據(jù)。文獻(xiàn)[2]提出了基于HOG 特征的圖片分類算法。文獻(xiàn)[3]采用幀間差法構(gòu)建了運動目標(biāo)的檢測方法。

采用深度學(xué)習(xí)的目標(biāo)檢測算法利用深度卷積提取圖片特征代替手工特征。文獻(xiàn)[4-6]采用多步目標(biāo)檢測算法對每個推薦窗口檢測，精度較高但效率底下。文獻(xiàn)[7]在目標(biāo)檢測推理中加入了候選框?qū)崿F(xiàn)了端到端的檢測方式，但其復(fù)雜度較高。近年來邊緣計算發(fā)展迅猛，文獻(xiàn)[8]探索了在集成開發(fā)板上部署邊緣檢測算法以分辨無人機(jī)拍攝的電線電纜異物圖片，但其硬件成本較高。

本文首先采用輕量化的卷積網(wǎng)絡(luò)代替端到端目標(biāo)檢測網(wǎng)絡(luò)中特征提取的主干網(wǎng)絡(luò)，然后采用多線程的編程方式將視頻輸入后的圖像與目標(biāo)檢測框繪制分流處理，有效提高了硬件資源緊張條件下的利用效率。

1 邊緣計算園區(qū)目標(biāo)檢測系統(tǒng)

邊緣計算可以有效解決監(jiān)控視頻難存儲、難檢索、難識別的問題。本文提出的基于邊緣計算和深度學(xué)習(xí)的園區(qū)目標(biāo)檢測系統(tǒng)的結(jié)構(gòu)如圖1所示。

系統(tǒng)整體運行分為三個部分，分別是前端的邊緣設(shè)備，中心機(jī)房以及目標(biāo)樣本庫。

邊緣設(shè)備硬件由攝像頭和邊緣服務(wù)節(jié)點兩部分組成，若圖像上存在滿足預(yù)設(shè)條件的目標(biāo)，則邊緣服務(wù)節(jié)點將存儲目標(biāo)出現(xiàn)的圖片，并將實時檢測到的目標(biāo)視頻和圖像傳輸回核心節(jié)點。

中心機(jī)房在接收到邊緣設(shè)備傳回的目標(biāo)圖片或視頻后會出發(fā)消息服務(wù)向管理人員發(fā)出消息提醒。中心機(jī)房存儲包含目標(biāo)的視頻片段和圖像。目標(biāo)樣本庫中村為人工標(biāo)注樣本，新目標(biāo)獲準(zhǔn)進(jìn)入園區(qū)后會加入目標(biāo)樣本庫中并獲得專用的標(biāo)簽訓(xùn)練。

2 輕量化的目標(biāo)檢測模型

圖1：邊緣檢測系統(tǒng)整體結(jié)構(gòu)

圖2：卷積核對比

圖3：輕量化目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)

在硬件成本受限的條件下邊緣服務(wù)節(jié)點內(nèi)存和計算能力都受到極大限制，在對檢測精度有較高要求的情況下使用輕量化的深度卷積網(wǎng)絡(luò)節(jié)約內(nèi)存和計算復(fù)雜度。

2.1 深度可分離卷積核

常規(guī)的卷積核的高度與輸入通道數(shù)需要保持一致，這就帶來了較大的內(nèi)存開銷。深度可分離卷積核與常規(guī)目標(biāo)檢測網(wǎng)絡(luò)的卷積核結(jié)構(gòu)對比如圖2所示。

對于輸入圖像大小描述為H×W×C，其中H 為輸入圖像的高度，W 為輸入圖像的寬度，C 為輸入圖像的通道數(shù)，原始圖像的輸入通道一般為三個通道。則使用常規(guī)卷積核得到數(shù)量為N 的特征圖需要N 個卷積核，每個卷積核的感受野大小為D×D，通道數(shù)于原始圖像保持一致，單個卷積核的大小可描述為D×D×C，對于一次卷積得到N 個特征圖而言，使用常規(guī)卷積核所需的參數(shù)個數(shù)可表示為：

計算量復(fù)雜度為：

深度可分離卷積主要由兩部分構(gòu)成，第一部分使用D×D×1 大小的卷積核對每個通道單獨進(jìn)行卷積。第二部分使用N 個1×1×C的卷積核心對第一部分得到的卷積結(jié)果再次計算卷積。對于得到N個特征圖而言，使用深度可分離卷積所需的參數(shù)個數(shù)可表示為：

計算量復(fù)雜度可表示為：

相比常規(guī)卷積核進(jìn)行卷積計算，使用深度可分類卷積進(jìn)行計算在空間復(fù)雜度上降低了：

在計算復(fù)雜度上，使用深度可分離卷積核常規(guī)卷積之比為：

從整體上看，深度可分離卷積核能夠在極大減小參數(shù)量的情況下較為全面地提取圖片的信息。

2.2 目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)和模型訓(xùn)練

本文采用了類似文獻(xiàn)[9]中MobileNet 的網(wǎng)絡(luò)結(jié)構(gòu)作為目標(biāo)檢測網(wǎng)絡(luò)的主干網(wǎng)絡(luò)，并在其基礎(chǔ)之上引入了包含深度可分離卷積核的功能模塊。本文從網(wǎng)絡(luò)末端的四個卷積層分別抽取圖像特征。目標(biāo)檢測網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

本文采用的輕量化目標(biāo)檢測網(wǎng)絡(luò)分別從第11、13、14 和15 層的卷積結(jié)構(gòu)抽取特征圖，以擴(kuò)大提取特征的尺度范圍。損失函數(shù)由坐標(biāo)回歸損失和標(biāo)簽預(yù)測損失兩部分構(gòu)成。損失函數(shù)可以寫為：

其中x 為類別置信度；α 為均衡因子；l 為預(yù)測框位置；g 為標(biāo)簽框位置。標(biāo)簽預(yù)測損失采用交叉熵?fù)p失，坐標(biāo)回歸損失采用多元回歸損失。

本文的模型訓(xùn)練采用了Image 標(biāo)準(zhǔn)數(shù)據(jù)集，并自主收集了200張園區(qū)內(nèi)的車輛、行人圖片。采用RMSProp 的訓(xùn)練方式進(jìn)行訓(xùn)練；初始學(xué)習(xí)率為0.001；訓(xùn)練epoch 為30000。取驗證集最損失最小的模型用于部署。

3 目標(biāo)檢測模型部署

本文使用目標(biāo)樣本庫中的圖片訓(xùn)練模型，使用的深度學(xué)習(xí)計算框架為Caffe，在帶有GPU 的主機(jī)上完成訓(xùn)練后將網(wǎng)絡(luò)模型編譯為graph 格式。模型訓(xùn)練及部署的整體流程如圖4所示。

3.1 樹莓派搭載Movidius二代神經(jīng)計算棒

圖4：整體流程

圖5：多線程目標(biāo)檢測分流處理示意圖

圖6：目標(biāo)檢測實驗結(jié)果

Movidius 二代神經(jīng)計算棒(Neural Computational Stick，NCS)。其內(nèi)置的VPU 單元能夠支持Caffe 框架下深度學(xué)習(xí)目標(biāo)檢測模型。下載OpenVINO toolkit for Raspbian 并修改樹莓派環(huán)境變量后即完成Movidius 二代神經(jīng)計算棒的搭載工作。

3.2 多線程視頻處理

采用多線程的方式將攝像頭輸入視頻和目標(biāo)檢測計算分流處理。其結(jié)構(gòu)示意如圖5所示。

線程二中增加了檢測框繪制的預(yù)設(shè)條件，可以根據(jù)實際狀況判斷是否要在輸出幀上繪制檢測框。

4 實驗結(jié)果與分析

實驗使用平均每幅圖像誤檢率文獻(xiàn)[10]提出的FPPI 作為評價指標(biāo)，計算公式如下：

其中FP 代表檢測錯誤圖像總數(shù)，N 為測試樣本總數(shù)。分別將將本文提出的目標(biāo)檢測算法模型和檢測系統(tǒng)與其他多種模型和現(xiàn)有的監(jiān)控視頻目標(biāo)檢測方法進(jìn)行比較得出以下結(jié)果（如表1所示）。

實驗結(jié)果表明本文提出的方法可以有效降低網(wǎng)絡(luò)帶寬和存儲空間占用，在硬件成本較低的同時可以滿足實時園區(qū)監(jiān)控目標(biāo)檢測任務(wù)。

園區(qū)內(nèi)目標(biāo)檢測、計數(shù)的實驗效果如圖6所示。

表1：各類指標(biāo)對比

圖片選取了同一個邊緣服務(wù)節(jié)點記錄的三個連續(xù)的檢測幀。目標(biāo)出現(xiàn)在畫面時即開始檢測目標(biāo)位置；在計數(shù)線附件時繪制檢測框；當(dāng)目標(biāo)跨越計數(shù)線時計數(shù)值加一，同時中心機(jī)房收到消息提醒。

5 結(jié)語

本文通過在樹莓派上搭載部署神經(jīng)網(wǎng)絡(luò)目標(biāo)檢測算法，在檢測精度與效率之間探索了平衡的方式，對低成本大規(guī)模的邊緣計算部署具有參考意義。

此后還可在幾個方面進(jìn)一步改進(jìn)：

（1）以紅外光條件下的園區(qū)目標(biāo)作為樣本訓(xùn)練模型，降低對可見光源的依賴并減少輸入通道。

（2）搭建遠(yuǎn)程更新模塊高效地更新維護(hù)邊緣數(shù)據(jù)節(jié)點。