丁文龍，費(fèi)樹珉

（東南大學(xué)自動化學(xué)院，江蘇南京，210096）

0 引言

近年來，建筑工地作業(yè)人員因?yàn)槲磁宕靼踩倍鴮?dǎo)致安全問題的現(xiàn)象頻頻發(fā)生。施工場景中，由于施工人員安全意識不足，人員監(jiān)管不力都是導(dǎo)致該類安全事故發(fā)生的原因。因此，對工人安全帽佩戴的實(shí)時(shí)檢測十分重要。當(dāng)前主要是人為監(jiān)管施工工人的安全帽佩戴情況，檢測效率低下。

目前，一些學(xué)者對安全帽檢測已有一些研究。文獻(xiàn)[1]利用Vibe背景建模算法，并基于運(yùn)動對象分割的結(jié)果快速定位行人，并通過頭部位置、顏色空間變換來實(shí)現(xiàn)安全帽檢測。文獻(xiàn)[2]以梯度直方圖(histogram of oriented gradient，HOG)和圓環(huán)霍夫變換提取特征，再通過分類器進(jìn)行安全帽檢測。文獻(xiàn)[3]利用運(yùn)動物體提取K-Nearest-Neighbor（KNN）分類器開發(fā)了一個可以自動檢測自然環(huán)境中人員是否帶上安全帽的系統(tǒng)。傳統(tǒng)的安全帽檢測方法依賴于人工設(shè)計(jì)特征，基于此設(shè)計(jì)分類器。檢測效果受人員先驗(yàn)知識影響大，該方法在應(yīng)用上有局限性。當(dāng)前采用深度學(xué)習(xí)方法通過CNN提取特征方式的方式可以避免人員主觀知識偏差的影響，被許多學(xué)者采用。利用現(xiàn)有模型訓(xùn)練，能夠得到檢測效果良好的目標(biāo)檢測模型。近年來，目標(biāo)檢測模型不斷涌現(xiàn)的過程中，出現(xiàn)不同性能和適用場景的算法模型。在這一系列模型中，YOLO模型憑借其結(jié)構(gòu)精簡，檢測速度快，適用于多種場合等優(yōu)點(diǎn)，受到了大量相關(guān)研究人員的關(guān)注和具體應(yīng)用。

本文基于圖像處理方法，針對YOLOv3[4]進(jìn)行改進(jìn)，提出一種施工場景中準(zhǔn)確高效的安全帽檢測算法。

1 基于YOLOv3改進(jìn)算法的安全帽檢

1.1 YOLOv3目標(biāo)檢測算法原理

YOLOv3使用Darknet-53作為特征提取網(wǎng)絡(luò)。Darknet-53包括53個卷積層和5個最大池化層。YOLOv3網(wǎng)絡(luò)把圖片分為大小相同的網(wǎng)格，每個網(wǎng)格有3個用于預(yù)測的anchor框。每個框的預(yù)測信息包含框的寬度，高度，框的起始位置，物體預(yù)測置信度以及N維分類物體類別數(shù)。YOLOv3在特征提取之后采取特征金字塔(Feature Pyramid Networks)[5]的思想，將不同大小的特征圖用于預(yù)測不同尺寸的物體。共有三個不同大小的特征圖，越大的特征圖預(yù)測越小的物體。通過將淺層特征和深層特征融合，有效利用了低層網(wǎng)絡(luò)的位置特征以及高層網(wǎng)絡(luò)的語義信息，使得YOLOv3網(wǎng)絡(luò)能夠準(zhǔn)確識別物體的類別，同時(shí)將物體進(jìn)行精準(zhǔn)定位。

1.2 K-means++錨框生成優(yōu)化

YOLOv3文中對COCO數(shù)據(jù)集采用K-means[6]算法獲取用于目標(biāo)檢測的初始先驗(yàn)框。不同于COCO數(shù)據(jù)集的目標(biāo)尺寸大小和類別數(shù)量，本文制作的數(shù)據(jù)集僅有兩個類別，且安全帽在圖像中的尺寸偏小。因此，需要采用K-means算法重新獲取用于當(dāng)前檢測任務(wù)的初始先驗(yàn)框。由于K-means算法需要人為確定初始聚類中心，不同的聚類中心會導(dǎo)致不同的聚類結(jié)果。K-means++算法隨機(jī)選擇初始聚類中心，并選擇距離最近聚類中心較遠(yuǎn)的點(diǎn)作為新的聚類中心，并重復(fù)此過程，直到選取完K個聚類中心。從而避免人為選取聚類中心的缺點(diǎn)。

本文針對自制數(shù)據(jù)集，采用K-means++算法進(jìn)行聚類，得到9個先驗(yàn)框尺寸，并分配到不同尺寸的預(yù)測分支上，小尺度錨框?yàn)?5,11)，(7,16)，(11,22)。中尺度錨框?yàn)?17,30),(26,44),(39,66)。大尺度錨框?yàn)?58,102),(93,157),(182,255)。

1.3 scSE注意力模塊融合設(shè)計(jì)

在目標(biāo)檢測任務(wù)中，當(dāng)網(wǎng)絡(luò)層級加深?？刹杉哪繕?biāo)信息特征逐漸減弱。從而導(dǎo)致檢測目標(biāo)的漏檢和誤檢等問題。scSE(Concurrent Spatial and Channel Squeeze and Channel Excitation)是一種更加輕量化的SE-NET變體。scSE模塊由在輸入通過sSE(Channel Squeeze and Spatial Excitation)和cSE(Spatial Squeeze and Channel Excitation)兩個模塊之后相加。其中，cSE將特征圖通過全局平均池化改變輸入的尺寸，然后使用了兩個卷積進(jìn)行信息的處理，最終得到C維的向量，接著使用sigmoid函數(shù)進(jìn)行歸一化，得到對應(yīng)的掩碼。最后通過通道緯度融合，得到信息校準(zhǔn)后的特征圖。sSE直接對特征圖使用卷積，將輸入特征圖的通道變?yōu)?維，然后使用sigmoid進(jìn)行激活得到空間注意力圖，接著施加到原始的特征圖中，完成空間的信息校準(zhǔn)。scSE整體結(jié)構(gòu)如圖1所示。該注意力模塊同時(shí)根據(jù)通道和空間的重要性來校準(zhǔn)采樣。這種重新校準(zhǔn)使得網(wǎng)絡(luò)學(xué)習(xí)更有意義的特征圖。本文將scSE注意力模塊添加至YOLOv3模型特征提取網(wǎng)絡(luò)之后的三個檢測支路的多個卷積模塊之間進(jìn)行網(wǎng)絡(luò)優(yōu)化。

圖1 Concurrent Spatial and Channel Squeeze and Channel Excitation(scSE)

1.4 引入殘差模塊

隨著網(wǎng)絡(luò)的加深，在靠近檢測輸出端的深層網(wǎng)絡(luò)中，含有圖像小目標(biāo)的特征信息較少，而本任務(wù)所檢測的安全帽以及人體頭部都屬于這樣的小目標(biāo)。為了讓檢測層能夠檢測到目標(biāo)信息，在輸出端的卷積操作之前，將卷積模塊替換為殘差模塊。通過跳躍連接，將網(wǎng)絡(luò)中層級間的信息的得以傳遞。實(shí)現(xiàn)在網(wǎng)絡(luò)較深的背景下，能夠加強(qiáng)模型對深層特征的檢測能力。圖2為本文引入的殘差模塊結(jié)構(gòu)圖。本文殘差模塊前通道數(shù)為512，分為殘差部分和快捷連接部分。殘差連接先經(jīng)過一個1×1的卷積，通道數(shù)變?yōu)?28。然后經(jīng)過3×3的卷積層，通道數(shù)保持不變，再經(jīng)過一個1×1的卷積層，通道數(shù)變?yōu)?024?？焖龠B接部分通過一個1×1的卷積將輸入通道512轉(zhuǎn)換為1024。最后將兩個分支進(jìn)行相加，得到殘差模塊的輸出。改進(jìn)后模型如圖3所示。

圖2 殘差模塊結(jié)構(gòu)圖

圖3 改進(jìn)后模型結(jié)構(gòu)

2 實(shí)驗(yàn)結(jié)果分析

2.1 數(shù)據(jù)收集

當(dāng)前開源的安全帽數(shù)據(jù)集有SHWD數(shù)據(jù)集，共包含7581張圖片，分為person(未佩戴)和hat(佩戴)兩類。數(shù)據(jù)集包含9044個正類樣本以及111514個負(fù)類樣本。由于該數(shù)據(jù)集場景單一，缺乏更多施工現(xiàn)場的場景，缺乏佩戴非安全帽的場景。因此本文針對以上缺點(diǎn)，另外從多個工地監(jiān)控視頻中采集了另外828張工地監(jiān)控視頻圖片。

2.2 數(shù)據(jù)標(biāo)記及處理

從工地監(jiān)控視頻中采集的數(shù)據(jù)用labelImg軟件進(jìn)行標(biāo)記。本文按照Pascal VOC格式對監(jiān)控視頻數(shù)據(jù)進(jìn)行標(biāo)注。標(biāo)定后生成的xml文件標(biāo)注了圖片中安全帽和未佩戴安全帽頭部的類別和位置信息。數(shù)據(jù)標(biāo)注界面如圖4所示。

圖4 數(shù)據(jù)標(biāo)注界面

標(biāo)注后的數(shù)據(jù)量較少，為增強(qiáng)數(shù)據(jù)的多樣性，提升模型的泛化性和魯棒性，本文對工地監(jiān)控視頻做了翻轉(zhuǎn)，加噪，HSV變換等方式進(jìn)行數(shù)據(jù)增強(qiáng)，最終得到3312張工地視頻圖像。本文將自制后增強(qiáng)的圖片融合至SHWD數(shù)據(jù)集，得到本文實(shí)驗(yàn)所用的數(shù)據(jù)集SHWD-NW,共10893張圖片。并采用留出法按照8:1:1劃分訓(xùn)練集，驗(yàn)證集，測試集。

2.3 實(shí)驗(yàn)平臺

本文實(shí)驗(yàn)基于GPU進(jìn)行運(yùn)算，在實(shí)驗(yàn)室服務(wù)器上搭建包括Windows10，Python，OpenCV等環(huán)境。深度學(xué)習(xí)框架采用Pytorch。實(shí)驗(yàn)平臺配置如表1所示。

表1 平臺配置

2.4 網(wǎng)絡(luò)訓(xùn)練

使用深度學(xué)習(xí)模型YOLOv3進(jìn)行模型訓(xùn)練過程中，損失函數(shù)在訓(xùn)練迭代的過程中會逐漸降低。本次實(shí)驗(yàn)中，訓(xùn)練批次為100。模型迭代次數(shù)共55100次。在0到50個批次時(shí)，學(xué)習(xí)率初始設(shè)置為0.001，在50到100批次時(shí)，學(xué)習(xí)率初始設(shè)置為0.0001。每經(jīng)過一個訓(xùn)練批次，學(xué)習(xí)率減少為上一個訓(xùn)練批次學(xué)習(xí)率的0.94倍。權(quán)重衰減系數(shù)為0.0005。模型在0到44080次時(shí)損失函數(shù)迅速降低，在44080次之后損失逐漸收斂于3.27，得到一個訓(xùn)練完畢的模型。圖5為模型訓(xùn)練過程中模型損失變化圖。

圖5 訓(xùn)練過程損失曲線

2.5 評價(jià)指標(biāo)

準(zhǔn)確率(Precision)，召回率(Recall)以及平均準(zhǔn)確率均值(mean average precision)是衡量目標(biāo)檢測模型性能的一般性指標(biāo)。本文采取平均準(zhǔn)確率均值(mAP)作為模型性能評價(jià)的指標(biāo)。

準(zhǔn)確率是模型預(yù)測的正類樣本數(shù)和預(yù)測總樣本數(shù)的比值。召回率是預(yù)測樣本中正類樣本和預(yù)測樣本的比值。通過對本文分類類別的helmet以及head兩種類別，針對準(zhǔn)確率，召回率曲線的圖像使用積分計(jì)算該曲線與坐標(biāo)軸的面積，來計(jì)算兩種類別的準(zhǔn)確率(AP)，兩個類別的準(zhǔn)確率求和再除以分類的類別，得到本文所使用的評價(jià)指標(biāo)之一：平均準(zhǔn)確率均值。平均準(zhǔn)確率均值越高，表明模型對檢測任務(wù)的目標(biāo)識別效果越好。

此外，本文使用識別幀率(f/s)來衡量模型的檢測速度。該數(shù)值越高，代表模型的檢測速度越快。用訓(xùn)練好的模型針對圖片進(jìn)行檢測得到。

2.6 實(shí)驗(yàn)結(jié)果

本文采用改進(jìn)YOLOv3模型在自制的數(shù)據(jù)集中SHWDNW上進(jìn)行實(shí)驗(yàn)。并對比目標(biāo)檢測的其他常見方法：YOLOv3，F(xiàn)aster R-CNN算法等。實(shí)驗(yàn)結(jié)果如表2所示。

表2 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，在416×416的圖片輸入尺寸下，在檢測準(zhǔn)確率方面，F(xiàn)aster R-CNN的平均準(zhǔn)確率最高，達(dá)到了91.28%。本文所采用的算法改進(jìn)型YOLOv3相比Faster R-CNN，準(zhǔn)確率稍有不及，但是改進(jìn)型YOLOv3算法的檢測速度比Faster R-CNN有顯著優(yōu)勢。另一方面，改進(jìn)型YOLOv3相較于YOLOv3，在檢測速度下降不大的情況下，檢測準(zhǔn)確率有相應(yīng)的提升。能夠較好的滿足工地場景安全帽檢測任務(wù)的準(zhǔn)確性和實(shí)時(shí)性要求。

3 結(jié)束語

本文基于開源數(shù)據(jù)集以及自制工地現(xiàn)場監(jiān)控視頻數(shù)據(jù)集進(jìn)行了安全帽佩戴檢測實(shí)驗(yàn)。采用K-means++優(yōu)化YOLOv3算法所需的anchor尺寸，在網(wǎng)絡(luò)模型中加入scSE注意力模塊，使網(wǎng)絡(luò)學(xué)習(xí)重要的特征圖，用殘差模塊替換卷積模塊等方法改進(jìn)YOLOv3網(wǎng)絡(luò)，使網(wǎng)絡(luò)獲得較好的前后特征信息傳遞。經(jīng)過本文改進(jìn)后的安全帽檢測模型同時(shí)獲得了較高的檢測準(zhǔn)確率和檢測速度?？梢暂^好地滿足施工現(xiàn)場安全帽檢測任務(wù)的需要。