張 博，宋元斌*，吳 冰，李勁松，張世超

（1.上海交通大學(xué) 船舶海洋與建筑工程學(xué)院，上海 200240；2.國網(wǎng)浙江省電力公司經(jīng)濟技術(shù)研究院，杭州 310012；3.河南新縣宏大建設(shè)工程有限責任公司，信陽 465550；4.上海外高橋造船有限公司，上海 200137)

0 引言

近年來,雖然施工安全生產(chǎn)形勢總體上持續(xù)改進,但安全事故數(shù)和傷亡人數(shù)仍然居高不下[1]。其中建筑施工現(xiàn)場的工人和卡車之間的碰撞事故是造成工人傷亡的主要原因之一[2]。為了避免建筑施工現(xiàn)場人車碰撞事故的發(fā)生,需要監(jiān)測卡車與工人之間的空間關(guān)系,發(fā)現(xiàn)潛在的碰撞危險,及時做出預(yù)警。然而,傳統(tǒng)的人工監(jiān)測方法受限于安全管理人員人手、工作時間和巡查范圍,難以滿足安全管理需求。利用計算機視覺算法分析現(xiàn)場視頻監(jiān)控圖像為施工現(xiàn)場的潛在碰撞危險自動檢測提供了一條有效的途徑。

目前基于深度學(xué)習(xí)的計算機視覺算法技術(shù)發(fā)展迅速[3,4]。許多學(xué)者在此基礎(chǔ)上分析了施工現(xiàn)場的潛在危險。Fang等[5]利用目標檢測網(wǎng)絡(luò)直接識別施工現(xiàn)場圖像中工人和施工設(shè)備,并根據(jù)工人和設(shè)備之間的位置關(guān)系確定工人安全水平。Yan等[6]通過識別了現(xiàn)場圖像中卡車不同部位,進而推算車輛的三維輪廓,同時結(jié)合圖像深度和目標的三維邊界,最后計算工人與車輛的鄰近程度。但經(jīng)過現(xiàn)場測試發(fā)現(xiàn),當施工視頻幀圖像中工人與卡車相比目標較小,上述方法易發(fā)生工人目標漏檢問題。為了實現(xiàn)施工現(xiàn)場潛在碰撞危險的自動檢測,并解決上述漏檢問題,本研究結(jié)合深度學(xué)習(xí)技術(shù)提出了兩階段目標檢測的方法,首先通過搜索卡車周圍存在碰撞危險的區(qū)域,再在危險區(qū)域中監(jiān)測工人目標,進而減少工人的搜索范圍,改善漏檢問題。另外,基于仿真實驗計算專家的碰撞危險評價結(jié)果,進而確定工人的碰撞危險等級。最后,本文通過分析施工現(xiàn)場視頻來驗證所提出方法的有效性和實用性。

1 潛在碰撞危險自動分析

施工現(xiàn)場的碰撞危險區(qū)域主要集中在施工車輛附近。根據(jù)上述危險空間分布的特點,可以設(shè)計了一個兩階段的工人與卡車目標檢測算法,第一階段先檢測圖像中的卡車的圖像區(qū)域（目標框）,然后擴大該區(qū)域形成潛在碰撞緩沖區(qū),可以合理地假設(shè)工人在緩沖區(qū)外是安全的,因此在第二階段只在潛在碰撞緩沖區(qū)域內(nèi)中檢測工人目標。

如果在潛在碰撞緩沖區(qū)內(nèi)有工人,則根據(jù)工人和卡車的檢測結(jié)果進一步分析工人的碰撞危險等級。以往的研究主要通過分析工人和車輛鄰近程度,再利用模糊集理論建立一個模擬專家評判的安全水平自動分析系統(tǒng),進而分析工人與施工車輛之間的碰撞危險[7,8]。為了簡化計算,本文使用空間相關(guān)性Rsp[9]來計算施工現(xiàn)場安全管理專家對工人碰撞危險等級的評價結(jié)果。工人碰撞危險等級越高,表明工人與周圍卡車發(fā)生碰撞事故的可能性越大。其中,空間相關(guān)性反應(yīng)了物體間在三維空間的鄰近程度。

碰撞危險自動分析流程如圖1所示。

圖1 工人-卡車碰撞危險自動分析流程

1.1 檢測卡車

從施工現(xiàn)場視頻中獲取單幀圖像后,先采用Faster R-CNN[10]檢測施工車輛目標。與Fast R-CNN相比,Faster R-CNN增加了區(qū)域提議網(wǎng)絡(luò)（Region Proposal Networks,RPN）模塊,大幅度改善了目標檢測的準確率和速度。

如圖2所示,Faster R-CNN首先使用預(yù)訓(xùn)練的卷積網(wǎng)絡(luò)分析幀圖像得到特征圖,然后使用RPN從上述特征圖中獲取建議候選區(qū)域,理論上待檢測的目標只可能出現(xiàn)在建議候選區(qū)域內(nèi)；因為建議候選區(qū)域的大小和長寬比存在不一致性,因此需要進一步通過興趣區(qū)域（Region of Interest,ROI）池化層將大小不一的多個建議候選區(qū)域轉(zhuǎn)化為固定大小的目標特征圖,最后通過分類器分類統(tǒng)一尺寸的建議候選區(qū)域內(nèi)的特征圖,得到目標檢測結(jié)果,即卡車目標框在原始圖像中的位置和大小。

圖2 Faster R-CNN結(jié)構(gòu)

相機的拍攝高度會影響施工現(xiàn)場物體在二維圖像中的位置關(guān)系,當施工現(xiàn)場攝像機的安裝位置明顯高于物體所在水平面時,可以有效避免圖像中物體間的過度重疊或遮擋[9]。因此本文研究過程中確保攝像機拍攝位置明顯高于施工車輛的上表面。

1.2 確定潛在碰撞緩沖區(qū)

如圖3所示,潛在碰撞緩沖區(qū)是一個與卡車目標框中心對齊的矩形框,其長與寬都是卡車目標框相應(yīng)尺寸的k倍。為了確保檢測效果,潛在碰撞緩沖區(qū)既要覆蓋車輛周圍所有存在碰撞危險的工人,又要盡可能減小緩沖區(qū)尺寸以便減少計算量。本研究建議將k值設(shè)置為2,如實驗2.2.1節(jié)所示。

圖3 確定卡車潛在碰撞緩沖區(qū)

1.3 獲取緩沖區(qū)工人目標

在卡車的潛在碰撞緩沖區(qū)范圍內(nèi),同樣采用Faster R-CNN檢測工人目標。在同一幅圖像中,某位工人可能位于多輛卡車的潛在碰撞緩沖區(qū)內(nèi)時,此時工人將有多個目標框,如果兩個工人目標框的中心之間的距離很近,可以認為目標框?qū)?yīng)的同一個。本文取最小面積檢測框?qū)蔷€長度的10%作為判斷為同一個工人的閾值。

1.4 計算人車空間相關(guān)性

在施工圖像中檢測到卡車和工人目標后,需要進一步計算工人和卡車的空間相關(guān)性。該指標反應(yīng)了兩個目標在空間中的鄰近程度,與兩個目標框的位置有關(guān)。

如圖4所示,A、B兩個目標框之間存在三種位置關(guān)系：包含、相交、分離。不同位置關(guān)系時的Rsp計算如式(1)所示：

圖4 目標框之間的位置關(guān)系

式(1)中：SA、SB為A、B目標框的面積；SAB為A、B目標框相交部分面積；lA、lB為A、B目標框最短邊長度,lAB為A、B目標框之間的最短間距。

當兩個目標框之間存在包含關(guān)系時,此時Rsp最大；當兩個目標框之間相交時的Rsp小于目標框存在包含關(guān)系時的Rsp；兩個目標框相互分離時的Rsp小于兩目標框相交時的Rsp。

1.5 確定工人碰撞危險程度

為了建立工人碰撞危險等級（安全、危險、高危）與空間相關(guān)性Rsp與間的關(guān)系,通常需要采集大量的不同視角的施工現(xiàn)場圖像,并且這些圖像的拍攝相機的位置需要高于卡車的上表面,網(wǎng)絡(luò)收集和現(xiàn)場拍攝的圖像數(shù)量較少,難以滿足實驗要求,因此本研究采用了在虛擬施工場景中進行仿真實驗的方法。仿真實驗流程如圖5所示,在基于Unity3d開發(fā)的施工現(xiàn)場仿真程序中,通過設(shè)置不同的參數(shù)可以模擬各種潛在的人車碰撞或者安全場景并標注工人的碰撞危險等級,收集從不同視角拍攝的大量圖像。

圖5 危險場景仿真實驗

然后,針對仿真實驗中收集的潛在碰撞圖像,應(yīng)用本研究提出的算法計算其中人-車的空間相關(guān)性,結(jié)合所標注的碰撞危險等級,建立了碰撞危險等級對空間相關(guān)性的隸屬度函數(shù)關(guān)系,如圖6所示。當工人和車輛間的空間相關(guān)性小于0.34時,工人均處于安全等級；當工人和車輛間的空間相關(guān)性大于0.34而小于0.74時,工人處于危險等級,有可能與卡車發(fā)生碰撞；空間相關(guān)性大于0.74時,工人處于高危等級,極有可能發(fā)生與卡車發(fā)生碰撞。

圖6 碰撞危險等級人數(shù)占比對Rsp的隸屬度關(guān)系

為了確保危險和高危情況不被漏檢,本研究在隸屬等級確定時,就高不就低,比如當空間相關(guān)性為0.42時,歸屬為危險,而不是安全。當工人在多個潛在碰撞緩沖區(qū)中被檢測到時,選取最大Rsp判斷工人的碰撞危險等級。

2 實驗分析

本研究的實驗運行在工作站上,操作系統(tǒng)采用64位Window10,工作站的硬件參數(shù)為Intel(R) Xeon(R) Gold 5222CPU @3.80GHz,內(nèi)存為128GB,配置2塊GTX 2080 Ti顯卡。Faster R-CNN的預(yù)訓(xùn)練網(wǎng)絡(luò)使用Resnet18[11]。

2.1 數(shù)據(jù)處理與模型訓(xùn)練

通過施工現(xiàn)場拍攝、網(wǎng)絡(luò)爬蟲2種方式收集包含施工車輛和工人的圖像共2200張。其中2000張作為訓(xùn)練集,200張作為測試集。測試集圖像200張圖像中共包含258輛卡車,安全專家人工標記為安全、危險、高危狀態(tài)的工人有215名、192名、34名。

2.1.1 圖像標注

先在每一張圖像上人工標注卡車目標,取標注框2倍大小的圖像區(qū)域作為潛在碰撞緩沖區(qū),如圖7所示緩沖區(qū)可能有多個,然后在每個緩沖區(qū)子圖上標注工人目標。

圖7 標注圖像

2.1.2 模型訓(xùn)練

采用2000張完整的現(xiàn)場圖片（如圖7中的標注圖像A所示）訓(xùn)練Faster R-CNN得到能夠識別卡車目標的模型,在此稱為第一階段識別模型；同時,可以利用潛在碰撞緩沖區(qū)子圖5482張（如圖8中的緩沖區(qū)B1和B2圖片）訓(xùn)練Faster R-CNN得到能夠識別工人目標的模型,在此稱為第二階段識別模型。

2.1.3 模型測試

針對測試集中200張圖片,依據(jù)自動分析方法所述,先用一階段模型檢測獲得的卡車目標框（共檢測出254輛卡車,準確率100%；但有4輛車未檢測到,召回率98.5%,基本滿足實際檢測需求）；根據(jù)卡車檢測結(jié)果,擴大卡車目標框范圍至2倍得到潛在碰撞緩沖區(qū)子圖；進而,針對每一張緩沖區(qū)子圖使用二階段模型檢測其中的工人目標；最后,然后利用式(1)計算各個工人目標的空間相關(guān)性并根據(jù)空間相關(guān)性大小確定工人的碰撞危險等級。圖8給出了工人-卡車碰撞危險自動分析方法的一個示例過程。

圖8 工人-卡車碰撞危險自動分析示例

衡量目標檢測的有效性采用了準確率和召回率[12]兩個指標,計算公式如下：

式中：A為準確率；R為召回率；NTP為檢測結(jié)果為正值的正樣本數(shù)量；NFP為檢測結(jié)果為正值的負樣本數(shù)量；NFN為檢測結(jié)果為負值的正樣本數(shù)量。

實驗統(tǒng)計了人車碰撞危險自動分析方法對200張測試集圖片的分析結(jié)果,如表1所示。從結(jié)果可以看出,工人危險等級的識別較好,準確率和召回率都在90%以上,但是高危等級的準確率偏低,主要原因是因為2維圖像中目標框較近時,空間相關(guān)性難以準確反應(yīng)物體間的三維位置關(guān)系。

表1 有碰撞危險的工人檢測結(jié)果

2.2 實驗結(jié)果討論

2.2.1 潛在碰撞緩沖區(qū)倍數(shù)k的驗證

為了驗證潛在碰撞緩沖區(qū)倍數(shù)k值的適用性,根據(jù)第一階段模型的檢測得到的目標框,選取不同的k值,分別計算潛在緩沖區(qū)的大小,然后統(tǒng)計緩沖區(qū)中有碰撞危險（危險、高危等級）的和安全的工人數(shù)量,結(jié)果如表2所示。

表2 不同k值下緩沖區(qū)中工人狀態(tài)

從表2可以看出,隨著k值得增加,車輛緩沖區(qū)范圍擴大,有碰撞危險的工人人數(shù)逐漸增加。當k大于2時,有碰撞危險的工人人數(shù)不再增加,表明此時潛在碰撞緩沖區(qū)范圍已經(jīng)可以將碰撞危險等級為危險、高危的工人全部包括在內(nèi)。同時,減少緩沖區(qū)子圖的尺寸有助于減少工人目標檢測的計算量,進而可以降低檢測難度。

2.2.2 與傳統(tǒng)方法檢測結(jié)果的對比

本研究也采用了傳統(tǒng)方法進行了人-車碰撞危險自動分析實驗。與本研究提出的方法相比,傳統(tǒng)分析方法同時檢測卡車和人兩類目標,即使工人在離卡車很遠的安全位置。傳統(tǒng)Faster R-CNN檢測結(jié)果如表3所示。

表3 傳統(tǒng)方法檢測結(jié)果

與傳統(tǒng)方法相比,本方法在自動檢測危險或高危狀態(tài)工人時,檢測的準確率有顯著提升,召回率提高更加明顯。主要原因是縮小了搜索工人（小目標）的范圍,提高工人目標的檢測效果。

3 結(jié)語

本文基于深度學(xué)習(xí)技術(shù),通過分步檢測搜索卡車潛在碰撞緩沖區(qū),由此縮小了檢測工人目標的范圍,提高了檢測準確率。同時,根據(jù)工人和車輛的檢測結(jié)果建立了碰撞危險等級與空間相關(guān)性之間的隸屬度函數(shù)關(guān)系,將目標檢測結(jié)果量化從而實現(xiàn)施工現(xiàn)場人車碰撞危險的自動分析。未來將嘗試根據(jù)二維圖像反推車輛和工人的三維包絡(luò)盒,以期更準確地獲得兩者之間的空間關(guān)系。