游青山 冉霞

開發(fā)設計

基于機器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)*

游青山1,2冉霞3,4

（1.重慶工程職業(yè)技術學院，重慶 402260 2.工業(yè)機器人與礦山智能裝備系統(tǒng)應用重慶市高校工程中心，重慶 402260 3.中煤科工集團重慶研究院有限公司，重慶 400039 4.瓦斯災害監(jiān)控與應急技術國家重點實驗室，重慶 400037）

礦井作業(yè)人員違章操作是礦井日常監(jiān)測的重點和難點。為解決目前人工監(jiān)測效率較低、范圍有限等問題，設計一種基于機器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)。該系統(tǒng)采集礦井作業(yè)人員的個人信息，生成作業(yè)人員相對于現(xiàn)場工作崗位的違章概率及違章概率排名，并對排名滿足預設要求的人員進行跟蹤監(jiān)測。經礦井現(xiàn)場作業(yè)驗證，該系統(tǒng)實現(xiàn)了礦井作業(yè)人員違章操作的自動識別。

機器視覺；行為監(jiān)測；違章識別；礦井

0 引言

因礦井作業(yè)人員違章操作導致的安全事故時有發(fā)生，造成嚴重的人員傷亡和經濟損失。因此，違章操作是礦井日常監(jiān)測的重點。目前，礦井監(jiān)測一般采用基于紅外傳感的礦井井下人員監(jiān)控系統(tǒng)，該系統(tǒng)存在以下不足：1）依靠人工判識礦井現(xiàn)場作業(yè)人員行為是否存在隱患和違章，缺乏自動判識技術及設備；2）無法進行全方位監(jiān)測，產生監(jiān)測死角；3）易受監(jiān)控區(qū)域內其他熱源物體干擾，影響監(jiān)測結果；4）無有效的告警機制等。亟待出現(xiàn)一種針對礦井人員行為監(jiān)測及違章的識別系統(tǒng)。

在國外，IBM和Microsoft等公司正逐步將基于視覺的手勢識別接口應用于商業(yè)領域[1]；以色列ioimage公司的智能視頻設備得到業(yè)界廣泛認可。在國內，海康威視股份有限公司針對交通行業(yè)開發(fā)了違法取證系統(tǒng)，該系統(tǒng)通過視頻分析可對各種交通違法行為進行取證[2]。北京寶獅視訊科技有限公司開發(fā)的礦井安全生產異常事件檢測報警系統(tǒng)，能實時檢測目標區(qū)域發(fā)生的物體位移、人員跌倒、異物拋撒、人員闖入、值班員離崗等異常狀況，并自動報警[3]。中煤科工集團研發(fā)了多種規(guī)格的礦用高清網絡攝像儀，具有簡單的人員越界、區(qū)域入侵等視頻分析功能。

但通過圖像識別人員違章行為鮮有研究。鑒此，筆者設計一種礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)，可解決現(xiàn)有基于紅外傳感的礦井井下人員監(jiān)控系統(tǒng)的不足。

1 系統(tǒng)設計

基于機器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)包括紅外成像采集單元、數(shù)據中轉裝置單元、圖像處理傳輸單元和服務器單元，總體結構框圖如圖1所示。

紅外成像采集單元布置了3個紅外熱成像儀，對礦井作業(yè)人員進行圖像采集，采集后的熱成像數(shù)據上傳至數(shù)據中轉裝置單元；數(shù)據中轉裝置單元接收熱成像數(shù)據并進行匯總后傳輸至圖像處理傳輸單元；圖像處理傳輸單元將熱成像數(shù)據進行綜合處理，提取礦井作業(yè)人員紅外圖像，并通過遠程傳輸裝置傳輸至服務器單元；服務器單元接收礦井作業(yè)人員紅外圖像后進行監(jiān)控顯示、存儲、分析等處理。

圖1 基于機器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)總體結構框圖

1.1 紅外成像采集單元[4-5]

3個紅外熱成像儀可對監(jiān)控區(qū)域形成全方位無死角監(jiān)測，對煤礦監(jiān)控初步背景圖像進行圖像增強處理，獲得圖像增強后的煤礦監(jiān)控背景圖像。

1.2 數(shù)據中轉裝置單元

數(shù)據中轉裝置單元接收3路紅外熱成像儀的視頻流，并利用時鐘模塊提供同步時鐘，同時為接收的3路熱成像數(shù)據打上同步時間戳，上傳至圖像處理傳輸單元。通過3路紅外熱成像數(shù)據的時間戳，圖像處理傳輸單元就能精確地對紅外熱成像數(shù)據進行同步綜合處理。

1.3 圖像處理傳輸單元

圖像處理傳輸單元主要包括主處理、溫段提取、模型對比、動態(tài)校對和計時等模塊，原理框圖如圖2所示。

首先，主處理模塊合成3路熱成像圖像，建立三維熱成像圖像；然后，溫段提取模塊提取三維熱成像圖像中溫度范圍在35℃～38℃（人體溫度）的圖像，這樣可有效去除監(jiān)控區(qū)域內其他溫段熱源物體的影響；接著，模型對比模塊將提取的圖像與預先建立的人體熱成像模型進行對比分析，精確提取人員熱成像圖像；最后，動態(tài)校對模塊根據提取的人員熱成像圖像判定人員狀態(tài)，并將最終提取的人員熱成像圖與狀態(tài)判定結果傳輸至服務器。

圖2 圖像處理傳輸單元原理框圖

圖像處理傳輸單元連接人員數(shù)量校對模塊及告警模塊。其中，人員數(shù)量校對模塊與遠程傳輸裝置連接，用于根據人員紅外圖像校對監(jiān)測人數(shù)，并向服務器發(fā)送監(jiān)測人數(shù)信息；告警模塊與遠程傳輸裝置連接，用于向服務器發(fā)送告警信息。

1.4 服務器單元

服務器單元包括第一采集、第一分析、第二采集、第二分析、告警和疲勞檢測等模塊，如圖3所示。

圖3 服務器單元原理框圖

1.4.1 第一采集模塊[6]

第一采集模塊采集礦井作業(yè)人員個人信息，并存入數(shù)據庫。個人信息包括身高、體重、工號、礦井現(xiàn)場工作種類、崗位工作經驗、工作服上的標識、日常礦井現(xiàn)場行為記錄、違章記錄等。

1.4.2 第一分析模塊

第一分析模塊用于將第一采集模塊采集的信息進行違章概率分析。礦井作業(yè)人員相對于現(xiàn)場工作崗位的違章概率計算公式為

式中，為作業(yè)人員相對于現(xiàn)場工作崗位的匹配度分值；為作業(yè)人員崗位工作經驗信息分值；為作業(yè)人員日常礦井現(xiàn)場行為記錄信息分值為作業(yè)人員的違章記錄分值。

違章概率排名影響因素如表1所示。

表1 違章概率排名影響因素

1.4.3 第二采集模塊[6]

第二采集模塊采集進入礦井的作業(yè)人員標識信息，計算進入礦井作業(yè)人員的現(xiàn)場工作崗位違章概率，并進行排名；對排名靠前的預設數(shù)目作業(yè)人員進行跟蹤監(jiān)測，獲得相應的監(jiān)測圖像。

1.4.4 第二分析模塊

將第二采集模塊獲得的監(jiān)測圖像輸入礦井作業(yè)人員行為違章識別模型，識別礦井作業(yè)人員行為是否違章。具體實現(xiàn)方式為采集未違章的礦井作業(yè)人員行為圖像并進行機器學習，提取礦井作業(yè)人員違章行為判別關鍵特征；利用人工智能、機器學習、圖像識別等方法，建立礦井作業(yè)人員行為違章識別模型。

1.4.5 告警模塊

在識別礦井作業(yè)人員存在違章行為時，告警模塊對相應的作業(yè)人員發(fā)出告警。服務器向人員數(shù)量校對模塊和計時模塊分別發(fā)送設定的人員校對數(shù)量和告警時長。當人員數(shù)量校對模塊校對的人員數(shù)量低于設定的數(shù)量，且持續(xù)時間達到設定告警時長時，說明有人員長時間處于監(jiān)控區(qū)域外，可能發(fā)生意外或擅離職守。人員數(shù)量校對模塊通過圖像處理傳輸模塊向告警模塊發(fā)出告警提示，告警模塊接收告警提示后向服務器發(fā)送告警信息。當動態(tài)校對模塊監(jiān)測到有人員處于靜止狀態(tài)的持續(xù)時間達到設定告警時長時，說明有人員可能發(fā)生意外，動態(tài)校對模塊向告警模塊發(fā)出告警提示，告警模塊接收告警提示后向服務器發(fā)送告警信息。

1.4.6 疲勞監(jiān)測模塊

疲勞監(jiān)測模塊監(jiān)測礦井作業(yè)人員是否處于疲勞狀態(tài)?；诓杉牡V井現(xiàn)場作業(yè)人員行為，判斷礦井作業(yè)人員操作速率和持續(xù)工作時長是否滿足預設要求，若滿足則礦井作業(yè)人員為疲勞狀態(tài)。疲勞監(jiān)測流程圖如圖4所示。

圖4 疲勞監(jiān)測流程圖

2 系統(tǒng)功能

基于機器視覺的礦井作業(yè)人員行為監(jiān)測及違章識別系統(tǒng)具體功能如下：

1）實現(xiàn)帶式輸送機運轉時危險區(qū)域人員入侵智能識別、抓拍、報警、聯(lián)動緊急停車等功能；

2）對礦車行進過程中人員扒蹬礦車行為的智能識別、抓拍、報警等功能；

3）對違反“行車不行人”規(guī)定行為的智能識別、抓拍、報警等功能，如圖5所示。

3 人員違章識別結果驗證

將紅外成像采集單元布置在礦井下某固定地點，該點的環(huán)境實測狀態(tài)為：空氣溫度29℃、相對濕度95%、風速0.9 m/s。采用3組不同數(shù)量的試驗人員在紅外成像采集單元識別區(qū)域內進行行為動作，驗證系統(tǒng)人員違章識別效果。綜合考慮礦井井下安全、試驗場地、試驗人員等相關因素，結合本系統(tǒng)現(xiàn)有能識別的典型違章動作特征，設計試驗如下：

1）試驗人員被告知試驗時可進行相關的違章動作，但違章僅限于規(guī)定的時間、試驗地點以及典型違章動作；

2）利用系統(tǒng)自動識別違章狀態(tài)，并通過人工觀察監(jiān)視器同步復核；同時在試驗現(xiàn)場安排人員監(jiān)控試驗者；

3）第1組安排24名下井試驗者統(tǒng)一從某方向依次通過試驗區(qū)域，規(guī)定每名試驗者最多在區(qū)域內活動30 s，并且在區(qū)域內活動的試驗者不超過3名（受井下巷道所限，試驗區(qū)域內活動人員一般不超過3名）；

4）第2組安排16名升井試驗者統(tǒng)一從另一方向依次通過試驗區(qū)域，規(guī)定每名試驗者最多在區(qū)域內活動30 s，并且在區(qū)域內活動的試驗者不超過3名；

5）第3組安排8名試驗者隨機依次通過試驗區(qū)域，規(guī)定每名試驗者最多在區(qū)域內活動30 s，并且在區(qū)域內活動的試驗者不超過3名；

6）分別比較3組系統(tǒng)與人工識別的違章情況，并驗證系統(tǒng)識別的精確性，驗證結果如表2所示。

由表2可見：與人工通過監(jiān)視器識別違章行為相比，系統(tǒng)能部分識別人員的違章行為；在違章識別率方面，當人員數(shù)量較少時，系統(tǒng)識別準確率達到100%，但在人員較多時，準確率有所降低，存在少判、誤判等情況。其原因主要為違章動作不夠明顯。為提高機器違章的識別有效性，可加強對典型違章動作的機器學習，并對識別模型優(yōu)化。

表2 違章識別率對比

4 結語

本系統(tǒng)通過紅外熱成儀采集礦井作業(yè)人員圖像，并傳輸至服務器單元進行處理，對是否違章進行判斷；通過違章概率和疲勞監(jiān)測處理等措施，識別違章并分類，最終實現(xiàn)礦井作業(yè)人員違章自動識別。

[1] 嚴丹.應用于嵌入式視頻監(jiān)控的碼本建模方法研究[D].成都:西華大學,2014.

[2] 杭州海康威視數(shù)字技術股份有限公司.智能交通行業(yè)系統(tǒng)應用解決方案[EB/OL].[2021-02-03]. http://hikvision.corp. dav01.com/article/2012/12/a14701.html.

[3] 北京寶獅視訊科技有限公司. 煤礦視頻監(jiān)控智能分析的預警系統(tǒng)技術方案[EB/OL].寶獅集團網, (2020-06-01) [2021-02-03].http://www.boservison.com/boser/hangye/2013-5-9/ 154.html.

[4] 韓治華,冉霞.一種煤礦監(jiān)控運動目標檢測方法:重慶市, CN109977842A[P].2019-07-05.

[5] 韓治華,王宏.基于熱成像煤礦井下人員監(jiān)控系統(tǒng):重慶市, CN109974860A[P].2019-07-05.

[6] 韓治華,游青山.一種煤礦現(xiàn)場人員行為監(jiān)測及違章智能識別系統(tǒng):重慶市,CN109977843A[P].2019-07-05.

Behavior Monitoring and Violation Recognition System of Mine Operators Based on Machine Vision

You Qingshan1,2Ran Xia3,4

(1.Chongqing Vocational Institute of Engineering, Chongqing 402260, China 2. Application of Industrial Robot and Mine Intelligent Equipment System in Chongqing Institute Engineering Center, 402260,China 3. China Coal Technology Engineering Group Chongqing Research Institute, Chongqing 400039,China 4. State Key Laboratory of Gas Disaster Monitoring and Emergency Technology, Chongqing 400037,China)

The illegal operation of mine operators is the key and difficult point of mine daily monitoring. In order to solve the problems of low efficiency and limited scope of manual monitoring, a mine operator behavior monitoring and violation recognition system based on machine vision is designed. The system collects the personal information of mine operators, generates the violation probability and violation probability ranking of operators relative to field jobs, and tracks and monitors the personnel whose ranking meets the preset requirements. The system has realized the automatic recognition of illegal operation of mine operators.

machine vision; behavior monitoring; violation identification; mine

游青山，男，1981年生，碩士，副研究員，主要研究方向：感知礦山、機器人技術、智能控制技術應用。E-mail：youqingshan@163.com

TD67

A

1674-2605(2021)04-0005-05

10.3969/j.issn.1674-2605.2021.04.005

基金項目：重慶市教委項目（193428）；重慶市科技局自然基金（cstc2020jcyj-msxmX0793）；重慶市教委科學技術研究計劃項目（KJQN202003402）；重慶市應急管理局項目（2019ZX021)。