陳 杰

（1.中煤科工集團(tuán)沈陽(yáng)研究院有限公司，遼寧 撫順 113122；2.煤礦安全技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，遼寧 撫順 113122）

隨著人工智能、視覺(jué)識(shí)別技術(shù)不斷發(fā)展，以及國(guó)家相關(guān)政策及標(biāo)準(zhǔn)的相繼出臺(tái)[1-7]，基于視頻感知的監(jiān)控系統(tǒng)應(yīng)用到了各個(gè)領(lǐng)域，其中煤礦的自動(dòng)化、智能化一直是國(guó)家建設(shè)智慧礦山的需求。因此, 基于視頻識(shí)別在煤礦領(lǐng)域的應(yīng)用研究，在煤礦智能化建設(shè)的大背景下，通過(guò)視頻+AI 的技術(shù)手段，并運(yùn)用“AI 智能監(jiān)控、智能識(shí)別、智能分析、智能安防”等前沿技術(shù)為煤炭等能源行業(yè)提供一站式智能解決方案，對(duì)煤礦企業(yè)的安全生產(chǎn)至關(guān)重要的作用。

圖像識(shí)別的發(fā)展經(jīng)歷了文字信息識(shí)別、數(shù)字圖像信息識(shí)別、三維物體信息識(shí)別3 個(gè)階段:①文字信息識(shí)別的研究從1950 年開始，一般包括字母、數(shù)字和符號(hào)的信息識(shí)別，落地應(yīng)用非常廣泛；②數(shù)字圖像信息識(shí)別的研究從1970 年開始，數(shù)字圖像信息與模擬圖像信息相比具有存儲(chǔ)快捷，傳輸方便。數(shù)據(jù)在壓縮、傳輸過(guò)程中不易失真等優(yōu)勢(shì)，這些為圖像信息識(shí)別技術(shù)的發(fā)展奠定了堅(jiān)實(shí)基礎(chǔ)；③三維物體信息的識(shí)別主要是對(duì)三維世界的物體對(duì)象、環(huán)境的感知、認(rèn)識(shí)，屬于高級(jí)計(jì)算機(jī)視覺(jué)識(shí)別范疇，它以數(shù)字圖像信息識(shí)別為基礎(chǔ)，結(jié)合人工智能、統(tǒng)計(jì)學(xué)等，被廣泛應(yīng)用于工業(yè)智能機(jī)器人上。

在煤礦工業(yè)領(lǐng)域，工業(yè)視頻監(jiān)控已普遍使用，用來(lái)實(shí)時(shí)監(jiān)測(cè)煤礦井上、井下不同場(chǎng)景，直觀呈現(xiàn)不同地點(diǎn)的不同人員、設(shè)備的工作狀態(tài)。工業(yè)視頻監(jiān)控系統(tǒng)已成為煤礦企業(yè)必備的一套系統(tǒng)，同時(shí)要根據(jù)國(guó)家煤礦安全監(jiān)察局的聯(lián)網(wǎng)數(shù)據(jù)傳輸標(biāo)準(zhǔn)實(shí)現(xiàn)視頻數(shù)據(jù)的聯(lián)網(wǎng)上傳。

煤礦工業(yè)經(jīng)歷了從煤礦機(jī)械化、單系統(tǒng)自動(dòng)化、綜合自動(dòng)化到智慧礦山的發(fā)展階段。煤礦智慧化又經(jīng)歷了數(shù)字化建設(shè)、單系統(tǒng)智慧化、綜合系統(tǒng)智慧化、礦區(qū)全系統(tǒng)智慧化的智慧礦山發(fā)展歷程。其中重要的一個(gè)智慧化驅(qū)動(dòng)即基于視頻感知技術(shù)、人工智能AI 技術(shù)，來(lái)達(dá)到安全生產(chǎn)、減人增效的目標(biāo)。基于此，結(jié)合煤礦的實(shí)際情況，構(gòu)建了煤礦人工智能視頻分析系統(tǒng)。

1 煤礦人工智能視頻分析系統(tǒng)總體架構(gòu)

煤礦人工智能視頻分析系統(tǒng)總體架構(gòu)如圖1。

圖1 煤礦人工智能視頻分析系統(tǒng)總體架構(gòu)Fig.1 Overall system architecture

煤礦人工智能視頻分析系統(tǒng)以實(shí)現(xiàn)對(duì)人員、設(shè)備、環(huán)境的智能監(jiān)控與分析，達(dá)到智能報(bào)警、智能控制為主要目標(biāo)。從層次上分為：①設(shè)備層：實(shí)現(xiàn)不同場(chǎng)景的智能感知；②網(wǎng)絡(luò)層：借助于工業(yè)視頻環(huán)網(wǎng)實(shí)現(xiàn)視頻數(shù)據(jù)的傳輸；③應(yīng)用層：即平臺(tái)層，包括AI 訓(xùn)練平臺(tái)、視覺(jué)識(shí)別分析平臺(tái)、AI 監(jiān)控平臺(tái)等，來(lái)實(shí)現(xiàn)視頻的智能分析、模型的AI 訓(xùn)練及視頻、報(bào)警數(shù)據(jù)的實(shí)時(shí)管控等[8-10]。

1.1 設(shè)備感知層

視頻感知層設(shè)備分為普通攝像儀和智慧攝像儀等，普通攝像儀只能對(duì)視頻進(jìn)行感知，并不能對(duì)捕獲的視頻數(shù)據(jù)在感知層加以分析。智慧攝像儀則除了能對(duì)視頻進(jìn)行感知外，還具備人工智能，能在感知層對(duì)捕獲的視頻進(jìn)行實(shí)時(shí)分析，實(shí)現(xiàn)邊緣計(jì)算。

目前大多數(shù)煤礦都已具備工業(yè)視頻監(jiān)控系統(tǒng)，可對(duì)已有的視頻設(shè)備加以利用，取現(xiàn)有視頻流加以分析，但視頻分辨率需滿足足夠清晰，盡量滿足400萬(wàn)像素以上要求。

當(dāng)然對(duì)于新投入的視頻感知設(shè)備，建議采用礦用隔爆型智慧攝像儀，支持TCP/IP、ICMP、HTTP、HTTPS、FTP、UDP、DHCP、DNS、DDNS、RTP、RTSP、RTCP、PPPoE、NTP、UPnP、SMTP、SNMP、QoS、IPv6、IGMP、Bonjour、802.1X 等標(biāo)準(zhǔn)（協(xié)議）。集成雙核RISC-V CPU 和頻率高達(dá)800 MHz 的數(shù)字信號(hào)處理器（DSP），并支持浮點(diǎn)單元（FPU），集成最新一代ISP，支持2D 降噪、3D 降噪、寬動(dòng)態(tài)范圍、魚眼校正、鏡頭陰影校正等功能，采用KPU 進(jìn)行深度學(xué)習(xí)，通過(guò)DSP 與KPU 協(xié)同運(yùn)算，支持原生TensorFlow。

1.2 平臺(tái)應(yīng)用層

結(jié)合煤礦生產(chǎn)實(shí)際需求，利用AI 技術(shù)，構(gòu)建統(tǒng)一的訓(xùn)練、分析、監(jiān)控平臺(tái)，實(shí)現(xiàn)煤礦人員的不安全行為、設(shè)備的不安全狀態(tài)、環(huán)境的不安全因素等隱患智能分析、報(bào)警，構(gòu)建業(yè)務(wù)應(yīng)用平臺(tái)，實(shí)現(xiàn)隱患報(bào)警處理、分析、上報(bào)，形成業(yè)務(wù)閉環(huán)，輔助監(jiān)管人員，提升監(jiān)管效率，減少煤礦井下事故的發(fā)生。主要包括AI 訓(xùn)練平臺(tái)、視覺(jué)識(shí)別分析平臺(tái)、AI 監(jiān)控平臺(tái)。

1.2.1 AI 訓(xùn)練平臺(tái)

AI 訓(xùn)練平臺(tái)用于實(shí)現(xiàn)AI 場(chǎng)景模型的迭代訓(xùn)練，訓(xùn)練的素材需取自現(xiàn)場(chǎng)的真實(shí)圖片，并達(dá)到一定的數(shù)量級(jí)，方可訓(xùn)練出精確度較高的AI 模型，其中包括數(shù)據(jù)集管理和模型訓(xùn)練管理。

1）數(shù)據(jù)集管理。①數(shù)據(jù)版本管理：統(tǒng)一管理各個(gè)數(shù)據(jù)版本數(shù)據(jù)，在新建數(shù)據(jù)集基礎(chǔ)上可以上傳不同的數(shù)據(jù)版本，做到數(shù)據(jù)版本控制，在數(shù)據(jù)集基礎(chǔ)上新增數(shù)據(jù)版本[11-13]；②標(biāo)注版本數(shù)據(jù)描述：導(dǎo)入數(shù)據(jù)類型（分為有標(biāo)注和無(wú)標(biāo)注），標(biāo)注數(shù)據(jù)類型，導(dǎo)入方式提供數(shù)據(jù)集原有數(shù)據(jù)，方便數(shù)據(jù)組合利用，可上傳壓縮文件；③在線標(biāo)注：對(duì)上傳完成的數(shù)據(jù)進(jìn)行在線標(biāo)注預(yù)覽，選擇需要標(biāo)注的數(shù)據(jù)版本，在已標(biāo)注欄預(yù)覽標(biāo)注信息，在未標(biāo)注欄對(duì)原始數(shù)據(jù)進(jìn)行在線標(biāo)注。

2）模型訓(xùn)練管理。①訓(xùn)練模型：用戶根據(jù)系統(tǒng)提供的模型中選擇1 個(gè)模型，并根據(jù)提示選擇數(shù)據(jù)集，手動(dòng)設(shè)定模型所需要的訓(xùn)練參數(shù)，如圖像增強(qiáng)方式、輸入圖片大小、設(shè)定訓(xùn)練/驗(yàn)證/測(cè)試集比例、訓(xùn)練輪數(shù)、批處理數(shù)量、學(xué)習(xí)率、訓(xùn)練模式、提前結(jié)束訓(xùn)練條件等參數(shù)，或選擇全部或者部分自動(dòng)智能設(shè)置；②模型驗(yàn)證：用戶通過(guò)選擇其他數(shù)據(jù)進(jìn)行測(cè)試，測(cè)試結(jié)果提供給用戶查看，根據(jù)測(cè)試結(jié)果得出模型評(píng)估指標(biāo)（召回率、精確率、MAP 等）供用戶查看，用以評(píng)估AI模型的準(zhǔn)確度。

1.2.2 視覺(jué)識(shí)別分析平臺(tái)

對(duì)于采用普通攝像頭作為感知設(shè)備，需建立后臺(tái)集中算力中心，對(duì)各場(chǎng)景視頻流進(jìn)行集中分析、計(jì)算。根據(jù)實(shí)際情形，需選擇適配的硬件配置，包括GPU 卡、CPU、內(nèi)存、SSD SATA 數(shù)據(jù)中心、企業(yè)級(jí)SATA 硬盤等，用以支撐視頻的AI 識(shí)別與計(jì)算。

智能視頻分析是智能監(jiān)測(cè)預(yù)警的核心，綜合各種高效、穩(wěn)定和精確的算法技術(shù)實(shí)現(xiàn)對(duì)煤礦安全生產(chǎn)視頻進(jìn)行實(shí)時(shí)計(jì)算分析和實(shí)時(shí)監(jiān)測(cè)，找出視頻中的違規(guī)行為，對(duì)可能帶來(lái)的災(zāi)害進(jìn)行預(yù)警，同時(shí)實(shí)現(xiàn)煤礦安全監(jiān)管工作的智能化、實(shí)時(shí)化和異地化。

1）算法模型管理。如在帶式輸送機(jī)智能視頻監(jiān)測(cè)方面，在算法服務(wù)器內(nèi)按膠帶異物識(shí)別分析、落煤口堵塞狀況分析以及人員的違規(guī)行為算法場(chǎng)景建立算法模型庫(kù)，能根據(jù)業(yè)務(wù)需要迅速查找并加載對(duì)應(yīng)算法模型，使算法切換和參數(shù)修改智能化、自動(dòng)化，無(wú)需重啟算法服務(wù)器，也無(wú)需人工干預(yù)就能實(shí)現(xiàn)算法服務(wù)器內(nèi)的業(yè)務(wù)邏輯調(diào)整，使系統(tǒng)操作更簡(jiǎn)單，便于使用和維護(hù)[14]。

2）算法模型實(shí)時(shí)分析。若采用與系統(tǒng)適配的智能攝像頭，算法服務(wù)器能在應(yīng)用層獲取在線攝像頭的實(shí)時(shí)視頻地址后，直接獲取攝像頭實(shí)時(shí)監(jiān)控畫面，無(wú)需經(jīng)過(guò)物理NVR 或其他錄像設(shè)備，減少獲取視頻的延遲，提升分析的實(shí)時(shí)性。同時(shí)能根據(jù)攝像頭配置的參數(shù)，直接將參數(shù)用于視頻的分析中，在接通攝像頭畫面的同時(shí)就加載算法模型和識(shí)別參數(shù)，實(shí)現(xiàn)在線實(shí)時(shí)分析攝像頭視頻內(nèi)容。算法模型實(shí)時(shí)分析流程如圖2。

圖2 算法分析流程圖Fig.2 Algorithm analysis flow chart

2 關(guān)鍵技術(shù)

1）人工智能。人工智能的概念最早來(lái)自于1956年的計(jì)算機(jī)達(dá)特茅斯會(huì)議，其本質(zhì)是希望機(jī)器能夠像人類的大腦一樣思考，并作出反應(yīng)。由于極具難度與吸引力，人工智能從誕生至今，吸引了無(wú)數(shù)的科學(xué)家與愛(ài)好者投入研究。搭載人工智能的載體可以是近年來(lái)火熱的機(jī)器人、自動(dòng)駕駛車輛，甚至是1 個(gè)部署在云端的智能大腦。根據(jù)人工智能實(shí)現(xiàn)的水平，可以進(jìn)一步分為3 種人工智能：①弱人工智能：擅長(zhǎng)某個(gè)特定領(lǐng)域的智能，如語(yǔ)言處理領(lǐng)域的百度翻譯，但讓該系統(tǒng)去判斷一張圖片中是狗還是貓，就無(wú)能無(wú)力了，此外還包括手機(jī)上的人臉識(shí)別等，當(dāng)前的人工智能大多是弱人工智能；②強(qiáng)人工智能：在人工智能概念剛被提出的時(shí)候，人們期望通過(guò)打造復(fù)雜的計(jì)算機(jī)系統(tǒng)，實(shí)現(xiàn)與人一樣的復(fù)雜智能，這被定義為強(qiáng)人工智能，這種智能要求機(jī)器像人一樣，聽、說(shuō)、讀、寫樣樣精通，目前的發(fā)展技術(shù)尚未達(dá)到通用人工智能的水平，但已經(jīng)有眾多研究機(jī)構(gòu)展開了研究；③超人工智能：位于強(qiáng)人工智能之上，定義為超人工智能，是在幾乎所有領(lǐng)域都比人類大腦聰明的智能，包括創(chuàng)新、社交、思維等，現(xiàn)在的弱人工智能就好比生命的早期形態(tài)，可能突然之間就會(huì)產(chǎn)生智慧生命，超人工智能也不會(huì)永遠(yuǎn)停留在想象之中。

2）機(jī)器學(xué)習(xí)。機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的重要途徑，也是最早發(fā)展起來(lái)的人工智能算法。與傳統(tǒng)的基于規(guī)則設(shè)計(jì)的算法不同，機(jī)器學(xué)習(xí)的關(guān)鍵在于從大量的數(shù)據(jù)中找出規(guī)律，自動(dòng)地學(xué)習(xí)出算法所需的參數(shù)[15-16]。機(jī)器學(xué)習(xí)算法中最重要的就是數(shù)據(jù)，根據(jù)使用的數(shù)據(jù)形式，可以分為3 大類：監(jiān)督學(xué)習(xí)（Supervised Learning）、無(wú)監(jiān)督學(xué)習(xí)（Unsupervised Learning）與強(qiáng)化學(xué)習(xí)（Reinforcement Learning）。

3）深度學(xué)習(xí)。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的技術(shù)分支之一，主要是通過(guò)搭建深層的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network）來(lái)進(jìn)行知識(shí)的學(xué)習(xí)，輸入數(shù)據(jù)通常較為復(fù)雜、規(guī)模大、維度高。深度學(xué)習(xí)可以說(shuō)是機(jī)器學(xué)習(xí)問(wèn)世以來(lái)最大的突破之一。圖像識(shí)別多使用卷積神經(jīng)網(wǎng)絡(luò)。理論上，可以使用傳統(tǒng)神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行分析，但從計(jì)算角度來(lái)看代價(jià)很高。神經(jīng)網(wǎng)絡(luò)的廣適性是他們的優(yōu)點(diǎn)之一，但是在處理圖像時(shí)，這個(gè)優(yōu)點(diǎn)就變成了負(fù)擔(dān)。卷積神經(jīng)網(wǎng)絡(luò)對(duì)此專門進(jìn)行了折衷：如果1 個(gè)網(wǎng)絡(luò)專為處理圖像而設(shè)計(jì)，有些廣適性需要為更可行的解決方案做出讓步。換言之，卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks）是一種深度學(xué)習(xí)模型或類似于人工神經(jīng)網(wǎng)絡(luò)的多層感知器，非常適合用來(lái)分析視覺(jué)圖像。研究卷積神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別技術(shù)、人的身份及附加屬性識(shí)別技術(shù)，采集目標(biāo)設(shè)備圖片做為標(biāo)準(zhǔn)圖像，歸納出不同種類圖像的特征數(shù)據(jù)作為基礎(chǔ)模板，采集大量的現(xiàn)場(chǎng)的影像資料，與基礎(chǔ)模板對(duì)比，找出相似特征并輸出結(jié)果，通過(guò)這種反復(fù)訓(xùn)練，最終實(shí)現(xiàn)研制具有圖形識(shí)別、行為分析功能的智能視頻分析系統(tǒng)的目的[17]。

3 系統(tǒng)設(shè)計(jì)

結(jié)合煤礦現(xiàn)場(chǎng)的實(shí)際需求，對(duì)煤礦現(xiàn)場(chǎng)設(shè)備狀態(tài)、人員行為等場(chǎng)景進(jìn)行需求分析、AI 識(shí)別。

在煤流監(jiān)測(cè)報(bào)警方面：①針對(duì)堆煤、膠帶跑偏、膠帶出現(xiàn)異等情況進(jìn)行識(shí)別，并及時(shí)發(fā)出報(bào)警；②煤流調(diào)速：通過(guò)視頻分析對(duì)帶式輸送機(jī)運(yùn)輸過(guò)程的空載情況進(jìn)行識(shí)別，當(dāng)連續(xù)檢測(cè)到空重載達(dá)到一定時(shí)長(zhǎng)時(shí)觸發(fā)報(bào)警并與帶式輸送機(jī)控制系統(tǒng)實(shí)現(xiàn)聯(lián)動(dòng)，實(shí)現(xiàn)帶式輸送機(jī)自動(dòng)調(diào)速。

在人員行為分析方面：針對(duì)人員跨越電子圍欄、人員未按安全防護(hù)規(guī)范穿戴、操作工離崗、行車行人（人走車道，或者車走人道）、唯一性檢測(cè)（人臉識(shí)別）、乘車人員異常等人員違規(guī)場(chǎng)景進(jìn)行識(shí)別、分析并發(fā)出報(bào)警。

1）模型訓(xùn)練。收集不同場(chǎng)景的海量原始素材圖片，并標(biāo)注圖片特征數(shù)據(jù)。完成模型訓(xùn)練與迭代優(yōu)化訓(xùn)練。抽象AI 識(shí)別數(shù)學(xué)模型，針對(duì)煤礦應(yīng)用場(chǎng)景進(jìn)行分析，并找出不同場(chǎng)景監(jiān)測(cè)、識(shí)別特征點(diǎn)，再通過(guò)AI 訓(xùn)練平臺(tái)對(duì)大量現(xiàn)場(chǎng)特征圖片素材展開訓(xùn)練，形成初步數(shù)學(xué)模型，并不斷進(jìn)行模型的應(yīng)用識(shí)別，識(shí)別結(jié)果的人工驗(yàn)證，模型優(yōu)化迭代，最終生成最優(yōu)AI識(shí)別數(shù)學(xué)分析模型。模型迭代訓(xùn)練如圖3。

圖3 模型迭代訓(xùn)練Fig.3 Model iterative training

2）數(shù)據(jù)分析與傳輸。設(shè)計(jì)AI 識(shí)別結(jié)果報(bào)警數(shù)據(jù)的傳輸方式、協(xié)議格式、數(shù)據(jù)形式標(biāo)準(zhǔn)接口。并設(shè)計(jì)開發(fā)集文字、圖像、視頻等多維度信息數(shù)據(jù)采集與處理模塊，根據(jù)已生成的最優(yōu)AI 分析模型，進(jìn)行視頻流的實(shí)時(shí)智能分析。并建立結(jié)構(gòu)化數(shù)據(jù)庫(kù)，對(duì)分析結(jié)果進(jìn)行分布式存儲(chǔ)。同時(shí)采用數(shù)據(jù)庫(kù)的負(fù)載均衡技術(shù)，建立高可用的數(shù)據(jù)服務(wù)中心。

3）智能控制。當(dāng)AI 場(chǎng)景識(shí)別出現(xiàn)異常報(bào)警時(shí)，往往需要與其他控制類子系統(tǒng)進(jìn)行智能聯(lián)動(dòng)控制，如：發(fā)現(xiàn)帶式輸送機(jī)空載一段時(shí)間以后發(fā)出報(bào)警的同時(shí)，應(yīng)向煤流控制系統(tǒng)發(fā)出調(diào)速控制指令；發(fā)現(xiàn)人員有違章行為時(shí)，應(yīng)與廣播系統(tǒng)形成聯(lián)動(dòng)，發(fā)出廣播提醒。此處應(yīng)就第三方控制系統(tǒng)制定指令數(shù)據(jù)交互接口，通常采用WEB API 的方式來(lái)進(jìn)行控制指令的驅(qū)動(dòng)。數(shù)據(jù)格式采用JSON 數(shù)據(jù)包來(lái)進(jìn)行指令數(shù)據(jù)的傳輸與執(zhí)行反饋。

4）AI 監(jiān)控平臺(tái)。人工智能AI 分析結(jié)果的可視化，確定智能AI 分析結(jié)果的可視化展示方式、提醒方式。選擇適合的可視化技術(shù)，進(jìn)行整體UI 設(shè)計(jì)、前后臺(tái)交互式設(shè)計(jì)、后臺(tái)設(shè)計(jì)等。最終，搭建集成測(cè)試環(huán)境，對(duì)整套系統(tǒng)進(jìn)行AI 智能分析測(cè)試、驗(yàn)證。并進(jìn)行煤礦現(xiàn)場(chǎng)工業(yè)試驗(yàn)。

4 結(jié) 語(yǔ)

隨著煤礦智能化建設(shè)的逐步落地，AI 視覺(jué)識(shí)別作為智能化建設(shè)的一個(gè)重要組成部分，越來(lái)越被煤礦企業(yè)重視，其模擬人的神經(jīng)網(wǎng)絡(luò)映射特征和信息傳遞特點(diǎn)進(jìn)行AI 視覺(jué)識(shí)別，能夠完全實(shí)現(xiàn)人員行為、設(shè)備狀態(tài)的各種場(chǎng)景識(shí)別，及時(shí)發(fā)現(xiàn)違規(guī)行為，設(shè)備事故等，幫助煤礦企業(yè)發(fā)現(xiàn)問(wèn)題、消除隱患，保障煤礦安全生產(chǎn)，是創(chuàng)建智慧煤礦重要的重要技術(shù)手段。