馬尊云

（1.煤炭科學(xué)技術(shù)研究院有限公司，北京 100013；2.煤礦應(yīng)急避險(xiǎn)技術(shù)裝備工程研究中心，北京 100013；3.北京市煤礦安全工程技術(shù)研究中心，北京 100013）

自煤炭產(chǎn)業(yè)的誕生至今，就伴隨著瓦斯突出、礦井火災(zāi)、粉塵爆炸、透水和頂板事故這5 大自然災(zāi)害，近年來，這些災(zāi)害事故頻發(fā)，奪去了許多人寶貴的生命，給國家財(cái)產(chǎn)造成了巨大的損失。這些災(zāi)害的發(fā)生往往具有突發(fā)性和偶然性，發(fā)生災(zāi)害的煤礦往往信息化設(shè)施破壞嚴(yán)重，井下災(zāi)害現(xiàn)場對(duì)地面救援人員是個(gè)盲點(diǎn)，災(zāi)害現(xiàn)場被困人員及環(huán)境信息也無法有效地傳遞到地面救援人員，有效的救援成了最后一個(gè)減少事故傷亡，降低損失的重要措施。目前也有些文獻(xiàn)對(duì)此展開研究，文獻(xiàn)［1］對(duì)井下應(yīng)急救援交通指揮系統(tǒng)進(jìn)行了研究；文獻(xiàn)［2］研究了地理信息系統(tǒng)在煤礦事故應(yīng)急救援中的應(yīng)用；文獻(xiàn)［3］研究了在煤礦事故發(fā)生時(shí)，對(duì)全礦井進(jìn)行廣播，通知人員撤離。但這些系統(tǒng)應(yīng)用前提是礦山應(yīng)具有完備的救援體系，對(duì)于井下信息化設(shè)施破壞嚴(yán)重時(shí)，就無法有效組織井下救援及現(xiàn)場指揮。文獻(xiàn)［4－6］系統(tǒng)研究了無線Mesh 網(wǎng)絡(luò)的原理和拓?fù)浣Y(jié)構(gòu)，指出了在該網(wǎng)絡(luò)下構(gòu)建煤礦應(yīng)急救援指揮系統(tǒng)涉及的關(guān)鍵技術(shù)。但如何將救援現(xiàn)場的第一手信息：救援時(shí)直觀的現(xiàn)場音視頻、環(huán)境信息及救護(hù)隊(duì)員體征信息實(shí)時(shí)傳輸?shù)降孛?供指揮人員決策，并建立指揮人員與救護(hù)人員的有效溝通渠道，現(xiàn)有文獻(xiàn)沒給出具體的設(shè)計(jì)方案和實(shí)現(xiàn)。為此，在Mesh 網(wǎng)絡(luò)環(huán)境下，基于視頻及音頻技術(shù)，構(gòu)建基于音視頻的應(yīng)急救援現(xiàn)場指揮系統(tǒng)，并將救援現(xiàn)場環(huán)境參數(shù)、救護(hù)隊(duì)員體征參數(shù)融合在一體化指揮界面，地面指揮人員通過本系統(tǒng)如親臨井下災(zāi)害現(xiàn)場，實(shí)時(shí)把握現(xiàn)場形勢和制定救援應(yīng)對(duì)措施，對(duì)井下救援人員下達(dá)各種救援指令，進(jìn)行可視化的救援指揮調(diào)度。

1 系統(tǒng)總體結(jié)構(gòu)

系統(tǒng)總體上分井下系統(tǒng)和地面系統(tǒng)構(gòu)成，井下系統(tǒng)主要由硬件部分構(gòu)成，實(shí)現(xiàn)音視頻數(shù)據(jù)采集上傳，體征數(shù)據(jù)和環(huán)境數(shù)據(jù)采集上傳。地面系統(tǒng)主要是地面服務(wù)器和地面指揮客戶端2 部分。服務(wù)器部分建立5 個(gè)服務(wù)，分別是DHCP 動(dòng)態(tài)地址服務(wù)、音視頻數(shù)據(jù)中轉(zhuǎn)服務(wù)、語音服務(wù)、業(yè)務(wù)服務(wù)和體征及環(huán)境數(shù)據(jù)采集服務(wù)。系統(tǒng)總體結(jié)構(gòu)如圖1。

如圖1，井下救援?dāng)?shù)據(jù)采集由救護(hù)人員攜帶的數(shù)據(jù)采集儀完成，數(shù)據(jù)采集儀數(shù)據(jù)通過臨時(shí)搭建的無線Mesh 網(wǎng)絡(luò)與地面交互。DHCP 服務(wù)用于為參與救援的救護(hù)人員攜帶的數(shù)據(jù)采集儀動(dòng)態(tài)分配IP 地址，事先指定一個(gè)地址段及子網(wǎng)掩碼，數(shù)據(jù)采集儀進(jìn)入無線Mesh 網(wǎng)絡(luò)時(shí)，在指定地址段內(nèi)為采集儀分配IP 地址，通過該地址與地面服務(wù)器建立TCP 或UDP 通信連接；音視頻服務(wù)用于為PC 指揮客戶端中轉(zhuǎn)采集儀采集的實(shí)時(shí)視頻和音頻，語音服務(wù)用于救護(hù)員、指揮人員之間的語音對(duì)講及調(diào)度。業(yè)務(wù)服務(wù)用于PC 客戶端的登錄、指揮人員和救護(hù)人員之間的指令下達(dá)及救護(hù)員報(bào)警及SOS 求救等信息的處理。數(shù)據(jù)服務(wù)用于接收救護(hù)員體征數(shù)據(jù)和救援現(xiàn)場環(huán)境數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行解析存儲(chǔ)等處理。PC 指揮客戶端實(shí)現(xiàn)可視化指揮的系統(tǒng)核心功能，其接收服務(wù)器中轉(zhuǎn)數(shù)據(jù)，實(shí)現(xiàn)井下采集的視頻數(shù)據(jù)及體征環(huán)境數(shù)據(jù)在客戶端的可視化呈現(xiàn)和展示，指揮人員和井下救護(hù)人員間的語音交互，通過客戶端做出救援決策及下達(dá)救援指令。

圖1 系統(tǒng)總體結(jié)構(gòu)Fig.1 Overall structure of the system

2 救援現(xiàn)場數(shù)據(jù)采集

無線Mesh 網(wǎng)絡(luò)具有快速部署和易于安裝、非視距傳輸、自愈能力強(qiáng)、組網(wǎng)靈活和擴(kuò)展性強(qiáng)等特點(diǎn)[4-6]，這些特點(diǎn)使得無線Mesh 網(wǎng)絡(luò)非常適于在煤礦災(zāi)難發(fā)生后，井下基礎(chǔ)設(shè)施破壞嚴(yán)重的情況下，由救護(hù)隊(duì)員臨時(shí)搭建應(yīng)急通信網(wǎng)絡(luò)，作為救援信息傳輸通道。地面指揮人員通過該網(wǎng)絡(luò)實(shí)時(shí)了解井下現(xiàn)場環(huán)境及態(tài)勢，造成的人員傷亡情況及設(shè)施破壞情況，下達(dá)救援指令等信息。

要對(duì)煤礦井下災(zāi)難現(xiàn)場組織有效的救援行動(dòng)，最有效的方式就是獲得現(xiàn)場實(shí)時(shí)視頻，與救護(hù)人員直接進(jìn)行語音對(duì)講溝通，了解現(xiàn)場環(huán)境參數(shù)信息以及救護(hù)隊(duì)員自身的體征信息。災(zāi)變現(xiàn)場環(huán)境參數(shù)主要是溫度、甲烷體積分?jǐn)?shù)、一氧化碳體積分?jǐn)?shù)、氧氣體積分?jǐn)?shù)，環(huán)境參數(shù)幫助指揮人員了解災(zāi)變現(xiàn)場環(huán)境，為制定應(yīng)對(duì)措施提供參考；救護(hù)隊(duì)員的體征信息包括體溫、心率、姿態(tài)、呼吸頻率及活動(dòng)度，這些信息幫助地面指揮人員了解救護(hù)人員身體狀況，是否適于繼續(xù)救援行動(dòng)。

利用KJ30-C（A）礦用本安型數(shù)據(jù)采集儀來實(shí)現(xiàn)現(xiàn)場音視頻數(shù)據(jù)以及救護(hù)隊(duì)員體征數(shù)據(jù)的采集，該采集儀輕便小巧，由救護(hù)隊(duì)員隨身攜帶。采集儀有線連接KBA5X（A） 礦用本安型頭盔攝像儀及XHG3 礦用本安型骨傳導(dǎo)聽說器，通過藍(lán)牙連接GSMD3 礦用生命體征傳感器。CD3 多參數(shù)環(huán)境參數(shù)測定器有線連接KJ30-WJ（A）無線接收器，通過無線Mesh 網(wǎng)絡(luò)，采集的環(huán)境數(shù)據(jù)實(shí)時(shí)傳輸?shù)降孛娣?wù)器。

數(shù)據(jù)采集儀內(nèi)嵌Android 系統(tǒng)[7]，采集APP 實(shí)現(xiàn)救護(hù)隊(duì)員音視頻數(shù)據(jù)和體征數(shù)據(jù)的實(shí)時(shí)采集。視頻數(shù)據(jù)采集時(shí)按照CIF（通用影像傳輸格式）進(jìn)行采集，并進(jìn)行H264 編碼，音頻數(shù)據(jù)通過Speex 進(jìn)行編碼。再將編碼后的音視頻數(shù)據(jù)通過無線Mesh 網(wǎng)絡(luò)傳輸?shù)降孛娣?wù)器。

3 音視頻實(shí)時(shí)傳輸

利用RTP（Real-time Transport Protocol）實(shí)時(shí)傳輸協(xié)議[8]來實(shí)現(xiàn)音視頻數(shù)據(jù)的實(shí)時(shí)傳輸，具體是采用基于C++、面向?qū)ο蟮腞TP 開源封裝庫jrtplib，該庫支持定義于RFC3550 中的RTP 協(xié)議。 其不僅實(shí)現(xiàn)了RTP，而且實(shí)現(xiàn)了配套的相關(guān)實(shí)時(shí)傳輸控制協(xié)議RTCP（Real-time Transport Control Protocol），它使得發(fā)送和接收RTP 報(bào)文變得異常簡單，用戶不用擔(dān)心SSRC 沖突，也不用考慮如何傳輸RTCP 數(shù)據(jù)，因?yàn)镽TCP 功能完全在內(nèi)部實(shí)現(xiàn)，不需用戶手動(dòng)操作。當(dāng)發(fā)送RTP 報(bào)文時(shí)，用戶只需簡單的給發(fā)送函數(shù)提供負(fù)載數(shù)據(jù)；當(dāng)接收數(shù)據(jù)時(shí)，jrtplib 提供了訪問傳入的RTP 和RTCP 數(shù)據(jù)的接口。由于該庫的使用，本文專注于系統(tǒng)業(yè)務(wù)功能的實(shí)現(xiàn)。音頻和視頻數(shù)據(jù)通過RTP 報(bào)文頭結(jié)構(gòu)中的載荷類型PT 進(jìn)行區(qū)分，統(tǒng)一進(jìn)行RTP 報(bào)文的收發(fā)處理。由于在特殊的救援環(huán)境下，公網(wǎng)、衛(wèi)星網(wǎng)絡(luò)、局域網(wǎng)和臨時(shí)搭建的無線網(wǎng)絡(luò)可能并存，源地址和目的地址不固定，客戶端與客戶端之間，采集儀與指揮客戶端之間不進(jìn)行直接通信，而是通過服務(wù)器端中轉(zhuǎn)，服務(wù)器端中轉(zhuǎn)時(shí)根據(jù)客戶端用戶編號(hào)和采集儀設(shè)備編號(hào)進(jìn)行RTP 報(bào)文分發(fā)。RTP 協(xié)議報(bào)文的頭結(jié)構(gòu)中提供了個(gè)擴(kuò)展數(shù)據(jù)區(qū)，擴(kuò)展區(qū)數(shù)據(jù)結(jié)構(gòu)可以由用戶根據(jù)需要自行設(shè)計(jì)，因此，將如下業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)作為RTP 報(bào)文頭結(jié)構(gòu)的擴(kuò)展數(shù)據(jù)和實(shí)時(shí)音視頻RTP 報(bào)文一起傳輸：

DataType 是業(yè)務(wù)數(shù)據(jù)類型，比如通信過程中，數(shù)據(jù)包是請(qǐng)求包還是響應(yīng)包等；UserID 為用戶編號(hào)，即是客戶端登錄用戶編號(hào)，用于表示語音通話時(shí)，語音數(shù)據(jù)包的來源或目的地；DeviceID 為設(shè)備編號(hào)，數(shù)據(jù)采集儀上傳的音視頻數(shù)據(jù)包中，通過該編號(hào)識(shí)別該采集儀對(duì)應(yīng)的救護(hù)隊(duì)員，以便客戶端系統(tǒng)界面視頻播放網(wǎng)格進(jìn)行相應(yīng)的播放顯示處理，比如對(duì)應(yīng)設(shè)備的視頻播放或語音處理。

音視頻數(shù)據(jù)實(shí)時(shí)傳輸流程如圖2。

圖2 音視頻數(shù)據(jù)實(shí)時(shí)傳輸流程Fig.2 Real time audio and video data transmission process

圖2 中，音頻數(shù)據(jù)的接收處理流程和視頻流程類似，從RTP 接收的緩存列表中取出RTP 報(bào)文載荷數(shù)據(jù)，加入設(shè)備或用戶對(duì)應(yīng)的緩存列表，供指揮客戶端播放處理。

4 集群語音對(duì)講

通過實(shí)現(xiàn)SIP 協(xié)議[9-11]，來對(duì)集群內(nèi)語音通話進(jìn)行管理和調(diào)度。SIP（Session Initiation Protocol）是1個(gè)應(yīng)用層的信令控制協(xié)議，用于創(chuàng)建、修改和釋放1個(gè)或多個(gè)參與者的會(huì)話。

指揮人員和救護(hù)隊(duì)員之間通過語音溝通，缺省情況下，語音信息在系統(tǒng)網(wǎng)內(nèi)進(jìn)行廣播。系統(tǒng)提供分組功能，即將選定的指揮人員或救護(hù)隊(duì)員組成1 個(gè)組，即構(gòu)成1 個(gè)集群，集群內(nèi)成員的語音信息僅本集群內(nèi)的成員可以聽到，即語音集群廣播，該功能對(duì)于執(zhí)行不同救援任務(wù)時(shí)，各任務(wù)組分別進(jìn)行語音溝通，互不干擾。

集群分普通群和SOS 群，普通群由指揮人員或救護(hù)隊(duì)員創(chuàng)建，SOS 群由救護(hù)隊(duì)員發(fā)起創(chuàng)建，救護(hù)隊(duì)員攜帶的采集儀，有通話和求救按鈕。連續(xù)按住通話按鈕時(shí)，即發(fā)起通話請(qǐng)求，指揮客戶端自動(dòng)建立該救護(hù)員的語音群并鎖定該救護(hù)員，指揮人員也可以將其他人員加入該群，進(jìn)行群內(nèi)相互通話，救護(hù)員松開通話按鈕，其通話結(jié)束。當(dāng)收到求救消息時(shí)，客戶端建立SOS 群，SOS 群權(quán)限最高，該群建立通話時(shí)，客戶端禁止其它群的通話，鎖定SOS 群內(nèi)的通話。SOS 結(jié)束后，由指揮人員解除對(duì)該群的鎖定。

在語音通話權(quán)限上，指揮客戶端高于救護(hù)隊(duì)員，救護(hù)員鎖定通話時(shí)，客戶端可以強(qiáng)行解鎖該通話，由指揮人員接過話語權(quán)。

5 指揮客戶端音視頻播放

5.1 語音收發(fā)處理

音頻數(shù)據(jù)采用開源的語音引擎Speex 進(jìn)行編碼和解碼，Speex 具有壓縮后的比特率低（2～44 kbps）的特點(diǎn)，并支持多種比特率，這個(gè)特點(diǎn)使其適于在低帶寬網(wǎng)絡(luò)上進(jìn)行傳輸，再結(jié)合VAD（（Voice Activity Detection）靜音檢測，減少了無效音頻數(shù)據(jù)在網(wǎng)絡(luò)上的傳輸，節(jié)省了寶貴的帶寬資源。

系統(tǒng)采用DirectSound 技術(shù)實(shí)現(xiàn)語音的捕獲和播放。DirectSound 是微軟DirectXAudio 的一個(gè)較底層的部件，通過實(shí)現(xiàn)IDirectSoundCapture8 接口，實(shí)現(xiàn)本地聲音的捕獲，通過實(shí)現(xiàn)IDirectSound8 接口，將接收的音頻數(shù)據(jù)加入該接口對(duì)象播放緩沖區(qū)，播放模式采用混音模式，接收到的音頻數(shù)據(jù)實(shí)時(shí)混音播放，語音播放流程如圖3。

圖3 語音播放流程Fig.3 Voice playing process

如果當(dāng)前有語音對(duì)講，則對(duì)采集的音頻信號(hào)做AGC 自動(dòng)增益控制處理和VAD 靜音檢測，再進(jìn)行Speex 編碼，打包為RTP 報(bào)文，交由RTP 庫的發(fā)送函數(shù)進(jìn)行發(fā)送。

5.2 視頻播放處理

常用的視頻圖像有MPEG-2、MPEG-4 和H264標(biāo)準(zhǔn)的圖像壓縮格式，在相同分辨率的情況下，H264 要求的傳輸帶寬最小，因此采用H264 協(xié)議對(duì)采集的視頻進(jìn)行編解碼，具體是采用開源的FFMPEG[12-14]中H264 編解碼庫。FFMPEG 是一套可以用來記錄、轉(zhuǎn)換數(shù)字音頻、視頻，并能將其轉(zhuǎn)換為流的開源計(jì)算機(jī)程序，采用LGPL 或GPL 許可證。它提供了錄制、轉(zhuǎn)換以及流化音視頻的完整解決方案。它包含了非常先進(jìn)的音頻/視頻編解碼庫。井下救護(hù)隊(duì)員攜帶的數(shù)據(jù)采集儀中基于Android 系統(tǒng)的視頻采集APP 對(duì)采集的視頻進(jìn)行H264 編碼，指揮客戶端利用其中H264 解碼庫對(duì)采集的視頻數(shù)據(jù)進(jìn)行解碼。視頻播放流程如圖4。

圖4 視頻播放流程Fig.4 Video playing process

體征數(shù)據(jù)OSD 疊加[15-16]顯示時(shí)，通過字體顏色區(qū)分正常數(shù)據(jù)和報(bào)警數(shù)據(jù)，綠色為正常，紅色為報(bào)警。體征報(bào)警規(guī)則如下：①心率大于140 次/min 或小于40 次/min，報(bào)警；②呼吸頻率大于40 次/min 或小于12 次/min，報(bào)警；③體溫大于60 ℃或小于10℃，報(bào)警；④姿態(tài)角度大于150°或小于360°，報(bào)警；⑤活動(dòng)度大于3.3 VMU/s，報(bào)警。

救護(hù)隊(duì)員視頻圖像和體征數(shù)據(jù)疊加顯示在界面視頻播放網(wǎng)格，可視化集中顯示在一個(gè)界面，構(gòu)成一體化指揮界面。對(duì)于救護(hù)員視頻圖像網(wǎng)格化顯示播放，系統(tǒng)界面視頻網(wǎng)格劃分提供了9 種劃分模式，網(wǎng)格之間的視頻可以相互拖動(dòng)，比如周邊小網(wǎng)格，中間大網(wǎng)格，指揮人員可以將小網(wǎng)格視頻圖像拖動(dòng)到大網(wǎng)格顯示，同時(shí)大網(wǎng)格視頻顯示到小網(wǎng)格，即拖動(dòng)時(shí)，網(wǎng)格視頻對(duì)換網(wǎng)格播放。當(dāng)救護(hù)員SOS 求救時(shí)，對(duì)應(yīng)該救護(hù)員的視頻自動(dòng)單屏模式播放。如果救護(hù)隊(duì)員在線人數(shù)較多，界面提供視頻網(wǎng)格翻屏功能，讓井下救護(hù)員視頻人為控制在1 個(gè)界面上輪流顯示。該一體化界面提供了環(huán)境監(jiān)控、錄像、抓圖和右鍵語音菜單等功能，讓指揮人員在1 個(gè)界面上完成救援的指揮調(diào)度。

6 現(xiàn)場應(yīng)用

系統(tǒng)通過KJ30-Z（A）礦用本安型無線中繼器實(shí)現(xiàn)的無線Mesh 網(wǎng)絡(luò)下的一種現(xiàn)場應(yīng)用場景如圖5。

圖5 系統(tǒng)現(xiàn)場應(yīng)用場景Fig.5 System field application scenarios

井下無線Mesh 網(wǎng)絡(luò)提供10 M 左右的帶寬傳輸能力，如加大中繼器的功率和天線增益，帶寬也會(huì)相應(yīng)增加，最多可以達(dá)到100 M。井下無線Mesh 網(wǎng)絡(luò)通過前端接入采集儀采集的現(xiàn)場數(shù)據(jù)，經(jīng)由中繼傳遞到中心端節(jié)點(diǎn)，再通過光纖傳輸?shù)降孛娣?wù)器。煤礦災(zāi)難發(fā)生時(shí)，救護(hù)隊(duì)員下井時(shí)，攜帶無線網(wǎng)絡(luò)中繼器布設(shè)在井下救援巷道，臨時(shí)搭建救援用的無線Mesh 通信網(wǎng)絡(luò)，救援現(xiàn)場音頻、視頻等數(shù)據(jù)通過該網(wǎng)絡(luò)中心端節(jié)點(diǎn)傳輸?shù)降孛娣?wù)器，前方現(xiàn)場指揮客戶端和后方指揮中心客戶端通過專網(wǎng)、衛(wèi)星等網(wǎng)絡(luò)連接到服務(wù)器，可以實(shí)現(xiàn)對(duì)救援現(xiàn)場的聯(lián)合指揮。

救護(hù)員視頻采樣幀率和圖像分辨率可以根據(jù)實(shí)際網(wǎng)絡(luò)傳輸能力進(jìn)行設(shè)置，在幀率為25 幅/s，采樣格式為CIF 格式的情況下，視頻通過H264 編碼后，碼率在300 kbps 左右，音頻通過Speex 編碼后，碼率小于44 kbps，以44 kbps 計(jì)算，在不考慮其它信息傳輸?shù)那闆r下，10 M 帶寬可以同時(shí)傳輸30 路左右的救護(hù)員音視頻數(shù)據(jù)。即圖5 指揮界面上可以最多達(dá)到30 個(gè)救護(hù)員同時(shí)在線。

指揮客戶端由于需要對(duì)每一路音視頻實(shí)時(shí)解碼和視頻圖像實(shí)時(shí)渲染，在指揮客戶端電腦CPU 主頻1.7～2.4 GHz 及8 G 內(nèi)存的配置下，經(jīng)實(shí)際應(yīng)用測試，指揮界面最多能同時(shí)顯示8 路視頻，如果救護(hù)員多于8 個(gè)在線時(shí)，則使用指揮界面的翻屏功能輪流顯示救護(hù)員視頻，以使系統(tǒng)指揮界面音視頻流暢播放。

7 結(jié) 語

設(shè)計(jì)實(shí)現(xiàn)的應(yīng)急救援現(xiàn)場指揮系統(tǒng)，將救援現(xiàn)場視頻信息、現(xiàn)場環(huán)境參數(shù)和救護(hù)員體征參數(shù)一體化集成在指揮界面，并進(jìn)行雙向語音溝通，為救援提供了第一手救援現(xiàn)場信息，通過本系統(tǒng)，救援指揮人員實(shí)時(shí)掌握整個(gè)救援情況并進(jìn)行可視化的管理和調(diào)度。該系統(tǒng)具有穩(wěn)定、可靠和實(shí)時(shí)性強(qiáng)的特點(diǎn)，已經(jīng)被神華寧煤、沈陽煤業(yè)和國投新集等多個(gè)煤礦集團(tuán)救護(hù)隊(duì)救援演練使用，實(shí)踐表明，該系統(tǒng)提高了救災(zāi)工作的安全性、可靠性和靈活性，對(duì)防止二次災(zāi)害的發(fā)生提供了有效的預(yù)防途徑，最大限度降低了事故造成的損失，增強(qiáng)了煤礦救援決策能力。