史建林 郝培升

中國神華能源股份有限公司神朔鐵路分公司 陜西榆林 719316

1 全景圖像拼接監(jiān)控技術(shù)的介紹

全景圖像拼接監(jiān)控技術(shù)，指的是借助多個攝像頭收集信息進而根據(jù)收集到的信息來進行監(jiān)控，防護以及備份的管理。比起傳統(tǒng)的監(jiān)控系統(tǒng)，全景圖像拼接監(jiān)控系統(tǒng)主要是采取數(shù)位交互的方式來進一步的實現(xiàn)多個圖像，全景攝取以及監(jiān)控的管理。簡單來說，就是借助軟件技術(shù)來原先的上位機制來控制多個攝像頭進而完成對應(yīng)的收集圖像的工作，同時還要對收集到的圖像進行幾何，色差等的調(diào)整，之后再借助對應(yīng)的算法來對圖像進行再次的優(yōu)化處理，最終將修改調(diào)整好的圖像參數(shù)傳輸?shù)焦た貦C，接著將圖像的數(shù)據(jù)信息傳輸?shù)蕉嗦稩PC視頻的拼接處理器中，最終由處理器對圖像進行處理，最終將處理完的圖像信息投放在大屏幕中，實現(xiàn)實景到屏幕中的轉(zhuǎn)換。在此過程中，需要軟件與硬件之間進行融合，才能夠?qū)崿F(xiàn)全景圖像的實時拼接，最終便于進行監(jiān)控與管理工作[1]。

2 多攝像頭全景圖像拼接的實時視頻監(jiān)控技術(shù)研究的背景

在傳統(tǒng)的視頻監(jiān)控系統(tǒng)中，僅僅是能觀察到一些周邊的情況，而且觀察到的情況有一定的模糊性，并不能清晰的觀察到對應(yīng)物體的具體情況，視線較為狹窄，水平方向和垂直方向僅僅是在30-60°左右，如果選用傳統(tǒng)的視頻監(jiān)控系統(tǒng)來進行工作，相關(guān)的視頻監(jiān)控管理人員需要對多個屏幕來進行觀察分析，有些視頻中的圖像只是有一小部分的區(qū)別，因而增加了工作人員的工作負擔，工作量繁重。而且最關(guān)鍵的是，視頻監(jiān)控的管理人員不能及時的觀察到對應(yīng)具體的事物變化情況，可能有些安全隱患的發(fā)生，但是無法及時的收集到信息因而無法做出及時的解決措施，進而造成了一定的損失，不利于企業(yè)的發(fā)展。而多攝像頭全景圖像拼接的實時視頻監(jiān)控技術(shù)，是將多個圖像中具有共同的重疊區(qū)域進行消除，進而將圖像拼接成具有寬視角和高分辯率的圖像，也就是形成了基于圖像三維全景的視頻監(jiān)控系統(tǒng)，進一步的減少了工作人員的工作量。同時還能夠?qū)崿F(xiàn)實時的監(jiān)控管理，進而提高了工作過程中的安全性[2]。

3 多攝像頭全景圖像拼接視頻監(jiān)控技術(shù)研究項目中的創(chuàng)新技術(shù)分析

3.1 全景融合拼接技術(shù)

全景視頻融合拼接技術(shù)的原理是利用當前國內(nèi)領(lǐng)先水平的視頻融合專利技術(shù)和計算機視覺混合現(xiàn)實技術(shù)來機械能融合，從而能夠?qū)⒎植荚谥攸c監(jiān)控區(qū)域中的多路高點監(jiān)控攝像機的視頻數(shù)據(jù)，借助視頻圖像特征來進行提取，同時結(jié)合攝像機參數(shù)、點位位置、角度等條件，基于CPU和GPU異構(gòu)并行架構(gòu)，進而實現(xiàn)大規(guī)模數(shù)據(jù)并發(fā)處理以及超高分辨率實時全景融合處理，其中包含的多路視頻GPU并行渲染和動態(tài)拼縫融合等技術(shù)關(guān)鍵點，對圖像數(shù)據(jù)進行拼接、配準、矯正及融合等處理。進而實現(xiàn)在視頻全覆蓋情況下，能夠?qū)ο嚓P(guān)的重要區(qū)域和部位的全天候不間斷全景視頻監(jiān)控，便于相關(guān)的管理人員能夠可以掌握監(jiān)控區(qū)域整體場景內(nèi)的可視實時態(tài)勢，進一步的根據(jù)實時的視頻監(jiān)控信息來及時的進行管理與控制。

3.2 全景視頻的多業(yè)務(wù)動態(tài)展示

全景視頻的技術(shù)中，可以借助平臺之間的對接，進而能夠?qū)Χ鄠€系統(tǒng)進行整合，從而將相關(guān)的數(shù)據(jù)資源進行統(tǒng)一的規(guī)劃展示，并在管理指揮工作中不斷優(yōu)化，使得管理人員能夠及時的掌握監(jiān)控區(qū)域中的信息，從而制定出對應(yīng)的處理方案，進一步的提高管理指揮人員的工作效率，降低管理的風險，最終形成一套基于全景視頻的綜合管理指揮系統(tǒng)，實現(xiàn)全景視頻的多業(yè)務(wù)動態(tài)展示。

4 多攝像頭全景圖像拼接的實時視頻監(jiān)控技術(shù)研究項目的主要內(nèi)容

4.1 三維的全景攝像裝置

根據(jù)當前傳統(tǒng)的視頻監(jiān)控系統(tǒng)中存在的視野盲區(qū)，同時結(jié)合當前的科學技術(shù)，研究出了三維的全景攝像裝置，進而解決了傳統(tǒng)視頻監(jiān)控攝像中存在的視野盲區(qū)，具體就是將在傳統(tǒng)視頻監(jiān)控攝像中的監(jiān)控圖像鏡頭分隔的缺陷進行了改進與設(shè)計，進而能夠抵御整體的監(jiān)控視野區(qū)域中進行全景的監(jiān)控管理，能夠?qū)崟r多方位多角度的監(jiān)控管理。再者是，傳統(tǒng)的視頻監(jiān)控攝像機中所能監(jiān)控到的角度僅僅是某一個方向，能夠觀察到的范圍較小，而三維的全景攝像裝置能夠?qū)崿F(xiàn)攝像機的多角度無縫的結(jié)合，進而避免了工作人員要對多個視頻的監(jiān)控圖像的觀察分析，節(jié)約了一定的時間，使得工作人員能夠快速準確的觀察到視頻中的異常情況，從而根據(jù)具體的實是觀察來分析出原因進行及時的管理[3]。

4.2 三維全景融合軟件系統(tǒng)

三維全景融合軟件系統(tǒng)中，主要是借助三維的建模，視頻的重構(gòu)技術(shù)，對視頻監(jiān)控信息的收集以及三維全景攝像裝置的書數(shù)據(jù)來進一步的建立出對應(yīng)的的三維全景模型，進一步得實現(xiàn)由單一的視圖來顯示出對應(yīng)的全景額三維視圖，同時能夠?qū)δ骋粋€局部來進行放大和縮小，以及能夠?qū)崿F(xiàn)遠程的操控與管理。簡單來說，第一是能夠?qū)崿F(xiàn)全景和局部視圖的有機結(jié)合，借助三維的球機協(xié)同追視系統(tǒng)來對全景融合監(jiān)控范圍中的目標情況進行準確的指揮與查看。再者是在全景三維模型和全景視頻的基礎(chǔ)上，實現(xiàn)區(qū)域的自動巡航，對關(guān)鍵區(qū)域的準確定位與處理。

4.3 多屏合一的技術(shù)研究

多屏合一的記住，主要是指在全景視頻的運轉(zhuǎn)室中建立起對應(yīng)的拼接屏幕，在三維時空技術(shù)的基礎(chǔ)上，實現(xiàn)三維全景融合系統(tǒng)，對應(yīng)的圖像數(shù)據(jù)以及TMIS數(shù)據(jù)信息的同步顯示，進而視頻管理人員能夠根據(jù)顯示出的圖像數(shù)據(jù)信息，來進一步的進行指揮工作，及時的作出調(diào)整。

5 多攝像頭全景圖像拼接中要實現(xiàn)的主要功能的具體設(shè)計

5.1 基礎(chǔ)視頻監(jiān)控管理

基礎(chǔ)的視頻監(jiān)控管理，就是指在一般的視頻攝像監(jiān)控的基礎(chǔ)上，嚴格按照規(guī)定的操作步驟來進行監(jiān)控管理，注意監(jiān)控設(shè)備的運行情況，不能隨意的中斷監(jiān)控，或者是隨意的刪除監(jiān)控信息。再者是管理人員如果發(fā)現(xiàn)了進擊的情況來及時向上級匯報信息。再者是對每天的監(jiān)控信息進行保存，從而為后期進行核查提供信息。

5.2 全景視頻拼接顯示

全景視頻拼接顯示功能是利用處于國內(nèi)領(lǐng)先水平的視頻融合專利技術(shù)和計算機視覺混合現(xiàn)實技術(shù)，將分布在重點監(jiān)控區(qū)域周圍建筑物等高點的監(jiān)控攝像機的視頻數(shù)據(jù)進行拼接、配準、矯正及融合等處理。從而能夠在視頻全覆蓋情況下，實現(xiàn)對重要區(qū)域和部位的全天候不間斷全景視頻監(jiān)控。管理人員可以掌握監(jiān)控區(qū)域整體場景內(nèi)的可視實時態(tài)勢，處理過程為解碼、拼接、顯、編碼、流媒體輸出。

5.3 全景多路低點視頻關(guān)聯(lián)顯示

全景多路低點視頻關(guān)聯(lián)顯示，是指事先將部署在場景內(nèi)的多路低點視頻與全景視頻建立關(guān)聯(lián)關(guān)系。在開啟時，低點槍機的圖標就會顯示在全景畫面中，通過點擊圖標，就可以在獨立窗口中調(diào)看對應(yīng)攝像機的實時視頻監(jiān)控。在操作的過程中，操作人員不需要記住每個攝像機的編號就可以快速準確定位到目標視頻，極大地減輕了操作負擔。

5.4 全景視頻槍球聯(lián)動“一點即視”

全景視頻槍球聯(lián)動“一點即視”，是指事先將場景內(nèi)的球機進行標定，進而建立起對應(yīng)的球機姿態(tài)、最佳焦距與全景畫面像素位置的對應(yīng)關(guān)系，之后由操作人員在全景視頻畫面中點擊或框選目標區(qū)域，系統(tǒng)則驅(qū)動球機對準目標區(qū)域并進行變倍放大，進一步的減輕了操作人員的工作負擔。

5.5 設(shè)定路線自動巡航

在設(shè)定路線自動巡航中，首先是以場景的二維平面圖作為基礎(chǔ)，再將攝像機點位標繪在二維地圖中。因而，操作人員可以根據(jù)地圖手動調(diào)取任意攝像機的視頻。同時，操作人員也可以設(shè)置自動巡航模式，也就是在二維平面圖或三維地圖中設(shè)定路徑節(jié)點后，系統(tǒng)路徑節(jié)點設(shè)定順序創(chuàng)建巡航路徑，并基于此巡航路徑將相關(guān)的視頻進行關(guān)聯(lián)匹配。當開啟漫游巡航功能后，系統(tǒng)從當前所處的位置開始依次顯示視頻。在巡航過程中，畫面邊角處顯示鷹眼地圖，提示當前視口攝像機位置和方位指向。

5.6 全景歷史視頻同步回放

根據(jù)回放請求，來對任意時刻的全景視頻及選定的低點視頻進行整體同步回放。該功能適用于大范圍區(qū)域內(nèi)事件發(fā)生全過程的回放，能夠直觀的、全景式的呈現(xiàn)歷史事件的發(fā)生始末，解決了傳統(tǒng)視頻監(jiān)控需要針對多個分鏡頭進行逐一回放、且畫面支離破碎的問題。

5.7 全景視頻解碼器上屏

通過“1+N”的管理模式（即：1臺管理客戶端+N臺解碼顯示客戶端），實現(xiàn)任意多路全景視頻的上屏顯示。管理客戶端能夠?qū)⒍鄠€區(qū)域的全景視頻及普通單路視頻進行預(yù)覽，在顯示大屏數(shù)量滿足的解碼顯示客戶端的輸出要求的前提下，可直接拖拽多個區(qū)域的全景視頻及普通單路視頻到對應(yīng)監(jiān)控大屏的虛擬電視墻窗口，便于指揮中心指揮管控人員直觀、全面、便捷、完整的實時掌控大場景內(nèi)的整體態(tài)勢[4]。

6 多攝像頭全景圖像拼接實時監(jiān)控系統(tǒng)建設(shè)在神朔鐵路中的具體應(yīng)用

6.1 全景視頻攝像機點位安裝部署

（1）全景視頻攝像機點位安裝部署的原則。首先，全景視頻監(jiān)控在安裝時，攝像機部署貨場區(qū)周邊的制高點位置，從而能夠?qū)崿F(xiàn)對整個貨場區(qū)100%視頻全覆蓋。再者，各個攝像機的監(jiān)控區(qū)域之間的視角重合度要大于15度左右，進而便于視頻之間進行全面的融合處理，而且為了保證視頻展示中視覺的一致性，要求攝像機布置的方位要呈現(xiàn)出扇骨狀分布，這樣才能夠保證視頻監(jiān)控中的一致性。

（2）攝像機的點位專項設(shè)計。

①伸縮鐵路中全景總覆蓋區(qū)域。由于神朔鐵路車站的整體監(jiān)控區(qū)域呈現(xiàn)細長的形狀，根據(jù)調(diào)查研究，監(jiān)控范圍全長2公里，寬約30米。經(jīng)過對神朔鐵路現(xiàn)場的仔細勘察，在孤山川車站設(shè)計三組全景點位，中間的全景點位在站房屋頂，東西兩組分別在距離站房500-600米的燈架上。

②（A）全景點位設(shè)計。西側(cè)燈架距離站房約560米，安裝3臺槍機用于全景拼接，1臺球機用于全景關(guān)聯(lián)操作。燈架高約25米，攝像機安裝在燈架升降架底部橫梁位置，通過抱箍方式固定，采用吊裝支架。3臺攝像機呈扇骨狀分布，每天攝像機水平視角約85°，垂直視角約47°。同時安裝1臺球機，作為全景關(guān)聯(lián)操作使用，通過軟件對球機的PTZ控制，能夠在全景上精確定位，并自動調(diào)整方向、變倍和焦距。球機采用吊裝支架，安裝于槍機附近2米范圍內(nèi)，能夠覆蓋全景監(jiān)控范圍，且不遮擋全景畫面的位置。覆蓋股道西端咽喉區(qū)以及安裝位置半徑300米范圍區(qū)域。燈架底部會有半徑約10米盲區(qū)范圍。

③（B）全景點位設(shè)計。站房樓頂屋面中間位置，安裝3臺槍機用于全景拼接，1臺球機用于全景關(guān)聯(lián)操作。站房高約25米，利用排水溝側(cè)面水泥墻體，定做安裝攝像機支架，通過法蘭方式固定，攝像機裝在排水溝側(cè)墻頂部。3臺攝像機呈扇骨狀分布，每天攝像機水平視角約85°，垂直視角約47°。

④（C）全景點位設(shè)計。東側(cè)燈架距離站房約600米，安裝3臺槍機用于全景拼接，1臺球機用于全景關(guān)聯(lián)操作。燈架高約25米，攝像機安裝在燈架升降架底部橫梁位置，通過抱箍方式固定，采用吊裝支架。3臺攝像機呈扇骨狀分布，每天攝像機水平視角約85°，垂直視角約47°。同時安裝1臺球機，作為全景關(guān)聯(lián)操作使用，通過軟件對球機的PTZ控制，能夠在全景上精確定位，并自動調(diào)整方向、變倍和焦距。球機采用吊裝支架，安裝于槍機附近2米范圍內(nèi)，能夠覆蓋全景監(jiān)控范圍，且不遮擋全景畫面的位置。覆蓋股道西端咽喉區(qū)以及安裝位置半徑300米范圍區(qū)域。燈架底部會有半徑約10米盲區(qū)范圍。

⑤（D）球機點位設(shè)計。東端咽喉區(qū)域距離站房較遠，需要額外增加1臺球機用于監(jiān)控此區(qū)域。作為全景C的低點位關(guān)聯(lián)攝像機，可以從全景視頻中調(diào)用，彈窗查看。一般球機安裝于圍界立柱頂部，采用抱箍固定壁裝支架方式安裝，主要覆蓋東端咽喉區(qū)域，以及轉(zhuǎn)彎區(qū)域。

（3）全景視頻攝像機選型。在選擇全景視頻攝像機的型號是一般是選擇?？礑S-2CD7A27EWD-IZS高清紅外一體化攝像機，200萬星光級1/1.8”CMOS筒型網(wǎng)絡(luò)攝像機高清紅外一體攝像機，電動變焦，水平視角最大能夠達到90度。同時，最好是攝像機的尾部是固定的。再者是?？礑S-2DF8231IW-AW高清智能球形攝像機，?？低暰哂?00萬像素星光級紅外網(wǎng)絡(luò)高清高速智能球機31倍光學變焦網(wǎng)絡(luò)球機，支持透霧功能，吊裝和壁裝支架。

6.2 多攝像頭全景圖像監(jiān)控拼接結(jié)構(gòu)的介紹

（1）服務(wù)器端的部署。神朔鐵路各站區(qū)全景可視化運行管理系統(tǒng)，通過前端視頻采集，通過局域網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)機房，數(shù)據(jù)機房集中部署1臺全景視頻拼接管理服務(wù)器，實時后臺算法處理多組前端攝像機的視頻碼流拼接，并分發(fā)、轉(zhuǎn)發(fā)給1臺視頻管理平臺服務(wù)器，由平臺管理服務(wù)器對視頻源進行統(tǒng)一管理，并進行錄像存儲。

（2）客戶端的部署。神朔鐵路各站區(qū)全景可視化運行管理系統(tǒng)，經(jīng)數(shù)據(jù)機房全景視頻拼接管理服務(wù)器拼接完成后并分發(fā)、轉(zhuǎn)發(fā)給視頻管理平臺服務(wù)器，通過局域網(wǎng)絡(luò)傳輸?shù)秸痉恐笓]中心值班席位，值班席位配置1臺全景客戶端工作站用于本地監(jiān)看，同時配置1臺全景解碼工作站，用于視頻無損輸出給3組1＊3并行排列吊裝的46寸液晶拼接屏，方便日常值班領(lǐng)導(dǎo)和其他工作人員對車站運行狀況的全局監(jiān)看和掌控。

（3）多路IPC視頻拼接處理器。簡單來說，多路IPC視頻拼接處理器可以對所有的視頻信息來進行調(diào)整和處理，包括了交換，傳送等等。同時，攝像頭可以將收集到的圖像信息來借助多路IPC視頻拼接處理器來進行專項的處理，進而將處理過的信息來投放到對應(yīng)的監(jiān)控屏幕中，多路IPC視頻拼接處理器的主要功能是以特殊的硬件配置作為了支撐，從而能夠借助硬件配置中的FPGA來對攝像頭中收集到的圖像信息進行處理[5]。

6.3 多攝像頭全景圖像拼接實時監(jiān)控系統(tǒng)建設(shè)在神朔鐵路中的預(yù)期效果

根據(jù)神朔鐵路的實際需求，在現(xiàn)代信息化技術(shù)為基礎(chǔ)，遵循相關(guān)標準和規(guī)范，建設(shè)車站全景管理指揮平臺。借助車站全景管理指揮平臺，實現(xiàn)車站值班員對運輸生產(chǎn)過程的可視化，并對生產(chǎn)信息實時監(jiān)控與處理，提高運輸生產(chǎn)的可控性。根據(jù)對站場咽喉位置的視頻觀察、動態(tài)分析，形成有助于管理指揮的綜合系統(tǒng)，提高車站的工作效率。

7 結(jié)語

總的來說，多攝像頭全景圖像拼接的實時視頻監(jiān)控技術(shù)在監(jiān)控領(lǐng)域已經(jīng)得到了重視和重用，在本文中對多攝像頭全景圖像拼接的實時視頻監(jiān)控技術(shù)進行了全面綜合的分析，并重點對多攝像頭全景圖像拼接的實時視頻監(jiān)控技術(shù)在神朔鐵路中的具體應(yīng)用進行了分析與研究，建立了對應(yīng)的全景管理監(jiān)控指揮平臺，最終進一步的提升了監(jiān)控管理人員對生產(chǎn)過程中的可視化管理，提高了工作的效率。