□ 文/賀志剛 徐 瑋 張 虎 劉曉華

超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)設(shè)計(jì)與應(yīng)用

□ 文/賀志剛 徐 瑋 張 虎 劉曉華

隨著我國現(xiàn)代化建設(shè)和經(jīng)濟(jì)的飛速發(fā)展，人們安防意識也隨之不斷提高。當(dāng)前國際形勢日益復(fù)雜，特別是一些恐怖事件的發(fā)生，使的城市治安管理和應(yīng)對突發(fā)事件的安全防范壓力越來越大。安防監(jiān)控系統(tǒng)作為政府打防控一體化體系的重要組成部分，對提高社會(huì)治安防控水平，增強(qiáng)對治安事件的反應(yīng)能力，保障社會(huì)治安持續(xù)穩(wěn)定起到了重要的作用。

我國于 2004 年提出創(chuàng)建平安城市，經(jīng)過科技強(qiáng)警戰(zhàn)略和“3111”試點(diǎn)工程等項(xiàng)目的大力推進(jìn)，全國已安裝了超過1000萬個(gè)攝像頭，其中公安機(jī)關(guān)掌控的攝像機(jī)超過100萬個(gè)。目前全國視頻監(jiān)控報(bào)警聯(lián)網(wǎng)平臺已基本建立并處于高速發(fā)展中，作為安防系統(tǒng)的重要組成部分，視頻監(jiān)控是一種防范能力較強(qiáng)的綜合技術(shù)，因其直觀、方便、信息內(nèi)容豐富而被廣泛應(yīng)用。在公安機(jī)關(guān)治安防控管理、預(yù)防打擊犯罪等方面起到了重要作用。

十多年來，視頻監(jiān)控系統(tǒng)從模擬到數(shù)字、從標(biāo)清到高清，經(jīng)歷了改擴(kuò)建或升級。但是當(dāng)前國內(nèi)視頻安防監(jiān)控產(chǎn)品中依然存在不少問題：監(jiān)控視角范圍有限、圖像細(xì)節(jié)看不清、夜視失效、以及智能化程度不高等等。毫無疑問，“全景高清”和“智能”是城市治安監(jiān)控建設(shè)的主要技術(shù)趨勢?！叭案咔濉笔鞘褂脵C(jī)器來延展和增強(qiáng)人的視覺系統(tǒng)，解決了“看得見看得清”的問題。而智能是使用機(jī)器來幫助人思考，如非法闖入報(bào)警、車輛號牌識別、人臉識別等。這些智能分析技術(shù)伴隨著視頻監(jiān)控的發(fā)展逐漸成熟，大大提升了安防工作效率。

為了順應(yīng)這種趨勢，本文設(shè)計(jì)實(shí)現(xiàn)一款超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)，它由一臺全景攝像機(jī)和一臺高速球組成，既可以監(jiān)控全局場景，又可以觀察場景中局部細(xì)節(jié)的高清畫面。通過鼠標(biāo)或觸摸的操作方式，選取全景圖像中的任意局部，即可追蹤和查看局部的高清細(xì)節(jié)圖像。

超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)，作為安防市場領(lǐng)域的一款全新的4k視頻監(jiān)控設(shè)備，全景畫面最高可覆蓋360°全局場景，局部高清可看清6公里以內(nèi)的車牌等細(xì)節(jié)信息，視感整體連續(xù)，同時(shí)針對夜間等光照條件很差等情況下的特殊監(jiān)控需求，本系統(tǒng)還可以在照度低至0.01 LUX下正常全彩色成像，具有普通產(chǎn)品不可比擬的優(yōu)勢，可廣泛應(yīng)用于平安城市、天網(wǎng)工程等大型安防工程，還可應(yīng)用于軍事偵察、機(jī)場、城市至高點(diǎn)、森林堤岸防災(zāi)等市場，具有巨大的經(jīng)濟(jì)效益和社會(huì)效益。

技術(shù)與產(chǎn)業(yè)現(xiàn)狀

全景攝像機(jī)的發(fā)展己經(jīng)有十幾年的時(shí)間，起初主要應(yīng)用于高科技領(lǐng)域。最早的應(yīng)用是勇氣號火星探測器，作為人類遣往其他行星上的第一個(gè)地面移動(dòng)機(jī)器人，上面裝有一對可拍攝火星表面彩色照片的全景攝像機(jī)以及各種傳感器設(shè)備。

2007年瑞典厄勒布魯大學(xué)AASS移動(dòng)機(jī)器人實(shí)驗(yàn)室研制出一種球形安全機(jī)器人GroundBot[4,5]。該機(jī)器人在球形主體的兩側(cè)安置了可變焦攝像機(jī)拍攝周圍環(huán)境，生成360度虛擬全景空間。利用獲取的全景圖像增強(qiáng)機(jī)器人對環(huán)境的觀測感知能力和遠(yuǎn)程監(jiān)控能力，并采用機(jī)器人的SLAM（Simultaneous Localization and Mapping）技術(shù)進(jìn)行機(jī)器人自主定位和導(dǎo)航。同年，卡內(nèi)基梅隆大學(xué)與美國宇航局在合作的“Global Connection”項(xiàng)目中，研發(fā)出一款全景攝像機(jī)器人Gigapan。該全景攝像機(jī)器人采用具有重疊的單張圖像拍攝方法，生成高達(dá)10億像素的全景圖像。

目前全景攝像機(jī)根據(jù)硬件組成的不同，可以分為多鏡頭式全景攝像機(jī)和單鏡頭式全景攝像機(jī)。單鏡頭式全景攝像機(jī)一般采用單個(gè)魚眼鏡頭，魚眼鏡頭是一種超短焦距、超廣角鏡頭，其拍攝視野能夠達(dá)到甚至超過180度?；诠獾恼凵湓恚~眼鏡頭的設(shè)計(jì)與制造一般遵循某個(gè)特定的投影模型，如等距投影模型，其投影模型及參數(shù)決定了魚眼鏡頭的視野、分辨率分布情況。魚眼圖像有嚴(yán)重的畸變，如場景中的直線在魚眼圖像中可能成了曲線，因此魚眼圖像不適合人眼觀察，需要把魚眼圖像校正成“看起來”正常的圖像，去除或減少畸變，這一過程一般被稱作魚眼鏡頭畸變校正。

多鏡頭式全景攝像機(jī)首先通過有規(guī)律地排列多個(gè)普通鏡頭來覆蓋整個(gè)拍攝視野，然后通過圖像配準(zhǔn)、圖像拼接及圖像融合等技術(shù)來生成完整、無縫的全景圖像。

全景攝像機(jī)的成功研制己經(jīng)已有近十年的時(shí)間，但一直沒有得到廣泛的應(yīng)用，主要原因還是因?yàn)榧夹g(shù)和成本的的限制：多鏡頭式需要使用多個(gè)攝像機(jī)成本較高且圖像拼接融合技術(shù)較為復(fù)雜；單魚眼式相對普通鏡頭來講同樣價(jià)格偏高，且畸變圖像后的分辨率及效果不盡如人意。而近幾年來隨著科技的進(jìn)步，全景攝像機(jī)成本開始降低。與此同時(shí)人們對“看的更清”“看的更廣”的需求日益提高，全景攝像機(jī)開始得到真正的推廣，逐步在城市安防領(lǐng)域開始應(yīng)用。

目前一些知名的安防品牌，如德國MOBOTIX公司、瑞典Axis公司、美國Tyco公司等推出了相應(yīng)的單魚眼式全景攝像機(jī)。中國雖然在視頻監(jiān)控系統(tǒng)的自主研發(fā)方面起步較晚，但是吸收了各國研發(fā)階段的經(jīng)驗(yàn)教訓(xùn)，發(fā)展迅速。目前國內(nèi)幾家公司如?？低?、大華等，也研發(fā)了各自的全景高清監(jiān)控產(chǎn)品。由于成本低、性價(jià)比高等優(yōu)勢，中國的監(jiān)控產(chǎn)品在國際市場上也受到了用戶的青睞，占有一定的銷售份額。

系統(tǒng)設(shè)計(jì)

超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)包括以下幾個(gè)組成部分：

圖1 超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)

其中高清全景攝像機(jī)由一個(gè)全景攝像機(jī)和一個(gè)高清高速球組成。整個(gè)系統(tǒng)會(huì)給出兩種畫面：全景畫面和高速球畫面。全景畫面代表“面”，用來監(jiān)控全局，高速球畫面代表“點(diǎn)”，用來提供細(xì)節(jié)信息。本系統(tǒng)將全景攝像機(jī)的“面”與高清高速球的“點(diǎn)”完美搭配組合，實(shí)現(xiàn)由“面”及“點(diǎn)”的一鍵式操控，點(diǎn)擊全景畫面的任何一個(gè)位置，系統(tǒng)可立即調(diào)度高速球轉(zhuǎn)到預(yù)定監(jiān)視點(diǎn)，使監(jiān)控全局與局部細(xì)節(jié)一覽無遺。

同市面上普通產(chǎn)品相比，超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)具有以下特點(diǎn)：

“全景”--成像范圍廣。普通攝像機(jī)的成像角度一般不超過60°，而本系統(tǒng)能獲取最大360°的廣大視角范圍的場景。因此我們的產(chǎn)品，一套系統(tǒng)可替代多臺普通攝像機(jī)。

“高清”--成像質(zhì)量高。本系統(tǒng)可實(shí)現(xiàn)最高800萬像素、25幀/秒的高清實(shí)時(shí)成像，成像清晰度是普通攝像機(jī)的十幾倍，再配合可變焦高速球的使用，可實(shí)現(xiàn)半徑幾公里范圍內(nèi)全部場景的高清監(jiān)控。

“超微光”--超低照度下依然能全彩色高清晰成像。普通攝像機(jī)在低光照環(huán)境下需要紅外補(bǔ)光，才能正常成像。而這會(huì)帶來兩個(gè)致命缺陷：一是紅外燈會(huì)在漆黑環(huán)境中暴露監(jiān)控位置，使得不法分子可以提前防范；二是這種情況下成像是黑白的，失去了及其重要的紋理信息，不利于辨別物體特征。而本系統(tǒng)可日夜全彩色成像，即使在極低的光照環(huán)境下，圖像依然清晰通透、色彩準(zhǔn)確鮮明，在事件多發(fā)的夜晚具有很高的應(yīng)用價(jià)值。普通攝像機(jī)與本系統(tǒng)的夜視效果對比圖如下所示。

圖2 普通攝像機(jī)與本系統(tǒng)的夜視效果實(shí)拍圖對比

“智能”--點(diǎn)面智能聯(lián)動(dòng)。本系統(tǒng)通過將一臺高清全景攝像機(jī)與一臺高清高速球有機(jī)結(jié)合，共同組成一套智能攝像機(jī)系統(tǒng)，專門用于解決視頻監(jiān)控中，“看得廣”與“看得清”不能兼得的難點(diǎn)。本系統(tǒng)既能大視角、全覆蓋地縱覽整個(gè)監(jiān)控現(xiàn)場、又可通過鼠標(biāo)選擇全景畫面的區(qū)域，驅(qū)動(dòng)高倍率、高速旋轉(zhuǎn)的高清高速球?qū)崟r(shí)呈現(xiàn)全景圖像中任意一點(diǎn)即時(shí)發(fā)生的細(xì)微狀況，從而實(shí)現(xiàn)面到點(diǎn)，全局到細(xì)節(jié)的統(tǒng)一監(jiān)控。

圖3 本系統(tǒng)點(diǎn)面聯(lián)動(dòng)示意實(shí)拍圖

關(guān)鍵技術(shù)

超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)通過全景攝像機(jī)和高速球的協(xié)同工作，提供既全面又兼顧細(xì)節(jié)的畫面信息。高清、全景、超微光是其最重要的三個(gè)特點(diǎn)，其核心關(guān)鍵技術(shù)主要包括：“環(huán)眼型分辨率均勻化高清全景成像技術(shù)”、“全景視頻信號處理技術(shù)”、“超微光圖像處理技術(shù)”、“全景與高速球智能聯(lián)動(dòng)技術(shù)”。

環(huán)眼型分辨率均勻化高清全景成像技術(shù)

超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)采用非球面元件以降低遠(yuǎn)離軸變形效應(yīng)、基于環(huán)眼鏡頭畸變修正的方法，設(shè)計(jì)出適用于超微光180度全景高清攝像機(jī)的環(huán)眼鏡頭。環(huán)眼鏡頭成像空間分辨率分布更為均勻，邊緣分辨率較魚眼圖像有明顯提高，實(shí)測邊緣分辨率提升約30%，詳見圖4。

圖4 成像實(shí)驗(yàn)對比圖：左為魚眼圖像，右為環(huán)眼圖像

全新的全景視頻信號處理技術(shù)。

特殊條件下傳統(tǒng)技術(shù)難以滿足全景成像應(yīng)用需求，例如全景圖光線來自寬廣范圍，傳感器成像顏色難以校正；惡劣天氣條件下圖像噪聲干擾嚴(yán)重等。超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)采用全新的全景視頻信號處理流水線，系統(tǒng)解決了超微光180度全景高清成像需求，為用戶使用以及后續(xù)視頻智能分析，壓縮傳輸提供了成像基礎(chǔ)，詳見圖5。

圖5 視頻信號處理流水線

全景視頻信號處理流水線主要包括針對圖像傳感器的黑水平校正、壞點(diǎn)校正、自動(dòng)曝光與自動(dòng)白平衡、2D/3D去噪、去馬賽克、顏色校正、伽馬校正、邊緣增強(qiáng)、對比度亮度調(diào)整、去模糊、圖像修補(bǔ)、去霧、全景展開、畸變校正等技術(shù)。其中一部分應(yīng)用了已有的成熟技術(shù)，而另一部分以視頻信號處理流水線為基礎(chǔ)，突破了傳統(tǒng)技術(shù)限制，全面提升了成像質(zhì)量，我們自主研發(fā)的核心成果主要包括基于圖像邊緣特征的顏色恒常性方法、面向透射或折反射的快速全景展開方法、基于編碼孔徑的圖像去模糊方法、基于視差的圖像修補(bǔ)方法等。

超微光圖像處理技術(shù)

在極低照度環(huán)境中（0.01Lux以下），普通攝像機(jī)如人眼一樣是無法看到圖像的，通常的做法是采用紅外LED補(bǔ)光照明，但此時(shí)圖像被轉(zhuǎn)換為黑白顏色，且不正確的紅外LED補(bǔ)光會(huì)造成圖像的模糊或明暗反差過大。

超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)采用全新的圖像處理技術(shù)，面對暗光情況下圖像已被噪聲淹沒的現(xiàn)象，通過雙階3D去噪算法實(shí)現(xiàn)了對圖像中高噪聲部分的強(qiáng)力抑制，有效還原了圖像應(yīng)有的色彩與品質(zhì)，該項(xiàng)技術(shù)已達(dá)國際領(lǐng)先水平。

全景與高速球智能聯(lián)動(dòng)技術(shù)。

基于全局與局部一體化監(jiān)視方法，以監(jiān)視實(shí)時(shí)性、精確性、便捷性為設(shè)計(jì)目標(biāo)，提出了快速空間精確匹配與校正技術(shù)，提出了面向全景與高速球智能聯(lián)動(dòng)的目標(biāo)跟蹤、行人檢測、行為識別的全景視頻智能分析技術(shù)，實(shí)現(xiàn)了靈敏觸發(fā)、精準(zhǔn)聯(lián)動(dòng)的點(diǎn)面一體化監(jiān)視，豐富了高清全景攝像機(jī)功能和應(yīng)用。具體來說，本系統(tǒng)重點(diǎn)解決了以下四方面的問題：

（1）全景高速球一體機(jī)空間配準(zhǔn)：實(shí)際安裝時(shí)全景攝像機(jī)和高速球相對位置存在各種偏差。不同全景高速球一體機(jī)全景和高速球坐標(biāo)的變換關(guān)系不同，因此每臺全景高速球一體機(jī)都需要配準(zhǔn)。如何確定全景圖像和高速球局部場景圖像素點(diǎn)坐標(biāo)之間的變換關(guān)系，從而準(zhǔn)確控制高速球攝像機(jī)旋轉(zhuǎn)角度，顯示用戶選擇的指定區(qū)域的視頻圖像，是個(gè)關(guān)鍵問題。針對現(xiàn)有技術(shù)存在的配準(zhǔn)難度大、高速球不能準(zhǔn)確定位拍攝的問題，本系統(tǒng)提出了能夠?qū)θ皥D像和高速球局部場景圖像進(jìn)行準(zhǔn)確配準(zhǔn)的全景高速球一體機(jī)空間配準(zhǔn)方法。此方法當(dāng)用戶選擇全景圖中的某個(gè)點(diǎn)或區(qū)域時(shí)，能夠快速準(zhǔn)確計(jì)算出高速球旋轉(zhuǎn)角度，并對局部場景進(jìn)行拍攝，能顯著提高監(jiān)控設(shè)備性能。

（2）全景高速球一體機(jī)全景圖像校正：由于全景高速球一體機(jī)中全景攝像機(jī)向重力方向傾斜拍攝，獲得的180度全景圖像存在較大的畸變。這種畸變不同于普通全景圖像中的畸變，也不同于頂式拍攝的全景圖像中的畸變，因此需要一種針對此畸變特點(diǎn)的校正算法對全景圖像進(jìn)行畸變校正，使之符合正常的人眼觀察習(xí)慣。為解決上述技術(shù)問題，提出一種基于全景高速球一體機(jī)的全景圖像校正算法。算法簡單有效、計(jì)算速度快，其FPGA中實(shí)現(xiàn)滿足了全景圖像的實(shí)時(shí)校正輸出。

（3）全景高速球一體化監(jiān)視瀏覽：本系統(tǒng)針對全景高速球一體機(jī)監(jiān)視，設(shè)計(jì)了符合用戶操作習(xí)慣、人機(jī)交互簡單的聯(lián)動(dòng)瀏覽方法，并設(shè)計(jì)和開發(fā)了相應(yīng)的客戶端監(jiān)視、瀏覽和視頻管理軟件系統(tǒng)。

（4）全景高速球聯(lián)動(dòng)智能分析：本系統(tǒng)提出了多種智能視頻分析技術(shù)，包括基于深度空間分解的全景高清全向立體視頻的目標(biāo)跟蹤技術(shù)、基于概率重采樣的級聯(lián)檢測的全景高清視頻中行人檢測算法、基于多尺度局部約束的時(shí)空編碼技術(shù)的全景高清視頻中行為識別等。提高了全景高清攝像機(jī)系統(tǒng)的智能化分析能力，擴(kuò)展了全景高清攝像機(jī)系統(tǒng)的應(yīng)用。

在太原市天網(wǎng)工程中的應(yīng)用

為了創(chuàng)建“智慧城市”，太原市于2013年出臺《太原市“天網(wǎng)”治安工程視頻監(jiān)控系統(tǒng)建設(shè)三年規(guī)劃》，擬利用三年時(shí)間新裝高清視頻監(jiān)控?cái)z像機(jī)32萬臺，達(dá)到市區(qū)每平方公里裝備120臺攝像機(jī)的標(biāo)準(zhǔn)。2015年又出臺“天網(wǎng)”治安工程建設(shè)任務(wù)分解表，全力推進(jìn)“天網(wǎng)”視頻監(jiān)控系統(tǒng)建設(shè)任務(wù)的完成。其中“天網(wǎng)”工程正是以本文提出的超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)為依托，將人事管理中的科層制引入到視頻監(jiān)控?cái)z像頭的管理之中，形成新型天網(wǎng)架構(gòu)，實(shí)現(xiàn)視頻管理的一鍵式應(yīng)用。整個(gè)系統(tǒng)的平臺層次架構(gòu)如下：

圖6 平臺層次架構(gòu)

城市視頻立體化防控系統(tǒng)是建立在以城市為單位的應(yīng)用系統(tǒng)，在應(yīng)用上將高點(diǎn)和路面監(jiān)控設(shè)備緊密結(jié)合，同時(shí)內(nèi)嵌各種智能工具的。依托城市中完善的視頻卡口子系統(tǒng)、地面槍機(jī)視頻監(jiān)控子系統(tǒng)、制高點(diǎn)點(diǎn)面聯(lián)動(dòng)子系統(tǒng)、制高點(diǎn)全景相機(jī)子系統(tǒng)、地面球機(jī)視頻監(jiān)控子系統(tǒng)及支撐城市運(yùn)行的各種云數(shù)據(jù)，實(shí)現(xiàn)對各種可疑目標(biāo)的分析、預(yù)警、跟蹤及最終抓捕的全過程響應(yīng)。

太原市“天網(wǎng)”工程的一個(gè)突出特點(diǎn)是采用立體化視頻監(jiān)控模式，可以從多維度實(shí)現(xiàn)視頻監(jiān)控的全覆蓋并兼顧日常應(yīng)用與突發(fā)事件的不同需求方面。下圖中第一層、第二層、第三層超為高樓層制高點(diǎn)全天候部署，通過光纖直連、市政統(tǒng)一供電、快速應(yīng)急保障的方式實(shí)現(xiàn)。第三層熱氣球無人機(jī)、第四層平時(shí)保留數(shù)據(jù)接口，突發(fā)事件發(fā)生時(shí)設(shè)備啟動(dòng)，分別按照不同的事件規(guī)模和等級采用不同方式。

圖7 城市視頻立體化監(jiān)控模式空間總體架構(gòu)

城市視頻立體化防控系統(tǒng)將本文提出的超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)作為單點(diǎn)設(shè)備及管理設(shè)備接入城市視頻立體化防控系統(tǒng)，實(shí)現(xiàn)在單個(gè)超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)之下的聯(lián)動(dòng)及多個(gè)超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)之間的聯(lián)動(dòng)。并將視頻監(jiān)控點(diǎn)位信息、被觀測目標(biāo)背景數(shù)據(jù)通過數(shù)據(jù)調(diào)用和數(shù)據(jù)推送的方式，同步呈現(xiàn)出來，實(shí)現(xiàn)信息追隨警務(wù)活動(dòng)的目標(biāo)。如圖8的三屏聯(lián)動(dòng)模型，通過在GIS地圖及多屏聯(lián)動(dòng)中的鼠標(biāo)點(diǎn)擊，快速確定目標(biāo)位置。

城市視頻立體化防控系統(tǒng)還可以通過在主畫面中點(diǎn)選攝像機(jī)圖標(biāo)，快速調(diào)用對應(yīng)的視頻資源，如圖9所示。

圖8 三屏聯(lián)動(dòng)模型

圖9 相機(jī)聯(lián)動(dòng)六分屏模型

本文提出的超微光全景高速球智能聯(lián)動(dòng)系統(tǒng)，作為太原市“天網(wǎng)”工程的最重要部分，支持了其中槍球聯(lián)動(dòng)、區(qū)域聯(lián)動(dòng)等核心功能，使得太原市的“智慧城市”建設(shè)獲得了巨大的成功。

作者單位：賀志剛，山西省太原市公安局；徐瑋，中國人民解放軍國防科學(xué)技術(shù)大學(xué)信息系統(tǒng)與管理學(xué)院；張虎，山西中天信科技股份有限公司；劉曉華，湖南優(yōu)象科技有限公司