洪平,路林吉
在信息化社會中,實時監(jiān)控系統(tǒng)在交通、安防、軍事等領域有著越來越廣泛的應用,為維持社會秩序、提高人民生活質量起了至關重要的作用[1]。但在惡劣氣象條件下(特別是霧天),普通監(jiān)控系統(tǒng)常常受能見度影響而不能發(fā)揮應有的作用,對公共交通、生產生活和社會秩序產生了極大不利影響。本文設計了針對霧天圖像的實時視頻清晰化系統(tǒng),通過把本系統(tǒng)添加到監(jiān)控系統(tǒng)可以有效解決惡劣列天氣對監(jiān)控的影響。視頻清晰化系統(tǒng)不僅提高了監(jiān)控系統(tǒng)的適應性和可靠性,還能節(jié)約監(jiān)控系統(tǒng)改進成本。
霧天視頻清晰化系統(tǒng)首先把攝像頭采集的模擬視頻信號通過解碼芯片轉換成數字視頻信號,然后通過DSP(Digital Signal Processor)進行信號加強算法的處理,再把增強后的數字視頻信號通過編碼芯片編碼為模擬視頻信號,最后傳到顯示器顯示,從而實現特殊氣象條件下的實時監(jiān)控。
根據視頻清晰化系統(tǒng)設計需求和DSP 系統(tǒng)基本構成,系統(tǒng)硬件包括:數字信號處理器TMS320 DM642、程序存儲器FLASH、數據存儲器SDRA M、視頻解碼芯片、視頻編碼芯片、JTAG 仿真器、晶振等。系統(tǒng)硬件總體框架[2][3],如圖1所示:
圖1 系統(tǒng)硬件總體框架
硬件系統(tǒng)主要由3 部分組成:
(1)外部擴展存儲器。DM642的外部存儲器接口(EMIFA)分為四個片選空間:CE0、CE1、CE2 和CE3。本文采用了其中兩個片選空間CE0 和CE1,CE0 外接2 片4M×32bit的SDRAM,作為數據存儲空間,CE1 外接一片8M×8bit的Flash,作為程序存儲空間。
(2)視頻輸入輸出部分。DM642 提供了3 個可配置的視頻端口(VPORT0-2)能夠與通用的視頻編、解碼器實現無縫連接,支持多種視頻分辨率及視頻標準。本文利用了其中兩個視頻通道VP0 和VP2,其中VP0 用于視頻信號的輸入,VP2 用于視頻信號的輸出。VP0 外接視頻解碼器SAA7115,該芯片內部包含高質量視頻解碼模塊和圖像縮放模塊。SAA7115 以CVBS(Composite Video Broadcast Signal)為輸入信號,能輸出D1、CIF、QCIF 等多種分辨率的圖像。VP2外接視頻編碼器SAA7105,能輸出標準清晰度的電視信號和高清晰度的電視信號。由于SAA7105 在輸出高清晰度電視信號時,輸入必須是雙沿時鐘信號,但DM642的VP2 不能提供此數據格式,所以還需要在VP2 和SAA7105 之間應用一塊FPGA 進行數據格式轉換。
(3)電源部分
系統(tǒng)中總共需要三種不同電壓源:+5V、+3.3V 和+1.4V。系統(tǒng)外部輸入電壓為+5V,通過兩片TPS54310 轉換得到+3.3V 和+1.4V,+1.4V 供應DSP 核,+3.3V 供應除了視頻輸入輸出模塊的其他芯片。視頻輸入輸出模塊由于負載較高,分別由兩塊TPS76833 提供+3.3V的電壓。
視頻清晰化系統(tǒng)程序模塊包括系統(tǒng)初始化、視頻采集模塊、視頻增強處理和視頻輸出模塊。軟件流程圖,如圖2所示:
圖2 系統(tǒng)軟件流程圖
系統(tǒng)完成上電或復位以后,DSP 程序加載并啟動,先進行系統(tǒng)初始化和參數配置。完成初始化后,啟動SAA7115進行圖像采集,并把采集到的圖像數據搬移到SDRAM 中,DSP 對采集到的圖像進行圖像增強處理,再把處理后的圖像送到輸出緩存,SAA7115 繼續(xù)執(zhí)行下一幀的圖像采集,如此循環(huán)執(zhí)行。
Retinex(視網膜Retina 和大腦皮層Cortex的縮寫)理論[4]是由Land 提出來的一個關于人類視覺系統(tǒng)如何處理視覺信息和形成視覺的模型,解釋了為什么在不同的場景、環(huán)境下視覺顏色是恒定的。Retinex 理論認為人類的視覺系統(tǒng)感覺到的顏色信息是物體表面的反射性質決定的,而與光源的強度和環(huán)境無關。光源引起的顏色變化是平緩的,一般表現為平滑的照明梯度,但是由反射性質引起的顏色變化一般是突變的。通過區(qū)分兩種變化形式,人類視覺系統(tǒng)可以把視覺信息區(qū)分為照度變化信息的和表面本質信息,通過計算照度變化信息獲得表面本質信息,獲得物體本來面貌,形成顏色恒常性。
圖3 Retinex 算法的一般過程
在眾多Retinex 算法中被廣泛使用的是由中心環(huán)繞算法發(fā)展而來的單尺度Retinex 算法[5](Single-Scale Retinex)。SSR 通過環(huán)繞函數與原始圖像作卷積來估算圖像照度分量,數學表示如公式(1):
假設亮度圖像是空間平滑的,i 表示顏色通道,原始圖像I(x,y)為,反射圖像為R(x,y),照度圖像L(x,y),ri(x,y)是Retinex 算法的第i 通道的輸出數據,*表示卷積F(x,y),是環(huán)繞函數,形式如下公式(2):
環(huán)繞函數是低通函數,所以通過F(x,y)卷積估算的亮度圖像對應于原始圖像的低頻部分,再從原始圖像中減去低頻部分,得到的反射圖像更多的是原始圖像中的高頻部分,對應于邊緣信息。由于人眼對邊緣處的高頻信息比較敏感,所以處理后的圖像能很好的實現邊緣增強。
SSR 算法的最大缺陷是不能同時提供豐富的動態(tài)范圍壓縮和顏色恒常,低尺度SSR 算法增強后的圖像會有明顯的光暈現象,而高尺度SSR 算法增強后的圖像雖然無光暈,但是動態(tài)范圍壓縮效果不理想。為了更好的實現動態(tài)范圍壓縮和顏色恒常,采用了多尺度Retinex 算法[6](Multi-scale Retinex),具備了單尺度算法低、中、高三個尺度的特點,數學表示如公式(4):
其中Wk是相應高斯環(huán)繞函數Fk(x,y)的權重。
多尺度Retinex 算法同時又帶來了顏色失真的問題,原始圖像中的R、G、B 三個分量之間的比例關系在經過MSR算法增強之后并不一定保持不變,所以再次引入了顏色恢復因子[7][8]。顏色恢復因子是通過原始圖像R、G、B 色彩空間之間的比例關系對Retinex 輸出進行修正,還原了原始圖像的色彩比例。顏色恢復因子公式(5):
其中Ci(x,y)是i 通道的顏色恢復系數,Ii(x,y)是原始圖像在第i 顏色通道的分布,K 是顏色通道的總數,f 是變換函數,變換函數可以選擇線性函數也可以是Log 形式函數。綜合MSR 算法和顏色恢復因子MSRCR 算法公式如公式(6):
MSRCR 算法的處理結果保留了更豐富的細節(jié)信息,色彩逼近于真實場景且避免了光暈現象。
通過處理前后的單幅圖像對比表明視頻清晰化系統(tǒng)能有效恢復霧天天氣導致的視頻模糊,對比度明顯提高,并且具有良好的實時性。
圖4 實驗結果對比圖
針對監(jiān)控系統(tǒng)易受惡劣天氣狀況影響的問題,設計了霧天視頻清晰化系統(tǒng)。系統(tǒng)對攝像頭采集到的視頻圖像進行增強處理,采用改進的多尺度顏色恢復Retinex 算法還原真實場景圖像,顯著提高了視頻圖像的對比度和清晰度。通過對現有監(jiān)控系統(tǒng)添加視頻清晰化子系統(tǒng)有效解決惡劣天氣對監(jiān)控的影響。
[1]何立民.嵌入式系統(tǒng)的定義與發(fā)展歷史[J].單片機及嵌入式應用,2004,(1):6-8.
[2]高熊,王敏,宗大偉.基于TMS320DM642的視頻采集系統(tǒng)設計[J].華中科技大學學報(自然科學版),2011,39(z2):144-146.
[3]龍映雪,張春熹,伊小素,等.基于DM642的視頻采集與處理系統(tǒng)設計及實現[J].電子測量技術,2012,35(9):52-55.
[4]E.H.Land and J.J.McCann.Lightness and retinex theory[J].Journal of the Optical society of America,1971,vol.61:1-11.
[5]D.J.Jobson,et al.Properties and performance of a center/surround retinex[J].IEEE Transactions on Image Processing,1997,vol.6:451-462.
[6]Bo Li,Jin Zheng,Shu Xian,et al.A fast multi-scale retinex algorithm for color image enhancement[C].In Wavelet Analysis and Pattern Recognition,Beijing : Beihang Univ.,2008:80-85.
[7]Jae-hyoung YU,Young-tak KIM,Nam-ki LEE,et al.Effective color correction method employing HSV color model[J].Journal of Measurement Science and Instrumentation,2012,03(01):39-45.
[8]張尚偉,曾平,羅雪梅,等.具有細節(jié)補償和色彩恢復的多尺度Retinex色調映射算法[J].西安交通大學學報,2012,46(4):32-37