李金倫,崔少輝,徐 帥
(軍械工程學(xué)院導(dǎo)彈工程系,河北 石家莊 050003)
近年來,單個圖像傳感器的分辨率已達幾億像素。在采集如此高分辨率圖像的同時對計算機實時處理的性能就會產(chǎn)生明顯的影響。因此,對于圖像處理系統(tǒng)而言,面臨著如何解決實時處理高分辨率圖像的問題。事實上,在一些應(yīng)用中,例如跟蹤和模式識別、圖像傳感器傳輸進來的寬視角、大范圍、高分辨率圖像并不是需要利用圖像的所有的區(qū)域,更多的僅僅是對圖像中某一部分要求較高的分辨率;因此,就產(chǎn)生了高分辨率圖像采集與實時處理能力不足之間的矛盾。
為解決以上問題,常采用多分辨率處理技術(shù),如中央凹傳感器,這種傳感器的表面分布著分辨率不均勻的感光元件。應(yīng)用該傳感器時,需要確保最有用的區(qū)域被放在高分辨率范圍內(nèi),一般該范圍為傳感器的中心區(qū)域[1]。
模式識別與跟蹤是中央凹傳感器成功應(yīng)用的兩個領(lǐng)域。文獻[2]在解決模式識別問題,以及文獻[3-4]在解決跟蹤問題時都應(yīng)用了中央凹傳感器。但是,中央凹傳感器的一大缺點就是不可以動態(tài)重構(gòu),為了保持高分辨率區(qū)域始終對準目標,不得不應(yīng)用機械裝置來實時控制傳感器的朝向,顯然對于快速移動目標,該方法難以滿足實時性。目前,應(yīng)用電子元器件構(gòu)造嵌入式系統(tǒng)進行中央凹的動態(tài)重構(gòu)成為較為普遍的方法。
本文基于后一種解決方案,提出了一種可以適用于非定制CMOS單一分辨率圖像傳感器的中央凹視覺處理方法。實驗表明:該方法可以提供更大的中央凹區(qū)域。
許多文獻都介紹過多分辨處理技術(shù),靈感大多來源于人類視覺,即人眼視網(wǎng)膜中的光感受器單元和神經(jīng)節(jié)細胞的分布是非均勻的,在中央凹部分高度密集而周邊稀疏,這種特性使視覺信息的獲取是非均勻的。中央凹部分具有很高的視敏度,但稍微偏離一點,視敏度就會急劇下降,離開中央凹5°,視敏度將下降50%。文獻[1]基于人類視網(wǎng)膜原理提出對數(shù)極坐標映射的方法,文獻[5]在分析比較的基礎(chǔ)上設(shè)計了一種晶格形狀,可以在晶格內(nèi)應(yīng)用對數(shù)極坐標進行映射。
雖然對數(shù)極坐標原理已經(jīng)廣泛地應(yīng)用于多分辨映射中,但采用極坐標系統(tǒng)描述的中央凹區(qū)域,因其具有非線性缺陷,并不能很好的匹配視網(wǎng)膜,而且在中心位置會產(chǎn)生盲點。
文獻[6]采用了一種基于多分辨技術(shù)的小波變換方法,這種方法通過使用低通和高通濾波器使得在數(shù)據(jù)傳輸過程中可以良好地保持線性。
相對于有固定分辨率的圖像傳感器,研究更傾向于提供更多中央凹區(qū)域,文獻[7]提出了一種多分辨結(jié)構(gòu),其中央凹區(qū)域可以像眼球一樣掃視。文獻[8]在這種方法的基礎(chǔ)上構(gòu)建了多個中央凹區(qū)域來進行移動物體的識別。
在總結(jié)前人工作的基礎(chǔ)上,本文基于可分離映射,提出了一種帶有連續(xù)變化分辨率的中央凹視覺處理方法。
為了避免使用全景遙感攝像頭,可以采用帶有寬視角的高分辨率CMOS傳感器。然而,僅僅需要讀取其中很小的一部分窗口區(qū)域,而且這個窗口可以在程序的控制下移動,這就提供了一種全景搖感的等價方式,因為窗口可以從一個位置很快地移動到另一個位置。由于攝像頭并沒有移動,因此,不會出現(xiàn)由攝像頭的移動所帶來的圖像模糊等問題。
雖然在使用流水處理時,一幅高分辨率的圖像很容易在FPGA上進行實時處理。然而,任何需要多幀圖像的算法都需要相當(dāng)多的片外存儲器和很大的存儲器帶寬。為了使能片內(nèi)存儲器,必須減少數(shù)據(jù)的體積和圖像的尺寸。
簡單地通過降低分辨率來減小數(shù)據(jù)規(guī)模會導(dǎo)致嚴重的信息丟失。在很多應(yīng)用領(lǐng)域中(例如跟蹤與模式識別),只有圖像的一個小區(qū)域中要求高分辨率。解決該問題的一個方法是使用中央凹窗口。受人類視覺系統(tǒng)啟發(fā),這種方法在視網(wǎng)膜中央凹保持高分辨率,同時可降低周圍的分辨率。
基于該機制的視網(wǎng)膜中央凹視覺系統(tǒng)如圖1所示。該系統(tǒng)對窗口中的像素進行了中央凹映射,以得到降低了分辨率的圖像。此后該圖像得到處理,從而得到需要的數(shù)據(jù)并為下一幀圖像確定最佳位置,以便在CMOS傳感器中重新對窗口進行定位。
圖1 使用中央凹映射的結(jié)構(gòu)
相對于使用基于極坐標系統(tǒng)下的對數(shù)極坐標映射,更主張在笛卡爾坐標系下進行圖像變換。設(shè)u為到輸入圖像中心的距離,f為到中央凹圖像中心的距離。此時的中央凹映射也可以認為是前向映射的一種。
其逆向映射為
放大率M,被定義為輸入與輸出像素距中心距離的比率
與放大率相關(guān)的要素是像素有效分辨率A,其由映射斜率的大小決定
因為映射方程必須是單調(diào)的,所以得出
映射一個N×N的輸入圖像到w×w的輸出圖像時,需要滿足如下關(guān)系:
盡管中央凹圖像的分辨率與輸入圖像不同,而且最高分辨率的圖像也不一定在圖像中心。但是為了方便說明,本文以中央凹在圖像中心為例,此時需要滿足:
另一個需要考慮的問題就是如何來定義距離u和f,因為不同的定義會產(chǎn)生不同程度的圖像變形。以圖像中心為原點,可以得到輸入和輸出圖像的坐標(xu,yu),(xf,yf)。
采用De距離時,可以得到
因為在徑向映射中,每個像素點關(guān)于坐標軸的角度是不變的,這就意味著x、y與放大率之間存在以下關(guān)系
采用D8距離時,可以得到計算更簡單的轉(zhuǎn)換方法:
考慮到可分解映射時,可以得到一個更加簡單的轉(zhuǎn)換方法,并且可以對x和y進行單獨映射
在每一種坐標系中,可分解映射都會有不同的放大率[1]。
圖3比較了N=512,w=64,M=1/8時3種映射的差別,其中(c)、(d)、(e)有相同的放大率,這里為了便于觀察,對64×64的圖像進行了放大。
通過觀察可以發(fā)現(xiàn),采用D8距離變換的圖像(c),畫面明顯帶有錐度感,這與D8距離的定義是分不開的:
圖像(e)的變換采用了De距離變換,由于De距離的定義為
圖像(e)的變換明顯帶有弧度感。
雖然(f)與(d)都是基于可分解映射,但明顯圖像(f)提供了更大的中央凹區(qū)域:
公式中系數(shù)的確定是為了使映射后圖像的尺寸固定。
圖2顯示了兩種不同靈敏度的映射,可以看出4次方和6次方分量的采用增大了中央凹區(qū)域面積,并且6次方可以帶來更明顯的變化,而且其外圍無效數(shù)據(jù)的分辨率更低。但是在實際應(yīng)用中,并不需要如此大的中央凹區(qū)域,采用式(14)的同時也會帶來6次方分量計算數(shù)據(jù)較大等問題。所以,本文更傾向于選擇式(13)的方法。
在中央凹圖像中,雖然圖像邊緣的橫向或縱向輪廓產(chǎn)生了明顯扭曲,但中央凹區(qū)域變形卻很少。因此,映射后,由于邊緣圖像數(shù)據(jù)的丟失,整個圖像的數(shù)據(jù)量下降了。
本文提出的方法可以應(yīng)用在一些計算機視覺領(lǐng)域,例如跟蹤、模式識別和圖像壓縮等。應(yīng)用于前兩種領(lǐng)域時,中央凹區(qū)域應(yīng)對準感興趣的目標,以便后期的識別與跟蹤。當(dāng)目標從中央凹區(qū)域內(nèi)開始移動時,系統(tǒng)就可以很快的察覺,并根據(jù)目標所在位置進行算法的快速重構(gòu)以保證具有高分辨率的中央凹區(qū)域始終對準目標。
圖2 不同中央凹映射的有效分辨率變化曲線
圖3 中央凹映射舉例
另外,在移動物體捕獲方面也可以應(yīng)用中央凹視覺映射[10]。這種方法同樣是模擬了人類,即人類的視網(wǎng)膜周邊部分雖然對識別細小的物體不起作用,但對給光撤光以及物體運動等刺激是敏感的,如果外界的一部分急速發(fā)生變化,則與此對應(yīng)的視網(wǎng)膜周邊部分就會迅速起反應(yīng),眼球隨之產(chǎn)生運動,使視軸朝向那個感興趣的方向。
本文介紹了幾種帶有連續(xù)變化分辨率的中央凹映射,通過對比,得出一種較優(yōu)化的解決方法。該方法可以提供更大的中央凹范圍,并在保持中心有效區(qū)域分辨率的同時,通過降低圖像邊緣無效區(qū)域的分辨率來達到減少圖像數(shù)據(jù)量的目的,進而可以達到縮小存儲量、減少圖像處理時間,以更好的滿足實時性處理要求。本方法在模式識別、跟蹤等領(lǐng)域有良好地應(yīng)用前景,未來的研究將會聚焦于中央凹圖像處理技術(shù)。
[1] Donald G B.基于FPGA的嵌入式圖像處理系統(tǒng)設(shè)計[M].原魁,何文浩,譯.北京:電子工業(yè)出版社,2013.
[2]Wilson J C,Hodgson R M.A pattern recognition system based on models of aspects of the human visual system[C]∥International Conference on Image Processing and its Applications.Maastricht,1992:258-261.
[3] Xue Y,Morrell D.Adaptive foveal sensor for target tracking[C]∥Thirty-Sixth Asilomar Conference on Signals Systems and Computers Pacific Grove,2002:848-852.
[4] Cui Y, Samarasekera S, Huang Q, et al.Indoor monitoring via the collaboration between a peripheral sensor and a foveal sensor[C]∥IEEE Workshop on Visual Surveillance Bombay,1998:2-9.
[5] Traver V J,Pla F.Designing the lattice for log-polar images[C]∥11th International Conference on Discrete Geometry for Computer Imagery Naples,2003:164-173.
[6] Wei J,Li Z N.On active camera control and camera motion recovery with foveate wavelet transform[C]∥IEEE Transactions on Pattern Analysis and Machine Intelligence,2001,23(8):896-903.
[7]Camacho P, Arrebola F, SadovalF.Shifted fovea multiresolution geometries[C]∥International Conference on Image Processing Lausanne,1996(1):307-310.
[8] Camacho P, Arrebola F, Sadoval F. Multiresolution sensors with adaptive structure[C]∥24th Annual Conference of the IEEE Industrial Electronics Society Aachen,1998(2):1230-1235.
[9] Rafael C G.數(shù)字圖像處理[M].2版.阮秋琦,阮宇智,譯.北京:電子工業(yè)出版社,2007.
[10]Liu Y, Bouganis C S, Cheung P Y K.A spatiotemporal saliency framework[C]∥EEE International Conference on Image Processing Atlanta, 2006:437-440.