李一芒,盛 磊,陳云善
(中國科學(xué)院長春光學(xué)精密機(jī)械及物理研究所,長春130033)
由于激光通信系統(tǒng)具有帶寬、高速、抗截獲能力強(qiáng)、抗干擾能力強(qiáng)和輕小型等突出優(yōu)點(diǎn),使其非常適合深空、星際、星地、空空、空地等鏈路通信,因此在近年來得到了迅速發(fā)展[1-3]。激光通信鏈路的建立與保持離不開對信標(biāo)光的捕獲、跟蹤與瞄準(zhǔn)(acquisition,tracking and pointing,ATP)[4]。基于數(shù)字圖像處理的光斑目標(biāo)位置信息提取是ATP中的一項(xiàng)關(guān)鍵技術(shù),其提取速度與精度直接影響鏈路的通斷,開展相關(guān)研究有著重要的意義。
對基于數(shù)字圖像處理的激光通信光斑檢測技術(shù)的研究主要可分為算法理論和實(shí)際應(yīng)用兩個方面。算法方面,ZHANG等人[5]提出了基于噪聲特性的自動閾值處理算法;LIU等人[6]提出了基于圓心擬合的中心定位算法;SUN等人[7]提出了基于小波的光斑去噪算法;SHAO[8]提出了修正的單點(diǎn)灰度值算法。上述對于算法的研究均是通過仿真環(huán)境進(jìn)行處理效果的驗(yàn)證,其硬件可移植性和算法實(shí)時性尚有待考量。在應(yīng)用方面,LU等人[9]提出的基于粒子濾波的方法應(yīng)用于分辨率為640piexl×480piexl,幀頻為24Hz的序列圖像中;CHENG[10]采用中值濾波實(shí)現(xiàn)了分辨率1024piexl×1040piexl,幀頻25Hz序列圖像的光斑提取;XU等人[11]提出的基于上三鄰域連續(xù)點(diǎn)計(jì)數(shù)法能夠?qū)Ψ直媛?20piexl×256piexl,幀頻83Hz的圖像進(jìn)行實(shí)時處理。隨著對激光通信研究的不斷深入,對提取光斑目標(biāo)的頻率要求也越來越高,100Hz及以下的提取頻率已經(jīng)不能滿足動態(tài)鏈路的建立與保持。
國外一些學(xué)者通過以現(xiàn)場可編程門陣列(fieldprogrammable gate array,F(xiàn)PGA)為核心器件的系統(tǒng)已經(jīng)實(shí)現(xiàn)了對高幀頻圖像的實(shí)時處理,為提高國內(nèi)在研的激光通信系統(tǒng)在圖像方面的處理速度,本文中針對高速序列圖像中激光光斑目標(biāo)的檢測問題設(shè)計(jì)了基于FPGA的實(shí)時圖像處理系統(tǒng),提出了基于1維濾波算子的方位濾波器,并實(shí)現(xiàn)了分辨率為 300piexl×300piexl,幀頻1000Hz序列圖像的預(yù)處理與激光光斑中心位置的實(shí)時提取。
已有的激光光斑檢測系統(tǒng)其硬件設(shè)計(jì)主要分為基于計(jì)算機(jī)和基于FPGA與數(shù)字信號處理器(digital signal processor,DSP)架構(gòu)兩種方案?;谟?jì)算機(jī)處理的方案通過圖像采集卡獲取相機(jī)拍攝的圖像信息,由計(jì)算機(jī)完成對圖像的處理及對光斑中心位置的提取等任務(wù)。在高幀頻情況下,普通計(jì)算機(jī)很難完成對圖像數(shù)據(jù)的實(shí)時處理,使用研華工控機(jī)運(yùn)行Visual Studio2008軟件編寫的圖像處理軟件對包含光斑的分辨率為300piexl×300piexl的圖像進(jìn)行目標(biāo)提取,每幅圖像需耗時0.707s,采用高性能多核計(jì)算機(jī)并輔以多線程技術(shù)雖然能提高這一方案下的數(shù)據(jù)處理能力,但同時會大幅提高成本,且計(jì)算機(jī)內(nèi)部資源需要通過操作系統(tǒng)進(jìn)行調(diào)度,因此這一方案的資源利用率低,實(shí)現(xiàn)難度大?;贔PGA+DSP的方案是目前實(shí)時圖像處理領(lǐng)域常用架構(gòu),F(xiàn)PGA主要擔(dān)負(fù)數(shù)據(jù)緩存和信號控制等任務(wù),DSP則主要進(jìn)行數(shù)據(jù)運(yùn)算。由于DSP進(jìn)行數(shù)據(jù)運(yùn)算時是順序執(zhí)行,因此其對高幀頻圖像的實(shí)時處理能力存在一定局限,使用以TMS320C6678型DSP為核心器件的圖像處理平臺對包含光斑的分辨率為300piexl×300piexl的圖像進(jìn)行目標(biāo)提取,每幅耗時約0.032s。上述方案均不能滿足對1000Hz頻率的圖像進(jìn)行實(shí)時處理的需求。隨著電子技術(shù)的不斷發(fā)展,F(xiàn)PGA在保留其并行處理能力的同時,能夠進(jìn)行除法和卷積等運(yùn)算操作,為保證系統(tǒng)的實(shí)時處理能力,本文中的設(shè)計(jì)光斑檢測系統(tǒng)以FPGA作為核心芯片展開,在硬件設(shè)計(jì)中,采用賽靈思公司(Xilinx)的XC5VLX110T型FPGA芯片為核心運(yùn)算器件。該款FPGA內(nèi)部資源豐富,根據(jù)其技術(shù)資料顯示,有17280個資源單元,每個資源單元內(nèi)包括4個顯示查找表和4個觸發(fā)器,擁有5328×1000塊隨機(jī)存儲器可作為緩存;運(yùn)算能力方面,該FPGA擁有64個DSP48E數(shù)字信號運(yùn)算內(nèi)核,能夠進(jìn)行卷積、除法等復(fù)雜運(yùn)算。利用XC5VLX110T型FPGA內(nèi)的功能內(nèi)核和豐富的存儲資源可以實(shí)現(xiàn)對高幀頻圖像的實(shí)時處理與通信控制等功能,其框圖如圖1所示。
Fig.1 System framework
系統(tǒng)主要由FPGA及外圍電路組成。系統(tǒng)的主要工作過程為圖像接收模塊接收相機(jī)采集到的圖像信號,并將數(shù)字圖像信息傳輸至緩存模塊中,圖像處理模塊從緩存依次提取數(shù)據(jù)并進(jìn)行濾波和光斑中心提取等操作,圖像處理模塊將提取的光斑中心坐標(biāo)值傳輸至信號整合模塊中,信號整合模塊將圖像與其光斑中心坐標(biāo)信息進(jìn)行數(shù)據(jù)合并,通過PCI-e通信模塊將原始圖像信息與光斑中心坐標(biāo)傳輸至主控計(jì)算機(jī)中。
圖像處理模塊是高速激光光斑檢測系統(tǒng)的核心部分,其設(shè)計(jì)工作流程如圖2所示。
Fig.2 Design flow of image processing unit
為保證系統(tǒng)的實(shí)時性,在對圖像進(jìn)行預(yù)處理時設(shè)計(jì)采用空域?yàn)V波,與頻域?yàn)V波相比,F(xiàn)PGA的并行處理機(jī)制更適合實(shí)現(xiàn)空域?yàn)V波算法。數(shù)字圖像信息是1組2維數(shù)字信號,因此在設(shè)計(jì)時首先從2維濾波器入手展開研究,拉普拉斯-高斯(Laplacian of Gaussian,LOG)算子是典型的2維濾波算子。設(shè)原始圖像可以表示為f(x,y),2維LOG算子的定義式為:
式中,σ為原始圖像f(x,y)的高斯分布標(biāo)準(zhǔn)差,算法基本思想如下:圖像以2位數(shù)字信號形式與高斯算子卷積達(dá)到平滑效果,拉普拉斯算子將邊緣點(diǎn)轉(zhuǎn)換成零交叉點(diǎn),通過交叉零點(diǎn)來實(shí)現(xiàn)對圖像邊緣的檢測。由于高斯函數(shù)關(guān)于軸對稱,因此LOG算子屬于各向同性算子,當(dāng)目標(biāo)性狀不規(guī)則時,采用經(jīng)典LOG算子濾波不能對不同方向的邊緣進(jìn)行有效的檢測,而且不利于FPGA進(jìn)行算法實(shí)現(xiàn)。為解決上述問題,本文中提出1維LOG算子概念,其中1維高斯分布函數(shù)為:
式中,μ是高斯分布的期望值。當(dāng)μ=0,對其求二次微分并取反得到1維LOG算子L(x)的表達(dá)式如下:
(3)式是關(guān)于x的一元函數(shù),而待處理圖像均為2維數(shù)字信號,采用1維算子濾波僅能從行方向或列方向?qū)D像進(jìn)行處理,因此需設(shè)計(jì)多方位濾波器對2維數(shù)字圖像信號進(jìn)行濾波。
為表述方便,以整幅圖像的左上角為坐標(biāo)原點(diǎn),行方向從左至右建立x軸,列方向從下至上建立y軸,則原始紅外圖像可以表示為f(x,y),根據(jù)1維LOG算子函數(shù)定義多方位濾波算子如下:
式中,下標(biāo)l是不同方向的濾波算子標(biāo)號,σl表示各方位的高斯分布標(biāo)準(zhǔn)差。將原始圖像同多方位濾波算子進(jìn)行卷積運(yùn)算得到濾波后圖像I(x,y)可表示為:
式中,“*”表示卷積運(yùn)算。(4)式與(5)式表明,多方位濾波算子能夠?qū)υ瓐D像各點(diǎn)與其八鄰域點(diǎn)所構(gòu)成的射線方向?qū)D像進(jìn)行濾波。濾波效果與序列長度Mj(j=1,2,…,8)和 σl有關(guān)。σl越大,對噪聲的濾波效果越好,但會丟失越多的邊緣信息;σl越小,對目標(biāo)的檢測效果越好,但對噪聲的平滑能力就越弱。序列長度越長,濾波效果越好,但各方位的1維濾波算子是關(guān)于變量平方的e負(fù)指數(shù)函數(shù),當(dāng)變量的絕對值很大時,算子函數(shù)值接近于0,因此序列長度過長沒有意義,反而會影響運(yùn)算速度。設(shè)置不同方向的σl值與序列長度可以針對包含不同目標(biāo)類型的圖像進(jìn)行濾波。由于實(shí)際工程中,光斑所成形狀不是嚴(yán)格的圓形,因此通過設(shè)置不同的σl值能夠適合對相應(yīng)形狀光斑的處理。
在閾值分割算法方面,為保證系統(tǒng)實(shí)時性,設(shè)計(jì)中采用控制計(jì)算機(jī)動態(tài)設(shè)定全局閾值;為解決光斑破碎的問題,在閾值分割后進(jìn)行了二值化圖像的形態(tài)學(xué)開運(yùn)算;最后通過FPGA進(jìn)行連通域分析與目標(biāo)提取的操作,確定圖像中是否包含光斑目標(biāo),如果有則輸出目標(biāo)形心的坐標(biāo)值。
搭建的實(shí)驗(yàn)平臺如圖3所示。
Fig.3 Experiment platform
Fig.4 Results of original imagesa—frame 5 b—frame 1143 c—frame 2874 d—frame 3266
Fig.5 Processing resultsa—frame 5 b—frame 1143 c—frame 2874 d—frame 3266
激光器波長為850nm,測得衰減后的輸出功率為10.5nW,相機(jī)是輸出接口為Camera Link的MC-1302型工業(yè)相機(jī),調(diào)整分辨率為300pixel×300pixel,幀率1000Hz,曝光時間0.9ms,主控計(jì)算機(jī)選用Amax某小型工作站。實(shí)驗(yàn)時,激光經(jīng)衰減后照射在相機(jī)上,數(shù)字圖像信號經(jīng)Camera Link口傳輸至光斑檢測系統(tǒng)中,檢測系統(tǒng)將處理后得到的結(jié)果經(jīng)PCI-e傳輸至主控計(jì)算機(jī)上,主控計(jì)算機(jī)能夠顯示并存儲所得到的結(jié)果。圖4是采集得到的原始圖像,圖5是處理后得到的圖像。
實(shí)時輸出的光斑中心形心位置與事后通過MATLAB對原圖質(zhì)心進(jìn)行的比較結(jié)果如表1所示,其中當(dāng)未發(fā)現(xiàn)激光光斑時,給出的目標(biāo)坐標(biāo)值為(0,0)。
Table 1 Comparison between centroid and gravity
通過5000幀圖像實(shí)時形心計(jì)算結(jié)果與事后質(zhì)心計(jì)算結(jié)果進(jìn)行比較,將事后質(zhì)心結(jié)果看作真值,則形心計(jì)算誤差平均值為:x方向0.21pixel,y方向0.15pixel。
經(jīng)測試檢驗(yàn),系統(tǒng)運(yùn)行時,需占用12%的塊隨機(jī)存儲器和54%的運(yùn)算單元,系統(tǒng)硬件延時約4μm,算法延時約12μm,單幅圖像處理時間為0.03ms,小于0.9ms的單幅曝光時間。
設(shè)計(jì)了用于高幀頻序列圖像激光光斑目標(biāo)提取的圖像采集與處理系統(tǒng),系統(tǒng)以現(xiàn)場可編程門陣列為核心器件,系統(tǒng)通過方位濾波器對圖像進(jìn)行預(yù)處理,采用連通域分析提取目標(biāo)形心,實(shí)現(xiàn)了對高幀頻圖像中的激光光斑中心的檢測。該系統(tǒng)應(yīng)用于激光通信系統(tǒng)中,可為動態(tài)鏈路的建立與保持提供必要的實(shí)時參量信息。
[1] GREGORY M,HEINE F,KAMPFNER H,et al.Commercial optical inter-satellite communication at high data rates[J].Optical Engineering,2012,53(3):031202.
[2] SOVA R M,SLUZ J E,YOUNG D W,et al.80Gb/s free-space optical communication demonstration between an aerostat and a ground terminal[J].SPIE,2006,6304:630414.
[3] HU Z,JIANG H L,TONG S F,et al.Research on ATP system technology of laser communication terminal in space[J].Acta Armamentarii,2011,32(6):752-757(in Chinese).
[4] LI X.Optimization research on link and communication performance for intersatellite laser communications[D].Harbin:Harbin Institute of Technology,2013:1-6(in Chinese).
[5] ZHANG H Zh,YAO M,LI P,et al.Research of image processing method of far-field laser spots[J].Laser Technology,2013,37(4):460-463(in Chinese).
[6] LIU H L,HOU W,F(xiàn)AN Y L,et al.An improved algorithm of laser spot center location[J].Computer Measurement & Control,2014,22(1):139-141(in Chinese).
[7] SUN J P,JIANG J.PURE-LET-based fast denoising algorithm for laser spot imagery[J].Journal of China Coal Society,2013,9(9):1710-1714(in Chinese).
[8] SHAO W B.Research on the optimization design for the facular image processing algorithm in satellite optical communications[D].Harbin:Harbin Institute of Technology,2013:22-36(in Chinese).
[9] LU N,KE X Z,ZHANG H.Research on APT coarse tracking in freespace laser communication[J].Infrared and Laser Engineering,2010,39(5):943-949(in Chinese).
[10] CHENG Y.Research on laser spot tracking sysyem for space laser communication[D].Changchun:Changchun University of Science and Technology,2012:12-37(in Chinese).
[11] XU W Y,BAI T Z,LIU Y,et al.Real-time laser facula detection based on top-three-neighborhood-region continuous-pixels numbering[J].Acta Optica Sinica,2013,33(12):138-143(in Chinese).