劉 巍,張 馳,劉 陽,王靈麗,樊超楠,賈振元
(大連理工大學(xué)機(jī)械工程學(xué)院,遼寧大連116024)
基于輔助激光的立體視覺幾何量測(cè)量方法因其非接觸性、高精度、高效率廣泛應(yīng)用于復(fù)雜環(huán)境下大尺寸零件的幾何量測(cè)量當(dāng)中[1]。特別是對(duì)高端核心裝備關(guān)鍵零部件鍛造過程中的在線尺寸測(cè)量尤為重要,該類大型(5 m×10 m范圍)軸類、方形柱類零部件熱態(tài)幾何參數(shù)測(cè)量現(xiàn)場(chǎng)環(huán)境惡劣,因此采用半導(dǎo)體線激光投射到鍛件表面,由光條幾何形狀間接表征待測(cè)鍛件幾何參數(shù)[2]。然而,該類激光器光條截面分布特性各異,導(dǎo)致中心提取精度與穩(wěn)定性較差,目前仍沒有很好地解決辦法。
國(guó)內(nèi)外學(xué)者針對(duì)激光條的快速提取做了很多研究。張旭萍等[3]提出一種基于極線匹配的新的相位一致性的光條中心提取方法,適合處理具有對(duì)稱結(jié)構(gòu)的圖像特征;廈門大學(xué)于永濤等[4]針對(duì)激光掃描過程中鏡面反射造成的激光條干擾,對(duì)異常值進(jìn)行去除;張瑞瑛等[5]提出一種基于感興趣區(qū)域的光條中心提取方法,能夠快速提取過曝的紅外(808nm)激光條中心;孫軍華等[6]提出一種基于卡爾曼濾波的光條區(qū)域預(yù)測(cè)和灰度最大值、Hessian矩陣相結(jié)合的中心提取方法,與經(jīng)典的Steger方法對(duì)照誤差為0.02 pixel。但是以上方法并沒有很好的解決針對(duì)半導(dǎo)體激光器發(fā)光原理導(dǎo)致的激光條能量非高斯非對(duì)稱分布的提取問題。所以本文提出了一種基于高斯混合模型的圖像多激光條的搜索以及提取方法。
本文首先研究激光散斑對(duì)光條成像質(zhì)量的影響機(jī)理以確定圖像濾波方法,并以此為基礎(chǔ)采用OTSU方法[7]對(duì)光條位置進(jìn)行粗定位,為光條中心點(diǎn)精提取奠定基礎(chǔ)。通過對(duì)光條橫截面分布的分析,提出了可準(zhǔn)確描述這種非高斯非對(duì)稱分布特性的高斯混合模型,確定亞像素中心極值點(diǎn)坐標(biāo)作為光條每行橫截面的特征點(diǎn)坐標(biāo)。具體提取流程為高斯混合模型擬合確定光條分布類型,再以鄰近行中心極值點(diǎn)鄰域進(jìn)行二項(xiàng)式擬合求該行中心極值位置,實(shí)驗(yàn)結(jié)果證明了提取方法的精度與穩(wěn)定性。
圖像采集后得到的數(shù)字圖像包含成像過程中的CCD成像器件噪聲、圖像采集卡噪聲,而且作為圖像采集對(duì)象的激光條有散斑現(xiàn)象,嚴(yán)重影響激光成像質(zhì)量。散斑是一種顆粒噪聲,普遍存在于光學(xué)成像的過程中,由于激光的高度相干性,激光散斑現(xiàn)象更加明顯[8],因此去除激光的散斑噪聲是圖像預(yù)處理的主要目的,典型的散斑顆粒圖像如圖1所示。
圖1 含有散斑顆粒噪聲的光條圖像Fig.1 Image of laser stripe with speckle-noised
散斑對(duì)激光強(qiáng)度的影響用散斑的對(duì)比度表示。如果散射體表面足夠粗糙,對(duì)比度為1。散斑屬于乘性噪聲,即散斑噪聲在圖像中伴隨著激光存在,對(duì)激光條上像素的灰度值產(chǎn)生很大影響;因此,建立圖像中像素點(diǎn)(u,v)坐標(biāo)處含有散斑噪聲與圖像采集系統(tǒng)噪聲的激光灰度值Iim(u,v)公式:
式中,Ila(u,v)為無散斑影響的激光灰度值,θsp(u,v)表示像素點(diǎn)(u,v)為中心m×n大小的δ鄰域內(nèi)樣本的散斑對(duì)比度;In(u,v)表示圖像采集中成像與采集器件的噪聲,相較于散斑噪聲其值較小,可以忽略不計(jì)[9]。
頻域?yàn)V波適合去除全圖中分布的噪聲信息,而散斑噪聲只存在激光里,因此不適合在頻域處理??沼?yàn)V波是根據(jù)鄰域灰度分布情況直接改變像素點(diǎn)灰度值的特性,而空域?yàn)V波方法中均值濾波方法的原理為用m×n鄰域內(nèi)的像素灰度均值代替原像素灰度值,適用于去除顆粒狀分布的噪聲,平滑原始圖像的灰度分布。因此,選用均值濾波方法去除散斑噪聲這種顆粒噪聲對(duì)激光灰度的影響。
線性激光器投射在物體表面形成具有一定寬度的激光條,需要細(xì)化為無寬度的坐標(biāo)才可以完成立體視覺匹配。而不同的半導(dǎo)體激光器產(chǎn)生的激光條截面分布特性不同,給提取帶來困難。我們對(duì)10臺(tái)功率范圍在300~1100 mW可調(diào)的450 nm激光器進(jìn)行研究,將其投射在漫反射平面上,分析發(fā)現(xiàn):激光器輸出參數(shù)的微小變化對(duì)分布有很大影響;不同激光器在不同功率下的光條截面分布特性各異,如圖2所示,且主要呈現(xiàn)以下3種波形分布:單峰光條(圖2(b))、雙峰光條(圖2(c))、三峰光條(圖2(d))。
圖2 激光條灰度分布三維圖Fig.2 Gray distribution of laser strips
由激光條截面灰度分布可以看出,所有光條橫截面光強(qiáng)均呈單峰或多峰模式的分布特性,且分布特性受拍攝角度影響,并非中心對(duì)稱分布。半導(dǎo)體激光器采用激光二極管作為發(fā)光單元,這種激光二極管由多個(gè)相互耦合的條形有源區(qū)構(gòu)成,光條截面分布特征十分復(fù)雜。目前國(guó)內(nèi)外學(xué)者常用的光束模型近似表達(dá)式有厄米高斯模型、貝塞爾高斯模型及高斯-謝爾模型、拉蓋爾高斯模型、厄米正弦高斯模型和厄米雙曲正弦高斯模型[10]等。這些模型雖然能夠描述單峰或雙峰模式的光條分布,但不能真實(shí)反映實(shí)際觀測(cè)到的三峰模式光條。根據(jù)激光條的實(shí)際分布狀態(tài),建立符合半導(dǎo)體激光器橫截面光強(qiáng)分布的高斯混合模型,如公式(3)所示:
用高斯混合分布模型擬合三種典型波形效果如圖3所示。
我們稱光強(qiáng)分布的中心波峰/中心波谷為中心極值點(diǎn),由圖3可以看出擬合曲線與原始數(shù)據(jù)貼合,中心極值點(diǎn)位置擬合精度很高。以擬合優(yōu)度(公式(4))作為高斯混合模型與實(shí)際光條橫截面光強(qiáng)分布符合程度的評(píng)價(jià)公式,檢驗(yàn)?zāi)P蛿M合程度。
圖3 激光條橫截面灰度分布高斯混合模型擬合結(jié)果Fig.3 Curve fitting for the cross section gray distribution of laser strips based on Gaussian mixture model
計(jì)算不同激光器不同功率下的擬合優(yōu)度,圖4顯示了1號(hào)~5號(hào)激光器的300~1100 mW的擬合度。模型的擬合優(yōu)度均高于0.94,因此模型可以真實(shí)準(zhǔn)確地描述半導(dǎo)體線激光的橫截面光強(qiáng)分布。
圖4 不同激光器擬合度圖Fig.4 Comparison of fitting degree between different lasers
在對(duì)激光條中心線進(jìn)行精提取之前,需要對(duì)激光條進(jìn)行粗定位,確定初始位置。本文采用OTSU法[7]對(duì)圖像二值化,OTSU是一種基于最大類間方差的確定灰度閾值的圖像前景與背景分割方法,可以準(zhǔn)確高效地對(duì)圖像激光條的位置進(jìn)行粗定位,將光條與背景分離,確定光條的中心精提取的處理范圍,為精提取提供基礎(chǔ)。
物體表面某一點(diǎn)鄰域內(nèi)在兩個(gè)相機(jī)中所成的像的灰度模式是相似的。相機(jī)從不同角度接收光條發(fā)光,其橫截面分布會(huì)被壓縮或拉伸[11]。但其中心極值點(diǎn)的相對(duì)位置不變,特性穩(wěn)定,選取光條橫截面的中心極值點(diǎn)作為左右圖像的匹配點(diǎn)特征。光條提取的目的即為提取光條橫截面中心極值坐標(biāo)點(diǎn)連線——中心極值線,作為左右相機(jī)的匹配特征線。
對(duì)于高斯混合分布模型,以MATLAB擬合9個(gè)參數(shù)的3階高斯混合模型為例,單次擬合時(shí)間約為0.25 s,速度較慢,考慮采用其他方法進(jìn)行擬合。
考慮物體表面的小區(qū)域,可以假設(shè)它是光滑連續(xù)的[11],因此在光條縱向上認(rèn)為其中心極值點(diǎn)的位置在連續(xù)兩行像素上相差較小。將第i行光條橫截面采用高斯混合模型擬合,求出中心點(diǎn),在第(i+1)行采用二項(xiàng)式I=au2+bu+c擬合,擬合范圍是以第i行中心極值點(diǎn)ui為中心的σ像素鄰域,那么第(i+1)行中心極值點(diǎn)ui+1的位置為擬合曲線的極值位置,依此類推。光條中心點(diǎn)搜索的示意圖如圖5所示。二項(xiàng)式擬合較高斯混合模型擬合參數(shù)少、運(yùn)算速度快,處理效率大大提高。每隔n行采用高斯混合模型擬合進(jìn)行中心極值點(diǎn)校準(zhǔn),保證中心點(diǎn)提取的穩(wěn)定性。
圖5 中心點(diǎn)逐行搜索示意圖Fig.5 Scheme of searching in line-by-line format
光條中心線精提取的流程如下:
1)每隔n行對(duì)截面進(jìn)行高斯混合模型擬合,用最小二乘法進(jìn)行多階高斯混合模型參數(shù)估計(jì);設(shè)光條長(zhǎng)度為m,共有m/n行采用高斯混合模型擬合;
2)以第i行為起始搜索行向下進(jìn)行搜索,在第i+1行選擇第i行中心極值點(diǎn)位置為中心的σ像素鄰域內(nèi)以二項(xiàng)式擬合,將其極值位置作為第i+1行中心極值點(diǎn)位置。光條中心線提取的總體流程圖如圖6所示。
通過實(shí)驗(yàn)提取漫反射表面的三種類型光條中心,驗(yàn)證其提取效果與精度。圖7為實(shí)驗(yàn)系統(tǒng)圖,實(shí)驗(yàn)采用波長(zhǎng)450 nm的激光器在均勻漫反射表面投射多激光條,采用分辨率為4008 pixel×2672 pixel的相機(jī)加裝(450±20)nm的濾光片采集特征圖像,焦距35 mm,光圈數(shù)F8,兩相機(jī)間距2 m,相機(jī)距投射表面4 m,激光器距投射表面5 m。
圖6 光條中心線提取方法流程圖Fig.6 Flow chart of centerline extraction for laser stripes
首先用大小5×5的均值模板對(duì)原圖濾波去噪,濾波前后的光條灰度分布效果對(duì)比如圖8所示,均值濾波后消除了散斑對(duì)激光光強(qiáng)分布造成的顆粒噪聲,保留了激光的波形信息。通過OTSU法粗定位,如圖9(a)所示,由于激光器波長(zhǎng)在濾光片通帶范圍以及相機(jī)的感光波段內(nèi)且能量集中,因此光條亮度較高,閾值法處理效果較好,再用圖像處理形態(tài)學(xué)方法中的小面積連通模板去除非光條的小連通區(qū)域,如圖9(b)所示,即可標(biāo)記出圖像中所有的光條區(qū)域。然后提取上文中提及的三種典型的光條的中心線點(diǎn),如圖10所示,本文方法可以完整地提取光條中心線。單峰結(jié)構(gòu)光條分布特性簡(jiǎn)單,現(xiàn)有的方法與本文方法均可準(zhǔn)確的提取中心點(diǎn)。然而雙峰結(jié)構(gòu)與三峰結(jié)構(gòu)的光條分布特性較復(fù)雜,現(xiàn)有方法不能準(zhǔn)確描述光條分布特性,提取結(jié)果不理想,不同方法中心提取結(jié)果對(duì)比如圖11所示。圖中可以看出本文提取方法最接近中心極值,能夠真實(shí)反映中心極值點(diǎn)位置,性質(zhì)穩(wěn)定,能夠得到左右圖像的光條有效對(duì)應(yīng)特征,保證立體視覺測(cè)量的匹配精度。圖12為采用灰度重心方法與本文方法提取中心線的結(jié)果,可以看出本文提取方法比灰度重心法更符合光條中心極值線。由于激光投射的漫反射表面平面度誤差小于<0.3 mm,小于相機(jī)單像素分辨率,對(duì)光條的所有數(shù)據(jù)點(diǎn)進(jìn)行直線擬合,理想情況下,提取的所有中心點(diǎn)應(yīng)在同一條直線上,用提取結(jié)果擬合直線后,計(jì)算數(shù)據(jù)點(diǎn)到直線的距離,用均方差表示中心線提取的穩(wěn)定性,如表1所示,三根光條均方差均小于0.22 pixel,表明提出的中心提取方法穩(wěn)定性較好,滿足測(cè)量要求。
圖8 激光條灰度分布圖Fig.8 Gray distribution of the laser stripe
圖9 激光條粗定位Fig.9 Rough region positioning for laser stripes
圖10 光條中心線提取方法結(jié)果Fig.10 Centerline extraction results of laser stripes
圖11 不同方法提取結(jié)果對(duì)比Fig.11 Result comparison of different extraction methods
圖12 本文方法與灰度重心法對(duì)比Fig.12 Result comparison between the proposed extraction method and gray weighted centroid extraction method
表1 光條中心線提取誤差Tab.1 Centerline extraction error of laser stripes
本文提出了一種基于高斯混合模型的激光條中心線提取方法,能夠根據(jù)建立的光條法向橫截面的光強(qiáng)分布模型,確定這種非高斯非對(duì)稱分布的光條在左右圖像對(duì)應(yīng)的特征中心極值線,較傳統(tǒng)中心提取方法精度高,提取精度達(dá)到亞像素級(jí),穩(wěn)定性較好,滿足測(cè)量要求。
[1] NIE Shaomin,LI Shukui.Review of on-line dimension measurement for hot large forging[J].Metal Working,2008,(11):22-25.(in Chinese)聶紹珉,李樹奎.大鍛件熱態(tài)在線尺寸測(cè)量研究綜述[J].金屬加工:熱加工,2008,(11):22-25.
[2] LIU Wei,LIU Shuangjun,JIA Zhenyuan,et al.Study on on-line measurement system of dimension for hot heavy forging[J].Piezoelectrics&Acoustooptics,2011,33(5):831-836.(in Chinese)劉巍,劉雙軍,賈振元,等.大型鍛件尺寸在線測(cè)量系統(tǒng)研究[J].壓電與聲光,2011,33(5):831-836.
[3] ZHANG Xuping,WANG Jiaqi,ZHANG Yixin,et al.Large-scale three-dimensional stereo vision geometric measurement system[J].Acta Optica Sinica,2012,32(3):140-147.(in Chinese)張旭蘋,汪家其,張益昕,等.大尺度三維幾何尺寸立體視覺測(cè)量系統(tǒng)實(shí)現(xiàn)[J].光學(xué)學(xué)報(bào),2012,32(3):140-147.
[4] Yu Y,Li J,Jia F,et al.Three-dimensional object matching in mobile laser scanning point clouds[J].IEEE Geoscience and Remote Sensing Letters,2014,12(3):492-496.
[5] ZHANG Ruiying,ZHOU Ping,F(xiàn)ENG Xu,et al.Rapid extraction of line-structured light stripe in large field of view[J].Journal of Applied Optics,2010,31(3):432-436.(in Chinese)張瑞瑛,周萍,馮煦,等.大視場(chǎng)下線結(jié)構(gòu)光光條中心的快速提?。跩].應(yīng)用光學(xué),2010,31(3):432-436.
[6] SUN Junhua,WANG Heng,LIU Zhen,et al.Rapid extraction algorithm of laser stripe center in rail wear dynamic measurement[J].Optics and Precision Engineering,2011,19(3):690.(in Chinese)孫軍華,王恒,劉震,等.鋼軌磨耗動(dòng)態(tài)測(cè)量中激光光條中心的快速提取[J].光學(xué) 精密工程,2011,19(3):690.
[7] Otsu N.Discriminant and least square threshold selection[C].Proc 4IJCPR,1978:592-596.
[8] WEN Donghai,JIANG Yuesong,ZHANG Xuguo,et al.Speckle characteristics of laser radar polarization imaging and despecking algorithm[J].Acta Optica Sinica,2013(3):122-129.(in Chinese)聞東海,江月松,張緒國(guó),等.激光偏振成像散斑統(tǒng)計(jì)特性和抑制方法研究[J].光學(xué)學(xué)報(bào),2013(3):122-129.
[9] XU Xiuzhen,LI Zitian,XUE Lijun.Analysis and processing of CCD noise[J].Infrared and Laser Engineering,2004,33(4):343-346.(in Chinese)許秀貞,李自田,薛利軍.CCD噪聲分析及處理技術(shù)[J].紅外與激光工程,2004,33(4):343-346.
[10] LIANG Yiping,HE Huawei,XIONG Lingling,et al.A partial-coherence model describing the far-field distribution of laser diode[J].Acta Optica Sinica,2010(8):2180-2184.(in Chinese)梁一平,何華偉,熊玲玲,等.激光二極管遠(yuǎn)場(chǎng)分布的部分相干模型[J].光學(xué)學(xué)報(bào),2010(8):2180-2184.
[11] Berthold K P Horn.Robot Vision[M].Beijing:China Youth Publishing,2014.(in Chinese)Berthold K P Horn.機(jī)器視覺[M].王亮,蔣欣蘭,譯.北京:中國(guó)青年出版社,2014.