章秀華,鐘 慶,張成軍,潘 凱
(武漢工程大學(xué) 圖像處理與智能控制實驗室,湖北 武漢430205)
鋼坯號自動識別是目前鋼鐵產(chǎn)業(yè)實現(xiàn)智能化生產(chǎn)的首要環(huán)節(jié),是鋼鐵行業(yè)的迫切需求。生產(chǎn)線復(fù)雜場景條件下的鋼坯字符目標(biāo)定位是實現(xiàn)鋼坯號智能識別的關(guān)鍵[1]。目前大多數(shù)的字符定位方法都是在對原圖像分割或分類后的基礎(chǔ)上,對分割、去噪后的結(jié)果圖進(jìn)行水平和垂直方向投影,然后根據(jù)投影圖計算字符行或字符列的位置,如文獻(xiàn)[2-5]中使用的字符定位算法。但對于生產(chǎn)線場景條件下的鋼坯端面字符,由于軋鋼生產(chǎn)線的高溫及復(fù)雜場景等惡劣因素的影響,鋼坯端面字符圖像常存在背景光照不均、生產(chǎn)線上其它非目標(biāo)物體的干擾等情況,且很多情況下目標(biāo)字符還可能存在傾斜等,因此使用這些常規(guī)的方法不能達(dá)到正確定位鋼坯字符目標(biāo)的目的。
針對這一復(fù)雜條件下的鋼坯字符定位問題,文中提出了一種基于鋼坯字符空間一致性字符定位的新方法。將鋼坯字符在空間排列的一致性特征作為定位字符位置的依據(jù),尋找復(fù)雜場景鋼坯圖像上符合這一空間一致性特征的目標(biāo),對鋼坯字符進(jìn)行準(zhǔn)確定位。
大多數(shù)情況下,用于對物體或其它目標(biāo)進(jìn)行標(biāo)示或編號的字符總是在空間中以一定的規(guī)律或順序排列。如圖1中的鋼坯字符在鋼坯端面上的空間位置,它們在空間中呈現(xiàn)水平、垂直或以一定角度排列,整體呈一條直線,單個字符與單個字符之間的距離近似相等,字符的空間位置排列有著一致性。字符的這種空間位置的一致性特征非常顯著,使得圖像上的字符目標(biāo)很明顯的與其他非字符物體區(qū)別開來。
鋼坯生產(chǎn)線環(huán)境極為復(fù)雜,如投射室外光線的玻璃窗戶、一些反射性較強(qiáng)的物體等在灰度上都具有和鋼坯字符相近的灰度值分布,因此在分割后的圖像中除了目標(biāo)字符外,還有大量的非目標(biāo)物體,這些非目標(biāo)物體因其高灰度值也被
圖1 字符在鋼坯端面空間位置上的排列Fig.1 Spatial arrangement of characters on steel billet
根據(jù)以上對字符空間一致性特征的分析,我們提取復(fù)雜場景下的鋼坯端面上的字符空間特征。對采集到的復(fù)雜場景鋼坯圖像進(jìn)行分割后,從分割結(jié)果圖中提取鋼坯字符特征信息。在分割的鋼坯字符圖像二值圖中,各個字符以一定的規(guī)律整齊排列,則形成各字符的連通區(qū)域的質(zhì)心也按相同的規(guī)律排列。連接一排字符中各個連通區(qū)域的質(zhì)心,可以構(gòu)成一條直線,且在該直線上的各相鄰質(zhì)心點之間的距離大致兩兩相等。
根據(jù)上述描述的方法,采用以下步驟方法來對鋼坯字符進(jìn)行特征提取與目標(biāo)字符定位:
1)對復(fù)雜場景下的鋼坯端面目標(biāo)圖像進(jìn)行分割,得到包括鋼坯端面字符目標(biāo)及其它非字符目標(biāo)的二值化圖像;
2)分割后的圖像用值0和255兩個值來填充,分割圖中視為背景的像素灰度值為0,視為非背景區(qū)域的像素灰度值為255,將相連的像素值為255的區(qū)域看做一個連通域,用Ot表示,N為分割圖中像素值為255的連通區(qū)域個數(shù),1≤t≤N;
3)將每一個單獨的連通域視為一個處理目標(biāo),計算每一個連通域目標(biāo)區(qū)域的質(zhì)心,得到分割圖像上每一個連通域目標(biāo)區(qū)域的質(zhì)心分布圖。采用的計算公式為[6]:
上式中n為每個連通域內(nèi)的像素點的個數(shù),xi,yi分別為每個連通域內(nèi)像素的坐標(biāo)值,x,y和分別為每一個計算出來的目標(biāo)連通域的質(zhì)心坐標(biāo)。
根據(jù)鋼坯端面字符在空間排列成一條直線的特點,在上面得到的質(zhì)心分布圖中,采用Hough變換或其他直線檢測方法[7-10]尋找排列成一條直線的所有質(zhì)心點坐標(biāo)(成直線質(zhì)心點的個數(shù)應(yīng)大于2),作為候選目標(biāo)字符區(qū)域,定義候選區(qū)域為Ak,每個A區(qū)域中包含多個連通域O,如圖2所示。若圖中符合條件的區(qū)域個數(shù)為M,則1≤k≤M;
4)計算每一個候選區(qū)Ai中每個當(dāng)前質(zhì)心點與其鄰近的質(zhì)心點之間的歐氏距離,并比較各個距離值的大小:
若每兩點之間與另外兩點的距離值的差均小于設(shè)定的極小值ε,則可確定該質(zhì)點區(qū)域為候選鋼坯端面的目標(biāo)字符區(qū)域;
5)計算候選目標(biāo)字符區(qū)域中每一個目標(biāo)連通區(qū)域的面積,若各個區(qū)域面積值之間的差值均小于設(shè)定的極限值ξ,則該區(qū)域被確定為鋼坯端面的目標(biāo)字符區(qū)域。
圖2 分割圖像中連通區(qū)域質(zhì)心點排列示意圖Fig.2 Diagram of centroid point array of connection area in segmented image
圖3 復(fù)雜生產(chǎn)線場景下的鋼坯端面字符定位Fig.3 Location of steel billet characters in complex production environment
利用本文介紹的處理方法,我們對生產(chǎn)線場景條件下采集到的鋼坯端面字符圖像進(jìn)行了處理,圖3為處理后的結(jié)果。圖3(a)為生產(chǎn)線上采集的鋼坯端面字符圖像,圖3(b)為對原圖進(jìn)行分割后的結(jié)果圖,分割閾值為136。圖3(c)為對圖3(b)進(jìn)行簡單去噪后的結(jié)果。圖3(d)為在去噪后的分割圖基礎(chǔ)上,提取各個連通區(qū)域的質(zhì)心結(jié)果圖。通過在圖3(d)上尋找排列成一條線的質(zhì)心點,并比較它們之間的區(qū)域面積及相互距離等特征,就可以定位出復(fù)雜生產(chǎn)線場景下鋼坯端面上空間位置上排列一致的字符區(qū)域。圖3(e)和圖3(f)分別對應(yīng)的字符區(qū)域質(zhì)心定位和鋼坯端面字符結(jié)果。
本文介紹了一種基于字符在空間排列一致性特征的復(fù)雜生產(chǎn)線場景鋼坯端面字符定位方法。首先對復(fù)雜生產(chǎn)場景鋼坯端面字符圖像進(jìn)行分割,提取連通區(qū)域的質(zhì)心特征,尋找排列成一條線的質(zhì)心點,并比較它們之間的區(qū)域面積及相互距離等特征,定位出復(fù)雜生產(chǎn)線場景下鋼坯端面上空間位置上排列一致的字符區(qū)域。實驗結(jié)果表明本文提出的方法具有可行性和適應(yīng)性。
[1]俞喆俊,洪漢玉,章秀華,等.生產(chǎn)線復(fù)雜場景鋼坯檢測識別的定位方法研究[J].光電工程,2012,39(1):54-61.YU Zhe-jun,HONG Han-yu,ZHANG Xiu-hua,et al.Location method for billet detection and recognition on complex production line[J].Opto-Electronic Engineering.2012,39(1):54-61.
[2]李曉光,李曉華,沈蘭蓀.基于紋理的圖像字符自動定位技術(shù)對比研究[J].電路與系統(tǒng)學(xué)報,2006,11(2):7-11.LI Xiao-guang,LI Xiao-hua,SHEN Lan-sun.Comparative study on texture-based text location techniques in images[J].JOURNALOFCIRCUITSANDSYSTEMS.2006,11(2):7-11.
[3]李俊,陳建勛,熊文龍,等.復(fù)雜背景下鋼材編號提取與字符分割技術(shù)[J].武漢理工大學(xué)學(xué)報(交通科學(xué)與工程版),2006,30(5):915-918.LI Jun,CHEN Jian-xun,XIONG Wen-long,et al.Extraction of steel number and character segmentation usder complex background[J].Journal of Wuhan University of Technology(Transporation Sciences&Engineering,2006,30(5):915-918.
[4]Mandal S,Chowdhury SP,Das A K,et al.Automated detection and segmentation of Table of contents page from document images[C].Proceedings of the seventh International Conference on Document Analysis and Recognition(ICDAR 2003),2003:398-402.
[5]Qixiang Ye,Qingming Huang,Wen Gao,et al.Fast and robust text detection in images and video frames[J].Image and Vision Computing,2005(23):565-576.
[6]Chaudhuri D,Samal D.A simple method for fitting of bounding rectangle to closed regions[J].Pattern Recognition,2007(40):1981-1989.
[7]夏軍營,徐小泉,熊九龍.利用梯度信息快速提取直線邊緣特征[J].中國圖象圖形學(xué)報,2012,17(8):978-994.XIA Jun-ying,XU Xiao-quan,XIONG Jiu-long.Fast ling edge feature extraction using image gradients[J].Journal of Image and Graphics,2012,17(8):987-994.
[8]周云燕,楊坤濤.基于RHT-LSM直線檢測方法的研究[J].光電工程,2007,34(1):55-58.ZHOU Yun-yan,YANG Kun-tao.Mehod for line detection based on RHT-LSM [J].Opto-Electronic Engineering,2007,34(1):55-58.
[9]康文靜,丁雪梅,崔繼文,等.基于改進(jìn)Hough變換的直線圖形快速提取算法[J].光電工程,2007,34(3):105-108,117.KANG Wen-jing,DING Xue-mei,CUI Ji-wen,et al.Fast straight-line extraction algorithm based on improved Hough transform[J].Opto-Electronic Engineering,2007,34(3):105-108,117.
[10]朱院娟,郭斯羽,朱志杰,等.結(jié)合LST和Hough變換的直線檢測算法[J].計算機(jī)工程,2012,38(4):206-210.ZHU Yuan-juan,GUO Si-yu,ZHU Zhi-jie,et al.Line detection algorithm combining LTSwith hough transform[J].Computer Engineering,2012,38(4):206-210.