黃春暉, 趙其杰,2, 柯震南

(1.上海大學機電工程與自動化學院,上海200444;2.上海市智能制造及機器人重點實驗室,上海200072)

在鋼坯表面噴印、刻印標識字符,通過對標識字符的跟蹤識別實現(xiàn)生產(chǎn)和物流的自動化已經(jīng)得到了鋼鐵企業(yè)的廣泛關注[1].由于鋼坯生產(chǎn)環(huán)境存在高溫、危險等不便于人工作業(yè)的情況,通過攝像機采集圖像來檢測識別鋼坯表面的噴印字符具有一定的應用前景[2-3].噴印在鋼坯表面的字符不同于印刷字符.噴印字符往往存在黏連、斷裂等問題,因而從圖像中正確分割出字符區(qū)域及單個字符圖像對于提高字符識別率有重要的意義.

針對噴印在鋼坯表面的字符圖像分割問題,已經(jīng)開展了相關研究.Choi等[4]構造了一種基于邊緣檢測及特征提取的方法,定位并分割噴印字符.洪漢玉等[5]提出了一種基于投影不變量特征的字符定位方法,在復雜光照下能有效實現(xiàn)鋼坯噴印字符的檢測.李潘等[6]提出了一種基于先驗指導的投影分割方法,解決了鋼坯噴印字符分割的問題.Nov′ak等[7]用模糊邏輯方法分析了冷熱態(tài)鋼坯的字符缺損.Zhao等[7]基于顏色信息定位了鋼坯噴印字符串圖像區(qū)域,并對已定位的字符串圖像進行了傾斜校正,進而實現(xiàn)了對噴印字符的圖像分割.以上研究工作為鋼坯表面噴印字符的分割打下了基礎,但受鋼坯生產(chǎn)和字符噴印復雜工況的影響,鋼坯表面噴印字符的黏連、斷裂及細線噪聲干擾等仍然是影響字符分割,造成誤識別的主要原因[8-11].

在前期工作的基礎上,本工作重點研究了在鋼坯表面噴印字符圖像存在多種缺陷情況下的分割方法.基于字符圖像特征,本工作設計了圖像增強和濾波算法,構造了掩膜和二次分割算法改進鋼坯表面噴印字符在黏連、斷裂、細線噪聲干擾等情況下的分割效果,為后續(xù)提高鋼坯表面噴印字符的在線識別創(chuàng)造條件.

1 實驗方法

為了從圖像中分割出鋼坯表面噴印字符,獲得有序單字符區(qū)域集合用于字符識別,本工作提出的圖像分割算法如圖1所示,包括圖像預處理、字符串定位、單字符分割、字符修復等由粗到精的逐步分割步驟.在圖像預處理階段,構造了基于灰度值變換的自適應圖像增強算法,其中灰度化包含字符的圖像,去除了冗余信息,解決了因圖像對比度差造成的分割問題,并利用中值濾波平滑字符信息來濾除隨機噪聲的干擾.在字符串定位階段,設計了對光照不敏感的自適應閾值算法,初步定位了字符區(qū)域,解決了工業(yè)現(xiàn)場字符圖像光照不均造成的分割問題.

本工作通過連通域分析算法初步分割了單字符圖像,并構造了基于形態(tài)學處理、連通域分析及二次分割的綜合處理算法,解決了因黏連、斷裂造成的錯誤分割問題,其中二次分割主要依據(jù)字符圖像的寬度信息實現(xiàn).此外,本工作還構造了一種掩膜保護字符的濾波算法,解決了細線噪聲干擾的分割問題,以達到修復字符的目的,實現(xiàn)對字符的正確分割.

圖1 噴印字符圖像分割算法Fig.1 Image segmentation algorithm for painting characters

本工作通過構造基于灰度值變換的局部自適應增強算法(見式(1)),放大了某像素點灰度值與以該像素點為中心的wm×hm區(qū)域局部像素點集灰度值均值的差值,增強了圖像中的高頻區(qū)域,銳化了圖像,解決了對比度差的問題.

式中:(r,c)為第r行,第c列像素點的坐標值;gresult為經(jīng)過局部自適應增強算法處理后的灰度值;g為處理前的灰度值;gmean為以該像素點為中心的wm×hm區(qū)域局部像素點集灰度值的均值;wm,hm取值由字符線寬確定;f為增強因子,用于調(diào)節(jié)圖像中字符與背景的對比度.

本工作設計了基于圖像差分的自適應閾值算法定位字符串(見式(2)),利用圖像前景與背景的灰度值差值,確定前景區(qū)域,即字符區(qū)域.以原始像素值與背景均值的差值作為區(qū)分前景的特征值,將差值大于閾值的所有像素點的集合作為字符區(qū)域R,初步確定字符串位置,其背景通過均值濾波提取.濾波器的尺寸決定了能被分割出來的物體的尺寸,因此需要根據(jù)字符大小設計濾波器.

式中,R表示最終提取的字符串區(qū)域,gback表示背景灰度值,threshold表示灰度閾值.

2 分割算法

針對字符串定位提取的字符區(qū)域R如圖2所示.本工作基于如式(3)所示的形態(tài)學處理設計了單字符分割算法.圖3為包含斷裂情形的圖像分割處理過程,圖4為包含黏連情形的圖像分割處理過程.首先,利用矩形結構元素(structure element,SE)模型執(zhí)行二值形態(tài)學的開運算,處理字符區(qū)域R存在的輪廓粗糙問題.其次,設計了矩形結構元素及傾斜的矩形結構元素模型執(zhí)行二值形態(tài)學的閉運算,處理字符在各個方向的輕微斷裂及輕微缺損問題,獲得字符串Rstring.再次,對Rstring使用高度為字符高度,寬度為0的矩形結構元素進行處理,處理斷裂缺損較嚴重的情況.之后,提取連通域,初步分割單字符區(qū)域,獲得單字符區(qū)域集Rchars1[],再通過二次分割,解決黏連問題.最后,與經(jīng)過開運算處理的Rstring取交集,恢復被破壞了的字符結構,得到單字符區(qū)域集Rchars2[].最終的分割處理算法如式(4)所示.

式中:Rect(w,h,θ)為寬為 w,高為 h,傾斜角為 θ?的矩形結構元素模型;ROpen(S),RClose(S)分別表示使用結構元素S對區(qū)域R執(zhí)行開運算或閉運算操作,得到的結果仍然是區(qū)域;RConnect()表示連通域運算,提取相互連通的區(qū)域,得到區(qū)域集合;RPartition()表示對區(qū)域集合R進行二次分割.

圖2 字符區(qū)域RFig.2 Region of the characters R

圖3 字符斷裂圖像的分割過程Fig.3 Segmentation process of the disconnected character image

圖4 字符黏連圖像的分割過程Fig.4 Segmentation process of the adhering character image

圖5 含有細線噪聲的字符圖像處理Fig.5 Procedure of character image segmentation including thin line noises

本工作構造的二次分割算法實現(xiàn)如下:根據(jù)字符串圖像的寬度wRstring和字符的個數(shù)nchars,計算出單個字符的平均寬度wm=wRstring/nchars;通過特征提取,統(tǒng)計單字符區(qū)域集Rchars1[]中各個區(qū)域的寬度w[];計算字符寬度w[i]與平均寬度wm的商,并以四舍五入的方式取整為n,n=round(w[i]/wm),若n>1,則認為字符黏連;在n?1個n分點位置左右移動0.2倍平均寬度范圍的2k+1列區(qū)域,其中k=round(wm×0.2),進行豎直方向的投影,即沿豎直方向?qū)υ摿械奶卣骱瘮?shù)進行積分,得到如式(5)所示的積分結果f(t).

式中,I表示圖像,(r,c)∈I表示像素點(r,c)在圖像上,Ct表示圖像第t列像素點的縱坐標,h為圖像高度,χ(r,c)為特征函數(shù),取值{1,0},1表示像素點(r,c)在區(qū)域上.通過式(6)確定投影的波谷位置l,即令f(t)取得最小值的位置為分割線.

本工作提出了一種掩膜保護字符的濾波算法來解決細線噪聲干擾問題,具體流程如圖5所示.首先,將黏連斷裂處理算法最終獲得的單字符區(qū)域集Rchars2[]執(zhí)行區(qū)域合并,用RUnion()表示,并使用足夠?qū)挼木匦谓Y構元素執(zhí)行二值形態(tài)學的閉運算,將字符串區(qū)域整合成一個封閉整體,從而使字符串與細線噪聲區(qū)別顯著.其次,使用足夠?qū)挼木匦谓Y構元素執(zhí)行二值形態(tài)學的開運算,進而通過濾波濾除細線.最后,Rchars2[]與濾除細線后的區(qū)域取交集,恢復字符結構,獲得濾除細線噪聲干擾后的單字符區(qū)域集Rchars3[].算法描述如式(7)所示.

3 實驗驗證

為了驗證所提出算法的有效性,在上海某鋼廠生產(chǎn)現(xiàn)場搭建了實驗平臺(見圖6),在線采集噴印在連鑄鋼坯表面的字符圖像.實驗設備包括多噴頭金屬噴印機、SQ-S20C-H30彩色攝像機、接近日光色并具有防水、防塵、耐高溫的金屬鹵素燈、MIDOPT FS100濾光片和個人計算機.采集的圖像分辨率為400×130,包含需識別的8位數(shù)字字符,字符串所處位置具有235×50的分辨率.圖7為實驗采集到的鋼坯表面噴印字符圖像實例.由于復雜的生產(chǎn)環(huán)境,采集的圖像普遍存在對比度低、黏連、斷裂、細線噪聲干擾等問題.

圖6 實驗環(huán)境Fig.6 Experimental environment

圖7 采集的樣本圖像實例Fig.7 Captured experimental samples

利用本算法設計了圖像分割軟件.軟件具有圖像顯示區(qū)域,可選取各個中間過程的結果進行顯示,實現(xiàn)處理單張樣本、批處理所有樣本并存儲結果到數(shù)據(jù)庫,中間過程以圖片格式保存到計算機.本實驗處理的總樣本數(shù)為1 425個,主要包含黏連、斷裂、細線噪聲干擾等問題,并分別記錄了相應的處理結果.圖像增強結果如圖8所示,其他各類問題圖像的處理效果如圖9～11所示,其中分割出的每個字符用不同的顏色標出.直接根據(jù)連通域進行圖像分割是比較簡潔高效的算法.為比較分割效果,本實驗中對同一對象分別采用連通域分割和本算法處理的結果進行了對比,部分結果如圖12所示.最后對分割的結果進行了統(tǒng)計,其中表1記錄了分割正確率統(tǒng)計結果,表2就本算法與其他算法的分割正確率進行了對比.

圖8 字符圖像增強處理效果Fig.8 Processing results of the character image enhancement

圖9 斷裂類字符分割結果Fig.9 Segmentation results of the disconnected character images

圖10 黏連類字符分割結果Fig.10 Segmentation results of the adhering character images

圖11 細線噪聲干擾字符分割結果Fig.11 Segmentation results of the character images with thin line noises

表1 分割結果統(tǒng)計Table 1 Statistical results of the segmentation

表2 本算法與同類算法的比較結果Table 2 Comparative results of the algorithm and other similar algorithms

從圖9可以看出,由于字符噴印質(zhì)量問題,圖9(a)中第三個字符存在明顯的斷裂現(xiàn)象,二值分割結果(見圖9(b))中字符“7”,“5”,“4”斷裂信息明顯,經(jīng)過處理后得到了正確的分割結果(見圖9(c)).從圖10和11針對黏連、細線噪聲干擾問題的處理結果可以看到,原圖經(jīng)過二值分割處理后可以定位出字符串,但字符黏連和細線噪聲干擾也很明顯.利用本算法進行分割后,黏連和細線噪聲干擾對分割結果造成的影響較小,不同的字符均得到了正確的分割,并以不同顏色標出(見圖10(c)和圖11(c)).從圖12可以看出,對比直接使用連通域分割單字符,本算法對于鋼坯表面字符的處理具有良好的效果,減少了對不完整字符的錯誤分割情況.根據(jù)表1的數(shù)據(jù)分析,本算法在斷裂、黏連和細線噪聲干擾情況下分割的正確率較高,分別達到了98.3%,99.6%,97.9%,分割結果的平均正確率為98.9%.另外,從表2的對比分析結果可見,與本領域其他分割算法比較,雖然在分割正確率方面差異較小,但本算法重點解決了熱態(tài)噴印字符圖像中常見的黏連、斷裂、細線噪聲干擾問題.這些結果均表明,本算法在解決鋼坯表面噴印字符的分割方面有較大的意義.

4 結束語

鋼鐵企業(yè)的制造過程工藝復雜、生產(chǎn)周期長,提高信息化管控可以提高生產(chǎn)效率、降低成本,對提高企業(yè)的市場競爭力具有重要意義.本工作針對鋼鐵企業(yè)信息化系統(tǒng)運行過程中物料編碼的信息提取進行了研究.鋼鐵企業(yè)的工作環(huán)境往往存在高溫、危險,無法近距離作業(yè)等干擾因素,因此需要通過機器視覺遠距離采集鋼鐵材料表面的編碼信息.本工作主要研究了字符圖像的預處理及分割方法.首先,結合噴印字符特點,構造了局部自適應增強算法,并結合濾波進行圖像預處理.其次,通過背景提取及圖像差分構造對光照不敏感的局部自適應閾值算法定位字符串.針對字符常見的黏連、斷裂、細線噪聲干擾等問題,通過連通域分析改進了形態(tài)學方法,并結合投影法構造了黏連斷裂處理算法及掩膜保護的細線噪聲處理算法,實現(xiàn)了由粗到精的分割,改善了字符分割效果.通過對鋼廠現(xiàn)場采集的圖像進行實驗,驗證了本算法對于鋼坯表面噴印字符分割較強的適用性.