趙厚信,陳志榮

(寶山鋼鐵股份有限公司熱軋廠,上海 201900)

在鋼廠,為便于物流跟蹤特別是中間工序的物流跟蹤,需要給待加工材料標(biāo)識(shí)。在前工序給待加工材料噴印號(hào)碼,后工序通過(guò)這一噴印號(hào)碼進(jìn)行材料跟蹤是通用的做法。目前,在熱軋卷取區(qū)域要為每一鋼卷噴上鋼卷號(hào),鋼卷號(hào)是由機(jī)械手自動(dòng)打印,但現(xiàn)有的打印機(jī)械手沒(méi)有視覺(jué)感知功能,無(wú)法判斷打印是否存在缺陷。鋼卷號(hào)打印缺陷將給入庫(kù)及后工序管理造成較大影響。因此,有必要研究一套能適應(yīng)熱軋卷取現(xiàn)場(chǎng)環(huán)境的鋼卷號(hào)自動(dòng)識(shí)別系統(tǒng),該系統(tǒng)可以實(shí)時(shí)檢測(cè)打印機(jī)械手打印鋼卷號(hào)的結(jié)果,一旦發(fā)現(xiàn)缺陷,立即做出報(bào)警或提示。

寶鋼熱軋廠某產(chǎn)線有針對(duì)性地利用智能圖像分割方法、圖像增強(qiáng)和模板匹配算法等技術(shù),對(duì)熱軋鋼板鋼卷號(hào)進(jìn)行高精度識(shí)別,實(shí)現(xiàn)了鋼卷號(hào)自動(dòng)識(shí)別并達(dá)到較好的應(yīng)用效果。

1 熱軋鋼卷號(hào)自動(dòng)設(shè)別系統(tǒng)架構(gòu)

熱軋鋼卷號(hào)識(shí)別系統(tǒng)主要由現(xiàn)場(chǎng)圖像獲取相機(jī)、圖像處理及識(shí)別計(jì)算機(jī)、上位信息設(shè)定PLC及網(wǎng)絡(luò)構(gòu)成,如圖1 所示。在鋼卷號(hào)自動(dòng)識(shí)別系統(tǒng)中,首先工業(yè)相機(jī)將打印機(jī)械手打印的字拍攝成圖像。在拍攝的圖像上進(jìn)行鋼卷號(hào)定位、分割、字符切分等處理,形成規(guī)整化的單個(gè)字符;此后采用模式識(shí)別的相關(guān)技術(shù)對(duì)切割的字符進(jìn)行自動(dòng)識(shí)別。識(shí)別結(jié)果與上位信息設(shè)定PLC跟蹤下發(fā)的鋼卷號(hào)進(jìn)行相應(yīng)核對(duì),核對(duì)結(jié)果發(fā)基礎(chǔ)自動(dòng)化L1系統(tǒng)進(jìn)行后續(xù)控制,如核對(duì)結(jié)果正確,則自動(dòng)放行鋼卷;如果核對(duì)不正確(含噴印字符有缺陷),則L1發(fā)指令讓噴印機(jī)重新噴印及人機(jī)畫(huà)面報(bào)警等。

2 熱軋鋼卷號(hào)自動(dòng)設(shè)別系統(tǒng)的關(guān)鍵技術(shù)

2.1 相機(jī)曝光時(shí)間自動(dòng)校正算法及自動(dòng)增益調(diào)節(jié)實(shí)現(xiàn)

正確識(shí)別鋼卷噴印字符需要有較為清晰的圖像作前提保證。由實(shí)際取得的鋼卷噴印圖像分析可知,實(shí)際鋼卷噴印字符圖像的質(zhì)量(灰度層次)不僅與鋼卷噴印位置的環(huán)境亮度有關(guān),還與鋼卷溫度有關(guān)。由于生產(chǎn)現(xiàn)場(chǎng)環(huán)境比較惡劣,識(shí)別目標(biāo)處在高溫輻射中,目標(biāo)背景十分復(fù)雜,且當(dāng)鋼卷表面溫度達(dá)到700 ℃時(shí),其成像的背景與目標(biāo)顏色幾乎相近且伴有大量的噪聲。如何獲取具有一定質(zhì)量的圖像將影響字符的切割和識(shí)別的正確度。

為獲得較好的圖像質(zhì)量,必須根據(jù)環(huán)境亮度和鋼卷的溫度自動(dòng)調(diào)節(jié)相機(jī)的感光量。相機(jī)的感光量是由相機(jī)的曝光時(shí)間(快門速度)、光圈和感光增益(ISO)組成。本方案中采用定焦鏡頭,將光圈開(kāi)最大,以便獲得足夠的進(jìn)光量,曝光時(shí)間設(shè)置在33 ms(1/30)。通過(guò)調(diào)節(jié)感光增益來(lái)獲取質(zhì)量較好的圖像。通過(guò)對(duì)數(shù)百?gòu)堅(jiān)诓煌瑮l件下獲取的圖像進(jìn)行對(duì)比,選定圖像質(zhì)量(灰度層次)較為理想的圖像進(jìn)行灰度等級(jí)測(cè)定、灰度密度統(tǒng)計(jì),找出灰度密度最大的值作為感光增益調(diào)節(jié)的目標(biāo)值,為設(shè)定灰度。自動(dòng)調(diào)節(jié)感光增益工作過(guò)程:獲取圖像、對(duì)圖像進(jìn)行灰度密度測(cè)定和統(tǒng)計(jì)、獲得密度最高的灰度實(shí)際值,并將此值與設(shè)定灰度值比較,偏差在±5%內(nèi),認(rèn)為是理想圖像,不做調(diào)節(jié),否則就認(rèn)為不理想圖像需進(jìn)行調(diào)節(jié),調(diào)節(jié)后立即進(jìn)行重拍,再進(jìn)行上述過(guò)程,以獲取理想圖像。為了能快速調(diào)節(jié)感光增益,采用增量式數(shù)字比例調(diào)節(jié)器P。通過(guò)增量式數(shù)字P調(diào)節(jié),可以實(shí)現(xiàn)在3次內(nèi)完成相機(jī)感光量調(diào)節(jié),獲得較為理想的圖像,原理如式(1)、(2):

e(k)=Gtarget-GReal(k)

(1)

G(k)=Kp.e(k)+G(k-1)

歐陽(yáng)鋒雙腿發(fā)軟，就差沒(méi)跪在地上：“對(duì)不起，大哥，大姐，都怪我，我喝醉了酒，做了不該做的事，可我真的不是故意的，請(qǐng)?jiān)彛　?/p>

(2)

式中:Gtarget為目標(biāo)灰度值;GReal(k)為k次采樣的實(shí)際灰度值;e(k)為k次采樣的測(cè)量灰度偏差;Kp為灰度增益比例調(diào)節(jié)器比例系數(shù);G(k)為k次采樣的感光增益輸出值;G(k-1)為(k-1)次采樣的感光增益輸出值。

在方案中采用了對(duì)相機(jī)進(jìn)行自動(dòng)增益控制。自動(dòng)增益控制的實(shí)現(xiàn)是取被拍攝鋼卷圖像中部850～1 050列的連續(xù)200個(gè)像數(shù)列,自上而下等分為10個(gè)區(qū)間的灰度進(jìn)行統(tǒng)計(jì),再對(duì)10個(gè)區(qū)間的灰度最大值進(jìn)行平均和排序。找出灰度的最大區(qū)間和最小區(qū)間。把灰度最大區(qū)間作為前景灰度,最小區(qū)間作為背景灰度。當(dāng)背景灰度大于90時(shí),說(shuō)明鋼卷表面溫度超過(guò)700 ℃。如不做增益調(diào)節(jié),產(chǎn)生的圖像如圖2。從圖2可以看到,圖像背景灰度與前景灰度相差無(wú)幾,圖像對(duì)比度很小,灰度層次差。此時(shí),要自動(dòng)減小相機(jī)增益,以降低背景灰度;當(dāng)背景色小于90時(shí),以調(diào)節(jié)圖像前景灰度,使得圖像的前景灰度達(dá)到設(shè)定的前景灰度范圍,提高圖像灰度層次。從圖3可以看出,經(jīng)對(duì)相機(jī)進(jìn)行自動(dòng)增益調(diào)節(jié)后,高溫鋼卷(溫度大于700 ℃)圖像質(zhì)量得到了改善。

2.2 圖像灰度增強(qiáng)的方法

在經(jīng)過(guò)相機(jī)曝光時(shí)間自動(dòng)校正及自動(dòng)增益調(diào)節(jié)后獲取的圖像送后續(xù)處理前,還需要進(jìn)一步預(yù)處理以提高圖像質(zhì)量。系統(tǒng)進(jìn)一步檢測(cè)圖像質(zhì)量,當(dāng)檢測(cè)到圖像最大灰度平均值(前景灰度值)大于105時(shí),系統(tǒng)便對(duì)圖像進(jìn)行增強(qiáng)處理。圖像增強(qiáng)就是把對(duì)比度弱的圖像變成對(duì)比度強(qiáng)的圖像。對(duì)圖像灰度進(jìn)行變換可以使圖像動(dòng)態(tài)范圍增大,對(duì)比度得到擴(kuò)展,使圖像清晰特征明顯[2]。

圖像增強(qiáng)方法有線性和非線性變換。

圖像灰度線性變換:假如原圖像f(x,y)的灰度變換為[a,b],變換后的圖像g(x,y)的灰度范圍線性的擴(kuò)展至[c,d],其數(shù)學(xué)表達(dá)式如式(3):

g(x,y)=(d-c)/(b-a)[f(x,y)-a]+c

(3)

式中:a,b為原圖像灰度區(qū)間;c,d為期望將原圖像變換到目標(biāo)圖像的灰度區(qū)間。

圖像灰度非線性變換:采用非線性變換函數(shù)對(duì)圖像進(jìn)行灰度變換,常用的是指數(shù)變換、對(duì)數(shù)變換,指數(shù)變換表達(dá)式如式(4):

g(x,y)=bc[f(x,y)-a]-1

(4)

式中:a,b,c為可調(diào)整參數(shù),用于調(diào)整曲線的形狀和位置;參數(shù)a決定了指數(shù)函數(shù)曲線的起始位置,參數(shù)c確定了變換曲線的徒度。高灰度區(qū)擴(kuò)展,低灰度區(qū)壓縮。指數(shù)變換用于擴(kuò)展圖像的高灰度區(qū),可用于過(guò)亮的圖像。

對(duì)數(shù)變換其表達(dá)式如式(5):

g(x,y)=a1+{ln[f(x,y)+1]}/(b1lnc1)

(5)

式中:a1,b1,c1為可調(diào)整參數(shù),用于調(diào)整曲線的形狀和位置;參數(shù)a1為變換曲線的起始位置,參數(shù)b1,c1為確定變換曲線的變化速率。低灰度區(qū)擴(kuò)展,高灰度區(qū)壓縮。對(duì)數(shù)變換用于擴(kuò)展低灰度區(qū),適用于過(guò)暗的圖像。

2.3 噴印字體的位置確定和切割方法的研究和實(shí)現(xiàn)

由于待處理的數(shù)字字符圖像一般會(huì)含一些無(wú)關(guān)物體影像,為了從圖形中找到待識(shí)別的數(shù)字字符,需要對(duì)二值化后的圖像進(jìn)行分割來(lái)定位和分離出純數(shù)字字符。現(xiàn)有的單字符分割方法有基于連通域的分割、基于投影的分割、基于區(qū)域聚類的分割等[3]。在經(jīng)過(guò)仿真后,采用了基于連通域的分割方法對(duì)數(shù)字圖像進(jìn)行分割,該方法通過(guò)檢查數(shù)字區(qū)域像素點(diǎn)與其相鄰域像素點(diǎn)的連通性,將不同的連通區(qū)域的位置進(jìn)行標(biāo)記,然后通過(guò)這些位置標(biāo)記提取出相應(yīng)的連通域,便可實(shí)現(xiàn)對(duì)數(shù)字字符的分割。

由于二值化后的圖像很大一片區(qū)域是空白的,為了后續(xù)特征提取效果,加快圖像處理速度,需對(duì)字符進(jìn)行邊緣裁剪,盡量將純數(shù)字字符從圖片中剝離出來(lái)。通過(guò)對(duì)1 000多卷直徑和寬度不一的鋼卷噴印數(shù)字圖像的觀察、分析、歸納和統(tǒng)計(jì),得到噴印數(shù)字的起始位置離卷徑向頂部距離和鋼卷左邊邊沿距離基本不變。通過(guò)上述鋼卷形體識(shí)別研究和實(shí)現(xiàn)獲得的鋼卷徑向邊沿和左側(cè)邊沿來(lái)初步定位數(shù)字的起始位置,然后采用逐行逐列掃描像素方法實(shí)現(xiàn)。

由于噴印機(jī)根據(jù)鋼卷的直徑和板寬來(lái)定位被噴印字體大小和噴印位置,所以得到圖像中字符位置和字體大小是在變化的,如圖4。

通過(guò)對(duì)大量圖像分析得到:大號(hào)字長(zhǎng)度約1 720個(gè)像數(shù),高約170個(gè)像數(shù);中號(hào)字長(zhǎng)度約1 300個(gè)像數(shù),高約130個(gè)像數(shù);小號(hào)字長(zhǎng)度約1 000個(gè)像數(shù),高約100個(gè)像數(shù)。采用了圖像分割和縱橫掃描來(lái)尋找字符在鋼卷上的位置和字符的大小,如圖5。

具體做法是首先搜尋字符在鋼卷上的垂直位置,然后以此高度位置作為垂直中心,高度為500像數(shù),水平位置為1 450像素,寬度470個(gè)像素,在字符尾部截去一個(gè)470×500像數(shù)的圖像,確定字符X方向結(jié)束位置,對(duì)二值圖從右至左進(jìn)行列掃描,當(dāng)連續(xù)兩列“1”的像素點(diǎn)總和>10,認(rèn)為此列為字符結(jié)束列,此列的橫坐標(biāo)就是字符X方向結(jié)束的位置。

通過(guò)上述方法確定了字符X方向結(jié)束位置后,接下來(lái)便確定字符的高度。首先,搜索最后一個(gè)字符的底位置,方法在靠近X軸底處Y方向上從第400行開(kāi)始遂步向上進(jìn)行搜尋,當(dāng)搜索到靠近X軸底處連續(xù)兩行的“1”的像素點(diǎn)總和>10,認(rèn)為此行為字符下沿y2。字符下沿搜索程序如下:在搜索到字符下沿位置后,便繼續(xù)搜索字符上沿,方法是在字符下沿位置減去200(y2>200),作為字符上沿的搜索起始位置。通過(guò)上述步驟,可以確定字符的結(jié)束位置和高度,把字符從整個(gè)圖像中截出。

2.4 噴印字體識(shí)別

由單一字符邊緣裁剪后得到每個(gè)字符大小和位置不一樣,為了給特征體提供方便,需對(duì)數(shù)字字符進(jìn)行歸一化處理。對(duì)頂噴字符只要做大小歸一化處理,而側(cè)噴字符是圓弧排列,故先要對(duì)每個(gè)字符進(jìn)行旋轉(zhuǎn)處理后再做大小歸一化處理。為了提高字體識(shí)別的準(zhǔn)確率,本系統(tǒng)采用了字體模板匹配和字符形體特征比對(duì)技術(shù),并采用在線自學(xué)習(xí)方法來(lái)自動(dòng)豐富字體模板匹配庫(kù)技術(shù),見(jiàn)圖6。

字體模板匹配就是將上述經(jīng)分割歸一后的單個(gè)字符與字體模板匹配庫(kù)中保存的字體樣本逐一進(jìn)行像素?cái)?shù)字減影,然后統(tǒng)計(jì)兩者圖像的重合度。數(shù)字形態(tài)比對(duì)就是每個(gè)數(shù)字字符提取35特征點(diǎn),行向取8條,分別為5、20、40、60、80、100 、20、145;列向取五條,分別為5、25、50、75、95。行與列焦點(diǎn)為數(shù)字的特征點(diǎn)即分別為:

(5,5)、(5,25)、(5,50)、(5,75),(5,95)

(20,5)、(20,25)、(20,50)、(20,75),(20,95)

……

(120,5)、(120,25)、(120,50)、(120,75),(120,95)

(145,5)、(145,25)、(145,50)、(145,75),(145,95)

噴印字體識(shí)別:先進(jìn)行字符模板匹配,將字符和樣本庫(kù)內(nèi)的對(duì)應(yīng)字符進(jìn)行點(diǎn)對(duì)點(diǎn)逐一減影并統(tǒng)計(jì)減影重合數(shù)。當(dāng)重合數(shù)>90%時(shí),比對(duì)通過(guò),噴印正確;當(dāng)重合數(shù)為80%～90%時(shí),需進(jìn)一步做字符形態(tài)比對(duì)。提取的數(shù)字字符特征信息與樣本特征庫(kù)內(nèi)信息比對(duì),比對(duì)次序是根據(jù)鋼卷信息中鋼卷編號(hào),如第一位是2則提取的數(shù)字字符特征信息與樣本庫(kù)內(nèi)與2相關(guān)的11條信息比對(duì),如果與其中某條信息吻合度>90%,則比對(duì)成功,同時(shí)將此字符自動(dòng)添加到字符樣本庫(kù)內(nèi),反之比對(duì)不成功。當(dāng)重合數(shù)<80%及字體形態(tài)特征信息比對(duì)吻合度<80%時(shí),比對(duì)不通過(guò)。噴印的所有字符比對(duì)結(jié)果正確,通過(guò)TCP將原字符傳送到PLC,噴印字符比對(duì)結(jié)果不正確的字符,通過(guò)TCP以“#”字符傳送到PLC進(jìn)行后續(xù)處理。

3 應(yīng)用案例

圖7、8為2020年1月16日自動(dòng)鋼卷識(shí)別系統(tǒng)報(bào)警的一次案例:過(guò)程控制計(jì)算機(jī)L2下發(fā)給噴印機(jī)器人應(yīng)該噴印的鋼卷號(hào)為122417552800,而實(shí)際噴印機(jī)器人噴印的鋼卷號(hào)為122417252800,自動(dòng)鋼卷號(hào)識(shí)別系統(tǒng)自動(dòng)識(shí)別了噴印異常。

4 結(jié)論

由于存在強(qiáng)烈反光,在高溫狀態(tài)下識(shí)別鋼卷噴印字符,長(zhǎng)期以來(lái)一直沒(méi)有得到很好的解決。本文提出的通過(guò)動(dòng)態(tài)相機(jī)感光自動(dòng)校正算法、在線自動(dòng)圖像增強(qiáng)、數(shù)字圖像減影技術(shù)和模板匹配、在線自學(xué)習(xí)模板庫(kù)等技術(shù),系統(tǒng)投入運(yùn)行后實(shí)現(xiàn)了預(yù)期的結(jié)果,為高溫狀態(tài)下不能準(zhǔn)確識(shí)別鋼卷噴印字符難題提供了一種解決思路。