劉硯菊,李云功,宋建輝,于 洋

(沈陽理工大學(xué) 自動(dòng)化與電氣工程學(xué)院,沈陽110159)

輪廓是一種高級(jí)的視覺信息,即使當(dāng)圖像失去顏色或紋理特征時(shí),人眼仍能根據(jù)輪廓識(shí)別出目標(biāo)的類別。形狀上下文算法因?yàn)樘崛〉奶卣鼽c(diǎn)集為輪廓點(diǎn)集,點(diǎn)集性質(zhì)好、改進(jìn)余地大、抗干擾性強(qiáng)等優(yōu)點(diǎn)廣泛的應(yīng)用于圖像識(shí)別領(lǐng)域。李金屏等[1]使用距離函數(shù)作為角度的邊界標(biāo)記方法來解決移動(dòng)物體的平移、縮放和旋轉(zhuǎn)不變性,并判斷物體是否會(huì)碰撞,但沒有對(duì)目標(biāo)進(jìn)行識(shí)別。吳曉雨等[2]通過找到輪廓采樣點(diǎn)最多的區(qū)間,并與庫中圖像對(duì)比,找到誤差允許范圍內(nèi)的對(duì)應(yīng)區(qū)間,兩個(gè)區(qū)間相減得到旋轉(zhuǎn)區(qū)間個(gè)數(shù);經(jīng)過旋轉(zhuǎn),使形狀上下文算法具有旋轉(zhuǎn)不變性,但此算法計(jì)算量大。范為等[3]通過對(duì)手指建模,基于改進(jìn)型形狀上下文描述符來進(jìn)行手勢(shì)識(shí)別。卜琰等[4]運(yùn)用直方圖結(jié)合Harris角點(diǎn)進(jìn)行特征生成與匹配,以改進(jìn)形狀上下文特征檢測(cè)算法,但Harris角點(diǎn)可能存在漏檢和誤檢。

本文提出基于邊界標(biāo)記的形狀上下文目標(biāo)識(shí)別方法,使得形狀上下文算法能用于物體旋轉(zhuǎn)時(shí)的識(shí)別。

1 基于邊界標(biāo)記的形狀上下文目標(biāo)識(shí)別

首先提取出目標(biāo)輪廓,消除輪廓細(xì)小片段,獲得形狀圖;然后計(jì)算目標(biāo)形狀圖的重心,計(jì)算重心點(diǎn)到輪廓邊界各個(gè)點(diǎn)的距離,得到距離為弧長函數(shù)[5]的邊界標(biāo)記;最后運(yùn)用形狀上下文對(duì)目標(biāo)物體進(jìn)行識(shí)別,得到識(shí)別結(jié)果。

1.1 形狀獲取及重心計(jì)算

根據(jù) Gestalt 視覺心理學(xué)[6],人類視覺在獲得圖像信息時(shí),首先獲得的是圖像的特征區(qū)域,即明顯的邊緣部分,然后才是圖像中的細(xì)節(jié),可見圖像的邊緣特征對(duì)于目標(biāo)識(shí)別具有更重要的意義[7]。輪廓檢測(cè)是基于輪廓的目標(biāo)檢測(cè)方法的一個(gè)重要步驟,輪廓檢測(cè)方法的好壞直接影響目標(biāo)檢測(cè)的結(jié)果。

雖然在利用形狀信息的物體識(shí)別中,研究者采用了不同的邊緣檢測(cè)方法實(shí)現(xiàn)了較好的效果,但在邊緣檢測(cè)實(shí)現(xiàn)中沒有較好的質(zhì)量評(píng)估標(biāo)準(zhǔn)。目前用的較多的是Berkeley邊緣檢測(cè)方法及Canny邊緣檢測(cè)方法。Canny算法適用于不同的場(chǎng)合,其參數(shù)可根據(jù)不同實(shí)現(xiàn)的具體要求進(jìn)行調(diào)整,從而達(dá)到良好的檢測(cè)結(jié)果。為此本文首先對(duì)自然圖像進(jìn)行平滑,再用Canny算子提取輪廓。平滑后摩托車用Canny算子提取的輪廓如圖1所示。

從圖1可以看出,Canny算子初步提取出來的輪廓,其中有許多不重要或?qū)ψR(shí)別有影響的細(xì)小片段,為此需要進(jìn)一步處理,消除這些細(xì)小的片段。經(jīng)過處理后的輪廓如圖2所示。

重心可表示物體質(zhì)量的中心,又可表示幾何上的中心即物體為均質(zhì)時(shí)的形心。重心的相對(duì)位置不會(huì)隨著物體的平移、旋轉(zhuǎn)、縮放的改變而改變,所以本文選用重心作為參考點(diǎn)來進(jìn)行邊界標(biāo)記。摩托車形狀圖的重心計(jì)算結(jié)果如圖3所示。

圖1 Canny算子提取的摩托車輪廓

圖2 進(jìn)一步處理后的摩托車輪廓

圖3 摩托車重心

1.2 邊界標(biāo)記

在表示邊界的方法中,標(biāo)記方法是邊界的一維函數(shù)表達(dá)式。生成邊界標(biāo)記的方法有很多,但不管標(biāo)記以哪種方式生成,基本思想都是通過不同的投影技術(shù)以1-D描述函數(shù)的形式來表達(dá)2-D的邊界[5]。

邊界的標(biāo)記可從沿著邊界的一點(diǎn)開始在目標(biāo)周圍逐漸進(jìn)行。如果將每個(gè)邊界點(diǎn)和目標(biāo)重心之間的距離作為邊界點(diǎn)序列的函數(shù),此函數(shù)被稱為距離為弧長的函數(shù)。首先從任一點(diǎn)開始計(jì)算重心到輪廓邊界點(diǎn)的距離,然后找到重心到邊界點(diǎn)的最遠(yuǎn)距離,記錄此點(diǎn),以此點(diǎn)為始點(diǎn)重新獲得重心到輪廓邊界點(diǎn)的距離圖。圖4為摩托車輪廓邊界圖。圖5為歸一化后的摩托車輪廓邊界標(biāo)記圖。

圖4 摩托車輪廓圖

圖5 歸一化后摩托車輪廓邊界標(biāo)記圖

圖5中橫坐標(biāo)表示輪廓的序列點(diǎn),縱坐標(biāo)表示重心到輪廓邊界點(diǎn)的距離。

設(shè)重心為(xm,ym),輪廓邊界點(diǎn)為(x,y),則重心到邊界點(diǎn)的距離d見式(1)。

(1)

1.3 平移、縮放和旋轉(zhuǎn)不變性

顯然,距離為弧長的邊界標(biāo)記方法對(duì)平移變換具有不變性。從物體邊界到重心的距離將隨著物體的縮放而在數(shù)值上改變,但在歸一化數(shù)據(jù)后,可達(dá)到保留物體形狀信息的效果;此時(shí)雖然距離發(fā)生了變化,但運(yùn)用形狀上下文算法進(jìn)行識(shí)別,目標(biāo)的縮放不會(huì)影響結(jié)果。圖6為縮放0.5倍的邊界標(biāo)記圖。

圖6 縮放0.5倍的邊界標(biāo)記圖

由圖6可看出,橫縱坐標(biāo)都縮小了0.5倍,用1.2節(jié)提到的歸一化方法處理后的邊界標(biāo)記如圖7所示,與圖5相比雖然橫縱坐標(biāo)都縮小了0.5倍,但形狀非常相似。

圖7 縮放0.5倍歸一化后的邊界標(biāo)記圖

物體旋轉(zhuǎn)一定角度后,其重心發(fā)生了變化,但此時(shí)物體到輪廓邊界點(diǎn)的相對(duì)距離沒有變化,只是與原重心到輪廓點(diǎn)的距離相比角度發(fā)生了相應(yīng)的變化。圖8為旋轉(zhuǎn)60°后的邊界標(biāo)記圖。

為保證旋轉(zhuǎn)不變性,首先從任一點(diǎn)開始計(jì)算重心到輪廓邊界點(diǎn)的距離,從中找到重心到邊界點(diǎn)的最遠(yuǎn)距離,記錄此點(diǎn),以此點(diǎn)為始點(diǎn)重新得到重心到輪廓邊界點(diǎn)的距離圖。圖9為歸一化后的邊界標(biāo)記圖。

圖8 旋轉(zhuǎn)60°的邊界標(biāo)記圖

圖9 旋轉(zhuǎn)60°歸一化后的邊界標(biāo)記圖

由圖9可以看出,歸一化后的標(biāo)記圖與圖5不論大小還是形狀都一樣。

縮放和旋轉(zhuǎn)經(jīng)常同時(shí)發(fā)生,圖10為摩托車輪廓在縮放0.5倍、旋轉(zhuǎn)60°時(shí)的標(biāo)記圖。

與圖8相比,橫縱坐標(biāo)縮小了0.5倍,形狀沒有發(fā)生變化。對(duì)輪廓邊界點(diǎn)距離進(jìn)行歸一化處理后的邊界標(biāo)記圖如圖11所示,圖11與圖7相比形狀與大小都沒有發(fā)生變化。

1.4 相似性度量

形狀上下文特征是一種常用的形狀描述子,主要用于形狀匹配和目標(biāo)識(shí)別。其采用了一種基于形狀輪廓的特征描述方法,利用直方圖描述對(duì)數(shù)坐標(biāo)系下的形狀特征,可很好地反映輪廓上采樣點(diǎn)的分布情況[8]。

圖10 縮放0.5倍、旋轉(zhuǎn)60°邊界標(biāo)記圖

圖11 縮放0.5倍、旋轉(zhuǎn)60°歸一化后邊界標(biāo)記圖

形狀上下文基于對(duì)物體輪廓采樣點(diǎn)進(jìn)行描述,預(yù)處理工作:邊緣提取、均勻采樣,得到一組物體形狀點(diǎn)P={pi,i=1,2,…n},每個(gè)點(diǎn)的形狀信息由所有其它點(diǎn)形成的相對(duì)矢量表示。在對(duì)數(shù)極坐標(biāo)系中,與單個(gè)點(diǎn)相鄰的點(diǎn)(在極坐標(biāo)覆蓋范圍內(nèi))落入不同的小格子,表示不同的相對(duì)向量,成為點(diǎn)的形狀上下文。

輪廓片段P的某點(diǎn)pi和輪廓片段Q的某點(diǎn)qj的匹配代價(jià)Cij如公式(2)所示。

(2)

式中,k={1,2,…K},K為小格子個(gè)數(shù);hi(k)為目標(biāo)P的點(diǎn)pi的形狀直方圖;hj(k)為目標(biāo)Q的點(diǎn)qi的形狀直方圖。

在求得各點(diǎn)間的差異后,形成代價(jià)矩陣,然后運(yùn)行最優(yōu)匹配算法(匈牙利算法)找到使代價(jià)最小的最優(yōu)匹配。最后,基于這種最佳匹配,可得到整個(gè)形狀代價(jià),該代價(jià)可用來衡量兩種形狀之間的差異。代價(jià)越小,形狀越相似。形狀代價(jià)如式(3)所示。

(3)

式中：π代表一個(gè)排列組合；C(pi,qπ(i))表示代價(jià)矩陣。

T用于衡量形狀之間的變換,因此最終的形狀距離可以通過如下的計(jì)算來表示。

(4)

式中Dsc(P,Q)為輪廓分段P和Q的形狀上下文距離;n為輪廓分段P的點(diǎn)數(shù);m為輪廓分段Q的點(diǎn)數(shù)。

最后,以形狀距離為基礎(chǔ),對(duì)兩種形狀之間的差異進(jìn)行衡量,并對(duì)目標(biāo)識(shí)別進(jìn)行進(jìn)一步研究。

2 試驗(yàn)和分析

為驗(yàn)證邊界標(biāo)記的形狀上下文算法的有效性,分別對(duì)物體的縮放、旋轉(zhuǎn)、旋轉(zhuǎn)加縮放進(jìn)行實(shí)驗(yàn)。

摩托車縮放2倍并歸一化的邊界標(biāo)記如圖12所示。

圖12 縮放2倍歸一化邊界標(biāo)記圖

圖12與圖5相比,橫縱坐標(biāo)都放大了兩倍,形狀沒有變化。

摩托車在旋轉(zhuǎn)30°、60°、90°情況下,歸一化后的邊界標(biāo)記圖并無差別,皆如圖13所示。

圖13 旋轉(zhuǎn)30°歸一化的邊界標(biāo)記圖

摩托車在旋轉(zhuǎn)30°縮放0.5倍、旋轉(zhuǎn)90°縮放2倍的情況下,進(jìn)行歸一化后的邊界標(biāo)記圖分別如圖14、圖15所示。

圖14 旋轉(zhuǎn)30°縮放0.5倍歸一化的邊界標(biāo)記圖

可以看出,圖14、圖15僅在橫縱坐標(biāo)上有差別,在形狀上非常相似。

摩托車的輪廓邊界經(jīng)過邊界標(biāo)記并歸一化處理后,運(yùn)用形狀上下文算法對(duì)目標(biāo)進(jìn)行識(shí)別,求得與原圖的Dsc,如表1所示,表中SF代表縮放,XZ代表旋轉(zhuǎn);對(duì)表中每一種情況計(jì)算3次Dsc,以此驗(yàn)證本文算法的穩(wěn)定性。

從表1可以看出,目標(biāo)在旋轉(zhuǎn)時(shí),Dsc最小;在縮放和縮放加旋轉(zhuǎn)的情況下,Dsc次之;與旋轉(zhuǎn)相比波動(dòng)幅度很小。本文算法在縮放、旋轉(zhuǎn)、縮放加旋轉(zhuǎn)的情況下保持了較好的識(shí)別。

圖15 旋轉(zhuǎn)90°縮放2倍歸一化的邊界標(biāo)記圖

實(shí)驗(yàn)方法DscSF0.5倍0.02970.02850.0312SF2倍0.03200.03160.0359XZ30°0.02280.02360.0236XZ60°0.02460.02320.0224XZ90°0.02500.02290.0204SF0.5倍 0.03440.03110.0353XZ30°SF2倍0.03270.03190.0307XZ90°

MPEG-7[9]數(shù)據(jù)庫有70個(gè)類,每類又有20個(gè)形狀,所以經(jīng)常被用于測(cè)試形狀識(shí)別。本文選擇MPEG-7 Shape-1 Part-B數(shù)據(jù)庫中的馬、大象、駱駝分別進(jìn)行測(cè)試,選擇的測(cè)試圖如圖16所示。

圖16 馬、大象、駱駝測(cè)試圖

將圖16分別與馬庫、大象庫、駱駝庫里的圖片比對(duì),計(jì)算得到測(cè)試圖與樣本庫圖片的Dsc,根據(jù)實(shí)驗(yàn)數(shù)據(jù)得到的匹配結(jié)果如圖17所示。

圖17 馬、大象、駱駝匹配結(jié)果

從圖17的匹配可以看出,本文算法可以區(qū)別不同目標(biāo),用于不同類的識(shí)別。

3 結(jié)論

基于邊界標(biāo)記的形狀上下文目標(biāo)識(shí)別算法與傳統(tǒng)形狀上下文算法相比,解決了形狀上下文沒有旋轉(zhuǎn)不變性的缺點(diǎn),能更好的用于物體的平移、縮放和旋轉(zhuǎn)。