趙麗科,鄭順義,2,馬浩,王曉南,魏海濤

(1.武漢大學(xué)遙感信息工程學(xué)院,武漢430079; 2.地球空間信息技術(shù)協(xié)同創(chuàng)新中心,武漢430079)

田徑運(yùn)動(dòng)員號(hào)碼牌圖像的號(hào)碼識(shí)別

趙麗科1,鄭順義1,2,馬浩1,王曉南1,魏海濤1

(1.武漢大學(xué)遙感信息工程學(xué)院,武漢430079; 2.地球空間信息技術(shù)協(xié)同創(chuàng)新中心,武漢430079)

田徑運(yùn)動(dòng)項(xiàng)目中通常拍攝得到大量的圖像,如何快速獲取特定運(yùn)動(dòng)員的圖像成為普遍關(guān)注的問(wèn)題.為了快速檢索包含特定運(yùn)動(dòng)員的圖像,本文提出了識(shí)別圖像中運(yùn)動(dòng)員編號(hào)的方法,依據(jù)運(yùn)動(dòng)員編號(hào)的識(shí)別達(dá)到快速檢索的目的.首先,采用DPM(Deformable Part Model)(可形變部件模型)進(jìn)行人體檢測(cè),縮小搜索范圍,接著按照運(yùn)動(dòng)員號(hào)碼牌的先驗(yàn)知識(shí),采用兩種方式進(jìn)行運(yùn)動(dòng)員號(hào)碼牌定位,保障定位的可靠性;然后對(duì)定位出的號(hào)碼牌進(jìn)行字符分割;最后采用基于特征的BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行號(hào)碼牌識(shí)別.實(shí)驗(yàn)結(jié)果表明,在運(yùn)動(dòng)員號(hào)碼牌幾乎無(wú)遮擋的情況下,使用本文提出的方法能有效地識(shí)別出完整號(hào)碼牌;在運(yùn)動(dòng)員號(hào)碼牌存在部分遮擋時(shí),可以識(shí)別出未被遮擋部分的編號(hào).本文提出的運(yùn)動(dòng)員號(hào)碼牌識(shí)別方法為檢索特定運(yùn)動(dòng)員圖像提供了思路,大大減少了普遍采用的人工查找方式的工作量.

田徑運(yùn)動(dòng);字符分割;BP神經(jīng)網(wǎng)絡(luò);字符識(shí)別

0 引言

場(chǎng)景中字符的自動(dòng)識(shí)別在圖像檢索、智能交通等領(lǐng)域有著廣泛的應(yīng)用,隨著配備著高清攝像頭的手機(jī)、數(shù)碼相機(jī)等的大量使用,圖像的獲取更加方便快捷,圖像場(chǎng)景中的字符提取與識(shí)別已引起了廣泛的關(guān)注與研究[1].體育賽場(chǎng)上,運(yùn)動(dòng)員的編號(hào)作為區(qū)分運(yùn)動(dòng)員的一個(gè)重要標(biāo)志,廣泛應(yīng)用于體育比賽中運(yùn)動(dòng)員的身份識(shí)別[2].運(yùn)動(dòng)員識(shí)別最常用的兩種方式有人臉識(shí)別與運(yùn)動(dòng)員編號(hào)識(shí)別[3].人臉識(shí)別需要眾多樣本參與,但是許多運(yùn)動(dòng)員僅有報(bào)名的圖像,并且在運(yùn)動(dòng)中人的表情、姿態(tài)等會(huì)發(fā)生變化,人臉識(shí)別具有一定的難度.與人臉識(shí)別運(yùn)動(dòng)員相比,運(yùn)動(dòng)員編號(hào)的號(hào)碼牌上的字符通常由0—9組成(有時(shí)會(huì)有字母,若有字母,字母一般為運(yùn)動(dòng)員編號(hào)的第一位,用于表示運(yùn)動(dòng)員的分組,且每次比賽中包含的字母固定),運(yùn)動(dòng)員編號(hào)的識(shí)別就更為便捷[4].不同于足球、籃球等運(yùn)動(dòng)中運(yùn)動(dòng)員的編號(hào)是直接印在球衣上,田徑運(yùn)動(dòng)員的號(hào)碼牌是貼在運(yùn)動(dòng)員衣服上的.田徑運(yùn)動(dòng)員跑步時(shí)身體姿態(tài)變化不定,伴隨著一定程度的扭曲,同時(shí)伴隨著手臂的擺動(dòng),手臂會(huì)出現(xiàn)在號(hào)碼牌周?chē)?因此會(huì)造成號(hào)牌一定程度的遮擋,這就導(dǎo)致運(yùn)動(dòng)員號(hào)碼牌的定位、分割和識(shí)別存在一定的難度.

目前自然場(chǎng)景中的文本定位方法主要有基于區(qū)域和基于紋理特征定位這兩種方式[5].文獻(xiàn)[6]采用Lab色彩空間進(jìn)行分割,然后對(duì)連通區(qū)域進(jìn)行分析定位文本;文獻(xiàn)[7]利用邊緣信息生成連通區(qū)域,采用由粗到細(xì)的方式定位文本;文獻(xiàn)[8]采用k-均值聚類(lèi)的方式提取文本的連通區(qū)域.總體來(lái)說(shuō),基于區(qū)域的定位方法快速簡(jiǎn)單,在彩色文本、低分辨率和噪聲圖像中被廣泛應(yīng)用[9],但是在圖像退化、變形或模糊等情況下不能取得較好的效果[10].用于定位的紋理特征主要包括文本的邊緣分布特性、文本周?chē)幕叶容^低以及文本內(nèi)部較大方差等.文獻(xiàn)[11]提出了采用小波變換的基于紋理的文本定位方法;文獻(xiàn)[12]采用支持向量機(jī)(Support Vector Machine,SVM)的方法定位視頻中的文本;文獻(xiàn)[13]采用AdaBoost算法和聯(lián)合概率的方式檢測(cè)自然場(chǎng)景中的文本.基于紋理的定位方式對(duì)復(fù)雜背景下的文本定位能取得較好的結(jié)果,但該類(lèi)方法需要詳盡的掃描圖像,造成文本定位計(jì)算復(fù)雜度大、耗時(shí)長(zhǎng)[14].不斷有學(xué)者提出字符定位的方法,但是由于不同應(yīng)用背景下字符文本的特性差別較大,沒(méi)有普適的方法對(duì)每種應(yīng)用都能取得較好的結(jié)果,需要根據(jù)應(yīng)用的不同確定字符文本的定位方法.

字符分割是字符識(shí)別的基礎(chǔ),運(yùn)動(dòng)員號(hào)碼牌的識(shí)別需要首先完成字符的分割,字符分割的精度直接影響字符識(shí)別的精度[15].目前字符分割的方法主要有投影法[16]、連通區(qū)域分析[17]、模板匹配[18]等.投影法在字符無(wú)傾斜、旋轉(zhuǎn)的情況下能夠有效地分割字符,但對(duì)噪聲敏感.連通區(qū)域分析法在文本中有噪聲、污點(diǎn)的情況下,容易出現(xiàn)分割錯(cuò)誤;而結(jié)合先驗(yàn)知識(shí)的連通區(qū)域分析可以有效地改善分割結(jié)果.模板匹配的方法是根據(jù)字符的寬度和位置等先驗(yàn)知識(shí)建立模板分割字符,這類(lèi)方法對(duì)邊框敏感,抗干擾性較差.此外,也有一些算法將分割和識(shí)別進(jìn)行結(jié)合,采用整體識(shí)別[19]的方法,在圖像質(zhì)量較差時(shí)也能取得較好的結(jié)果,但計(jì)算復(fù)雜度大.

字符識(shí)別是文本分析的最后一個(gè)環(huán)節(jié),字符識(shí)別算法主要有模板匹配法[20]、特征匹配法[21]、神經(jīng)網(wǎng)絡(luò)[22]和支持向量機(jī)[23]等.模板匹配法通過(guò)比較模板與待識(shí)別字符的差別進(jìn)行識(shí)別,計(jì)算速度快,但抗噪能力較差,只有在字符大小固定、無(wú)傾斜、無(wú)旋轉(zhuǎn)的情況下才能有效識(shí)別.特征匹配法通過(guò)對(duì)特征的匹配獲得較好的區(qū)分相似字符的能力,但是特征匹配的準(zhǔn)則不易把握,易受噪聲影響.神經(jīng)網(wǎng)絡(luò)具有良好的學(xué)習(xí)、容錯(cuò)和抗干擾能力,字符識(shí)別率高,但隨著網(wǎng)絡(luò)的復(fù)雜程度增大,計(jì)算復(fù)雜度也增大.支持向量機(jī)具有適應(yīng)性強(qiáng)、效率高的特點(diǎn),在小樣本條件下識(shí)別字符具有較高的準(zhǔn)確率,但是該方法對(duì)輸入的參數(shù)要求比較嚴(yán)格,選擇的參數(shù)對(duì)后續(xù)影響較大.

通常大型的田徑運(yùn)動(dòng)項(xiàng)目如馬拉松比賽中,會(huì)拍攝大量比賽的圖像.在查找包含某位運(yùn)動(dòng)員的圖像時(shí),現(xiàn)階段普遍采用的方法是人工查找每一幅圖像,這種查找方式工作量大、耗時(shí)費(fèi)力.針對(duì)缺乏有效檢索方法這一問(wèn)題,本文提出了一種識(shí)別圖像中運(yùn)動(dòng)員編號(hào)的方法∶首先采用DPM定位圖像中的人體;接著根據(jù)比賽中運(yùn)動(dòng)員號(hào)碼牌的固定顏色組合方式進(jìn)行號(hào)碼牌定位(每次比賽中運(yùn)動(dòng)員身上所貼的號(hào)碼牌的背景和字體顏色是固定的,田徑運(yùn)動(dòng)中最為常見(jiàn)的號(hào)碼牌為白色區(qū)域、黑色字符組成,也有一些其他的顏色組合方式,本文以白色區(qū)域黑色號(hào)碼牌為例,根據(jù)白色區(qū)域、黑色字符等先驗(yàn)知識(shí)完成號(hào)碼牌定位,其他顏色組合方式可以采用類(lèi)似的思路進(jìn)行定位);然后采用結(jié)合先驗(yàn)知識(shí)的連通區(qū)域分析法分割字符,通過(guò)先驗(yàn)知識(shí)克服連通區(qū)域分析存在對(duì)噪聲敏感的缺點(diǎn);最后,根據(jù)運(yùn)動(dòng)員號(hào)碼牌上字符傾斜、變形等特性,同時(shí)考慮復(fù)雜度的影響,采用基于特征的BP神經(jīng)網(wǎng)絡(luò)的方法識(shí)別號(hào)碼牌中的各字符,完成號(hào)碼牌識(shí)別.整體流程圖如圖1所示.

圖1 整體流程圖Fig.1 The overall flow chart

1 人體檢測(cè)

號(hào)碼牌通常貼在運(yùn)動(dòng)員衣服上的胸部位置,在人體中的位置相對(duì)固定,如果能提取出人體在圖像中的位置,則可以避免在整幅圖像中盲目搜索,大大減小號(hào)碼牌定位的搜索范圍.首先使用人體檢測(cè)算法提取出圖像中的各個(gè)人體,然后針對(duì)各人體圖像采用本文后續(xù)的方法進(jìn)行運(yùn)動(dòng)員編號(hào)的識(shí)別.運(yùn)動(dòng)場(chǎng)景中每一幅被定格的圖像,運(yùn)動(dòng)員的姿態(tài)近似為直立狀態(tài),提取人體即提取圖像中大體呈直立姿態(tài)的人體[24].行人檢測(cè)常用的方法有HOG(Histograms of Oriented Gradients)(方向梯度直方圖)、ACF(Aggregate Channel Features)(聚合通道特征),DPM等,其中DPM算法[25]是一種基于部件的檢測(cè)方法,對(duì)目標(biāo)的變形具有很強(qiáng)的魯棒性,對(duì)人體識(shí)別具有較高的精度.DPM算法是一個(gè)混合模型,由若干個(gè)組件模型構(gòu)成,其檢測(cè)采用在不同分辨率上提取改進(jìn)的HOG特征、SVM分類(lèi)器和滑動(dòng)窗口檢測(cè)方案,通過(guò)求解混合模型的響應(yīng)得分,即特征與待匹配模型的相似程度,若得到超過(guò)了分類(lèi)閾值,則認(rèn)為窗口中包含目標(biāo).混合模型的綜合得分計(jì)算方法為

其中,score(x0,y0,l0)表示錨點(diǎn)(x0,y0)處在尺度層l0的檢測(cè)分?jǐn)?shù),R0,l0(x0,y0)為主模型的響應(yīng)分?jǐn)?shù),Di,l0-λ(2(x0,y0)+vi)為第i個(gè)子模型的響應(yīng)(根據(jù)子模型與主模型分辨率間一倍的關(guān)系,子模型的坐標(biāo)需要映射到更大的尺度層l0-λ,即(x0,y0)→2(x0,y0)),vi為子模型i相對(duì)于2(x0,y0)的位置偏移,b為不同組件模型需要對(duì)齊所設(shè)置的偏移系數(shù).響應(yīng)變換為

其中,Di,l(x,y)為子模型i在尺度層l的(x,y)位置的響應(yīng)變換,Ri,l(x+dx,y+dy)為子模型在(x+dx,y+dy)位置的響應(yīng)得分.(dx,dy)為相對(duì)(x,y)的偏移,di·φd(dx,dy)為偏移(dx,dy)后所損失的得分,di為偏移損失系數(shù),φd(dx,dy)=(dx,dy,dx2,dy2).

本文采用DPM算法進(jìn)行人體檢測(cè),人體檢測(cè)結(jié)果如圖2所示.

圖2 人體檢測(cè)結(jié)果Fig.2 Results of human detection

2 號(hào)碼牌定位

人體檢測(cè)獲取每幅圖像中的人體部分后,需要對(duì)人體中的號(hào)碼牌進(jìn)行定位.號(hào)碼牌定位是后續(xù)處理的基礎(chǔ),只有號(hào)碼牌被準(zhǔn)確定位才能提供可靠的分割、識(shí)別依據(jù),這對(duì)整體號(hào)碼牌的識(shí)別至關(guān)重要.由于田徑運(yùn)動(dòng)員號(hào)碼牌比較柔軟,容易發(fā)生變形,所以不能依據(jù)邊界線定位號(hào)碼牌;同時(shí)由于運(yùn)動(dòng)員所穿衣服的顏色可能與號(hào)碼牌顏色一致,較可靠的定位方法為分情況進(jìn)行區(qū)域定位.因此,本文將號(hào)碼牌定位分為兩種情況∶①運(yùn)動(dòng)員衣服為非白色,依據(jù)白色區(qū)域定位號(hào)碼牌;②運(yùn)動(dòng)員衣服為白色,根據(jù)黑色字符定位號(hào)碼牌.

2.1 白色區(qū)域號(hào)碼牌定位

當(dāng)運(yùn)動(dòng)員穿的衣服不是白色的情況下,采用區(qū)域定位的方式,直接鎖定白色號(hào)碼牌區(qū)域.一些學(xué)者[26-28]采用HSV(Hue Saturation Value)、HIS(Hue Intensity Saturation)等色彩空間進(jìn)行定位,但需要進(jìn)行色彩空間轉(zhuǎn)換,計(jì)算量較大.考慮黑白兩色在該空間的范圍,本文采用的區(qū)域定位方式直接在RGB(Red Green Blue)空間進(jìn)行,同樣能得到較好的效果且計(jì)算速度快.理想情況下,R(Red)、G(Green)、B(Blue)三個(gè)分量均為255表示純白色;然而由于實(shí)際拍攝環(huán)境中受光照、角度、噪聲等的影響,得到白色的R、G、B三個(gè)分量在一定的范圍內(nèi)波動(dòng),通常表現(xiàn)為R、G、B三分量值均較大且近似相等.本文根據(jù)這一特點(diǎn)提取圖像中的白色區(qū)域.將R、G、B三個(gè)分量滿(mǎn)足公式

的區(qū)域認(rèn)為是白色區(qū)域.

公式(3)中,

其中,Vmax表示R、G、B三個(gè)分量中最大的值,Vmin表示三個(gè)分量中最小的值.當(dāng)滿(mǎn)足公式(3)時(shí),判定該區(qū)域?yàn)榘咨珔^(qū)域,其余部分為非白色區(qū)域.按照這種方式對(duì)圖像進(jìn)行二值化處理,圖3(b)為人體圖像二值化結(jié)果.

當(dāng)運(yùn)動(dòng)員號(hào)碼牌周?chē)衅渌咨蛩氐母蓴_時(shí),會(huì)對(duì)號(hào)碼牌的定位產(chǎn)生影響.根據(jù)數(shù)學(xué)形態(tài)學(xué)的閉運(yùn)算具有一定的平滑功能,能夠檢測(cè)圖像中的邊緣、漏洞和孤立點(diǎn),可以剔除比結(jié)構(gòu)元素小的圖像細(xì)節(jié),填充物體內(nèi)細(xì)小空洞等特點(diǎn)[29],首先對(duì)二值圖像進(jìn)行閉運(yùn)算操作,剔除圖像中的細(xì)節(jié),將內(nèi)部的小洞填充起來(lái),如圖3(c)所示.其次,號(hào)碼牌周?chē)菀子惺直刍蛘哳?lèi)似于白色的圖標(biāo)、字符等干擾元素,若不消除,會(huì)造成定位范圍較大且包含白色字符,對(duì)后續(xù)分割產(chǎn)生不利影響.本文剔除號(hào)碼牌周?chē)母蓴_輪廓的方法為∶定義一個(gè)矩形大小為w×h,統(tǒng)計(jì)該矩形內(nèi)黑色像素的個(gè)數(shù),若黑色像素個(gè)數(shù)小于閾值Th,則將該矩形內(nèi)部的黑色像素予以剔除.w、h、Th的選擇依據(jù)為圖像中的號(hào)碼牌內(nèi)部各個(gè)區(qū)域的黑色像素的比例較大而干擾位置黑色像素所占的比例較小.去干擾后結(jié)果示例如圖3(d)所示.

由于運(yùn)動(dòng)員身上的號(hào)碼牌具有一些明顯的特性∶號(hào)碼牌的尺寸滿(mǎn)足一定的范圍;標(biāo)準(zhǔn)號(hào)碼牌為一個(gè)矩形,寬高比固定;號(hào)碼牌貼在運(yùn)動(dòng)員的上半身;號(hào)碼牌中間位置為運(yùn)動(dòng)員的編號(hào)等.針對(duì)號(hào)碼牌的這些特性,結(jié)合上述剔除干擾邊緣后的二值圖像,獲取黑色像素連通區(qū)域的最小外包圍矩形,依照下面幾個(gè)準(zhǔn)則剔除非號(hào)碼牌區(qū)域.

(1)剔除面積過(guò)大或者過(guò)小的連通區(qū)域,由于號(hào)碼牌尺寸的限制,其面積需在一定的范圍內(nèi).

(2)號(hào)碼牌在人體圖像的胸部位置,運(yùn)動(dòng)員的號(hào)碼牌不會(huì)位于人體圖像的頂部和底部,剔除位于人體圖像頂部或底部位置的連通區(qū)域.

(3)連通區(qū)域的外包圍矩形需要滿(mǎn)足一定的寬高比限制,雖然號(hào)碼牌會(huì)發(fā)生變形或褶皺,但其寬高比仍在一定的范圍內(nèi)波動(dòng),剔除不滿(mǎn)足寬高比要求的連通區(qū)域.

(4)連通區(qū)域中黑色像素所占的比重在一定的范圍內(nèi),因?yàn)樘?hào)碼牌內(nèi)存在數(shù)字,并且數(shù)字所占整個(gè)號(hào)碼牌的部分相對(duì)較小,所以黑色像素所占的比例在一定范圍內(nèi).

(5)為了避免運(yùn)動(dòng)員衣服上存在類(lèi)似號(hào)碼牌顏色的區(qū)域,判斷連通區(qū)域內(nèi)部的黑白像素跳變存在規(guī)律,若連通區(qū)域無(wú)跳變或跳變過(guò)于頻繁,則予以剔除.連通區(qū)域無(wú)跳變表明該區(qū)域中包含字符的可能性極小,跳變過(guò)于頻繁表示該區(qū)域中包含若干小字符或者圖案等非運(yùn)動(dòng)員號(hào)碼牌編號(hào).

按照上述準(zhǔn)則,依次剔除不符合條件的連通區(qū)域,號(hào)碼牌定位結(jié)果如圖3(e)所示.

圖3 白色區(qū)域定位Fig.3 Number plate location by white area

2.2 黑色字符號(hào)碼牌定位

運(yùn)動(dòng)員身穿白色衣服時(shí),按照白色區(qū)域定位的原則顯然不能得到號(hào)碼牌的位置.當(dāng)采用上述區(qū)域定位的方式不能成功定位號(hào)碼牌時(shí),采用如下檢測(cè)黑色字符的方式進(jìn)行定位.

同樣在RGB空間直接進(jìn)行黑色字符的檢測(cè),理想的純黑色R、G、B三個(gè)分量均為0,由于光照等原因的關(guān)系,黑色表現(xiàn)為R、G、B三分量值均較小且近似相等,R、G、B三分量滿(mǎn)足公式

則認(rèn)為該像素為黑色.

公式(5)中各個(gè)參數(shù)的意義與公式(3)中的各參數(shù)意義相同,此處不再贅述.

限定了黑色像素的R、G、B分量之后,對(duì)圖像進(jìn)行二值化處理,圖4(b)為二值化后的圖像.需要采用適合的方式將字符連接起來(lái),構(gòu)成連通區(qū)域.首先將不可能為字符的部分進(jìn)行剔除,剔除面積過(guò)大或過(guò)小白色連通區(qū)域,圖4(c)為剔除干擾的結(jié)果.從圖中可以看出,一些明顯不是號(hào)碼牌上字符的干擾特征得以有效剔除,為后續(xù)確定整體字符的連通區(qū)域提供了有利的條件.根據(jù)數(shù)學(xué)形態(tài)學(xué)中閉運(yùn)算的特點(diǎn),若選擇合適的結(jié)構(gòu)元素,號(hào)碼牌上數(shù)字可以被有效地合并在一起,采用閉運(yùn)算獲得如圖4(d)所示的結(jié)果.在進(jìn)行了上述操作之后,圖像中包含的連通區(qū)域?yàn)樘?hào)碼牌的候選區(qū)域.同樣根據(jù)號(hào)碼牌在人體圖像中的分布特性,依照白色區(qū)域定位方式中的準(zhǔn)則(1)—(3)進(jìn)行候選區(qū)域的過(guò)濾篩選(準(zhǔn)則(1)—(3)中的參數(shù)會(huì)做適當(dāng)?shù)恼{(diào)整),圖4(e)為號(hào)碼牌的定位結(jié)果.

圖4 黑色區(qū)域號(hào)碼牌定位Fig.4 Number plate location by black area

3 號(hào)碼牌數(shù)字分割

號(hào)碼牌通常由多個(gè)數(shù)字組成,識(shí)別的時(shí)候按照每個(gè)字符的特性進(jìn)行判斷,因此需要首先完成號(hào)碼牌中數(shù)字的分割.由于定位得到的號(hào)碼牌大小以及包含內(nèi)容不同,白色區(qū)域定位的號(hào)碼牌包含了頂、底的廣告信息,黑色區(qū)域定位的號(hào)碼牌通常只包含運(yùn)動(dòng)員編號(hào),所以需要根據(jù)號(hào)碼牌的特性進(jìn)行數(shù)字分割.

數(shù)字分割之前需要進(jìn)行圖像二值化,二值化效果的好壞直接影響字符分割、識(shí)別的質(zhì)量.目前,二值化方式大致可以分為兩類(lèi)∶全局閾值二值化和局部自適應(yīng)閾值二值化[30].全局閾值二值化對(duì)于目標(biāo)和背景明顯分離、光照分布均勻、噪聲干擾較小的圖像,二值化效果較好;局部自適應(yīng)閾值二值化是由當(dāng)前像素灰度值與該像素鄰域內(nèi)灰度特征確定閾值,對(duì)光照不均勻、有突發(fā)噪聲的情況能得到較好的結(jié)果.以圖像中的號(hào)碼牌為例,采用OTSU最大類(lèi)間方差法(日本學(xué)者大津(OTSU)提出,又叫大津法)和Bernsen二值化方法這兩種方法二值化的結(jié)果如圖5所示.OTSU處理結(jié)果雖然能剔除號(hào)碼牌中廣告因素的干擾,但同時(shí)造成了圖像中的干擾與字符的黏連;Bernsen二值化處理雖然保留了圖像中的廣告信息,但是可以有效分離出字符周?chē)母蓴_,為后續(xù)進(jìn)一步確定字符分割提供了條件.針對(duì)號(hào)碼牌內(nèi)部有時(shí)會(huì)出現(xiàn)手臂等干擾狀況,選擇Bernsen局部自適應(yīng)閾值的方法進(jìn)行二值化.

圖5 二值化結(jié)果Fig.5 Binarization

二值化后的圖像需要采用合理的分割方法完成字符分割,針對(duì)號(hào)碼牌二值化后的特性,輔以判斷條件進(jìn)行字符分割.由于號(hào)碼牌內(nèi)部可能存在一些背景信息,以及某些號(hào)碼牌發(fā)生傾斜的情況,本文提出基于先驗(yàn)知識(shí)的連通區(qū)域分析法進(jìn)行字符分割.如圖6、圖7分別為白色區(qū)域定位號(hào)碼牌、黑色字符定位號(hào)碼牌的字符分割結(jié)果.針對(duì)白色區(qū)域定位出的號(hào)碼牌頂部、底部存在廣告,運(yùn)動(dòng)員編號(hào)位于號(hào)碼牌的中間位置;黑色字符定位得到的號(hào)碼牌中通常只包含運(yùn)動(dòng)員編號(hào)的特性,得到白色像素連通區(qū)域的最小外包圍矩形,外包圍矩形需要滿(mǎn)足如下要求.

(1)通過(guò)白色區(qū)域定位得到的號(hào)碼牌,其外包圍矩形不能位于號(hào)碼牌的頂部和底部,這是由號(hào)碼牌頂、底的廣告所決定的,若某些比賽白色號(hào)碼牌內(nèi)部不存在廣告信息以及通過(guò)黑色字符定位得到的號(hào)碼牌,即定位得到的號(hào)碼牌內(nèi)部只包含運(yùn)動(dòng)員的編號(hào),只需將閾值更改即可.

(2)字符的大小限制,號(hào)碼牌大小相對(duì)固定,外包圍矩形過(guò)大或過(guò)小的連通區(qū)域均不可能為數(shù)字.

將滿(mǎn)足這兩個(gè)要求的白色像素連通區(qū)域保留,其余部分剔除.通常情況下,若號(hào)碼牌內(nèi)噪聲少,且白色像素連通區(qū)域數(shù)目與運(yùn)動(dòng)員編號(hào)數(shù)目相同,則滿(mǎn)足這兩個(gè)要求的白色區(qū)域即為分割結(jié)果,如圖6(a)、圖7(a)所示.若滿(mǎn)足這兩個(gè)要求,但白色像素連通區(qū)域的數(shù)目與運(yùn)動(dòng)員編號(hào)數(shù)目不同,則需要進(jìn)一步處理.本文提出如下方法進(jìn)一步分割字符.

圖6 白色區(qū)域定位的號(hào)碼牌分割結(jié)果Fig.6 Segmentation of the number plate located by white area

圖7 黑色字符定位的號(hào)碼牌分割結(jié)果Fig.7Segmentation of the number plate located by black area

(1)當(dāng)白色像素連通區(qū)域的數(shù)目比運(yùn)動(dòng)員編號(hào)數(shù)目多,則需要進(jìn)一步處理.通常情況下,當(dāng)?shù)玫降臄?shù)目比運(yùn)動(dòng)員編號(hào)數(shù)目多(一般比運(yùn)動(dòng)員編號(hào)多一個(gè)數(shù)字,多兩個(gè)的基本沒(méi)有)的情況下,則認(rèn)為錯(cuò)誤發(fā)生在第一個(gè)以及最后一個(gè)的概率大過(guò)發(fā)生在中間的數(shù)字(邊界容易有噪聲干擾).去除第一個(gè)與最后一個(gè)外包圍矩形,求出剩余外包圍矩形起始行的平均坐求出所有外包圍矩形的高度起始行ystart、寬度W和高度值H與平均值的差異程度,其公式為

將各外包圍矩形得到的dis進(jìn)行排序,保留與運(yùn)動(dòng)員編號(hào)的字符數(shù)目一致的dis較小的外包圍矩形,得到最終的分割結(jié)果,如圖6(b)、圖7(b)所示.

(2)當(dāng)?shù)玫降陌咨B通區(qū)域的數(shù)目比運(yùn)動(dòng)員編號(hào)數(shù)目少時(shí),通常為號(hào)碼牌發(fā)生了遮擋,檢測(cè)到的數(shù)字有缺失,如圖6(c)、圖7(c)所示.針對(duì)此類(lèi)情況,雖然不能得到完整的運(yùn)動(dòng)員編號(hào),但根據(jù)號(hào)碼牌識(shí)別的具體應(yīng)用,每個(gè)運(yùn)動(dòng)員具有唯一編號(hào),且每次賽事中所有運(yùn)動(dòng)員編號(hào)均可獲得的特性,將不完整的號(hào)碼牌分割結(jié)果進(jìn)行保留,接著采用后續(xù)識(shí)別方法得到不完整的運(yùn)動(dòng)員編號(hào),與運(yùn)動(dòng)員編號(hào)進(jìn)行對(duì)比,可以得到該號(hào)碼牌可能為某運(yùn)動(dòng)員.

4 號(hào)碼牌數(shù)字識(shí)別

由于運(yùn)動(dòng)員號(hào)碼牌分割得到的數(shù)字在一定程度上存在傾斜,并且字符中可能伴有噪聲,如圖8所示,這些特性決定了數(shù)字識(shí)別需要具有較強(qiáng)的抗噪性、對(duì)畸變不敏感的識(shí)別方法.神經(jīng)網(wǎng)絡(luò)方法具有較強(qiáng)的容錯(cuò)能力、自適應(yīng)學(xué)習(xí)能力和準(zhǔn)確性.BP神經(jīng)網(wǎng)絡(luò)是最常用的神經(jīng)網(wǎng)絡(luò)方法之一,通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)計(jì)算得到的輸出和樣本值進(jìn)行誤差分析,不斷反復(fù)修正神經(jīng)網(wǎng)絡(luò)中各個(gè)權(quán)值,使網(wǎng)絡(luò)的輸出接近期望輸出.本文采用BP神經(jīng)網(wǎng)絡(luò)用于識(shí)別數(shù)字,BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)有∶輸入層、網(wǎng)絡(luò)隱含層、輸出層.Kolmogorov定理表明,在合理的結(jié)構(gòu)和恰當(dāng)?shù)臋?quán)值條件下,三層網(wǎng)絡(luò)可以逼近任意的連續(xù)函數(shù),因此本文構(gòu)建一個(gè)三層的BP神經(jīng)網(wǎng)絡(luò).采用分割得到的二值圖像進(jìn)行字符識(shí)別,若進(jìn)行字符的細(xì)化,則傾斜、變形以及噪聲的影響對(duì)字符識(shí)別影響較大;若直接采用輸入整個(gè)二值圖像作為輸入神經(jīng)元,計(jì)算復(fù)雜度大,影響字符識(shí)別的效率.本文采用基于特征的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別,在保證識(shí)別精度的同時(shí)降低計(jì)算復(fù)雜度.輸入層神經(jīng)元的個(gè)數(shù)即為提取特征的數(shù)目,本文提取161個(gè)特征,具體特征提取方式見(jiàn)下文.輸出層的個(gè)數(shù)即為數(shù)字的個(gè)數(shù)10.目前隱含層神經(jīng)元數(shù)目選取的方式有很多,本文根據(jù)輸入層、輸出層神經(jīng)元的數(shù)目,結(jié)合實(shí)踐經(jīng)驗(yàn),采用隱含層神經(jīng)元數(shù)目為44.每個(gè)數(shù)字有200個(gè)訓(xùn)練樣本,為了提高網(wǎng)絡(luò)的泛化能力,訓(xùn)練樣本中包含規(guī)則、傾斜、變形的字符.

圖8 部分字符示意圖Fig.8 Character sketches

具體特征的提取方式為∶首先將分割后的數(shù)字進(jìn)行歸一化(歸一化大小為42×24);然后將歸一化后的二值圖像提取的特征作為輸入神經(jīng)元,具體包括如下特征.

(1)統(tǒng)計(jì)圖像中所有白色像素的個(gè)數(shù),共1個(gè)特征.

(2)圖像中每一行白色像素的個(gè)數(shù),掃描每一行的每個(gè)像素,若為白色像素則加1,直到到達(dá)圖像的邊界,共有42個(gè)特征.

(3)掃描圖像的每一列,統(tǒng)計(jì)該列白色像素的個(gè)數(shù)和,共有24個(gè)特征.

(4)將圖像分為m×n的大小,統(tǒng)計(jì)每一個(gè)區(qū)域內(nèi)部白色像素的個(gè)數(shù)和,如圖9(a)所示,本文選用6×6大小的區(qū)域進(jìn)行統(tǒng)計(jì),共有28個(gè)特征.

(5)統(tǒng)計(jì)每一行的分段數(shù),如圖9(b)所示,根據(jù)二值圖像中每一行像素的值,統(tǒng)計(jì)連續(xù)為白色像素段的個(gè)數(shù),共42個(gè)特征.

(6)按照與(5)類(lèi)似的方法統(tǒng)計(jì)每一列的分段數(shù),共24個(gè)特征.

BP神經(jīng)網(wǎng)絡(luò)具體識(shí)別字符的過(guò)程如下.

第一步,對(duì)字符圖像進(jìn)行大小歸一化操作,將字符的大小統(tǒng)一調(diào)整為42×24.

第二步,對(duì)樣本圖像進(jìn)行特征提取,特征樣本輸入到BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),建立識(shí)別模型.

第三步,對(duì)字符圖像進(jìn)行特征提取,采用建立好的識(shí)別模型進(jìn)行數(shù)字識(shí)別.

第四步,輸出整個(gè)號(hào)碼牌上各字符的識(shí)別結(jié)果.

按照上述方式采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行字符識(shí)別,獲得的識(shí)別結(jié)果如圖10所示.

圖9 字符特征提取Fig.9 Character feature extraction results

圖10 字符識(shí)別結(jié)果Fig.10 Character recognition results

5 實(shí)驗(yàn)

為了驗(yàn)證本文提出的運(yùn)動(dòng)員號(hào)碼牌識(shí)別方法的可靠性,在CPU i7八核3.6 GHz、12 GB內(nèi)存、Windows7 64位操作系統(tǒng)的PC機(jī)上,采用Visual C++編程語(yǔ)言進(jìn)行實(shí)驗(yàn).采用一組馬拉松比賽現(xiàn)場(chǎng)拍攝的圖像,選用的馬拉松比賽運(yùn)動(dòng)員號(hào)碼牌為白色區(qū)域、黑色字符,運(yùn)動(dòng)員編號(hào)為4位數(shù)字組成.實(shí)驗(yàn)?zāi)康臑檩斎氚R拉松運(yùn)動(dòng)員的圖像,輸出運(yùn)動(dòng)員的編號(hào).這組馬拉松運(yùn)動(dòng)員的圖像庫(kù)共有1 042張(4 288×2 848),包含清晰可辨的人共4 805人,其中包含佩戴號(hào)碼牌的運(yùn)動(dòng)員共1 924個(gè).這組圖像中號(hào)碼牌矩形框的最大尺寸和最小尺寸分別為119×98、29×23,其中幾乎無(wú)遮擋的號(hào)碼牌共有1 528個(gè),嚴(yán)重遮擋的號(hào)碼牌數(shù)目為396.

首先采用DPM算法對(duì)圖像庫(kù)中的照片進(jìn)行人體檢測(cè),共檢測(cè)出人體4 702個(gè),正確檢測(cè)出的人體的數(shù)目為4 515,檢測(cè)有誤的數(shù)目為187,未能檢測(cè)出人體的數(shù)目為240,其中檢測(cè)到佩戴號(hào)碼牌的運(yùn)動(dòng)員數(shù)目為1 827.采用正確檢測(cè)率、誤檢測(cè)率和漏檢測(cè)率評(píng)價(jià)號(hào)碼牌檢測(cè)的結(jié)果.正確檢測(cè)率為正確檢測(cè)人體數(shù)目與圖像庫(kù)中包含人體的實(shí)際數(shù)目的比值;誤檢測(cè)率為檢測(cè)錯(cuò)誤的人體數(shù)目與圖像庫(kù)中包含人體的實(shí)際數(shù)目的比值;漏檢測(cè)率為未檢測(cè)到的人體數(shù)目與圖像庫(kù)中包含人體的實(shí)際數(shù)目的比值.人體檢測(cè)結(jié)果如表1所示.DPM是一種準(zhǔn)確性非常高的檢測(cè)器,采用多部件模型,對(duì)視角以及姿態(tài)變換魯棒性較強(qiáng),能夠有效地檢測(cè)呈直立行走或奔跑的人體.但由于拍攝距離的差異,尺度過(guò)小對(duì)檢測(cè)圖像中的人體造成漏檢,馬拉松現(xiàn)場(chǎng)背景拍攝中有時(shí)會(huì)出現(xiàn)人體結(jié)構(gòu)的干擾會(huì)造成誤檢.圖11所示為人體檢測(cè)的典型示例.

表1 人體檢測(cè)結(jié)果Tab.2 The efficiency of human detection

圖11 人體檢測(cè)結(jié)果示例Fig.11 Examples of human detection results

對(duì)檢測(cè)出來(lái)的1 827個(gè)佩戴號(hào)碼牌的運(yùn)動(dòng)員人體圖像進(jìn)行號(hào)碼牌定位的實(shí)驗(yàn),其中檢測(cè)出人體的號(hào)碼牌共有1 810個(gè),正確定位號(hào)碼牌的數(shù)目為1 704,定位有誤的數(shù)目為106,未能定位的數(shù)目為17.號(hào)碼牌的正確檢測(cè)率、誤檢測(cè)率和漏檢測(cè)率如表2所示.采用本文提出的號(hào)碼牌定位方法能夠準(zhǔn)確地定位出圖像中的號(hào)碼牌,但當(dāng)場(chǎng)景中存在類(lèi)似于號(hào)碼牌的形狀時(shí),在定位過(guò)程中會(huì)發(fā)生誤定位.圖12所示為號(hào)碼牌定位的示例結(jié)果.

表2 號(hào)碼牌定位結(jié)果Tab.2The efficiency of number plate location

將定位出來(lái)的號(hào)碼牌進(jìn)行分割處理,只有當(dāng)號(hào)碼牌上有完整的數(shù)字時(shí),才有可能分割得到完整的編號(hào),由于受遮擋的影響一些號(hào)碼牌上的數(shù)字并不完整,則會(huì)造成無(wú)法分割得到完整的編號(hào).正確定位得到的號(hào)碼牌中嚴(yán)重遮擋的有309個(gè),號(hào)碼牌幾乎無(wú)遮擋的有1 395個(gè).嚴(yán)重遮擋為號(hào)碼牌中至少包含一個(gè)字符被遮擋,且人眼也不可識(shí)別該字符的情況;幾乎無(wú)遮擋為號(hào)碼牌上無(wú)遮擋、遮擋的部位不是字符的部位,或者遮擋較少的字符的部分,且人眼可以識(shí)別該字符的情況,如圖13所示.針對(duì)幾乎無(wú)遮擋的號(hào)碼牌,只有當(dāng)號(hào)碼牌上的所有字符均被正確分割才認(rèn)為是正確分割,其中幾乎無(wú)遮擋的號(hào)碼牌正確分割數(shù)目為1 297個(gè),錯(cuò)誤分割數(shù)目為55個(gè),漏分割43個(gè)號(hào)碼牌.嚴(yán)重遮擋的號(hào)碼牌由于缺少字符或字符被嚴(yán)重遮擋難以有效分割,嚴(yán)重遮擋的號(hào)碼牌若能有效分割出沒(méi)被遮擋的字符,則認(rèn)為該嚴(yán)重遮擋號(hào)碼牌正確分割,嚴(yán)重遮擋號(hào)碼牌正確分割數(shù)目為276個(gè),分割錯(cuò)誤數(shù)目為19個(gè),漏分割號(hào)碼牌數(shù)目為14個(gè),號(hào)碼牌的分割情況如表3所示.大多數(shù)號(hào)碼牌能夠有效地完成分割,但由于號(hào)碼牌中存在干擾、字符遮擋造成的斷裂、字符黏連嚴(yán)重等情況,造成少量號(hào)碼牌的誤分割以及漏分割.圖14為圖像分割的典型示例.

圖12 號(hào)碼牌定位結(jié)果示例Fig.12 Examples of number plate location results

表3 號(hào)碼牌分割率Tab.3 The efficiency of number segmentation

圖13 遮擋示例Fig.13 Occlusion sample

圖14 號(hào)碼牌分割示例Fig.14 Examples of number plate segmentation results

將分割得到的數(shù)字采用訓(xùn)練的BP神經(jīng)網(wǎng)絡(luò)識(shí)別模型進(jìn)行識(shí)別,訓(xùn)練樣本中包含了一些變形的數(shù)字.幾乎無(wú)遮擋情況下分割正確的號(hào)碼牌中的所有字符均被完全識(shí)別的數(shù)目為1 246,其中有一個(gè)數(shù)字誤識(shí)別則認(rèn)為號(hào)碼牌識(shí)別有誤,誤識(shí)別號(hào)碼牌數(shù)目為51,整個(gè)號(hào)碼牌的識(shí)別正確率為96.07%.嚴(yán)重遮擋情況號(hào)碼牌中分割正確的號(hào)碼牌中的各字符均為正確識(shí)別的數(shù)目為265,誤識(shí)別的數(shù)目為11個(gè),嚴(yán)重遮擋的號(hào)碼牌識(shí)別的正確率為96.01%.號(hào)碼牌識(shí)別結(jié)果如表4所示.號(hào)碼牌中的運(yùn)動(dòng)員編號(hào)完全無(wú)誤才認(rèn)為識(shí)別正確;運(yùn)動(dòng)員編號(hào)中可能存在某個(gè)數(shù)字變形過(guò)大,以及分割過(guò)程中存在只包含字符的一部分,該殘缺的字符歸一化大小后與其他字符類(lèi)似造成識(shí)別錯(cuò)誤,運(yùn)動(dòng)員編號(hào)識(shí)別時(shí)某一數(shù)字識(shí)別失敗則該號(hào)碼牌被誤識(shí).整體來(lái)看,基于特征的BP神經(jīng)網(wǎng)絡(luò)方法能夠高效地識(shí)別運(yùn)動(dòng)員編號(hào).圖15為運(yùn)動(dòng)員編號(hào)識(shí)別的典型示例.

表4 號(hào)碼牌識(shí)別率Tab.4 The efficiency of number recognition

圖15 號(hào)碼牌識(shí)別示例Fig.15 Examples of number plate recognition results

目前識(shí)別運(yùn)動(dòng)員編號(hào)主要針對(duì)籃球、足球視頻中運(yùn)動(dòng)員的識(shí)別,而足球、籃球等運(yùn)動(dòng)方式是運(yùn)動(dòng)員所著球服的編號(hào),與田徑運(yùn)動(dòng)員號(hào)碼牌的檢測(cè)差別較大,缺乏有效的檢測(cè)田徑運(yùn)動(dòng)員號(hào)碼牌的方法.在字符識(shí)別過(guò)程中,采用在車(chē)牌識(shí)別等領(lǐng)域廣泛使用的基于特征提取的模板匹配[31]方法與上述基于特征的BP神經(jīng)網(wǎng)絡(luò)方法進(jìn)行比較,其中模板匹配與BP神經(jīng)網(wǎng)絡(luò)采用相同的特征提取方式統(tǒng)計(jì)兩種方法在圖像庫(kù)中運(yùn)動(dòng)員編號(hào)的正確檢測(cè)率、誤檢測(cè)率以及漏檢測(cè)率,如表5所示.由于人體檢測(cè)、號(hào)碼牌定位、號(hào)碼牌分割以及識(shí)別各步驟積累的錯(cuò)誤,對(duì)整個(gè)圖像庫(kù)而言,基于特征的BP神經(jīng)網(wǎng)絡(luò)方法的整體識(shí)別率為78.35%.由于基于特征的模板匹配方法對(duì)變形較大的字符識(shí)別魯棒性低,基于特征的BP神經(jīng)網(wǎng)絡(luò)方法進(jìn)行運(yùn)動(dòng)員編號(hào)識(shí)別更為可靠.

表5 圖像庫(kù)運(yùn)動(dòng)員編號(hào)檢測(cè)結(jié)果Tab.5 Performance comparisons of number plate recognition

統(tǒng)計(jì)單幅圖像的時(shí)間效率,由于每幅圖像中包含的運(yùn)動(dòng)員數(shù)目不同,會(huì)造成圖像耗時(shí)的差異.統(tǒng)計(jì)現(xiàn)場(chǎng)拍攝的1 042張圖像的處理時(shí)間效率,其均值如表6所示.

表6 各步驟時(shí)間效率Tab.6 Time efficiency of all steps

單幅圖像從開(kāi)始預(yù)處理定位人體到最終檢測(cè)出運(yùn)動(dòng)員號(hào)碼牌的編號(hào)耗時(shí)2.19 s,各步驟均能快速有效地完成.從實(shí)驗(yàn)結(jié)果可以看出,號(hào)碼牌幾乎無(wú)遮擋情況下,運(yùn)動(dòng)員號(hào)碼牌識(shí)別能取得較高的精度,嚴(yán)重遮擋的情況下能有效地識(shí)別出未遮擋字符的結(jié)果,單幅圖像耗時(shí)較短,這些均為運(yùn)動(dòng)員檢索圖像中包含自身姿態(tài)良好的圖像創(chuàng)造了條件.

6 結(jié)論

針對(duì)缺乏快速檢索田徑運(yùn)動(dòng)中包含特定運(yùn)動(dòng)員圖像的問(wèn)題,本文提出了一種識(shí)別運(yùn)動(dòng)員編號(hào)的方法,通過(guò)人體檢測(cè)、號(hào)碼牌定位、字符分割、數(shù)字識(shí)別得到運(yùn)動(dòng)員的編號(hào).人體檢測(cè)的可靠性、號(hào)碼牌定位的準(zhǔn)確度、分割的效果以及識(shí)別的精度等通過(guò)馬拉松現(xiàn)場(chǎng)拍攝的圖像進(jìn)行了實(shí)驗(yàn)驗(yàn)證∶當(dāng)號(hào)碼牌存在嚴(yán)重遮擋時(shí),能有效地識(shí)別出未被遮擋字符;號(hào)碼牌上各字符幾乎無(wú)遮擋情況下,運(yùn)動(dòng)員編號(hào)識(shí)別準(zhǔn)確率較高.以上這些為在大量圖像中快速檢索包含特定運(yùn)動(dòng)員圖像提供了依據(jù).

采用本文的方法在號(hào)碼牌被嚴(yán)重遮擋情況下不能有效分割、識(shí)別字符,下一步可以結(jié)合人臉識(shí)別進(jìn)行運(yùn)動(dòng)員的識(shí)別,改善運(yùn)動(dòng)員識(shí)別結(jié)果.

[1]EZAKI N,BULACU M,SCHOMAKER L.Text detection from natural scene images:Towards a system for visually impaired persons[C]//Proceedings of the 17th International Conference on Pattern Recognition.IEEE, 2004(2):683-686.

[2]楊靖.運(yùn)動(dòng)員球衣號(hào)碼研究[J].體育文化導(dǎo)刊,2014,9:184-187.

[3]MESSELODI S,MODENA C M.Scene text recognition and tracking to identify athletes in sport videos[J]. Multimedia Tools and Applications,2013,63(2):521-545.

[4]YE Q,HUANG Q,JIANG S,et al.Jersey number detection in sports video for athlete identif i cation[C]//Proceedings of 2005 Visual Communications and Image Processing.International Society for Optics and Photonics.2005:1599-1606.

[5]JUNG K,KIM K I,JAIN A K.Text information extraction in images and video:a survey[J].Pattern Recognition, 2004,37(5):977-997.

[6]MARIANO V Y,KASTURI R.Locating uniform-colored text in video frames[C]//Proceedings of the 15th International Conference on Pattern Recognition.IEEE,2000(4):539-542.

[7]SONG Y,LIU A,PANG L,et al.A novel image text extraction method based on k-means clustering[C]//Proceedings of the 7th IEEE/ACIS International Conference on Computer and Information Science. IEEE.2008:185-190.

[8]SHIVAKUMARA P,PHAN T Q,TAN C L.A Laplacian approach to multi-oriented text detection in video[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(2):412-419.

[9]KIM H K.Efficient automatic text location method and content-based indexing and structuring of video database[J].Journal of Visual Communication and Image Representation,1996,7(4):336-344.

[10]HUANG Z,LENG J.Text extraction in natural scenes using region-based method[J].Journal of Digital Information Management,2014,12(4):246-254.

[11]MAO W,CHUNG F,LAM K K M,et al.Hybrid Chinese/English text detection in images and video frames[C]//Proceedings of the 16th International Conference on Pattern Recognition.IEEE,2002(3):1015-1018.

[12]LEE C W,JUNG K,KIM H J.Automatic text detection and removal in video sequences[J].Pattern Recognition Letters,2003,24(15):2607-2623.

[13]CHEN X,YUILLE A L.Detecting and reading text in natural scenes[C]//Proceedings of 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.IEEE,2004(2):366-373.

[14]ZHAO X,LIN K H,FU Y,et al.Text from corners:a novel approach to detect text and caption in videos[J]. IEEE Transactions on Image Processing,2011,20(3):790-799.

[15]CHENG R,BAI Y.A novel approach for license plate slant correction,character segmentation and Chinese character recognition[J].International Journal of Signal Processing Image Processing and Pattern Recognition, 2014,7(1):353-364.

[16]CHEN Z,CHANG F,LIU C.Chinese license plate recognition based on human vision attention mechanism[J]. International Journal of Pattern Recognition and Artif i cial Intelligence,2013,27(8):488-196.

[17]SULAIMAN N,JALANI S N H M,MUSTAFA M,et al.Development of automatic vehicle plate detection system[C]//Proceedings of the 3rd International Conference on System Engineering and Technology.IEEE, 2013:130-135.

[18]王興玲.最大類(lèi)間方差車(chē)牌字符分割的模板匹配算法[J].計(jì)算機(jī)工程,2006,32(19):193-195.

[19]李文舉,梁德群,王新年,等.質(zhì)量退化的車(chē)牌字符分割方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2004,16(5):697-700.

[20]KO M,KIM Y M.License plate surveillance system using weighted template matching[C]//Proceedings of the 32nd Applied Imagery Pattern Recognition Workshop.IEEE,2003:269-274.

[21]鄧婷.基于特征統(tǒng)計(jì)的車(chē)牌非漢字字符識(shí)別方法[J].廣西師范學(xué)院學(xué)報(bào)(自然科學(xué)版),2009,26(4):88-92.

[22]FOR W,LEMAN K,ENG H L,et al.A multi-camera collaboration framework for real-time vehicle detection and license plate recognition on highways[C]//Proceedings of 2008 IEEE Intelligent Vehicles Symposium.IEEE, 2008:192-197.

[23]ANAGNOSTOPOULOS C N E,ANAGNOSTOPOULOS I E,LOUMOS V,et al.A license plate-recognition algorithm for intelligent transportation system applications[J].IEEE Transactions on Intelligent Transportation Systems,2006,7(3):377-392.

[24]陳金輝.靜態(tài)圖像行人檢測(cè)算法研究[D].上海:華東理工大學(xué),2015.

[25]FELZENSZWALB P,MCALLESTER D,RAMANAN D.A discriminatively trained,multiscale,deformable part model[C]//Proceedings of 2008 IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2008: 1-8.

[26]朱雙東,張懿,陸曉峰.三角形交通標(biāo)志的智能檢測(cè)方法[J].中國(guó)圖象圖形學(xué)報(bào),2006,11(8):1127-1131.

[27]王義興,黃鳳崗,韓金玉,等.基于顏色搭配與紋理特征的車(chē)牌定位方法[J].中國(guó)圖象圖形學(xué)報(bào),2009,14(2):303-308.

[28]常巧紅,高滿(mǎn)屯.基于HSV色彩空間與數(shù)學(xué)形態(tài)學(xué)的車(chē)牌定位研究[J].圖學(xué)學(xué)報(bào),2013,34(4):159-162.

[29]向靜波,蘇秀琴,陸陶.基于Contourlet變換和形態(tài)學(xué)的圖像增強(qiáng)方法[J].光子學(xué)報(bào),2009,38(l):224-227.

[30]MILYAEV S,BARINOVA O,NOVIKOVA T,et al.Fast and accurate scene text understanding with image binarization and of f-the-shelf OCR[J].International Journal on Document Analysis and Recognition,2015,18(2): 169-182.

[31]王建霞,周萬(wàn)珍.一種改進(jìn)模板匹配的車(chē)牌字符識(shí)別方法[J].河北科技大學(xué)學(xué)報(bào),2010,31(3):236-239.

(責(zé)任編輯：李藝)

Research on the number recognition based on athlete number plate image

ZHAO Li-ke1,ZHENG Shun-yi1,2,MA Hao1,WANG Xiao-nan1,WEI Hai-tao1
(1.School of Remote Sensing and Information Engineering,Wuhan University, Wuhan430079,China; 2.Collaborative Innovation Center of Geospatial Technology,Wuhan430079,China)

A lot of images are usually photographed in the sports of track and field, and manual operation is a general method to retrieve image containing certain athletes. In order to quickly retrieve images containing a particular player,a method based on the number to identify a player is proposed.It firstly applied DPM(Deformable Part Model)algorithm to narrow the search scope of number plate.Secondly,according to the prior knowledge,the position of number plate can be located by considering two different ways to ensure the reliability.Thirdly,the characters of number plate are segmented by connected component analysis method.Finally,feature-based BP(Back Propagation)neural network is adopted to recognize the number plate.Experimental results show that the proposed method is efficient to identify the number plate of the players.The number plate recognition method provides a guideline of retrieving a specif i c player’s images.

track and field sports;character segmentation;back propagation neural network;character recognition

TP391

A

10.3969/j.issn.1000-5641.2017.03.007

1000-5641(2017)03-0064-14

2016-05-03

國(guó)家863計(jì)劃項(xiàng)目(2013AA0630905);中央高校基本科研業(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金(2042016kf0012);湖北省科技支撐計(jì)劃項(xiàng)目(2015BCE080)

趙麗科,女,博士研究生,研究方向?yàn)橛?jì)算機(jī)視覺(jué)與數(shù)字?jǐn)z影測(cè)量.

E-mail：zlk lenci@163.com.