喬平安 劉佩龍

摘 ?要： 網(wǎng)絡(luò)社交平臺(tái)圖像包含豐富的文本信息，而文本檢測是提取這些文本信息的基礎(chǔ)。針對(duì)網(wǎng)絡(luò)社交平臺(tái)圖像的特點(diǎn)，提出一種基于筆畫寬度變換（Stroke Width Transform）的檢測圖像文本的方法。該方法首先預(yù)處理輸入的圖像，接著按照分布規(guī)則檢測圖像文本區(qū)域，然后根據(jù)形態(tài)規(guī)則和筆畫特征規(guī)則篩除非文本區(qū)域，最后輸出檢測的文本區(qū)域結(jié)果。仿真實(shí)驗(yàn)結(jié)果表明，該方法能夠準(zhǔn)確檢測網(wǎng)絡(luò)社交平臺(tái)圖像文本區(qū)域，效率較好。

關(guān)鍵詞： 圖像文本檢測; 網(wǎng)絡(luò)社交平臺(tái); 筆畫寬度變換; 文本區(qū)域檢測; 算法流程; 仿真驗(yàn)證

中圖分類號(hào)： TN919.8?34; TP391.1 ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2019）20?0048?05

Social networking platform image text detection based on SWT algorithm

QIAO Pingan1，2， LIU Peilong1

（1. School of Computing， Xian University of Posts and Telecommunications， Xian 710100， China;

2. Shaanxi Provincial Key Laboratory of Network Data Analysis and Intelligent Processing， Xian 710100， China）

Abstract： Social networking platform image contains abundant text information， and text detection is the basis of extracting text information. In allusion to the features of the social networking platform image， a method for text image detection based on SWT （stroke width transform） is proposed. In this method， the input image is preprocessed， the image text area is detected according to the distribution rules， and those non?text areas are eliminated according to the morphology rules and stroke feature rules. Finally， the detected results of text area are output. The simulation experimental results show that the method can accurately detect the image text area of the social networking platform， and has better detection efficiency.

Keywords： image text detection; social networking platform; stroke width transform; text area detection; algorithm flow; simulation verification

0 ?引 ?言

文本檢測已成為計(jì)算機(jī)視覺與模式識(shí)別、文檔分析與識(shí)別領(lǐng)域的一個(gè)研究熱點(diǎn)[1?3]。近年來，隨著互聯(lián)網(wǎng)的發(fā)展和移動(dòng)終端的普及，微信、微博、Facebook、推特、ins等網(wǎng)絡(luò)社交平臺(tái)已經(jīng)完全融入大眾生活，這些平臺(tái)上的大量信息成為情感研究、輿情監(jiān)測、網(wǎng)絡(luò)環(huán)境凈化等關(guān)注的重點(diǎn)。目前，國內(nèi)外對(duì)自然場景文本檢測研究很多，超過80%的關(guān)于自然場景論文關(guān)注圖像文本檢測問題[2，4]，但是針對(duì)網(wǎng)絡(luò)社交平臺(tái)上的圖像文本的檢測卻很少。如何檢測、識(shí)別和提取網(wǎng)絡(luò)社交平臺(tái)上的圖像文本信息具有重要意義和研究價(jià)值?；诖?，本文根據(jù)大眾在這些社交網(wǎng)絡(luò)平臺(tái)發(fā)布圖像的文本特點(diǎn)，提出一種基于筆畫寬度變換（SWT）的圖像文本檢測方法用于檢測網(wǎng)絡(luò)社交平臺(tái)圖像文本信息。

1 ?相關(guān)工作

目前，文本檢測中最具代表性的方法為最大穩(wěn)定極值區(qū)域（MSER）法[5?7]和筆畫寬度變換（SWT）法[8]。SWT算法能準(zhǔn)確地獲取圖像文本候選區(qū)域以及根據(jù)網(wǎng)絡(luò)平臺(tái)圖像文本的分布規(guī)則減少圖像檢測的面積，提高檢測效率。

Epshtein等人首次提出SWT算法，利用Canny算法對(duì)輸入圖像進(jìn)行邊緣檢測，并計(jì)算邊緣像素點(diǎn)的梯度方向，沿著梯度方向的路線尋找與之匹配的像素[8]。這個(gè)做法使得場景文字檢測向前邁出一大步;Yao Cong通過筆畫寬度變換 （SWT） 處理獲得文本候選區(qū)域，用文本級(jí)分類器（簡單特征+隨機(jī)森林）過濾非文本區(qū)域[9];利用文本間的相似性連接成文本行，再用文本行級(jí)的分類器（簡單特征+隨機(jī)森林）[10]進(jìn)一步過濾背景區(qū)域， 較早地實(shí)現(xiàn)了任意方向排列的自然場景文本檢測任務(wù);Huang Weilin考慮到傳統(tǒng)的筆畫寬度變換方法在應(yīng)對(duì)圖像中包含一些具有不規(guī)則梯度方向的邊緣時(shí)往往不能準(zhǔn)確地計(jì)算出筆畫寬度，所以利用顏色信息來改進(jìn)筆畫寬度算法并提出筆畫特征變換 （Stroke Feature Transform）算法[11]。

5） 筆畫寬度規(guī)則。繼續(xù)對(duì)圖像進(jìn)行筆畫特征規(guī)則，有的圖像會(huì)產(chǎn)生長而窄的連通域，這些會(huì)被誤認(rèn)為是文本區(qū)域，實(shí)則不然，在此限制它們的寬高比，不符合要求的剔除掉，對(duì)于高寬比較大的區(qū)域可以排除。同樣限制連通域的直徑和筆畫寬度的中值比。一塊區(qū)域的邊界框包含不超過兩塊連通域，以消除文本外圍包圍線之類，單獨(dú)的字符通常不出現(xiàn)在圖像中，當(dāng)作噪聲剔除。

6） 合并輸出。連通域合并形成文本行然后輸出。中文合并：同一個(gè)文本行里的漢字有相似的筆畫寬度，所以平均筆畫寬度比值應(yīng)該在0.8和1/0.8之間，兩個(gè)漢字之間水平排列，連通域外接矩形的中心點(diǎn) 坐標(biāo)差值不大于兩個(gè)連通域之間較高的高度值的0.5。英文合并：兩個(gè)字母應(yīng)具有相似的筆畫寬度（筆畫寬度均值比率小于2.0）。字母的高度比不得超過2.0（由于大寫和小寫字母之間的差異）。字母之間的距離不得超過寬字母寬度的3倍，另外顏色相同進(jìn)行合并即可。

4 ?實(shí)驗(yàn)與分析

4.1 ?實(shí)驗(yàn)數(shù)據(jù)集

為了更好地評(píng)定本文的研究，本文根據(jù)ICDAR的數(shù)據(jù)集的圖像組成規(guī)則，建立了針對(duì)中英文文本提取的圖像庫，圖像主要來源于微信、微博、推特、Facebook、Ins等網(wǎng)絡(luò)社交平臺(tái)。具體建立步驟如下：

1） 數(shù)量組成：200幅當(dāng)作訓(xùn)練樣本的圖像和100幅作測試集的圖像。

2） 圖像分辨率范圍：類似的文中采集的圖像，分辨率范圍為650×260～860×1 024。

3） 難度比例：根據(jù)圖像文本提取的難度，將圖像分為難、中和易三個(gè)等級(jí)，比例為2∶3∶5。

4） 圖像文本內(nèi)容：ICDAR圖像庫中文本內(nèi)容包括路邊標(biāo)志牌文本、建筑物名稱等，自建庫圖像適合聊天或發(fā)心情日志等帶有感情色彩。

4.2 ?評(píng)價(jià)標(biāo)準(zhǔn)

本文采用國際會(huì)議ICDAR所提出的評(píng)估方法具體如表1所示。

4.3 ?結(jié)果分析

仿真實(shí)驗(yàn)數(shù)據(jù)集采用自建的中英文數(shù)據(jù)集，在WIN8系統(tǒng)下用Matlab 2016a版本進(jìn)行仿真實(shí)驗(yàn)。

圖6和圖7是仿真實(shí)驗(yàn)的具體實(shí)現(xiàn)步驟。

表1 ?評(píng)價(jià)的標(biāo)準(zhǔn)

??

圖8中列舉了一些本文算法的檢測結(jié)果。其中第1、2行特意選取符合文本規(guī)則的復(fù)雜場景圖像。圖8a）為原圖（藍(lán)色框?yàn)閳D像文本規(guī)則分布）;圖8b）為圖像檢測結(jié)果;圖8c）為原圖;圖8d）為它的檢測結(jié)果，說明該方法也能夠在有復(fù)雜背景的場景圖像中精確地檢測文本區(qū)域。第3行是網(wǎng)絡(luò)社交平臺(tái)圖像檢測結(jié)果。圖8e）為原圖;圖8f）為圖像檢測結(jié)果。第4行是失敗的檢測案例。圖8g）和圖8i）為輸入的原圖（藍(lán)色框?yàn)槲谋疽?guī)則分布），由于圖像文本分布規(guī)則不符合，所以圖8h）和圖8j）原文本區(qū)域的文本當(dāng)作背景篩除。

利用本文方法檢測圖像文本得到的結(jié)果與其他算法相比較，結(jié)果如表2所示。無論是準(zhǔn)確率或者時(shí)間效率，本文算法都較優(yōu)于其他一些文獻(xiàn)檢測算法。

圖8 ?其他圖像檢測

5 ?結(jié) ?語

依據(jù)網(wǎng)絡(luò)社交平臺(tái)圖像和自然場景圖像的不同點(diǎn)和相同點(diǎn)，提出了基于改進(jìn)SWT法的圖像檢測方法，該方法分為4部分：圖像輸入、分布規(guī)則、篩選、輸出結(jié)果。筆畫寬度特征在分布規(guī)則之后進(jìn)行檢測，分布規(guī)則大大減少了算法處理像素的數(shù)量，從而減少了算法時(shí)間成本和提高了效率。

仿真實(shí)驗(yàn)結(jié)果表明效果達(dá)到了理想預(yù)期，提高了定位的準(zhǔn)確性，但是由于SWT算法主要針對(duì)英文檢測，中文文本檢測還有提高的空間，以后還需要繼續(xù)研究改進(jìn)。

參考文獻(xiàn)

[1] BAI X， SHI B， ZHANG C， et al. Text/nontext image classification in the wild with convolutional neural networks [J]. Pattern recognition， 2016， 66： 437?446.

[2] LIU Y， JIN L. Deep matching prior network： toward tighter multi?oriented text detection [C]// Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu： IEEE， 2017： 3456?3461.

[3] SHI B G， BAI X， YAO C. An end?to?end trainable neuralnetwork for image?based sequence recognition and its application to scene text recognition [J]. IEEE transactions on pattern analysis and machine intelligence， 2015， 39（11）： 2298?2304.

[4] 王潤民，桑農(nóng)，丁丁，等.自然場景圖像中的文本檢測綜述[J].自動(dòng)化學(xué)報(bào)，2018，44（12）：3?31.

WANG Runmin， SANG Nong， DING Ding， et al. Overview of text detection in natural scene images [J]. Journal of automation， 2018， 44（12）： 3?31.

[5] NEUMANN L， MATAS J. A method for text localization and recognition in real?world images [C]// Proceeding of 10th Asian Conference on Computer Vision. Queenstown： [s.n.]， 2010： 770?783.

[6] ZHU A， GAO R， UCHIDA S. Could scene context be beneficial for scene text detection [J]. Pattern recognition， 2016， 8： 204?215.

[7] WEI Y， ZHANG Z， SHEN W， et al. Text detection in scene images based on exhaustive segmentation [J]. Signal processing image communication， 2017， 50： 1?8.

[8] EPSHTEIN B， OFEK E， WEXLER Y. Detecting text in natural scenes with stroke width transform [C]// Proceedings of 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco： IEEE， 2010： 2963?2970.

[9] YAO C， BAI X， LIU W， et al. Detecting texts of arbitrary orientations in natural images [C]// Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence： IEEE， 2012： 1083?1090.

[10] ANTHIMOPOULOS M， GATOS B， PRATIKAKIS I. Detection of artificial and scene text in images and video frames [J]. Pattern analysis and applications， 2013， 16（3）： 431?446.

[11] HUANG W L， ZHE L， YANG J， et al. Text localization in natural images using stroke feature transform and text covariance descriptors [C]// Proceedings of IEEE International Conference on Computer Vision. Sydney： IEEE， 2013： 1241?1248.

[12] 張偉偉.一種針對(duì)漢字特點(diǎn)的場景圖像中文文本定位算法[J].信息工程大學(xué)學(xué)報(bào)，2014，15（6）：729?736.

ZHANG Weiwei. A Chinese image localization algorithm for scene images based on Chinese characters [J]. Journal of Information Engineering University， 2014， 15（6）： 729?736.