蔣沖宇，魯統(tǒng)偉，閔 峰，熊寒穎，胡記偉

武漢工程大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，湖北 武漢 430205

隨著計(jì)算機(jī)圖像學(xué)的快速發(fā)展，光學(xué)字符識(shí)別（optical character recognition，OCR）技術(shù)越來越多的應(yīng)用到各種領(lǐng)域。它是利用光學(xué)技術(shù)和計(jì)算機(jī)技術(shù)把印在或?qū)懺诩埳系奈淖肿x取出來，并轉(zhuǎn)換成一種計(jì)算機(jī)能夠接受、人又可以理解的格式。使用OCR識(shí)別的時(shí)候，需要對(duì)圖片進(jìn)行一系列的預(yù)處理操作，包括檢測(cè)待識(shí)別區(qū)域、二值化、灰度化、去除干擾項(xiàng)［1-2］。場(chǎng)景文字識(shí)別具有很高的研究?jī)r(jià)值［3-4］，隨著信息化的高速發(fā)展，電子發(fā)票逐漸接觸到日常生活中，但是傳統(tǒng)發(fā)票仍然存在，例如飯店、加油站，以及往年的票務(wù)需要整理。普通的增值稅發(fā)票和電子發(fā)票可以通過掃描二維碼來查看發(fā)票代碼、號(hào)碼、日期、金額，但是部分發(fā)票沒有二維碼，而且發(fā)票中還存在一些別的信息需要識(shí)別，例如購(gòu)買物品的名稱、數(shù)量、多個(gè)物品的單價(jià)、開票單位以及備注內(nèi)容，這些都是需要識(shí)別的內(nèi)容，通過識(shí)別這些內(nèi)容以便提取發(fā)票的完整信息，方便對(duì)票據(jù)的整理和信息的統(tǒng)計(jì)。針對(duì)發(fā)票場(chǎng)景，發(fā)票上的印章通常會(huì)遮擋部分有用信息，影響對(duì)字符的識(shí)別，去除印章不僅能夠提高文本檢測(cè)的效果，而且可以提高文字的識(shí)別率，方便采集和整理票據(jù)。2008年趙永濤等［5］提出了印章識(shí)別中圖像預(yù)處理的方法，通過采用色相，飽和度和色明度模型（hue，saturation，value，HSV）提取印章然后將圖像灰度、二值化處理。2014年季婧婧等［6］提出二次分割的票據(jù)彩色印章濾除，先分割印章、再分割文字信息，最后得到去除印章的圖片。但是傳統(tǒng)方法去定位和檢測(cè)印章存在速度變慢精度低等問題。2016年Liu等［7］提出了單一多框檢測(cè)器（single shot detector，SSD）檢測(cè)網(wǎng)絡(luò)，基于一個(gè)前向傳播的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN），是在實(shí)時(shí)目標(biāo)檢測(cè)（you only look once，YOLO）［8］和 Faster-RCNN［9］的基礎(chǔ)上進(jìn)行構(gòu)建，包含基礎(chǔ)網(wǎng)絡(luò)和金字塔網(wǎng)絡(luò)，基礎(chǔ)網(wǎng)絡(luò)是視覺幾何（visuol geometry group，VGG）的前面 4層網(wǎng)絡(luò)，金字塔網(wǎng)絡(luò)是特征圖逐漸減小的卷積網(wǎng)絡(luò)。改進(jìn)使用一個(gè)小卷積濾波器去預(yù)測(cè)目標(biāo)分類和邊界框的位置的偏移。2016年Tian等［10］提出基于RCNN，改進(jìn)的文本檢測(cè)網(wǎng)絡(luò)（detecting text in natural image with connectionist text proposal network，CTPN），采用文本細(xì)尺度檢測(cè)，據(jù)小窗口平滑，檢測(cè)文本行，將小文本框連接起來。2017年Howaed等［11］提出了一種用于移動(dòng)和嵌入式設(shè)的網(wǎng)絡(luò)MobileNet，采用深度可分離卷積來構(gòu)建輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)，其作用是減少了計(jì)算參數(shù)，壓縮了模型大小，但是在精度上有略微的降低。2018年歐陽歡等［12］提出國(guó)際標(biāo)準(zhǔn)化數(shù)據(jù)ISODATA聚類的方法，對(duì)印章的輪廓進(jìn)行聚類分析定位印章，通過橢圓擬合尋找最優(yōu)解，從而達(dá)到識(shí)別印章的目的。

本文首先使用MobileNet-SSD檢測(cè)出印章的位置，以矩形形式標(biāo)記出來。根據(jù)標(biāo)記區(qū)域的顏色信息提取印章、提取被印章覆蓋的文字信息和提取原圖文本信息，最后將印章覆蓋信息與原圖文本信息疊加，得到去除印章后的發(fā)票。

1 印章定位及其去除

1.1 印章定位

采用MobleNet替換了SSD中提取特征的部分，來構(gòu)建輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)，達(dá)到模型輕量化的效果。深度可分離卷積是把標(biāo)準(zhǔn)卷積分成深度卷積和逐點(diǎn)卷積，將標(biāo)準(zhǔn)的3×3的卷積分為一個(gè)3×3和一個(gè)1×1的卷積，減少計(jì)算量達(dá)到模型壓縮的效果。印章定位由特征提取、多尺度特征圖檢測(cè)組成［13-14］。

特征提?。河?MobileNets代替 VGG［15］作為模型基礎(chǔ)，用來提取更多的特征圖以用于檢測(cè)；多尺度特征圖檢測(cè)：所謂多尺度采用大小不同的特征圖，卷積神經(jīng)網(wǎng)絡(luò)前面的特征圖比較大，后面會(huì)逐漸降低特征圖大小，使用比較大的特征圖來檢測(cè)相對(duì)較小的目標(biāo)，而小的特征圖用來檢測(cè)大目標(biāo)。通過神經(jīng)網(wǎng)絡(luò)定位發(fā)票中印章的位置。

訓(xùn)練目標(biāo)源自MultiBox目標(biāo)［16-17］，但是擴(kuò)展到處理多個(gè)對(duì)象類別。算法損失函數(shù)定義為位置誤差與置信度誤差的加權(quán)和：

其中N表示于真實(shí)物體框相匹配的默認(rèn)框數(shù)量，假如N等于0，那么總體損失等于0；c是預(yù)測(cè)框的置信度；g是真實(shí)框的位置信息；α是一個(gè)權(quán)重參數(shù)，經(jīng)過交叉驗(yàn)證將它設(shè)為1；Lconf(x，c)是置信損失，這里采用交叉熵?fù)p失函數(shù)；Lloc(x，l，g)位置損失是預(yù)測(cè)框與真實(shí)框的損失函數(shù)。

1.2 印章去除

根據(jù)印章的位置提取印章信息，將提取出來的印章信息放入一張和原圖大小相同的白底圖片里面，提取出來的印章信息包含被印章遮擋的文字信息。接著提取圖片中文本信息，將提取出來的文本信息放入另外一張和原圖大小相同的白底圖片。然后提取被印章遮擋的文本信息。最后合并印章遮擋部分和文本信息部分中。流程圖如圖2所示。

1.2.1 提取印章 在日常生活中通常都是用攝像頭和掃描儀來采集數(shù)據(jù)，根據(jù)拍攝角度的不同，得到圖片顏色信息也有所不同，針對(duì)這一點(diǎn)本文嘗試采用分離紅色通道和色調(diào)，HSV模型來提取印章信息。但是由于拍色圖片顏色信息不均勻?qū)е绿崛⌒Ч⒉缓?。通過分析圖片的像素值可以發(fā)現(xiàn)，雖然拍攝的圖片顏色不均勻，但是紅色、藍(lán)色、綠色、黑色之間區(qū)分度很大，所以采用紅色值來確定印章信息。對(duì)于掃描儀采集的發(fā)票，紅綠藍(lán)色彩模式（red，greed，blue，RGB）都大于 200而且三原色的值基本相同，所以提取紅色信息只需要紅色的值大于藍(lán)色和綠色，并且差值大于一個(gè)值就認(rèn)為它是紅色。對(duì)于拍攝的發(fā)票，因?yàn)轭伾痪鶆?，背景顏色的RGB值在80～240之間，雖然顏色的值在變化，但是提取紅色依然可以按照之前的結(jié)論提取。獲取發(fā)票印章過程如下：

圖2 去除印章流程圖Fig.2 Flowchart of removing seals

將檢測(cè)到印章的圖片，按照高和寬遍歷整張圖片，可以得到每個(gè)像素點(diǎn)的顏色信息，紅色記為Kr，綠色值記為Kb，藍(lán)色值記為Kg；根據(jù)顏色信息判斷如果Kr＞Kb、Kr＞Kg，并且兩者之間的差值大于某個(gè)值那么認(rèn)為這個(gè)像素點(diǎn)的顏色為紅色，通過統(tǒng)計(jì)多種發(fā)票的印章顏色信息，將這個(gè)值設(shè)置為30。并且將像素值的位置信息和顏色信息保存在一個(gè)列表中，輸出到另外一張白底圖片上，這樣做的目的是因?yàn)榘l(fā)票在蓋章的時(shí)候因?yàn)槿藶榈脑驅(qū)е掳l(fā)票不均勻，提取出來之后，原圖會(huì)有部分噪點(diǎn)。其效果如圖3所示。通過圖3對(duì)比分析，可以發(fā)現(xiàn)HSV提取法有局限性，不能提取出印章，而分離通道法雖然可以保留紅色通道，但是根據(jù)印章顏色的深度不同，會(huì)在圖片上留下底印，這樣導(dǎo)致圖片信息在檢測(cè)和識(shí)別的時(shí)候會(huì)有一定影響。

圖3 印章提取：（a）原圖，（b）本文提取法，（c）HSV提取法，（d）分離通道法Fig.3 Comparison of seals extraction methods：（a）original images，（b）our extracting method，（c）HSV extracting method，（d）separation channel method

1.2.2 提取文本 在提取文本信息的時(shí)候需要解決的一個(gè)難題：對(duì)背景顏色的處理。通過去掉背景顏色來提取文本信息。掃描儀掃描的圖片背景信息很均勻，想要提取藍(lán)色和綠色的文本，只需要背景的Kr、Kb、Kg的值均大于240即可，小于的就是的文本信息。對(duì)于拍攝圖片來說，這樣做顯然是不對(duì)的，拍攝出來的圖片背景顏色呈現(xiàn)灰色，而且顏色不均勻，在這里通過采用分塊處理的方法來解決這個(gè)問題。先將去除印章部分的圖片轉(zhuǎn)換成灰度圖，再將一張圖片分成若干塊小的矩形，對(duì)每一個(gè)矩形來計(jì)算里面的每個(gè)像素點(diǎn)的值G，將所有的G疊加起來求平均值。定義N為矩形的高、M為矩形的寬，公式如下：

圖片中的文字信息所占的像素個(gè)數(shù)會(huì)小于圖片背景像素個(gè)數(shù)，因此求得平均值后還要減去一個(gè)常量，取4個(gè)對(duì)角的G最大差值為減去的常量，這樣小于這個(gè)平均值就是文本信息，對(duì)于大于的值，將其賦值255，將其變?yōu)榘咨?；最后拼接所有的矩形塊，拼接的時(shí)候按照從左到右、在從上到下的順序拼接。

1.2.3 提取遮擋字符 提取出完整的印章信息后，接著提取被印章遮擋住的文字信息。因?yàn)橛≌碌念伾透采w的顏色有所差異，在這里也采用分塊的思路去提取遮擋字符。

1.2.4 合并遮擋字符和文本 最后合并提取出來的字符信息，通過兩張圖片像素點(diǎn)的值疊加就得到了最終的去章結(jié)果。最后遍歷得到的結(jié)果圖，記錄灰度值小于255的位置信息，通過位置信息將灰度圖像轉(zhuǎn)換成彩色圖像。

2 實(shí)驗(yàn)與結(jié)果討論

2.1 實(shí)驗(yàn)方法

通過手機(jī)拍攝和掃描儀掃描采集增值稅發(fā)票、中國(guó)石化發(fā)票等作為數(shù)據(jù)集，使用采集到的數(shù)據(jù)集進(jìn)行訓(xùn)練。因?yàn)樵鲋刀惏l(fā)票和中國(guó)石化發(fā)票的印章位置比較固定，而且每張差異不大，所以采用60張作為訓(xùn)練集，10張作為驗(yàn)證集訓(xùn)練，標(biāo)記每張圖片印章的位置，在進(jìn)網(wǎng)絡(luò)之前將圖片先填充為正方形然后縮放到300×300。

在深度學(xué)習(xí)框架上選擇Caffe。采用GTX2080的顯卡訓(xùn)練神經(jīng)網(wǎng)絡(luò)，迭代1萬次達(dá)到收斂。用訓(xùn)練好的模型檢測(cè)出20張圖片中印章位置，用于之后的去除印章測(cè)試，最后采用CTPN檢測(cè)文本框。圖4為發(fā)票去章和文本檢測(cè)。

圖4 實(shí)驗(yàn)結(jié)果：（a）發(fā)票去除印章，（b）文本檢測(cè)Fig.4 Experimental result：（a）removing seal of invoice，（b）text detection

2.2 識(shí)別率對(duì)比

本文使了20張圖片進(jìn)行測(cè)試，首先實(shí)驗(yàn)對(duì)圖像進(jìn)行了提取和合并等處理。然后使用騰訊OCR進(jìn)行識(shí)別。表1是關(guān)于去除印章和不去除印章識(shí)別結(jié)果的對(duì)比。

表1 測(cè)試結(jié)果對(duì)比Tab.1 Comparison of test results

表1中的識(shí)別率為檢測(cè)到的印章矩形區(qū)域內(nèi)的字符的識(shí)別準(zhǔn)確率。根據(jù)測(cè)試表明，去除印章之后的識(shí)別率提升了約20%，對(duì)識(shí)別發(fā)票有提高。

2.3 檢測(cè)率對(duì)比

該部分采用了CTPN去檢測(cè)，采用10張去除印章的圖片進(jìn)行測(cè)試，規(guī)定只計(jì)算印章處，對(duì)于單行文本，完整檢測(cè)出來的算檢測(cè)到，否則認(rèn)為檢測(cè)失敗。檢測(cè)成功率為完整檢測(cè)到的除以總數(shù)。表2是關(guān)于去除印章和不去除識(shí)印章的檢測(cè)結(jié)果。

表2 測(cè)試結(jié)果對(duì)比Tab.2 Comparison of test results

通過表和圖可以得知，沒去章的圖片會(huì)存在很大的漏檢和把印章作為識(shí)別的部分，去除印章后的檢測(cè)率有了提升。

3 結(jié) 語

以上對(duì)特殊的場(chǎng)景文字識(shí)別進(jìn)行了研究，在原有的識(shí)別基礎(chǔ)上，提出了基于顏色信息的去章方法，解決在場(chǎng)景文字識(shí)別中印章遮擋的問題。實(shí)驗(yàn)結(jié)果表明，本文提出的方法提高了發(fā)票的檢測(cè)率和識(shí)別率，有利于將發(fā)票識(shí)別推向使用。本文還有一些局限性，去除的印章圖會(huì)存在噪點(diǎn)的情況，在神經(jīng)網(wǎng)絡(luò)部分還需要擴(kuò)大實(shí)驗(yàn)的數(shù)據(jù)樣本，使其具有更好的魯棒性。