曾凡鋒　段漾波

(北方工業(yè)大學(xué)計(jì)算機(jī)學(xué)院　北京 100144)

?

一種復(fù)雜版面扭曲文檔圖像快速校正方法

曾凡鋒段漾波

(北方工業(yè)大學(xué)計(jì)算機(jī)學(xué)院北京 100144)

摘要在對(duì)復(fù)雜版面扭曲文檔圖像進(jìn)行OCR識(shí)別時(shí)，識(shí)別率較低。針對(duì)這類文檔圖像提出一種基于形態(tài)學(xué)文本行定位的扭曲校正方法。首先根據(jù)形態(tài)學(xué)特征在復(fù)雜版面中定位文本行，區(qū)分處理文字區(qū)域和非文字區(qū)域，利用文本行信息提取文本線；再以文本線為基準(zhǔn)利用窗口掃描法進(jìn)行文字行校正，最終重構(gòu)圖像。實(shí)驗(yàn)結(jié)果表明，該方法校正效果明顯，對(duì)于復(fù)雜版面的扭曲文檔圖像有較好的校正效果，校正后識(shí)別率大幅度提高。

關(guān)鍵詞復(fù)雜版面扭曲文檔形態(tài)學(xué)組件窗口掃描校正

0引言

在圖像的采集過(guò)程中，由于受到紙質(zhì)文檔自身幾何形狀和拍攝角度的影響，采集到的圖像可能發(fā)生扭曲，而文檔圖像的扭曲將嚴(yán)重影響到OCR識(shí)別的效果。當(dāng)文檔圖像是圖文混排等復(fù)雜版面的情況時(shí)，將進(jìn)一步影響到OCR識(shí)別。這就需要對(duì)復(fù)雜版面文檔圖像進(jìn)行有效的校正。近年來(lái)，國(guó)內(nèi)外對(duì)扭曲圖像校正技術(shù)的研究在日趨增加，但目前大部分的研究主要針對(duì)于純文本的圖像，對(duì)圖文混排類的復(fù)雜版面文檔圖像的扭曲校正研究較少。對(duì)純文本扭曲圖像的校正方法主要分為基于3D模型的校正技術(shù)和基于2D的圖像處理技術(shù)，其中基于2D的校正技術(shù)有很好的實(shí)用性和易推廣性?；?D的校正技術(shù)主要包括：1) 基于連通域的處理[1-3]，這種方法有很好的校正效果，然而由于處理精度較高，對(duì)復(fù)雜版面敏感度較高，校正效率有待進(jìn)一步提高。2) 基于文本線的處理[4,5]，這類方法要很高的校正效率，但由于是從整體文本行入手，因此校正精度有細(xì)節(jié)上的損失，且對(duì)復(fù)雜版面的文檔圖像同樣不適用。3) 基于模型的校正方法，該方法可以對(duì)含有表格等非文字的文檔圖像進(jìn)行檢測(cè)校正，但其校正粒度較為粗糙，效果欠佳。

通過(guò)以上分析總結(jié)，各種校正方法各有特點(diǎn)，但應(yīng)用到復(fù)雜版面文檔圖像時(shí)都不易獲得理想的校正效果，其原因在于復(fù)雜版面中的非文字元素影響了各種校正方法中的處理步驟。因此如何在復(fù)雜版面上進(jìn)行有效的校正成為關(guān)鍵所在。本文針對(duì)復(fù)雜版面的扭曲文檔圖像提出一種基于組件分析的文本線校正方法，實(shí)現(xiàn)了對(duì)圖像中的文字區(qū)域和非文字區(qū)域的有效區(qū)分，進(jìn)而精準(zhǔn)定位扭曲文本行，最后基于窗口掃描的方法以文本線為基準(zhǔn)校正圖像。該方法解決了對(duì)復(fù)雜版面扭曲圖像的有效校正，并兼顧效率與校正精度。

1復(fù)雜版面扭曲文檔圖像特征及校正分析

在獲取圖像的過(guò)程中，相機(jī)位置及書籍的擺放，都可能使獲得的圖像發(fā)生扭曲，如圖1所示。

圖1　復(fù)雜版面扭曲文檔示意圖

在純文本文檔圖像扭曲的情況下，識(shí)別率將會(huì)大大降低；而在復(fù)雜版面的扭曲的情況下，識(shí)別率將進(jìn)一步降低，甚至無(wú)法識(shí)別。在這種情況下，文字和非文字混合排入圖像中，對(duì)扭曲圖像的處理難度將進(jìn)一步增加。文獻(xiàn)[6]在提出一種基于連通域的提取文檔圖像中的復(fù)選框組件的方法，但無(wú)法對(duì)文檔圖像中的圖像元素進(jìn)行處理。在對(duì)文本行進(jìn)行扭曲校正之前，必須排除非文字區(qū)域的影響。為了提高識(shí)別精度，最終也需要剔除非文字區(qū)域，保留純文本。這是本文所選用的處理思想。

2基于組件分析的扭曲校正算法

對(duì)于復(fù)雜版面扭曲文檔圖像，扭曲校正的重點(diǎn)是文本行的定位。本文就此提出一種基于形態(tài)學(xué)組件分析的校正方法。算法實(shí)現(xiàn)均采用C++編程語(yǔ)言。解決方案流程如圖2所示。

圖2　本文解決方案流程圖

2.1圖像預(yù)處理

圖像預(yù)處理包括兩個(gè)步驟：灰度化和二值化?；叶然菍⒕哂蠷，G，B分量的真彩色圖像轉(zhuǎn)換為灰度圖像。具體轉(zhuǎn)換規(guī)則采用以下公式：

I=0.11R+0.59G+0.3B

(1)

灰度化處理后需要將圖像轉(zhuǎn)為二值圖像，即只包括背景色和前景色的圖像。傳統(tǒng)的二值化方法較多，如雙峰法、大津法(OTSU)、Niblack法等。由于在光照均勻的情況下大津法可以很好地處理本文的研究圖像，得到效果較好的二值圖像，因此本文在研究中選用大津法進(jìn)行處理。預(yù)處理后的圖像如圖3所示。

圖3　二值化

2.28-鄰域填充目標(biāo)像素

對(duì)目標(biāo)像素進(jìn)行8-鄰域填充是為了更好地進(jìn)行形態(tài)學(xué)組件分析[7]。由于文字筆畫有的地方較細(xì)，有可能出現(xiàn)斷筆等情況，在進(jìn)行形態(tài)學(xué)分析時(shí)可能導(dǎo)致精確度不高。而8-鄰域填充可以使文字變得更飽滿，充實(shí)筆畫，提高形態(tài)學(xué)組件分析的精確度。

目標(biāo)像素的8-鄰域示意如圖4所示。

圖4　8-鄰域像素圖

具體填充規(guī)則如下：

(1) 對(duì)任意一個(gè)目標(biāo)像素點(diǎn)T，掃描其8-鄰域的像素值，分別記為E1，E2，E3，E4，E5，E6，E7，E8。

(2) 由式(2)判斷其鄰域內(nèi)是否有空白列或行。

α=(E1&&E2&&E3)‖(E3&&E5&&E8)‖(E6&&E7&&E8)

(2)

若α為1，則目標(biāo)像素為外部點(diǎn)，不予處理；若α為0，則為內(nèi)部點(diǎn)，對(duì)其8-鄰域像素進(jìn)行置黑操作。

(3) 判斷若無(wú)置黑操作則退出，否則重復(fù)(1)、(2)。

8-鄰域填充的局部效果如圖5所示。

圖5　8-鄰域填充效果

2.3形態(tài)學(xué)組件分析

對(duì)于圖像的版面分析，文獻(xiàn)[8]提出了一種基于K-means的聚類分析算法，通過(guò)對(duì)圖像像素進(jìn)行聚類分析將圖像內(nèi)容分類。但是，這種方法的效率有限，在處理文字圖像時(shí)體現(xiàn)不出其優(yōu)越性，因此本文在版面分析算法上主要參考基于形態(tài)學(xué)組件的分析方法。

形態(tài)學(xué)組件分析的目的在于區(qū)分出圖像中的文字行區(qū)域和非文字區(qū)域。采用以下步驟進(jìn)行組件分析：

(1) 掃描圖像，統(tǒng)計(jì)圖像中的基本元素。

(2) 根據(jù)各元素的形態(tài)學(xué)特征區(qū)分為不同的組件。

(3) 提取文本行組件，并對(duì)其進(jìn)行去噪修正。

由于在復(fù)雜版面的文檔圖像的識(shí)別中，關(guān)鍵在于定位文本區(qū)域信息。區(qū)分文字區(qū)域和非文字區(qū)域只要考慮各個(gè)組件的形態(tài)學(xué)特征即可[9,10]。因此，在掃描完圖像得到圖像各個(gè)組件后，分別計(jì)算其形態(tài)學(xué)特征，本文主要采用計(jì)算各組件的形態(tài)學(xué)高度和寬度來(lái)區(qū)分區(qū)域。計(jì)算規(guī)則如下：

用C表示組件元素集合：

C={c1,c2,c3,…,cn}

在編程實(shí)現(xiàn)中，首先定義結(jié)構(gòu)體Component，用來(lái)保存各個(gè)組件的信息。結(jié)構(gòu)體中包含組件的寬度、高度以及編號(hào)信息。統(tǒng)計(jì)每個(gè)組件的形態(tài)學(xué)寬度和高度，分別用集合H和W表示：

H={h1,h2,h3,…,hn}

W={w1,w2,w3,…,wn}

并由式(3)、式(4)計(jì)算組件的平均高度和平均寬度：

(3)

(4)

由經(jīng)驗(yàn)值可知計(jì)算出來(lái)的平均高度可以視為文檔圖像中文本行組件的近似平均高度。所以，在所有組件元素中，其形態(tài)學(xué)特征明顯不同于平均特征的組件被視為非文字行組件。對(duì)這些組件進(jìn)行標(biāo)注。對(duì)于文本行組件則進(jìn)行編號(hào)記錄，并存儲(chǔ)這些文本行組件的坐標(biāo)信息。本文采用一種基于組件邊界屬性的合并方法[9]。具體步驟如下：

第一步由組件分析的結(jié)果將文字組件按照以下規(guī)則合并文本行組件；

用left,right,top,bottom，width,height分別表示組件的左右上下邊界如果max(right1,right2)-min(left1,left2)

left=min(left1 ,left2)

right=max(right1 ,right2)

top=min(top1 ,top2)

bottom=max(bottom1 ,bottom2)

組件合并之后的初始狀態(tài)下, 各文字組件都處于屬性未定狀態(tài)。修正文本行組件的過(guò)程就是采用一種漸近的過(guò)程, 首先，根據(jù)組件的寬度和高度形態(tài)學(xué)特征，區(qū)分為文字和非文字；然后，把屬性已經(jīng)統(tǒng)計(jì)為文字的各組件按照它們的間距從小到大的順序加以逐步合并。在這一合并過(guò)程中, 只有屬性未定組件將被處理。該過(guò)程最終將各個(gè)文字組件合并成為文本行。

第二步對(duì)文本行組件進(jìn)行修正，對(duì)于不連續(xù)的文本行進(jìn)行不同編號(hào)標(biāo)記。

對(duì)上一步中合并出來(lái)的文本行進(jìn)行水平膨脹，這樣處理的目的是為了快速統(tǒng)計(jì)各個(gè)文本行，并對(duì)各個(gè)文本行進(jìn)行編號(hào)。

第三步記錄所有文本行位置信息。

利用上一步中水平膨脹后的文本行可以準(zhǔn)確地標(biāo)記各個(gè)文本行在圖像中的坐標(biāo)位置。對(duì)所有文本行進(jìn)行標(biāo)記，以進(jìn)行下一步處理。

2.4提取文本線

組件分析完成后，由于對(duì)非文本元素進(jìn)行了標(biāo)注，因此，可以對(duì)文本行組件進(jìn)行文本線的提取。具體的提取方法為：提取每個(gè)文字行組件的中心點(diǎn)，將這些中心點(diǎn)組成文本線，保存這些文本線的坐標(biāo)信息。

提取文本線的效果如圖6所示。

圖6　提取文本線

2.5窗口掃描校正

圖7　窗口掃描校正流程圖

已有的文獻(xiàn)的研究方法中，一種校正方法是先對(duì)文本線進(jìn)行擬合，再進(jìn)行幾何變換來(lái)重構(gòu)文本行；另一種方法是先將文字切分，再通過(guò)移動(dòng)單個(gè)文字到正確位置來(lái)重構(gòu)文本行。本文提出一種兼顧兩種方法優(yōu)點(diǎn)的重構(gòu)文本行方法，即以適當(dāng)大小的窗口為單位掃描文本線，對(duì)目標(biāo)像素進(jìn)行位置變換，來(lái)達(dá)到重構(gòu)文本行。本方法相比于完全的文本線擬合重構(gòu)方法提高了效率，相比于以文字為單位重構(gòu)方法又可以更好地保留文本行細(xì)節(jié)。

利用已經(jīng)獲得的文本行平均高度，以及文本線位置信息，以文本線為基準(zhǔn)，以一定大小的窗口對(duì)文本行進(jìn)行扭曲校正。窗口掃描的程序流程如圖7所示。

第一步設(shè)定掃描窗口大小，對(duì)于文檔圖像來(lái)說(shuō)，其中的文本信息除去標(biāo)題等少數(shù)特殊文本之外，其余文本的特征基本統(tǒng)一。所以，在設(shè)定掃描窗口大小時(shí)可以以文本行的平均高度為參照。本文選定的窗口大小遵照以下規(guī)則：

用window_H表示窗口高度，用window_W表示窗口寬度，其大小分別按式(5)、式(6)：

(5)

(6)

第二步選取每條文本線的中點(diǎn)作為掃描起點(diǎn)，首先記錄掃描起點(diǎn)的高度坐標(biāo)，分別向左向右移動(dòng)窗口，每移動(dòng)一次，記錄此次窗口內(nèi)文本線中點(diǎn)的高度，并計(jì)算其與掃描起點(diǎn)的高度差，記此高度差為windowGap，然后對(duì)于每一條文本線設(shè)置一個(gè)保存高度差的數(shù)組Height_Gapn(n為文本線編號(hào))，將每個(gè)窗口相應(yīng)的高度差windowGap記錄在這個(gè)數(shù)組中。掃描過(guò)程如圖8所示。

圖8　窗口掃描

第三步根據(jù)高度差數(shù)組中的數(shù)據(jù)文本行進(jìn)行重構(gòu)。在經(jīng)過(guò)組件分析后的圖像中，文本行已經(jīng)定位，因此在這一步中，對(duì)于每一條文本行，利用掃描文本線所得出的高度差結(jié)果，同樣從文本行的中點(diǎn)處開始向兩邊分別移動(dòng)窗口，在窗口內(nèi)的目標(biāo)像素統(tǒng)一移動(dòng)其相應(yīng)的窗口高度差windowGap，直至掃描移動(dòng)完成當(dāng)前文本行。對(duì)每一條文本行執(zhí)行上述過(guò)程，直至全部文本行完成。這時(shí)，圖像的所有文本行已經(jīng)完成校正。其校正效果如圖9所示。

圖9　文本行重構(gòu)效果

3方法測(cè)試及實(shí)驗(yàn)結(jié)果分析

3.1測(cè)試環(huán)境

本實(shí)驗(yàn)在VS2005開發(fā)環(huán)境下采用C++語(yǔ)言實(shí)現(xiàn)。測(cè)試環(huán)境為：Inter(R)Core(TM) 2DuoCPUE7400 @2.80GHz；內(nèi)存2GB；操作系統(tǒng)為Windows7。實(shí)驗(yàn)樣張取自16開普通中文書本，共對(duì)100張樣張進(jìn)行測(cè)試。拍攝攝像頭像素為500W像素。使用漢王OCR文字識(shí)別軟件進(jìn)行文字識(shí)別。

圖像的獲取均在光照均勻的環(huán)境下進(jìn)行，本文校正方法忽略噪聲的干擾。圖像數(shù)據(jù)為：24位真彩圖像，大小為1944×2592像素。本文算法主要是針對(duì)橫排的文檔圖像進(jìn)行研究的，圖像的版面特征主要是文檔圖像中混入了圖像，簡(jiǎn)單圖形(如線條)以及表格線等非文字元素，對(duì)這些文檔圖像均能進(jìn)行有效的扭曲校正。對(duì)于任意復(fù)雜的版面，本文方法還不能有效處理，有待改進(jìn)。

3.2校正效果對(duì)比

實(shí)驗(yàn)結(jié)果如圖10所示， 圖10為文獻(xiàn)[3]方法校正結(jié)果，圖11為本文方法校正結(jié)果。可以看出，對(duì)于復(fù)雜版面的文檔圖像，文獻(xiàn)[3]的校正效果明顯較差，不但沒(méi)有排除非文字元素的干擾，而且有的文字行已經(jīng)損失，識(shí)別率也會(huì)因此大大降低。而本文的算法進(jìn)行校正的效果明顯，且已經(jīng)剔除非文本元素的干擾，這樣可以較高地提升識(shí)別率。相比于文獻(xiàn)[11,12]中所提出的相應(yīng)校正算法，較之本文提出的算法都有明顯不足。在所有進(jìn)行測(cè)試的樣張中，只有3張的校正效果不是很理想，其余的樣張?jiān)谛Ｕ蟛徽撌强勺R(shí)別字符數(shù)還是識(shí)別率都有大幅度提升，其中識(shí)別率可達(dá)95%以上。對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)分析，其結(jié)果如表1所示。

圖10　文獻(xiàn)[3]校正效果　　圖11　本文校正效果

原始樣張文獻(xiàn)[3]本文方法校正耗時(shí)(ms)920886校正前后平均識(shí)別率67.1%86.4%95.4%校正前后平均可識(shí)別字符數(shù)(個(gè))603803900

由于本文所提的方法首先需要對(duì)文檔的版面進(jìn)行分析以確定文本行，所以相對(duì)于已有的基于文本線擬合的方法在時(shí)間效率上的提升并不是很明顯，但是在校正精確度和校正后識(shí)別率以及可識(shí)別字符數(shù)上都有明顯優(yōu)勢(shì)。對(duì)于這種復(fù)雜版面的文檔圖像大多數(shù)已有的校正方法的校正效果很差，甚至無(wú)法校正。本文方法相比于基于連通域文字分割的校正方法就有著較為明顯的效率優(yōu)勢(shì)。其中所測(cè)試的樣張中平均識(shí)別率可以達(dá)到95%以上，而可識(shí)別字符也比其他方法明顯多出。同時(shí)本文方法有較強(qiáng)的魯棒性，對(duì)于不同的復(fù)雜版面都能有較好的校正效果。

4結(jié)語(yǔ)

本文針對(duì)復(fù)雜版面扭曲文檔圖像進(jìn)行研究，提出基于組件

的窗口掃描校正方法。首先通過(guò)形態(tài)學(xué)特征對(duì)文檔內(nèi)容進(jìn)行組件分析，確定文本行；然后提取文本線，最后以文本線為基準(zhǔn)，以適當(dāng)大小窗口掃描校正文本行。該方法能在900毫秒內(nèi)校正1944×2592像素的圖像，而且校正效果良好，其校正后的OCR識(shí)別率可以達(dá)到95%以上。經(jīng)過(guò)進(jìn)一步測(cè)試，對(duì)于復(fù)雜版面的英文文檔圖像也可以準(zhǔn)確進(jìn)行校正。本文方法在本實(shí)驗(yàn)室開發(fā)的智能閱讀機(jī)進(jìn)行了應(yīng)用，無(wú)需人工干涉的情況下已能實(shí)現(xiàn)復(fù)雜版面扭曲文檔圖像的快速校正，校正后的實(shí)時(shí)識(shí)別率能達(dá)到95%。因此，本文提出的方法可以推廣到實(shí)時(shí)文字圖像識(shí)別系統(tǒng)中進(jìn)行應(yīng)用。

參考文獻(xiàn)

[1]LiuHong,YeLu.AmethodrestoreChinesewarpeddocumentimagesbasedonbindingcharactersandbuildingcurvedlines[C]//InternationalConferenceonSystems,ManandCybernetics:ICSMC2009:2009:989-993.

[2]LiZhang,YipAndyM,BrownMichaelS,etal.Aunifiedframeworkfordocumentrestorationusinginpaintingandshape-from-shading[J].PatternRecognition,2009,42(11):2961-2978.

[3] 宋麗麗,吳亞?wèn)|,孫波.改進(jìn)的文檔圖像扭曲校正方法[J].計(jì)算機(jī)工程,2011,37(1):204-206.

[4] 張偉業(yè),趙群飛.讀書機(jī)器人的版面分析及文字圖像預(yù)處理算法[J].微型電腦應(yīng)用,2011,27(1):58-61.

[5]LiuHong,DingRunwei.InternationalConferenceonSystemsManandCybernetics[C]//ICSMC2009:RestoringChinesewarpeddocumentimagesbasedontextboundarylines,2009.

[6]ZhangShengnan,YuanShanlei,NiuLianqiang.AutomaticRecognitionMethodforCheckboxinDataFormImage[C]//SixthInternationalConferenceonMeasuringTechnologyandMechatronicsAutomation,2014:159-162.

[7] 于明,郭僉,王棟壯.改進(jìn)的基于連通域的版面分割方法[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(17):195-198.

[8]HamedBehin,AfshinEbrahimi,SepidehEbrahimi.IncorporatedPreprocessingandPhysicalLayoutAnalysisofaBinaryDocumentImageUsingaTwoStageClassification[C]//InternationalConferenceonComputerandCommunicationEngineering:ICCCE2010:2010.

[9] 付蘆靜,錢軍浩,鐘云飛.基于漢字聯(lián)通分量的印刷圖像版面分割方法[J/OL].計(jì)算機(jī)工程與應(yīng)用,2013,49(3):4[2013-07-31].http://www.cnki.net/kems/detail/11.2127.TP.20130731.1817.001.html.

[10] 石蒙蒙.基于結(jié)構(gòu)化局部邊緣模式的文檔圖像分類[J].廈門大學(xué)學(xué)報(bào),2013,52(3):349-355.

[11]AmirRezaGhods,SaeedMozaffari,FarhadAhmadpanahi.DocumentImageDewarpingusingKinectDepthSensor[C]//21stIranianConference,ElectricalEngineering:ICEE2013:2014:1-6.

[12]TongLijing,ZhangGuoliang,PengQuanyao,etal.Warpeddocumentimagemosaicingmethodbasedoninflectionpointdetectionandregistration,InternationalConferenceonMultimediaInformationNetworkingandSecurityMINES2012:November2-4,2012[C]//Nanjing,2012:306-310.

A FAST CORRECTION METHOD FOR WARPED DOCUMENT IMAGESINCOMPLEXLAYOUT

Zeng FanfengDuan Yangbo

(College of Computer,North China University of Technology,Beijing 100144,China)

AbstractThe recognition rate of OCR (optical character recognition) on warped document images in complex layout is relatively low. To solve this problem, we proposed a morphology-based warp correction method with rows of text positioning. First, according the morphological characteristics it locates the rows of text in complex layout to distinguish the text areas from other areas. After that it uses the rows of text information to extract the text lines, and then uses the text lines as the benchmark, employs the window scanning method to correct the rows of text, and finally reconstructs the image. Experimental results demonstrated that this method achieved manifest correction effect. For warped document images in complex layout it gained acceptable correction results, the recognition rate improved significantly after the correction.

KeywordsComplex layoutWarped documentMorphologic componentWindows scanning correction

收稿日期：2015-01-08。國(guó)家自然科學(xué)基金項(xiàng)目(61371142)；北京市自然科學(xué)基金項(xiàng)目(4132026)。曾凡鋒，副研究員，主研領(lǐng)域：圖像處理，智能識(shí)別，系統(tǒng)辨識(shí)。段漾波，碩士生。

中圖分類號(hào)TP391

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.06.042