周 麗，馮百明，關(guān) 煜，方 格

(西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院， 甘肅 蘭州 730070 )

1 引言

在生活中，拍攝書籍或者資料時(shí)，由于書籍較厚和拍攝方式等原因,經(jīng)常會(huì)發(fā)生圖像中所拍頁(yè)面出現(xiàn)透視、傾斜或彎曲變形等現(xiàn)象，這些現(xiàn)象對(duì)圖像的后續(xù)應(yīng)用，諸如圖像識(shí)別、機(jī)器視覺等造成很大的影響。因此，需要對(duì)這些不利后續(xù)應(yīng)用的變形進(jìn)行校正，以便更好地使用文檔圖像。目前，對(duì)透視和傾斜變形圖像的校正方法比較成熟，但對(duì)彎曲變形圖像仍存在校正效果不理想的問題，本文主要研究彎曲變形圖像的校正。

頁(yè)面彎曲變形的校正技術(shù)主要有基于連通域的方法[1-6]、基于3D技術(shù)的校正方法[7 - 9]和基于模型的方法[10 - 12]。Gatos等人[1]提出了一種對(duì)于任意變形文檔分割的校正方法。該方法首先通過(guò)提取單詞的上基線和下基線[2]，并用直線來(lái)擬合，然后找到最近鄰單詞之間的傾角關(guān)系，逐步將每個(gè)單詞進(jìn)行校正。Liu等人[3]介紹了一種基于字符迭代綁定和平行線法構(gòu)造曲線的恢復(fù)方法，增加了很多限制規(guī)則,這無(wú)疑增加了算法的復(fù)雜度，而且對(duì)變形圖像的校正效果不理想。Liu等人[4]同時(shí)又提出了一種基于文本邊界線調(diào)整的復(fù)原方法，這種方法不依賴文本行，對(duì)文檔圖像的內(nèi)容沒有限制。國(guó)內(nèi)研究人員常使用字符分割的方法[5,6]，這種方法提取字符比較耗時(shí)。Ulges等人[7]利用3D信息將四邊形映射到正確的尺寸和位置，但該方法需要提前知道頁(yè)面布局情況且要求相機(jī)垂直于書脊。Zhang等人[8]利用SFS(Shape-From-Shading)技術(shù)來(lái)提取用于3D建模的信息，在文檔圖像的幾何校正方面取得了不錯(cuò)的效果，其公式能夠很容易進(jìn)行修改，以適應(yīng)不同的光照條件。Tang等人[9]應(yīng)用可展平面錐面來(lái)建模圖像文檔變形，但局限于個(gè)別情況。Fu等人[10]提出使用模型轉(zhuǎn)換的方法對(duì)變形圖像進(jìn)行校正，模型轉(zhuǎn)換的方法可以用在不同的語(yǔ)言上，而且對(duì)復(fù)雜的文檔圖像也能進(jìn)行校正，但校正速度較慢。Kim等人[11]在建立廣義圓柱模型研究成果的基礎(chǔ)上，提出了一種成本函數(shù)的校正方法。Kil等人[12]基于Kim等人的研究成果，將圖像中的線段屬性編入成本函數(shù)進(jìn)行校正，當(dāng)線段扭曲變形嚴(yán)重時(shí)，校正效果不理想。Meng等人[13]使用向量場(chǎng)來(lái)對(duì)單一變形頁(yè)面進(jìn)行三維建模，當(dāng)變形類型多樣時(shí)，效果較差。Li等人[14]提出基于塊分割和卷積神經(jīng)網(wǎng)絡(luò)模型的校正方法，復(fù)雜度較小，但這種方法不能檢測(cè)識(shí)別文檔的邊界，對(duì)文檔圖像的未裁剪部分不能校正，同時(shí)圖像與合成的訓(xùn)練數(shù)據(jù)集相差太多的時(shí)候，校正精確率較低。

目前，基于模型的方法對(duì)頁(yè)面彎曲變形的校正效果最為理想，但很多是只針對(duì)英文和純文本圖像的變形進(jìn)行校正的，而且大多是以文本行和文本塊為校正對(duì)象，存在校正的效果不理想和校正類型單一的問題。

針對(duì)上述問題，本文提出了一種基于文本域合并的文本行獲取算法，并提出利用最小化重投影的方法進(jìn)行參數(shù)模型的優(yōu)化，從而實(shí)現(xiàn)校正?，F(xiàn)有方法以文本行或者文本塊作為校正對(duì)象，當(dāng)文本行變形嚴(yán)重時(shí)，并不能完全提取變形信息，而以文本域作為處理對(duì)象，能夠提取到局部的變形信息，再對(duì)其進(jìn)行合并，使得變形文本行信息更加豐富，從而更有利于文檔的校正。

最小化重投影方法與現(xiàn)有字符拉伸、文本行曲線拉伸以及成本函數(shù)優(yōu)化方法相比，不僅考慮了投影矩陣的計(jì)算誤差，還考慮了圖像點(diǎn)的測(cè)量誤差，所以有更高的精確率；此外，本文選擇序到最小二乘規(guī)化SLSQP(Sequential Least SQuares Programming)算法，使得誤差最小化，經(jīng)過(guò)測(cè)試，此優(yōu)化方法速度高于其他方法，因而最小化重投影方法更準(zhǔn)確、更高效。

本文利用文本域合并提取的文本行信息建立扭曲頁(yè)面的模型，在優(yōu)化時(shí)對(duì)整個(gè)頁(yè)面進(jìn)行重新映射，因此對(duì)于帶公式、插圖的扭曲文檔也能夠校正。相比對(duì)插圖部分進(jìn)行線段約束的方法，本文方法不需要檢測(cè)線段，而是利用建立好的模型直接優(yōu)化和重投影，因而有著更高的效率。實(shí)驗(yàn)表明，本文方法提高了校正的精確率，并可以對(duì)帶插圖的變形文檔圖像進(jìn)行較好的校正。

2 校正彎曲變形的方法

本文提出一種新的變形文檔圖像校正方法。該方法首先利用文本域合并方法獲取文本行，其次使用主成分分析PCA(Principal Component Analysis)方法進(jìn)行關(guān)鍵點(diǎn)投影，利用三次多項(xiàng)式計(jì)算關(guān)鍵點(diǎn)和其投影點(diǎn)之間的偏移量，最后使用優(yōu)化算法進(jìn)行最小化重投影，使得圖像得以校正。本文方法具有以下特點(diǎn)：無(wú)需切分字符和分析字符位置；利用文本域進(jìn)行合并；使用最小化重投影方法。

2.1 投影原理

智能手機(jī)拍攝空間物體時(shí)，空間物體的位置與像平面某點(diǎn)的位置是相關(guān)的，位置的相互關(guān)系是由手機(jī)成像的幾何模型決定的。三維空間到二維空間的變換是一個(gè)投影的過(guò)程。手機(jī)成像過(guò)程涉及4個(gè)坐標(biāo)系(世界坐標(biāo)系、相機(jī)坐標(biāo)系、圖像物理坐標(biāo)系和圖像像素坐標(biāo)系)以及坐標(biāo)系之間的轉(zhuǎn)換。下面介紹坐標(biāo)系之間的轉(zhuǎn)換。

世界坐標(biāo)系的坐標(biāo)用(Xw,Yw,Zw)表示，相機(jī)坐標(biāo)系的坐標(biāo)用(Xc,Yc,Zc)表示，圖像物理坐標(biāo)系坐標(biāo)用(x,y)表示，圖像像素坐標(biāo)系的坐標(biāo)用(u,v)表示。如圖1所示是圖像物理坐標(biāo)系和圖像像素坐標(biāo)系的關(guān)系，xy表示的是圖像物理坐標(biāo)系，uv表示的是圖像像素坐標(biāo)系。假設(shè)每一個(gè)像素在u軸和v軸上的物理尺寸為dx和dy。

Figure 1 Relationship between the physical coordinate system of an image and its pixel coordinate system圖1 圖像物理坐標(biāo)系和其像素坐標(biāo)系之間的關(guān)系

圖像物理坐標(biāo)向圖像像素坐標(biāo)的轉(zhuǎn)換過(guò)程如式(1)和式(2)所示，轉(zhuǎn)換矩陣如式(3)所示：

u=x/dx+u0

(1)

v=y/dy+v0

(2)

(3)

世界坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系的過(guò)程如式(4)和式(5)所示，轉(zhuǎn)換矩陣如式(6)所示：

x=f*Xc/Zc

(4)

y=f*Yc/Zc

(5)

(6)

其中f表示相機(jī)的焦距。

同時(shí)，相機(jī)坐標(biāo)系和世界坐標(biāo)系的轉(zhuǎn)換如式(7)所示：

(7)

其中，R表示旋轉(zhuǎn)矩陣,T表示平移矩陣。

世界坐標(biāo)系和圖像像素坐標(biāo)系的轉(zhuǎn)換過(guò)程如式(8)所示：

(8)

其中，M1表示內(nèi)參矩陣,M2表示外參矩陣。這樣三維空間物體的坐標(biāo)就可以投影到二維空間中。

2.2 頁(yè)面彎曲變形

為了更加方便和快速地處理圖像，在進(jìn)行圖像處理前需要的圖像進(jìn)行一些規(guī)范化操作，也就是圖像的預(yù)處理工作。傳統(tǒng)的預(yù)處理方法是對(duì)多余部分進(jìn)行裁剪。本文對(duì)只有頁(yè)面彎曲變形的圖像，直接選定感興趣區(qū)域ROI(Region of Interest)進(jìn)行校正。頁(yè)面彎曲文檔圖像的類型主要有純文本圖、圖文混合圖、純圖像和表格等，本文主要處理的是純文本圖和圖文混合圖。圖2和圖3分別是圖文混合和純文本的變形文檔圖像。

Figure 2 A distorted document image mixed with text圖2 圖文混合的變形文檔圖像

Figure 3 A distorted document image of plain text圖3 純文本的變形文檔圖像

2.3 ROI區(qū)域大小的選定

從圖2和圖3可以看出，日常拍攝的圖像很多時(shí)候存在多余的部分。以往文獻(xiàn)會(huì)對(duì)多余部分進(jìn)行裁剪，如文獻(xiàn)[15]，本文不再討論如何裁剪，直接在選定的ROI上操作。對(duì)于分辨率超高的圖像，使用像素區(qū)域關(guān)系進(jìn)行重采樣，以降低圖像的分辨率，低于電腦分辨率的不做處理。在獲取頁(yè)面ROI大小時(shí)，事先根據(jù)輸入的圖像選定頁(yè)面的4個(gè)頁(yè)邊距，根據(jù)頁(yè)邊距最后確定ROI大小,圖4是頁(yè)面邊距設(shè)為30所得的ROI大小。如圖5框選部分為圖2的ROI大小。

Figure 4 Page ROI size圖4 頁(yè)面ROI大小

Figure 5 ROI size of image in figure 3圖5 圖3中圖像的ROI大小

2.4 檢測(cè)文本域輪廓

校正中文變形文檔時(shí)，已有方法通常采用分割字符的方法[5,15,16]。字符分割往往耗時(shí)長(zhǎng)，而且不能有效分割不在一條水平線、彎曲嚴(yán)重的字符。有的方法直接通過(guò)檢測(cè)文本行和文本塊進(jìn)行校正，這種方法速度較快，但準(zhǔn)確率依舊不高。本文通過(guò)檢測(cè)符號(hào)之間的文本域?qū)ξ谋具M(jìn)行劃分，這里的符號(hào)包括正常的標(biāo)點(diǎn)符號(hào)，還包括空格等符號(hào)。

在對(duì)文本進(jìn)行檢測(cè)前，需要進(jìn)行灰度化、二值化、均值去噪以及形態(tài)學(xué)等預(yù)處理操作。本文使用OpenCV庫(kù)的輪廓查找方法cv2.fingContours()，通過(guò)檢測(cè)最外層輪廓的方式檢測(cè)到每個(gè)文本域的輪廓，并通過(guò)圖像矩找到文本域輪廓的近似中心點(diǎn)位置和文本域的方向角，從而確定文本域的中心線。如圖6所示，是檢測(cè)到的圖3中文本域輪廓及其中心線。

Figure 6 Text field outline of image 3 and its center line圖6 圖3文本域輪廓及其中心線

2.5 獲取行連通域及其關(guān)鍵點(diǎn)

文本行提取過(guò)程如下：前文獲取的文本域信息被存進(jìn)了列表info_list，設(shè)任意文本域區(qū)域i和j，要求i是j前面的一個(gè)文本域，i和j組成一對(duì)文本域，為每對(duì)文本域輪廓生成候選邊，并對(duì)它們進(jìn)行評(píng)分。

評(píng)分規(guī)則是：分?jǐn)?shù)值由距離和角度變化的線性組合來(lái)決定，同時(shí)篩選掉那些重合、不在同一行的文本域，將重合、不在同一行的文本域候選邊設(shè)為無(wú)窮大(INFINITY)。然后對(duì)分?jǐn)?shù)score進(jìn)行排序，分?jǐn)?shù)越低生成候選邊的可能性越大。遍歷所有的候選邊，對(duì)沒有連接的候選邊進(jìn)行連接，直到連接到最后一個(gè)文本域。文本行提取算法如算法1所示，獲取的文本行連通域如圖7所示。

算法1變形文本行提取算法

輸入：info_list。//文本域輪廓信息

輸出：spans。//文本行輪廓信息

步驟1sorted(info_list);/*對(duì)文本域列表信息進(jìn)行排序*/

步驟2can_edges=[ ];//候選邊列表

步驟3spans=[];//初始化文本行輪廓列表

步驟4foreach contouri:

foreach other contourj:

score=get_edges_cost(i,j);

ifscore

can_edges.append(i,j);/*為每個(gè)文本域生成候選邊*/

步驟5can_edges.sort()；/*對(duì)候選邊進(jìn)行從低到高的排序*/

步驟6 foreach edge (i,j) incan_edges:

ifiandjunconnected:

{span=connectiandjwithscore；/*根據(jù)候選邊分值進(jìn)行文本域連接*/

spans.append(span);}

步驟7 returnspnas.

Figure 7 Text lines connect domains圖7 文本行連通域

獲取文本行連通域后，為了方便計(jì)算，需要在每個(gè)連通域上生成少量的代表性點(diǎn)，也就是關(guān)鍵點(diǎn)。本文在最初利用PCA方法估計(jì)文本行的均值和方向信息，設(shè)置在每20像素的位置上生成一個(gè)關(guān)鍵點(diǎn)，生成的連通域關(guān)鍵點(diǎn)如圖8所示。

Figure 8 Key points in the connected domain圖8 連通域關(guān)鍵點(diǎn)

2.6 最小化重投影校正

使用三次多項(xiàng)式可以很好地?cái)M合頁(yè)面彎曲變形的形狀，如式(9)所示。三維模型建好后，可以確定s和c之間的對(duì)應(yīng)關(guān)系，其中，c表示投影點(diǎn)的坐標(biāo)，s表示彎曲文檔表面模型。

s=a3c3+a2c2+a1c+a0

(9)

由于相機(jī)坐標(biāo)系和圖像坐標(biāo)系存在偏差，需要將上一步獲取的關(guān)鍵點(diǎn)坐標(biāo)信息代入式(9)，建立二維平面坐標(biāo)點(diǎn)到三維曲面坐標(biāo)點(diǎn)之間的映射關(guān)系，實(shí)現(xiàn)三維坐標(biāo)到二維平面的投影。結(jié)合已獲取的坐標(biāo)信息，本文通過(guò)solvePnP方法求得旋轉(zhuǎn)參數(shù)矩陣R和平移參數(shù)矩陣T， 最初假設(shè)曲面的曲率為0，通過(guò)初始參數(shù)可以確定式(9)的系數(shù)。將式(10)作為目標(biāo)函數(shù)，圖2中關(guān)鍵點(diǎn)和投影點(diǎn)之間的初始化誤差為0.045 7,通過(guò)序列最小二乘規(guī)劃優(yōu)化算法(SLSQP)優(yōu)化后，圖2中關(guān)鍵點(diǎn)和投影點(diǎn)之間的誤差為0.000 65。

(10)

其中，m表示關(guān)鍵點(diǎn)的數(shù)目，dsti表示第i個(gè)關(guān)鍵點(diǎn)，ptsi表示第i個(gè)投影點(diǎn)。

根據(jù)獲取的優(yōu)化參數(shù)對(duì)頁(yè)面大小進(jìn)行最小化重投影，得到投影后頁(yè)面的坐標(biāo)，最后再通過(guò)三次樣條插值法實(shí)現(xiàn)對(duì)文本行之外像素的填充，從而實(shí)現(xiàn)變形圖像的校正。優(yōu)化前的關(guān)鍵點(diǎn)及其投影點(diǎn)如圖9所示，優(yōu)化后的關(guān)鍵點(diǎn)及其投影點(diǎn)如圖10所示。

Figure 9 Key points and their projection points圖9 關(guān)鍵點(diǎn)及其投影點(diǎn)

Figure 10 Optimized key points and projection points圖10 優(yōu)化后的關(guān)鍵點(diǎn)及其投影點(diǎn)

3 實(shí)驗(yàn)結(jié)果和分析

本文在PyCharm2018環(huán)境下采用Python語(yǔ)言+OpenCV進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)環(huán)境為： AMD A8-6410 APU with AMD Radeon R5 Graphics 2.0 GH z;內(nèi)存8 GB；操作系統(tǒng)Windows 10。實(shí)驗(yàn)采集設(shè)備為智能手機(jī)，圖像版面主要為文本和圖文混合頁(yè)面。采集的圖像為手機(jī)正常拍攝的自然變形書頁(yè)。采集的圖像大小為800*600～3120*4160，數(shù)量為150幅。圖2類型的測(cè)試圖像60幅，取自CBDAR2007數(shù)據(jù)集[17]，該數(shù)據(jù)集包含102幅扭曲變形的圖像，以及通過(guò)平板掃描儀獲得的變形圖像所對(duì)應(yīng)的真實(shí)圖像。圖3類型的測(cè)試圖像90幅。圖11為采用本文方法對(duì)圖2的校正結(jié)果，圖12為采用本文方法對(duì)圖3的校正結(jié)果。圖13為文獻(xiàn)[11]方法對(duì)圖2的校正結(jié)果。

Figure 11 Image correction result of figure 2圖11 圖2的校正結(jié)果

Figure 12 Image correction result of figure 3圖12 圖3的校正結(jié)果

從圖11和圖12中可以看到，帶插圖和純文本的圖像都得到了很好的校正。用光學(xué)字符識(shí)別OCR(Optical Character Recognition)軟件ABBYY FineReader 14識(shí)別校正前后的圖像。OCR精確率(Precision)的定義如式(11)所示，OCR召回率(Recall)的定義如式(12)所示：

(11)

(12)

其中，Nc是OCR識(shí)別到的文檔圖像的正確字符數(shù)目，No是識(shí)別到的文檔圖像字符總數(shù)目，N是文檔圖像字符總數(shù)目。

圖2類型和圖3類型的圖像校正前后的平均字符精確率和平均字符召回率，如表1 所示。

Table 1 Comparison of OCR average Precisionand Recall before and after correction

從表1可以看出，圖2類型圖像校正后平均識(shí)別字符的精確率和召回率分別為97.5%和81.9%，比沒校正前提高了9.9%和11.4%;圖3類型圖像校正后平均識(shí)別字符的精確率和召回率分別為95.3%和79.4%，比沒校正之前提高了9.4%和11.2%。

圖13展示了本文方法與其他文獻(xiàn)中方法的校正結(jié)果的比較，圖13a是公共數(shù)據(jù)集CBDAR2007中的示例圖像，圖13b是文獻(xiàn)[12]方法的校正結(jié)果，圖13c是文獻(xiàn)[13]方法的校正結(jié)果，圖13d是文獻(xiàn)[14]方法的校正結(jié)果，圖13e是本文方法校正結(jié)果。

Figure 13 The results of this method are compared with those of other literature methods圖13 本文方法與其他文獻(xiàn)方法的結(jié)果示例比較

從圖13可以看出，本文方法相對(duì)其他文獻(xiàn)方法更好，在文本行提取時(shí)，使用文本域合并的方法能獲得更加細(xì)節(jié)的信息。在建模時(shí)使用三次多項(xiàng)式模型，同時(shí)使用最小化投影方法進(jìn)行模型優(yōu)化，與彎曲變形頁(yè)面的吻合度較高，從而得到了比較理想的結(jié)果。

本文方法和其他文獻(xiàn)方法的對(duì)比采用了CBDAR2007中的102幅扭曲變形圖像，文獻(xiàn)[12]方法和文獻(xiàn)[14]方法均在本機(jī)實(shí)現(xiàn)，文獻(xiàn)[13]方法由于其實(shí)驗(yàn)環(huán)境與本文一致，故直接引用了其論文里發(fā)表的結(jié)果。使用軟件ABBYY FineReader 14識(shí)別每種方法校正后的102幅圖像并計(jì)算各自的OCR平均字符精確率和召回率，結(jié)果如表2所示。

從表2可以看出，本文方法的平均識(shí)別字符精確率要高于其他方法的；文獻(xiàn)[12]方法受線段變形嚴(yán)重的影響導(dǎo)致效果較差；文獻(xiàn)[13]方法采用單幅圖像進(jìn)行文檔變形頁(yè)面的建模，在多樣化數(shù)據(jù)集上效果不理想；文獻(xiàn)[14]方法使用的合成數(shù)據(jù)集包含多種變形類型，它對(duì)裁剪好的和純文本的圖像校正效果最好，但對(duì)包含圖像和未裁剪的圖像效果較差，導(dǎo)致其識(shí)別平均字符精確率和召回率下降。

Table 2 Correction results comparison with other literature methods

為了驗(yàn)證文本域合并模塊和最小化重投影模塊分別對(duì)識(shí)別性能的影響，本文分別對(duì)2個(gè)模塊進(jìn)行了對(duì)比實(shí)驗(yàn)。為了表述方便，將文本域合并簡(jiǎn)稱為A模塊，最小化重投影簡(jiǎn)稱為B模塊，本文方法就是A-B方法。將文本行提取方法作為文本域合并的對(duì)比方法，稱作M模塊；將文本行基線拉直法作為最小化重投影的對(duì)比方法，稱作N模塊。第1組測(cè)試是A-B方法和A-N方法的性能對(duì)比，第2組測(cè)試是A-B方法和M-B方法的性能對(duì)比。測(cè)試的OCR平均識(shí)別字符精確率如圖14和圖15所示。

Figure 14 Performance comparison of A-B and A-N methods in this paper圖14 本文A-B方法和A-N方法的性能對(duì)比

Figure 15 Performance comparison of A-B and M-Bmethods in this paper圖15 本文A-B方法和M-B方法的性能對(duì)比

OCR平均識(shí)別字符精確率和平均字符召回率如表3所示。

Table 3 Performance comparison between different methods

從圖14 和圖15可以看出，A-B方法的精確率整體上要高于A-N和M-B方法的，且M-B方法的精確率波動(dòng)幅度較大，A-B和A-N方法性能相對(duì)比較穩(wěn)定。

從表3可以看出，A-B方法的平均識(shí)別字符精確率和平均字符召回率要高于A-N和M-B方法的，同時(shí)A-N方法的高于M-B方法的，這說(shuō)明在識(shí)別性能上文本域合并模塊的貢獻(xiàn)大于最小化重投影模塊，當(dāng)2個(gè)模塊結(jié)合時(shí)，性能最好。

4 結(jié)束語(yǔ)

本文利用文本域合并方法獲取行連通域，之后使用基于三次多項(xiàng)式的關(guān)鍵點(diǎn)重投影和頁(yè)面優(yōu)化方法實(shí)現(xiàn)文本校正。文本域合并方法能夠?qū)χ杏⑽淖冃挝臋n的文本行信息進(jìn)行更準(zhǔn)確的提取。最小化重投影方法不僅考慮了投影矩陣的計(jì)算誤差，還考慮了圖像點(diǎn)的測(cè)量誤差，所以有更高的精確率。三次多項(xiàng)式和最小化重投影方法相結(jié)合可以對(duì)變形文檔圖像進(jìn)行校正。校正后的圖像可以很好地用于識(shí)別和后期處理。相比其他方法，本文方法的識(shí)別性能好，且能夠?qū)Р鍒D、公式的變形文檔圖像進(jìn)行很好的校正。消融實(shí)驗(yàn)顯示文本域模塊對(duì)識(shí)別性能的貢獻(xiàn)大于最小化重投影模塊。未來(lái)將主要從純圖像和表格的變形文檔頁(yè)面校正以及人工數(shù)據(jù)集校正等方面進(jìn)行研究。