王家亮，劉曉強，李柏巖，馮珍妮

(東華大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，上海 201620)

0 引 言

出于版權(quán)或真?zhèn)涡钥紤]，自然場景中用于光學(xué)字符識別(optical character recognition，OCR)的文檔或卡證票據(jù)，通常會覆蓋固定樣式的水印(如印章)，這些被放置在非固定區(qū)域的水印或許呈現(xiàn)出不同的完整性、縮放程度、旋轉(zhuǎn)角度和反光特性等，這些因素給閱讀效率、機器識別造成困難，因此精細(xì)化的水印去除非常重要。

去水印首先要進行水印檢測，即將包含水印的局部區(qū)域從證件中提取出來，形成水印感興趣區(qū)域(region of interest，ROI)。CV中傳統(tǒng)的用于特征提取的代表性工具是霍夫變換(Hough transform)，但它僅適用于定位目標(biāo)背景簡單、輪廓邊緣清晰完整且形變不大的情況，在復(fù)雜背景融合、參數(shù)設(shè)置不合理或透視形變過大等不可控因素的情況下，該方法的魯棒性迅速降低。實際應(yīng)用環(huán)境中，不僅圖像的背景復(fù)雜，前景也會受到不同光照條件的影響，在眾多干擾直線中提取出定位目標(biāo)的邊緣輪廓非常困難，會使檢測結(jié)果較依賴預(yù)處理及復(fù)雜的參數(shù)調(diào)整。另外，直線或圓的檢測也會大量占據(jù)處理機的內(nèi)存空間，影響檢測速度。

水印去除問題屬于計算機視覺中的圖像修復(fù)和轉(zhuǎn)換領(lǐng)域。傳統(tǒng)的圖像修復(fù)方法大致有單圖像和多圖像兩類方案，單圖像最大的缺點是要求人工介入，要么對水印分離要么填充它。多圖像則需要近似大小、強度的水印被放在大量圖片的同一相對位置上，不僅在訓(xùn)練階段對數(shù)據(jù)集要求十分嚴(yán)格，實際預(yù)測時輸入的含水印圖像在視覺上有旋轉(zhuǎn)、平移、縮放的改變都會降低該方案的普適性。而張茗茗等人提出的基于多重匹配的可見水印去除算法，也僅能處理因阿拉伯?dāng)?shù)字水印遭到毀損的圖像。

基于深度學(xué)習(xí)的條件生成對抗網(wǎng)絡(luò)(conditional generative adversarial networks，CGANs)通過對輸入圖像進行場景條件約束生成相應(yīng)圖像，由于它在圖像轉(zhuǎn)換領(lǐng)域的開創(chuàng)性研究，使圖像去噪、手寫數(shù)字生成和識別、語音增強、遙感圖像時空融合及云去除得以廣泛應(yīng)用。

該文提出了一種基于特征點匹配的水印檢測和基于條件生成對抗網(wǎng)絡(luò)的水印去除方法。針對在非均勻光照和復(fù)雜背景下的自然業(yè)務(wù)場景，通過特征點匹配檢測到證件中的水印ROI，然后利用訓(xùn)練好的條件生成對抗網(wǎng)絡(luò)CGAN模型，將輸出的去水印ROI運用透視變換重新恢復(fù)到證件中，可實現(xiàn)水印檢測和水印去除功能。

主要貢獻如下：

(1)提出了一種基于特征點檢測、匹配的可見自然水印檢測方法，不僅具備光照、尺度、旋轉(zhuǎn)不變性，而且速度快、定位精準(zhǔn)，對呈現(xiàn)出不同殘缺、模糊、深淺狀態(tài)的水印提供了較好的容錯能力；

(2)提出了一種基于條件生成對抗網(wǎng)絡(luò)的可見自然水印去除方法。實驗表明能有效地將自然場景中的水印去除，特別對水印覆蓋內(nèi)容的恢復(fù)能力較為顯著；

(3)給出了CGAN所需的成對訓(xùn)練集生成方法，能夠有效增強、擴充大量的成對訓(xùn)練數(shù)據(jù)。

1 基于CGAN的去水印網(wǎng)絡(luò)

1.1 去水印總體方案

去水印整體方案包含訓(xùn)練條件生成對抗網(wǎng)絡(luò)去水印模型和預(yù)測去水印模型兩部分，如圖1所示。在訓(xùn)練階段，使用水印融合手段生成大量成對的帶水印卡證區(qū)域和對應(yīng)的不帶水印卡證區(qū)域拼接而成的訓(xùn)練樣本，采用端到端訓(xùn)練CGAN網(wǎng)絡(luò)得到水印去除模型。

圖1 水印去除方法處理流程

預(yù)測階段，首先通過特征點匹配技術(shù)對自然卡證/文檔上進行水印檢測并提取水印ROI，然后用訓(xùn)練好的CGAN模型完成水印去除，最后通過透視變換將去除了水印的ROI恢復(fù)到證件上。

1.2 去水印CGAN網(wǎng)絡(luò)原理

基于深度學(xué)習(xí)的生成對抗網(wǎng)絡(luò)(generative adversarial networks，GANs)在圖像生成任務(wù)上取得了重大突破，其核心思想是通過學(xué)習(xí)訓(xùn)練樣本集的大量數(shù)據(jù)分布來生成“以假亂真”圖像分布。

原始GAN包含了一個生成器

G

和一個判別器

D

，兩者都是多層感知機。生成器訓(xùn)練隨機噪聲

Z

產(chǎn)生最佳輸出以欺騙判別器，判別器通過對真?zhèn)螆D像的學(xué)習(xí)，嚴(yán)格控制生成器的學(xué)習(xí)水平。GAN的目標(biāo)函數(shù)基本形式如式1所示：

(1)

傳統(tǒng)的GAN網(wǎng)絡(luò)只能根據(jù)學(xué)習(xí)到的圖像特征生成相似數(shù)據(jù)分布的圖像，而不能生成具有特定細(xì)節(jié)的圖像。文獻[10]中作者使用了pix2pix模型，該模型基于條件生成對抗網(wǎng)絡(luò)用于實現(xiàn)圖像之間的轉(zhuǎn)換，如從黑夜到白晝的轉(zhuǎn)換，可以輔助汽車生成清晰明亮的倒車影像。CGAN也可以實現(xiàn)語義/標(biāo)簽到真實圖像、灰度圖像到彩色圖像、低照度圖像到增強圖像的轉(zhuǎn)換。

它在生成器和判別器的輸入中各加入了相同的附帶條件

y

，有助于GAN優(yōu)化的概率期望分布公式成為CGAN優(yōu)化的條件概率期望分布公式，判別器也會通過聯(lián)合

y

和

G

(

z

|

y

)判別樣本的真實性。條件標(biāo)簽的表達形式不限，可以是One Hot編碼，甚至圖像。將含水印圖像當(dāng)作條件約束，含水印的圖像與隨機噪聲

Z

輸入到生成器，并由判別器對帶條件的“模仿”結(jié)果進行全局質(zhì)量評估。圖2顯示了GAN與CGAN在形式上的區(qū)別。

圖2 GAN和CGAN的區(qū)別

與GAN相比，CGAN是有監(jiān)督的學(xué)習(xí)，CGAN的目標(biāo)函數(shù)基本形式如式2所示：

(2)

CGAN對于不同的轉(zhuǎn)換問題采用完全相同的網(wǎng)絡(luò)結(jié)構(gòu)和目標(biāo)函數(shù)。只要能提供盡可能多的、覆蓋目標(biāo)細(xì)節(jié)特征的成對訓(xùn)練數(shù)據(jù)集，模型就可以自動訓(xùn)練和優(yōu)化，下節(jié)將介紹大量的成對訓(xùn)練樣本生成方法。

該文使用pix2pix來實現(xiàn)CGAN，并根據(jù)實際需求進行修改。pix2pix模型混合了L1距離損失和CGAN損失函數(shù)，減少了模糊度，保留了更多的正確特征，該模型的目標(biāo)函數(shù)整理為式3。

(3)

pix2pix模型的具體網(wǎng)絡(luò)架構(gòu)中，生成器使用了“U-Net”結(jié)構(gòu)(如圖3(a)所示)，是一個由下采樣和上采樣組成的網(wǎng)絡(luò)結(jié)構(gòu)。U-Net與傳統(tǒng)的“編碼器-解碼器”模型(如圖3(b)所示)相比增加了跳線，其中下采樣用于展現(xiàn)圖像的概貌信息，上采樣聯(lián)合下采樣的各層信息和上采樣的輸入信息來還原圖像細(xì)節(jié)和精度，使網(wǎng)絡(luò)在輸入和輸出之間共享大量的低級信息。

圖3 “U-Net”與“編碼器-解碼器”結(jié)構(gòu)示意

傳統(tǒng)GAN使用的判別器關(guān)注生成圖像與真實圖像的全局差異，但是整個圖像的加權(quán)值無法體現(xiàn)圖像局部的特征信息，不能控制圖像轉(zhuǎn)換問題中的細(xì)節(jié)精度。pix2pix的判別器使用了“PatchGAN”，它的輸出不是一個標(biāo)量(真或假)而是一個

N

*

N

的矩陣。PatchGAN的示意如圖4所示，右側(cè)網(wǎng)格代表PatchGAN的輸出矩陣，其中

X

表示Patchij區(qū)域的真?zhèn)涡裕韴D像中某個較大的感受野，即一個Patch。

圖4 “PatchGAN”示意

在圖像樣式轉(zhuǎn)換中，馬爾可夫判別器的PatchSize大小直接關(guān)系到生成圖像的質(zhì)量，合適的PatchSize值能使生成圖像保持超高分辨率和高細(xì)節(jié)。通過在圖片上以窗口滑動的形式獲得判別矩陣，求出平均值作為判別器的最終輸出。

1.3 CGAN成對訓(xùn)練集擴充方法

在對CGAN模型進行訓(xùn)練時，訓(xùn)練集要采用成對形式，即需含有像素點完全對應(yīng)的帶水印和不帶水印ROI圖像作為模型的輸入，因此獲取大量的成對訓(xùn)練數(shù)據(jù)樣本是CGAN模型訓(xùn)練的基礎(chǔ)。

該文針對實際場景需要，以小數(shù)據(jù)集“學(xué)生卡”訓(xùn)練樣本為基礎(chǔ)，采用以下生成方法來擴充和增強訓(xùn)練集：

(1)針對數(shù)據(jù)集中包含純色背景中的水印，通過2.1節(jié)介紹的水印檢測方法提取水?。?/p>

(2)將提取到的水印進行各種變換，得到不同場景下的各種模擬水印效果(如圖5(a)所示，呈現(xiàn)深淺變化、不均勻力、輪廓污染、模糊不清和截斷殘缺)；也可以將水印模板制作成實體印章，在真實環(huán)境下敲出多種形態(tài)的水印，然后執(zhí)行水印采集和標(biāo)準(zhǔn)化處理；

圖5 CGAN成對訓(xùn)練集擴充

(3)以分辨率較高的干凈圖像制作證件模板，然后模擬一些數(shù)據(jù)用于字段填充，形成證件樣本，通過適當(dāng)?shù)姆椒ㄕ{(diào)整不透明度，得到大量模擬卡證樣本(如圖5(b)所示)；

(4)將水印融合到模擬樣本的隨機區(qū)域，并在融合前后調(diào)整證件的亮度和模糊度；

(5)將融合前后的ROI水平拼接在一起(如圖5(c)所示)，形成CGAN成對訓(xùn)練樣本。

該方法可從已有的數(shù)據(jù)樣本中提取水印，水印狀態(tài)自然真實。此外，可以在證件上與原始水印不重疊的任何非空白像素位置融合模擬水印，用于生成大量不同效果的樣本。訓(xùn)練集的擴充和增強，解決了訓(xùn)練集短缺的實際問題，為CGAN模型的魯棒性提供基礎(chǔ)支撐。

2 去水印應(yīng)用

2.1 基于特征點匹配的水印檢測

在使用CGAN模型對證件去除水印之前，首先要提取水印ROI。在實際應(yīng)用中，目標(biāo)檢測的速度需求往往很高。該文基于傳統(tǒng)計算機視覺原理提出了一種穩(wěn)定有效的檢測方法。首先需要幾幅完整、清晰、無噪聲的水印模板圖像，然后從模板的特征點入手，通過特征點檢測、匹配和錯誤匹配消除，實現(xiàn)目標(biāo)水印的定位。

技術(shù)方面，通過對SIFT、BRISK、AKAZE三種特征點檢測算法在尺度、旋轉(zhuǎn)、透視形變、照度、模糊度和背景復(fù)雜度變化時的特征檢測能力進行實驗，驗證了SIFT算子尤其在自然場景中復(fù)雜背景和自然光照復(fù)合影響時具備相對較強的魯棒性。采用FLANN最近鄰匹配算法加速SIFT特征點匹配過程，采用PROSAC算法排除離群點，從而估計出滿足幾何變換要求的最佳透視模型。

如圖6所示，基于特征點的圖像匹配技術(shù)并不要求被檢測水印的強完整性，如同自然情況下以不同力度在不同材質(zhì)的紙張上敲下的印章存在一定的不可控性類似，對那些呈現(xiàn)出殘缺、深淺狀態(tài)的水印提供了較大的寬容度。在對大量數(shù)據(jù)集進行預(yù)測時，該文提出的水印檢測方法能自動獲取水印ROI，具有高效、穩(wěn)定的特點。

圖6 基于特征點匹配的水印檢測

文獻[15]是SIFT特征點檢測的一種改進算法，特別增強了圖像的抗仿射性。若與該文的特征點匹配算法搭配使用，可應(yīng)用于對實時性要求較高的水印檢測場景。

2.2 基于CGAN的水印去除

(1)成對訓(xùn)練集。

實驗通過收集結(jié)構(gòu)化模擬數(shù)據(jù)并向模板中填充數(shù)據(jù)，生成了644張學(xué)生卡。使用CGAN成對訓(xùn)練集擴充方法，將163枚“THANK YOU”印章水印融合在學(xué)生卡中隨機選取的20個(根據(jù)有效像素與學(xué)生卡尺寸的占比估算)非重疊區(qū)域，每張學(xué)生卡可生成3 260對訓(xùn)練樣本，共產(chǎn)生2 099 440對樣本。

(2)多處自然水印去除算法。

針對證件中存在的一處水印，將水印檢測所獲得的某個ROI區(qū)域作為CGAN去水印預(yù)訓(xùn)練模型的輸入數(shù)據(jù)，就可以有效消除學(xué)生卡中當(dāng)前ROI區(qū)域的水印。多處自然水印去除算法，通過水印檢測方法提取出一處水印ROI后，立刻通過CGAN模型去除這個水印，然后執(zhí)行透視變換合成到原證件相應(yīng)位置，不斷重復(fù)上述流程依次檢測、去除每個自然水印。

(3)CGAN模型的訓(xùn)練和預(yù)測環(huán)境。

在含有16核CPU、2塊1080Ti顯卡并裝有Linux環(huán)境的機器上完成CGAN模型的訓(xùn)練和預(yù)測工作，效果展示中使用的預(yù)訓(xùn)練模型經(jīng)過了10個Epoch訓(xùn)練。

(4)實驗預(yù)測集和去水印效果。

使用與訓(xùn)練集不同的人像照片和可變長數(shù)據(jù)填充字段形成仿真學(xué)生卡，去水印預(yù)測實驗在蓋有五處不同狀態(tài)自然水印(如圖5(a)所示)的仿真學(xué)生卡上進行，水印分別覆蓋在學(xué)生卡中的靜態(tài)圖像像素、動態(tài)圖像像素、靜態(tài)文字像素、動態(tài)文字像素和混合像素區(qū)域。圖7給出了基于特征點匹配的水印檢測算法提取到的五個處于不同位置、呈現(xiàn)不同狀態(tài)的自然水印ROI去水印的效果預(yù)測。

圖7 水印ROI去水印效果

在仿真學(xué)生卡上使用該文提出的水印檢測和水印去除方法，依次去除上述多個自然水印的總體流程及效果預(yù)測，如圖8所示。

圖8 學(xué)生卡去水印總體效果

預(yù)測實驗表明，該文提出的可見水印檢測方法，能在學(xué)生卡上準(zhǔn)確檢測出具備多種自然狀態(tài)的“THANK YOU”印章水印。提出的基于條件生成對抗網(wǎng)絡(luò)的可見水印去除方法訓(xùn)練的CGAN模型，對于學(xué)生卡上被水印覆蓋的多類像素區(qū)域的水印去除效果明顯。

(5)客觀評價指標(biāo)(PSNR和SSIM)分析。

峰值信噪比(peak signal to noise ratio，PSNR)計算去水印前后圖像的對應(yīng)位置像素差，差值越大表明生成的去水印圖像質(zhì)量越好；結(jié)構(gòu)相似度(structural similarity index，SSIM)用于從亮度、對比度和結(jié)構(gòu)方面衡量去水印圖像和原始無水印圖像的相似度，范圍是0～1，值越大表明生成的去水印圖像的還原度越高。

實驗運用以上兩個客觀指標(biāo)，①衡量每個水印ROI的去水印效果，得到的PSNR值依次是：32.546、32.047、32.632、32.962和32.440，以及SSIM值：0.997 2、0.996 6、0.994 0、0.983 1和0.997 2。②衡量學(xué)生卡整體去水印效果，得到的PSNR值和SSIM值分別為：42.624和0.999 7。

上述PSNR值說明該方法水印去除前后像素變化效果突出，SSIM值從客觀上證明了CGAN網(wǎng)絡(luò)生成的去水印圖像與原始無水印覆蓋的圖像相當(dāng)接近，代表當(dāng)前預(yù)訓(xùn)練模型達到了一定的擬合優(yōu)度。

(6)文字恢復(fù)力分析。

借助百度文字識別在線檢測功能，分別對水印去除前后的圖像(對應(yīng)圖8(a)和圖8(b))進行文字檢測和識別。針對圖7(d)所示的兩個字段，去水印前的識別結(jié)果是：“學(xué)號3456789 學(xué)院算機學(xué)與技術(shù)學(xué)院”，去水印后的識別結(jié)果是：“學(xué)號2193456789 學(xué)院計算機科學(xué)與技術(shù)學(xué)院”。

去水印前后字段區(qū)域圖像OCR結(jié)果對比，說明了水印覆蓋會對學(xué)生卡文字識別的完整性和準(zhǔn)確性造成影響，也證明了該文的水印去除方法對水印覆蓋信息的恢復(fù)能力較為顯著。

(7)更多去水印效果預(yù)測。

圖9進一步證明了該方法能將證件中含水印的人像照片、可變長字段等動態(tài)像素近乎無失真轉(zhuǎn)換。對于其他辦公文檔、官方證件等去水印應(yīng)用場景，該方法也能明顯提升閱讀效率和文字識別準(zhǔn)確性。

圖9 更多去水印效果預(yù)測

3 結(jié)束語

該文就自然場景下證件的可見水印去除問題，針對存在于一張證件上的任意多個、處于任意位置、呈現(xiàn)多種狀態(tài)的自然水印，提出了一種基于特征點匹配的水印檢測技術(shù)和一種基于條件生成對抗網(wǎng)絡(luò)的水印去除技術(shù)。可以滿足自然業(yè)務(wù)場景下快速精準(zhǔn)的證件水印定位和去除，具備較好的水印檢測魯棒性和去水印效果。還針對CGAN訓(xùn)練依賴于大量成對數(shù)據(jù)集的問題，提出了有效的數(shù)據(jù)集擴充和增強方法。