◆魏海宏 劉 新

?

基于深度卷積神經(jīng)網(wǎng)絡(luò)的離線手寫簽名鑒定

◆魏海宏 劉 新

（湘潭大學(xué)信息工程學(xué)院 湖南 411105）

本文對(duì)簽名技術(shù)的研究背景和發(fā)展?fàn)顩r做了簡(jiǎn)單介紹，描述了在線和離線鑒定系統(tǒng)的優(yōu)缺點(diǎn)?？紤]大部分人對(duì)自己的簽名有獨(dú)特的寫法和設(shè)計(jì)，并不同于其對(duì)平常文字的書寫，綜合比對(duì)了國(guó)內(nèi)外筆跡鑒定公開數(shù)據(jù)庫，針對(duì)個(gè)人簽名設(shè)計(jì)、開發(fā)了一套基于Android離線簽名鑒定系統(tǒng)，并建立了更具實(shí)用性的簽名數(shù)據(jù)庫xtu_302sg。本文使用深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）提取簽名圖片特征做身份鑒定，相對(duì)于傳統(tǒng)方法取得了不錯(cuò)的效果。

離線簽名；卷積神經(jīng)網(wǎng)絡(luò)；身份鑒定；信息安全

0 引言

近年來隨著我國(guó)經(jīng)濟(jì)發(fā)展和國(guó)際間交流日益頻繁，例如‘一帶一路’戰(zhàn)略的提出和推進(jìn)，在政治、經(jīng)濟(jì)和文化等多種領(lǐng)域，政府、企業(yè)及民間組織合作達(dá)成的各種各樣的協(xié)議書、合同、法規(guī)條款等都需要當(dāng)事人或組織代表簽名認(rèn)證。如果簽名被偽造，可能會(huì)導(dǎo)致災(zāi)難性的后果，因此實(shí)現(xiàn)個(gè)人簽名快速高效鑒定、保護(hù)信息安全具有十分重要的研究?jī)r(jià)值和應(yīng)用價(jià)值。

手寫簽名鑒定系統(tǒng)一般分為：在線（動(dòng)態(tài)）鑒定系統(tǒng)和離線（靜態(tài)）鑒定系統(tǒng)倆大類。在線鑒定系統(tǒng)需要使用特殊的設(shè)備記錄簽名時(shí)相關(guān)信息，在每個(gè)取樣的時(shí)間點(diǎn)都有一組由位置、速度、壓力、角度或者其他跟筆跡相關(guān)的動(dòng)態(tài)信息構(gòu)成的特征序列。而離線鑒定系統(tǒng)，只有簽名者的簽名圖片，可供提取的特征較少，因此相對(duì)前者來說鑒定的難度更加大。個(gè)人簽名的身份鑒定是通過抽取簽名中能夠與其他人有所區(qū)別的特征進(jìn)行比對(duì)后確定的，傳統(tǒng)方法抽取的特征既包含“個(gè)人”信息特征，也包含簽名字符本身的特征，導(dǎo)致鑒定結(jié)果并不理想。很多人對(duì)自己的簽名有獨(dú)特的設(shè)計(jì)和書寫，并不同于平常文字的書寫，筆者發(fā)現(xiàn)CASIA、IAM和HIT-MW等離線數(shù)據(jù)集數(shù)據(jù)量較少或者大部分?jǐn)?shù)據(jù)都是針對(duì)平常文字的書寫而不是個(gè)人簽名。針對(duì)上述問題，第一本文使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network,CNN）提取簽名圖片（標(biāo)注個(gè)人身份）特征取代傳統(tǒng)方法，提取了可靠性強(qiáng)的“個(gè)人”信息特征。很多實(shí)驗(yàn)證明，CNN在圖像分類，目標(biāo)物檢測(cè)和人臉識(shí)別等領(lǐng)域效果十分突出。第二筆者設(shè)計(jì)了一個(gè)Android簽名App和簽名數(shù)據(jù)庫xtu_302sg用來收集大量的簽名數(shù)據(jù)。使用本文的方法在xtu_302sg數(shù)據(jù)集上初步測(cè)試獲得了83.67%的正確率，與傳統(tǒng)方法結(jié)果比較正確率有所提升。

1 數(shù)據(jù)采集和預(yù)處理

在本文的數(shù)據(jù)采集過程中，為了簽名鑒定的通用性以及可實(shí)用性，本文利用筆者自己設(shè)計(jì)的Android App來收集實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練和測(cè)試所需的數(shù)據(jù)，該App需在Android 5.0及以上版本運(yùn)行，后臺(tái)部署在Linux服務(wù)器，用戶只要按照自己姓名順序在指定方框區(qū)域逐個(gè)書寫姓名字符完成簽名提交即可，簽名界面和部分簽名圖片見圖1。

用戶使用該App簽名時(shí)，每次書寫的起始位置，字的尺寸可能不同，這些因素會(huì)對(duì)簽名鑒定結(jié)果的正確率產(chǎn)生嚴(yán)重的影響，因此為提高正確率，需要對(duì)采集的簽名圖片做歸一化處理。手寫簽名的歸一化處理可以分為線性歸一化和非線性歸一化，本文采用線性歸一化算法對(duì)二維簽名圖片進(jìn)行平移和縮放來消除上述位置、尺寸差異，通過此法可以最大化保證手寫簽名漢字的形狀和結(jié)構(gòu)特征，失真較小。尺寸和位置歸一化公式如下：

圖1 APP簽名界面和部分簽名圖片

公式1中，和分別為X軸上簽名漢字圖片的最大值和最小值，和相應(yīng)分別為Y軸上的最大值和最小值?？s放比例ScaleX、ScaleY，為簽名圖片標(biāo)準(zhǔn)尺寸X*Y和書寫尺寸間的比例系數(shù)，將圖片按上述縮放比例縮放進(jìn)行尺寸歸一化。將簽名漢字圖片標(biāo)準(zhǔn)尺寸的中心作為原點(diǎn)平移做位置歸一化（如圖2、3）。

圖3 歸一化后圖

2 深度卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)

卷積神經(jīng)網(wǎng)絡(luò)是近年發(fā)展起來，并引起廣泛重視的一種高效識(shí)別方法。20世紀(jì)60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時(shí)發(fā)現(xiàn)其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，繼而提出了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）。卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對(duì)于大型圖像處理有出色表現(xiàn)。一般地，CNN的基本結(jié)構(gòu)包括兩層，其一為特征提取層，每個(gè)神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關(guān)系也隨之確定下來；其二是特征映射層，網(wǎng)絡(luò)的每個(gè)計(jì)算層由多個(gè)特征映射組成，每個(gè)特征映射是一個(gè)平面，平面上所有神經(jīng)元的權(quán)值相等。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。此外，由于一個(gè)映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個(gè)數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中的每一個(gè)卷積層都緊跟著一個(gè)用來求局部平均與二次提取的計(jì)算層，這種特有的兩次特征提取結(jié)構(gòu)減小了特征分辨率。

機(jī)器學(xué)習(xí)里，模型越復(fù)雜越具有表達(dá)能力，越容易犧牲對(duì)未來數(shù)據(jù)的解釋能力，而一味專注于解釋訓(xùn)練的數(shù)據(jù)，這就是過擬合。過擬合會(huì)導(dǎo)致訓(xùn)練數(shù)據(jù)效果非常好，但是遇到測(cè)試數(shù)據(jù)效果會(huì)大打折扣，模型泛化能力弱。雖然說在很多問題上，我們無法窮盡所有狀態(tài)，不可能將所有情況都包含在訓(xùn)練集上，但是可以通過增大訓(xùn)練集數(shù)據(jù)量來減少過擬合現(xiàn)象的發(fā)生。筆者在訓(xùn)練過程中，發(fā)現(xiàn)如果只使用原始簽名圖片數(shù)據(jù)集訓(xùn)練時(shí)，測(cè)試的結(jié)果往往不是很理想，容易出現(xiàn)過擬合，后采用減筆畫方法（將簽名漢字隨機(jī)去掉一筆或者多筆筆畫）擴(kuò)充原始簽名圖片數(shù)據(jù)，可以有效的抑制過擬合。當(dāng)獲得了大規(guī)模的樣本數(shù)據(jù)后，還可以采用較深的卷積神經(jīng)網(wǎng)絡(luò)。但是在實(shí)驗(yàn)中又發(fā)現(xiàn)，當(dāng)模型的層數(shù)增加到一定數(shù)量時(shí)，結(jié)果的精度幾乎不增加，而且由于模型的層數(shù)過大會(huì)導(dǎo)致訓(xùn)練非常緩慢，訓(xùn)練時(shí)間大幅激增。另一方面，隨著傳播深度的增加，梯度的幅度會(huì)急劇減小，會(huì)導(dǎo)致淺層神經(jīng)元的權(quán)重更新非常緩慢，不能有效學(xué)習(xí)。這樣一來，深層模型也就變成了前幾層相對(duì)固定，只能改變后幾層的淺層模型。綜合考慮這幾個(gè)方面，最終確定的網(wǎng)絡(luò)包含5個(gè)卷積層和2個(gè)全連接層，在部分層之間加入最大池化層和ReLU層，最后一層使用softmax分類器。網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4所示。

圖4深度卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

本文卷積神經(jīng)網(wǎng)絡(luò)的輸入為120*120簽名圖片，第一層和第二層卷積層使用96個(gè)5*5大小，步長(zhǎng)為2卷積核，后都接大小為3*3，步長(zhǎng)為2的最大池化層用來減少運(yùn)算量和數(shù)據(jù)維度，第四層到第七層都是使用96個(gè)5*5大小，步長(zhǎng)為2的卷積核進(jìn)行濾波，再接一個(gè)大小3*3,步長(zhǎng)為2的最大池化層，這個(gè)池化層可以使池化的區(qū)域產(chǎn)生重疊，能夠在一定程度上降低過擬合。最后在倆個(gè)全連接層后加一個(gè)droupout層，在當(dāng)樣本較少時(shí)，可以防止過擬合，丟掉一些節(jié)點(diǎn)的連接，隨機(jī)讓某些隱含節(jié)點(diǎn)不工作。

3 實(shí)驗(yàn)結(jié)果與分析

本文在筆者自己的收集的數(shù)據(jù)集上做了實(shí)驗(yàn)，并且與一些傳統(tǒng)方法做了對(duì)比分析見圖5，本文實(shí)驗(yàn)使用了600個(gè)人的簽名圖片，使用本文方法取得了83.67%的正確率。通過以上實(shí)驗(yàn)數(shù)據(jù)以及和傳統(tǒng)方法的比較可以說明，本文提出的方法和卷積神經(jīng)網(wǎng)絡(luò)模型使用較小的樣本就可以獲得較高的簽名鑒定正確率。

方法實(shí)驗(yàn)人數(shù)正確率 基于GMM60066.67% 基于局部特征60071.33% 基于梯度60078% 本文方法60083.67%

4 結(jié)束語

在本文中，首先我們開發(fā)了一整套的基于Android離線手寫簽名鑒定系統(tǒng)，方便我們收集數(shù)據(jù)和為以后商業(yè)應(yīng)用或者開源研究打下了良好的基礎(chǔ)。其次，我們使用深度卷積神經(jīng)網(wǎng)絡(luò)抽取可以明顯判別簽名身份的相關(guān)特征，同時(shí)我們研究了實(shí)驗(yàn)數(shù)據(jù)數(shù)量對(duì)過擬合的影響，采用隨機(jī)減筆畫的方法可以產(chǎn)生大量數(shù)據(jù)。盡管結(jié)果的正確率離實(shí)際應(yīng)用還有一段距離，但是未來應(yīng)該可以在網(wǎng)絡(luò)模型以及離線、在線特征融合等方面做更大的突破。

[1]羅瓊.智能手機(jī)在線手寫簽名認(rèn)證系統(tǒng)設(shè)計(jì)[D].武漢理工大學(xué)，2014.

[2]魏運(yùn)玉.基于移動(dòng)平臺(tái)的手寫體筆跡鑒別算法研究[D].西安電子科技大學(xué)，2013.

[3]高彥宇，楊揚(yáng).脫機(jī)手寫體漢字識(shí)別研究綜述[J].計(jì)算機(jī)工程與應(yīng)用，2004.