管小衛(wèi) 丁琳

摘? 要：針對(duì)離線手寫漢字的特征提取困難、不能準(zhǔn)確識(shí)別等問題，提出了一種膠囊網(wǎng)絡(luò)與深度置信網(wǎng)絡(luò)的融合模型。首先從CASIA-HWDB1數(shù)據(jù)集中隨機(jī)選擇了一些文本分別訓(xùn)練膠囊網(wǎng)絡(luò)和深度置信網(wǎng)絡(luò)，然后采用膠囊網(wǎng)絡(luò)和深度置信網(wǎng)絡(luò)的融合策略進(jìn)行了手寫漢字識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，在不確定方向上使用漢字融合模型的錯(cuò)誤率降低了5.2%，與單獨(dú)使用膠囊網(wǎng)絡(luò)和深度置信網(wǎng)絡(luò)相比，具有更好的識(shí)別效果。

關(guān)鍵詞：手寫漢字;深度學(xué)習(xí);膠囊網(wǎng)絡(luò);深度置信網(wǎng)絡(luò)

中圖分類號(hào)：TP399? ? ?文獻(xiàn)標(biāo)識(shí)碼：A

Handwritten Chinese Character Recognition based on the Fusion

Model of Capsule Network and Deep Belief Network

GUAN Xiaowei， DING Lin

（Jiangsu Vocational and Technical College of Finance & Economics， Huai'an 223003， China）

56491644@qq.com; 372369299@qq.com

Abstract： Aiming at the difficulties in feature extraction of offline handwritten Chinese characters and inaccurate recognition， this paper proposes a fusion model of Capsule Network （CapsNet） and Deep Belief Network （DBN）. First， some texts from CASIA-HWDB1 data set are randomly selected to train CapsNet and DBN respectively. Then， handwritten Chinese character recognition experiments are conducted using the fusion strategy of CapsNet and DBN. The experimental results show that the error rate of fusion model is reduced by 5.2% for Chinese characters in uncertain direction， and it has better recognition effect than using CapsNet and DBN alone.

Keywords： handwritten Chinese characters; deep learning; capsule network; deep belief network

1? ?引言（Introduction）

漢字識(shí)別的研究涉及人工智能、模式識(shí)別、圖像處理、統(tǒng)計(jì)決策理論等學(xué)科，在辦公、銀行、郵政等自動(dòng)分類領(lǐng)域具有重要的理論意義和實(shí)踐價(jià)值[1]。漢字識(shí)別可分為印刷漢字識(shí)別和手寫漢字識(shí)別兩大類。手寫漢字識(shí)別可分為在線手寫漢字識(shí)別和離線手寫漢字識(shí)別。在線漢字識(shí)別是指在通過觸摸屏等輸入設(shè)備手寫漢字過程中，計(jì)算機(jī)根據(jù)書寫漢字的筆畫走向、筆畫順序、書寫速度等多種信息進(jìn)行識(shí)別，由于信息量多且具有連續(xù)性，因此識(shí)別難度較小，識(shí)別準(zhǔn)確率也較高[2]。離線漢字識(shí)別提供的信息量少，僅僅通過識(shí)別一個(gè)漢字的二維圖像來提取漢字特征，所以識(shí)別難度較大，識(shí)別準(zhǔn)確率也較低[3]。各大高校和研究所致力于漢字識(shí)別的研究，由于漢字具有類別多、字形復(fù)雜、相似等特點(diǎn)，因此每個(gè)人手寫漢字千差萬別，導(dǎo)致手寫漢字識(shí)別困難，故手寫漢字識(shí)別一直是研究的熱點(diǎn)和難點(diǎn)[4-5]。

手寫漢字識(shí)別是一個(gè)極具挑戰(zhàn)性的模式識(shí)別與機(jī)器學(xué)習(xí)問題，特征如下：一是漢字類別中的漢字?jǐn)?shù)量很多。二是字體結(jié)構(gòu)復(fù)雜。三是字形變化很大。離線手寫漢字主要用在日常生活中。手寫字是任意的，缺乏規(guī)范性，水平、垂直、點(diǎn)等筆觸容易變形，例如筆直變彎，筆觸成圓弧，短橫、短豎成點(diǎn)等。四是有很多類似的詞。漢字集合中有很多相似詞，如：“已—己—巳，盲—肓，兔—免”等，可能由于預(yù)處理不當(dāng)從而導(dǎo)致字符錯(cuò)誤。

總之，諸多研究人員已經(jīng)做了大量的離線手寫漢字識(shí)別工作。針對(duì)離線手寫漢字識(shí)別的難點(diǎn)，文獻(xiàn)[6]提出了一種CNN-DBN手寫漢字融合模型，比單獨(dú)分別使用CNN和DBN的識(shí)別效果好。文獻(xiàn)[7]從GoogLeNet網(wǎng)絡(luò)構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)，并使用隨機(jī)彈性變換算法擴(kuò)展了訓(xùn)練數(shù)據(jù)。文獻(xiàn)[8]結(jié)合ResNet網(wǎng)絡(luò)，通過使用作業(yè)圖像中漢字筆跡測(cè)試結(jié)果中的每個(gè)有效檢測(cè)區(qū)域作為輸入，實(shí)現(xiàn)基于深度學(xué)習(xí)模型的漢字筆跡識(shí)別。文獻(xiàn)[9]提出了一種基于PCCG-GAN的手寫漢字歸一化方法，實(shí)現(xiàn)了從手寫到打印的漢字生成任務(wù)。利用對(duì)稱網(wǎng)絡(luò)提取手寫漢字多尺度信息并進(jìn)行特征融合，減少了輸入輸出之間共享的底層信息量，減少了欠采樣過程中信息的丟失。文獻(xiàn)[10]由于卷積神經(jīng)網(wǎng)絡(luò)對(duì)手寫漢字的識(shí)別速度較慢，二維主成分分析（2DPCA）和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合來識(shí)別手寫漢字與基于Alexnet的CNN模型相比，時(shí)間減少了78%，與基于ACNN的模型相比，時(shí)間減少了80%。文獻(xiàn)[11]針對(duì)傳統(tǒng)手寫漢字識(shí)別特征提取過程復(fù)雜、識(shí)別率低、分類模型能力弱的問題，設(shè)計(jì)了一種多通道交叉融合的深度殘差網(wǎng)絡(luò)模型，并設(shè)計(jì)了中心損失函數(shù)，比之前的算法提高了2.3%識(shí)別率。

近年來，隨著深度學(xué)習(xí)的興起和不斷發(fā)展，各種智能算法在計(jì)算機(jī)視覺領(lǐng)域取得了突破性的成果，使得手寫漢字的識(shí)別率也越來越高。為了進(jìn)一步探索線下手寫漢字的識(shí)別方法，本文擬提出一種膠囊網(wǎng)絡(luò)與深度置信網(wǎng)絡(luò)融合的識(shí)別模型，以提高手寫漢字的識(shí)別能力。

2? ?相關(guān)工作研究（Related Work Research）

2.1? ?膠囊網(wǎng)絡(luò)

Hinton等人在2017 年提出了膠囊網(wǎng)絡(luò)（Capsule Network， CapsNet）。CapsNet是建立在卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）基礎(chǔ)上的圖像分類識(shí)別技術(shù)，CNN的缺陷是對(duì)于物體間的空間識(shí)別能力及物體旋轉(zhuǎn)后的識(shí)別能力不強(qiáng)，而CapsNet能很好地解決這兩個(gè)問題，如圖1所示。CapsNet結(jié)構(gòu)層次淺，由卷積層、主膠囊層、數(shù)字膠囊層構(gòu)成，其結(jié)構(gòu)如圖2所示。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)是由神經(jīng)元組成的，神經(jīng)元表示對(duì)象中的各種屬性。膠囊（Capsule）稱為向量神經(jīng)元，向量長(zhǎng)度表示對(duì)象存在的概率，向量方向表示對(duì)象的屬性，它包含多個(gè)神經(jīng)元。CapsNet用膠囊代替?zhèn)鹘y(tǒng)神經(jīng)元，它的輸入輸出都是一個(gè)向量。低層封裝需要將輸出傳遞給該輸出的高層封裝。具體地說，路由數(shù)據(jù)的傳輸是通過低層膠囊的輸入與高層膠囊的輸出的相似性來確定的。如果低層膠囊的預(yù)測(cè)矢量與高層膠囊的有效矢量具有高度相似性，則表明這兩個(gè)膠囊高度相關(guān)。

CapsNet中使用了迭代動(dòng)態(tài)路由算法，以與輸出向量相似的方向在膠囊中獲取向量，并且與向量的數(shù)量和模塊的長(zhǎng)度呈正相關(guān)。為了避免將內(nèi)部乘積用作無上限情況的度量，將矢量壓縮到輸出之前。

2.2? ?深度置信網(wǎng)絡(luò)

深度置信網(wǎng)絡(luò)（DBN）由多層有限Boltzmann機(jī)器（RBM）和一層分類器組成，經(jīng)典的DBN網(wǎng)絡(luò)結(jié)構(gòu)是由多層RBM和一層BP組成的深度神經(jīng)網(wǎng)絡(luò)。該深度模型廣泛應(yīng)用于圖像分類識(shí)別、語音識(shí)別等領(lǐng)域。

DBN是基于生物神經(jīng)網(wǎng)絡(luò)的研究和淺層神經(jīng)網(wǎng)絡(luò)的發(fā)展而來的，并且從聯(lián)合概率分布中推斷出概率樣本模型的數(shù)據(jù)樣本分布。DBN生成模型通過訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)中神經(jīng)元之間的權(quán)重，整個(gè)神經(jīng)網(wǎng)絡(luò)根據(jù)最大概率生成訓(xùn)練數(shù)據(jù)，形成高級(jí)抽象特征，并提高了模型的分類性能。

DBN使用自下而上的傳輸，底層神經(jīng)元接收原始特征向量，不斷抽象到更高的水平，頂層神經(jīng)網(wǎng)絡(luò)形成易于組合的特征向量。通過添加層，可以抽象出更大的特征向量，并且網(wǎng)絡(luò)的每一層都會(huì)削弱前一層的錯(cuò)誤信息和輔助信息，以確保深度網(wǎng)絡(luò)的準(zhǔn)確性。DBN結(jié)構(gòu)如圖3所示。受限的Boltzmann機(jī)器由兩個(gè)神經(jīng)元節(jié)點(diǎn)組成，即隱藏層和可見層。

2.2.1? ?受限玻耳茲曼機(jī)（RBM）

首先，DBN模型是基于人工神經(jīng)網(wǎng)絡(luò)的，由接收輸入數(shù)據(jù)的顯性神經(jīng)元和特征提取的隱性神經(jīng)元組成。DBN的關(guān)鍵組件是RBM，它通過將多層RBM與最終分類器結(jié)合在一起來檢測(cè)、識(shí)別和分類輸入數(shù)據(jù)。RBM組成結(jié)構(gòu)包含兩層神經(jīng)元，每一層都可以由一個(gè)向量表示，向量的維數(shù)由每一層中神經(jīng)元的數(shù)量確定，如圖4所示。

由圖4可知，為了保證層中神經(jīng)元的獨(dú)立性，RBM各層中的神經(jīng)元之間無連接，層間神經(jīng)元雙向連接，即與給定元素相對(duì)應(yīng)的隱藏元素的值無關(guān)，并且當(dāng)該元素被賦予隱藏元素值時(shí)，將保留相同的特性。

2.2.2? ?DBN模型的構(gòu)建

DBN就是一些堆疊在一起的RBM，前一個(gè)RBM的輸出就是后一個(gè)RBM的輸入。本文以兩層RBM和Softmax分類層為例構(gòu)建DBN模型。如圖3所示，v代表顯示層神經(jīng)元，h代表隱藏層神經(jīng)元，y代表標(biāo)簽已知的樣本，o代表分類結(jié)果輸出。DBN模型的構(gòu)造如下：固定第一個(gè)訓(xùn)練后的RBM的權(quán)重和偏差，將其隱藏元素的狀態(tài)作為第二個(gè)RBM的輸入;訓(xùn)練后將第二個(gè)RBM堆疊在第一個(gè)RBM上;重復(fù)上述過程進(jìn)行多次逐層學(xué)習(xí)。如果訓(xùn)練數(shù)據(jù)集包含標(biāo)記的樣本，則需要在第二次RBM訓(xùn)練期間將其添加，最后使用Softmax對(duì)數(shù)據(jù)進(jìn)行分類。

深度置信網(wǎng)絡(luò)在檢測(cè)識(shí)別領(lǐng)域的應(yīng)用效果分析，如表1所示。樣本數(shù)據(jù)主要是手寫數(shù)字、頻譜圖像和語音。

2.3? ?CapsNet與DBN融合模型

CapsNet模型和DBN模型都可以應(yīng)用于線下手寫漢字識(shí)別任務(wù)，CapsNet解決了CNN的缺點(diǎn)，能捕捉特征位置、相對(duì)大小、特征方向等屬性間的關(guān)系。DBN通過采用逐層訓(xùn)練的方式為整個(gè)網(wǎng)絡(luò)賦予了較好的初始權(quán)值，以重構(gòu)數(shù)據(jù)為目標(biāo)，使網(wǎng)絡(luò)只要微調(diào)就可以達(dá)到最優(yōu)解，這在無監(jiān)督的環(huán)境中是非常有用的。

由于CapsNet和DBN網(wǎng)絡(luò)結(jié)構(gòu)不同，因此提取特征的優(yōu)勢(shì)不同，如字形特征不明顯，或與其他字形相似，那么不同的人識(shí)別的結(jié)果可能也不一樣。本文提出的CapsNet和DBN融合模型結(jié)合了兩者的優(yōu)勢(shì)，比單獨(dú)使用CapsNet和DBN識(shí)別漢字具有更高的識(shí)別能力，這種模型稱為CapsNet-DBN融合模型，包括訓(xùn)練和識(shí)別過程，如圖5所示。

3? ?仿真與測(cè)試（Simulation and Test）

3.1? ?實(shí)驗(yàn)準(zhǔn)備

使用數(shù)據(jù)集CASIA-HWDB 1.1進(jìn)行訓(xùn)練和測(cè)試，該數(shù)據(jù)集于2010 年5 月公布，為手寫單字，分別由300 人書寫，包含171 個(gè)英文數(shù)字符號(hào)，3，755 個(gè)GB2312一級(jí)漢字，共300 套，總計(jì)1，172，907 個(gè)有效樣本。表2列出了CapsNet-DBN模型中的各層參數(shù)。

3.2? ?實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)環(huán)境：Windows 10 64位操作系統(tǒng)，處理器為Intel（R） Core（TM）i7-6500U CPU，主頻為2.5 GHz，內(nèi)存為16 GB，實(shí)驗(yàn)平臺(tái)為Python 3.8版本。實(shí)驗(yàn)數(shù)據(jù)來自http：//www.nlpr.ia.ac.cn/databases/handwriting/Download.html。

表3為CapsNet網(wǎng)絡(luò)、DBN網(wǎng)絡(luò)及其融合網(wǎng)絡(luò)的準(zhǔn)確率。CapsNet、DBN、CapsNet-DBN對(duì)不同寫法的漢字識(shí)別能力的比較如圖6所示。圖7表明三種算法對(duì)不同漢字的識(shí)別能力，CapsNet-DBN在大部分情況下都比CapsNet和DBN對(duì)不同漢字的識(shí)別能力要高。圖8和圖9分別顯示了CapsNet-DBN網(wǎng)絡(luò)訓(xùn)練過程準(zhǔn)確率和訓(xùn)練損失。

使用相同數(shù)據(jù)集驗(yàn)證并比較表1中的各種模型算法和本文所述的融合模型的識(shí)別準(zhǔn)確率，從表4中可知，ResNet-BLSTM+DBN方法對(duì)手寫漢字的識(shí)別效果良好，本文提出的CapsNet-DBN融合模型也可以獲得較高的精度。

本文在CapsNet-DBN模型的基礎(chǔ)上嘗試增加隱藏層和隱藏單元數(shù)目及在不同的迭代次數(shù)中進(jìn)行測(cè)試，分別增加了隱藏層個(gè)數(shù)及隱藏單元數(shù)。圖10（a）隱藏層參數(shù)為（32*3*3）-（16*2*2）-（2*2）-（2*2）-（64*2*2）-（2*2）-（512），圖10（b）隱藏層參數(shù)為（32*3*3）-（2*2）-（16*2*2）-（2*2）-（32*2*2）-（2*2）-（64*2*2）-（2*2）-（512），圖10（b）比圖10（a）增加了2 個(gè)隱藏層。圖11（a）隱藏層參數(shù)為（32*3*3）-（2*2）-（32*2*2）-（2*2）-（96*2*2）-（2*2）-（128*2*2）-（2*2）-（512），圖11（b）隱藏層參數(shù)為 （32*3*3）-（2*2）-（64*2*2）-（2*2）-（96*2*2）-（2*2）-（128*2*2）-（2*2）-（512），圖11（b）其中一個(gè)隱藏層單元數(shù)為圖11（a）的2 倍。實(shí)驗(yàn)結(jié)果說明了隱藏層個(gè)數(shù)和隱藏單元數(shù)目的增加可以將大量信息擴(kuò)展到維度較大的中間空間，這樣會(huì)將模型的驗(yàn)證精度提高7.2%。當(dāng)然，隱藏層個(gè)數(shù)和隱藏單元數(shù)目也不是越多越好，需要根據(jù)具體問題進(jìn)行調(diào)整。

4? ?結(jié)論（Conclusion）

本文針對(duì)離線手寫漢字的特征提取困難、不能準(zhǔn)確識(shí)別等問題，提出了一種膠囊網(wǎng)絡(luò)與深度置信網(wǎng)絡(luò)的融合模型，從CASIA-HWDB 1.1數(shù)據(jù)集中隨機(jī)選擇了一些文本進(jìn)行手寫漢字識(shí)別實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，與單獨(dú)的CapsNet和DBN及傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，CapsNet-DBN融合模型在數(shù)據(jù)集上獲得了更好的識(shí)別結(jié)果。

參考文獻(xiàn)（References）

[1] SHEN X， MESSINA R. A method of synthesizing handwritten Chinese images for data augmentation[C]// International Conference on Frontiers in Handwriting Recognition（ICFHR）. 2016 15th International Conference on Frontiers in Handwriting Recognition. Shenzhen， China： IEEE， 2016：114-119.

[2] WU P L， WANG F Y， LIU J Y. An integrated multi-classifier method for handwritten Chinese medicine prescription recognition[C]// International Conference on Software Engineering and Service Science （ICSESS）. 2018 IEEE 9th International Conference on Software Engineering and Service Science. Beijing， China： IEEE， 2018：1-4.

[3] WANG Z R， DU J. Writer code based adaptation of deep neural network for offline handwritten Chinese text recognition[C]// International Conference on Frontiers in Handwriting Recognition（ICFHR）. 2016 15th International Conference on Frontiers in Handwriting Recognition. Shenzhen， China： IEEE， 2016：548-553.

[4] 閆喜亮，王黎明.卷積深度神經(jīng)網(wǎng)絡(luò)的手寫漢字識(shí)別系統(tǒng)[J].計(jì)算機(jī)工程與應(yīng)用，2017（10）：246-250.

[5] 金連文，鐘卓耀，楊釗，等.深度學(xué)習(xí)在手寫漢字識(shí)別中的應(yīng)用綜述[J].自動(dòng)化學(xué)報(bào)，2016，42（8）：1125-1141.

[6] 李蘭英，周志剛，陳德運(yùn).DBN和CNN融合的脫機(jī)手寫漢字識(shí)別[J].哈爾濱理工大學(xué)學(xué)報(bào)，2020，25（3）：137-143.

[7] 林恒青，鄭曉斌，王麟珠，等.基于深度卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)彈性變換的脫機(jī)手寫形近漢字識(shí)別[J].蘭州工業(yè)學(xué)院學(xué)報(bào)，2020，27（3）：62-67.

[8] 徐穩(wěn)越.面向作業(yè)智能評(píng)閱的漢字手寫體檢測(cè)與識(shí)別[D].石家莊：河北師范大學(xué)，2020.

[9] 張紅蕊.基于生成式對(duì)抗網(wǎng)絡(luò)的漢字生成方法研究[D].天津：天津師范大學(xué)，2020.

[10] 鄭延斌，韓夢(mèng)云，樊文鑫.基于二維主成分分析與卷積神經(jīng)網(wǎng)絡(luò)的手寫體漢字識(shí)別[J].計(jì)算機(jī)應(yīng)用，2020，40（8）：2465-2471.

[11] 張秀玲，周凱旋，魏其珺，等.多通道交叉融合的深度殘差網(wǎng)絡(luò)脫機(jī)手寫漢字識(shí)別[J].小型微型計(jì)算機(jī)系統(tǒng)，2019，40（10）：

2232-2235.

[12] 張緒冰，王賢敏，王凱，等.基于深度置信網(wǎng)絡(luò)的CRISM影像火星表面礦物識(shí)別方法[J].地質(zhì)科技通報(bào)，2020，39（4）：189-200.

[13] 鄭益勤，楊曉峰，李紫薇.深度學(xué)習(xí)的靜止衛(wèi)星圖像海上強(qiáng)對(duì)流云團(tuán)識(shí)別[J].遙感學(xué)報(bào)，2020，24（1）：97-106.

[14] 何群，杜碩，王煜文，等.基于變分模態(tài)分解與深度置信網(wǎng)絡(luò)的運(yùn)動(dòng)想象分類識(shí)別研究[J].計(jì)量學(xué)報(bào)，2020，41（1）：90-99.

[15] 徐宇恒，程嗣怡，董曉璇，等.基于DBN特征提取的雷達(dá)輻射源個(gè)體識(shí)別[J].空軍工程大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，20（6）：

91-96，108.

[16] 陳亮，吳攀，劉韻婷.面向類內(nèi)差距表情的深度學(xué)習(xí)識(shí)別[J].中國(guó)圖象圖形學(xué)報(bào)，2020，25（4）：679-687.

[17] 張華麗，康曉東，冉華，等.用于肺結(jié)節(jié)影像分類識(shí)別的DBN與CNN的比較研究[J].計(jì)算機(jī)科學(xué)，2020，47（z1）：254-259.

[18] 宋文豪.基于深度學(xué)習(xí)的說話人識(shí)別技術(shù)應(yīng)用[D].成都：電子科技大學(xué)，2020.

[19] 陳海霞.基于神經(jīng)網(wǎng)絡(luò)的多維說話人信息識(shí)別研究[D].南京：南京郵電大學(xué)，2019.

作者簡(jiǎn)介：

管小衛(wèi)（1981-），男，碩士，講師.研究領(lǐng)域：圖像處理，軟件工程.

丁? ?琳（1980-），女，碩士，講師.研究領(lǐng)域：物聯(lián)網(wǎng)技術(shù).