武昭盟　張成剛

摘要：支持向量機(jī)（Support Vector Machine，SVM）是一種高效的機(jī)器學(xué)習(xí)分類算法，針對(duì)手寫數(shù)字識(shí)別問(wèn)題，首先介紹了基于SVM的手寫數(shù)字識(shí)別算法，詳細(xì)闡述了相關(guān)核函數(shù)并分析SVM核函數(shù)的選擇對(duì)識(shí)別效果影響，最后通過(guò)實(shí)驗(yàn)驗(yàn)證了算法在選取不同核函數(shù)條件下相對(duì)應(yīng)的識(shí)別率，為相關(guān)SVM識(shí)別問(wèn)題的研究提供了參考。

關(guān)鍵詞：支持向量機(jī)；手寫數(shù)字識(shí)別；核函數(shù)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）27-0180-02

手寫數(shù)字識(shí)別技術(shù)在現(xiàn)實(shí)中有著廣泛應(yīng)用，比如在郵政系統(tǒng)中的信件分揀、統(tǒng)計(jì)報(bào)表中的數(shù)字錄入以及銀行業(yè)務(wù)中的票據(jù)和信用卡賬單處理等等，因此手寫數(shù)字識(shí)別技術(shù)的研究具有較高的實(shí)用價(jià)值。目前針對(duì)手寫數(shù)字識(shí)別有基于決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等方法，本文以SVM算法為例，詳細(xì)闡述基于SVM算法的手寫數(shù)字識(shí)別過(guò)程，驗(yàn)證了SVM識(shí)別算法的有效性。

1 支持向量機(jī)算法

支持向量機(jī)（Support Vector Machine，SVM）由Vapnik在20世紀(jì)60年代首先提出的， 適用于分類和回歸問(wèn)題。支持向量機(jī)以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)，以結(jié)構(gòu)風(fēng)險(xiǎn)最小化為原則，通過(guò)建立一個(gè)分類超平面作為決策曲面，最大化正例和反例之間的隔離邊緣，達(dá)到分類效果。

其中，K代表核函數(shù)，主要有以下幾種類型：

1） 線性核函數(shù)（linear kernel）：[Kx，xi=xTxi]，主要用于線性可分的數(shù)據(jù)效果較好，這種核函數(shù)的優(yōu)點(diǎn)是參數(shù)少，而且執(zhí)行速度快。

2） 多項(xiàng)式核函數(shù)（polynomial kernel）：[Kx，xi=γxTxi+rp，γ>0]，可以將低維度的樣本空間映射到高維的特征空間，但參數(shù)多且計(jì)算量大，容易導(dǎo)致“過(guò)擬合”。

3） 徑向基核函數(shù)（RBF kernel）也稱為高斯核函數(shù)：[Kx，xi=exp-γx-xi2，γ>0]相對(duì)于多項(xiàng)式核函數(shù)參數(shù)較少，而且能夠取得較好的性能，對(duì)于未知數(shù)據(jù)分類任務(wù)默認(rèn)選擇RBF核函數(shù)。

4） 兩層感知器核函數(shù)（sigmoid kernel）：[Kx，xi=tanhγxTxi+r]，當(dāng)SVM采用sigmoid核函數(shù)時(shí)，其實(shí)現(xiàn)的就是一種多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

因此，如何選擇相關(guān)核函數(shù)取決于分類任務(wù)自身的數(shù)據(jù)分布，對(duì)問(wèn)題要有一定的先驗(yàn)知識(shí)；否則，只能憑借經(jīng)驗(yàn)或者湊試法，用來(lái)選擇誤差最小的核函數(shù)。

3 基于SVM的手寫數(shù)字識(shí)別算法

1） 建立模型

基于SVM的手寫數(shù)字識(shí)別算法總體流程為，首先對(duì)數(shù)據(jù)集中的訓(xùn)練數(shù)據(jù)進(jìn)行預(yù)處理，然后訓(xùn)練SVM模型選取最佳核函數(shù)，接下來(lái)用訓(xùn)練好的模型測(cè)試分類數(shù)據(jù)，算法流程如下圖所示。

2） 預(yù)處理

由于手寫圖片中數(shù)字的大小和位置形態(tài)各異，預(yù)處理過(guò)程是消除每幅圖像中無(wú)關(guān)的內(nèi)容，展現(xiàn)圖片本質(zhì)信息。首先把數(shù)據(jù)集中每幅圖片轉(zhuǎn)換為二值圖像，然后截取包含數(shù)字的最大區(qū)域，此時(shí)每幅圖片中數(shù)字上像素點(diǎn)灰度值為1，背景中像素點(diǎn)值為0，處理前后的圖片如下圖所示。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)平臺(tái)為MATLAB（R2009a），LIBSVM 工具箱版本為3. 14，可在http： //www. csie. ntu.edu. tw/～cjlin/libsvm/下載。實(shí)驗(yàn)選取的數(shù)據(jù)集中訓(xùn)練樣本為100幅手寫數(shù)字圖片，每個(gè)手寫數(shù)字均有10幅圖片，而測(cè)試樣本為30幅手寫數(shù)字圖片，所有圖片大小均為25×25像素，如圖4所示。

通過(guò)上面的實(shí)驗(yàn)結(jié)果可以看出，當(dāng)采用RBF核函數(shù)時(shí)，手寫數(shù)字測(cè)試集的分類準(zhǔn)確率最高，其中svmtrain 的懲罰參數(shù)c和核函數(shù)參數(shù)g是在某一范圍內(nèi)離散取值，取使得最終測(cè)試集分類準(zhǔn)確率最高的c和g為最佳的參數(shù)。

5 總結(jié)

手寫數(shù)字自動(dòng)識(shí)別技術(shù)不僅使人們擺脫重復(fù)且易出錯(cuò)的操作，而且極大地提升了工作效率。本文首先介紹了基于SVM手寫數(shù)字識(shí)別算法的一般過(guò)程，描述了相關(guān)核函數(shù)并分析SVM核函數(shù)的選擇對(duì)識(shí)別效果影響，然后使用LIBSVM工具箱進(jìn)行編程實(shí)現(xiàn)，最后通過(guò)實(shí)驗(yàn)驗(yàn)證了算法在選取不同核函數(shù)條件下相對(duì)應(yīng)的識(shí)別率，為相關(guān)SVM識(shí)別問(wèn)題的研究提供了參考。

參考文獻(xiàn)：

[1] 石會(huì)芳.支持向量機(jī)及其在手寫數(shù)字識(shí)別中的應(yīng)用[D].重慶大學(xué)，2013.

[2] 楊海.SVM核參數(shù)優(yōu)化研究與應(yīng)用[D].浙江大學(xué)，2014.

[3] 王小川.MATLAB神經(jīng)網(wǎng)絡(luò)43個(gè)案例分析[M].北京航空航天大學(xué)出版社，2013.

[4] 趙海燕，張世錚，莊麗艷.基于LS_SVM的車牌字符識(shí)別[J].內(nèi)蒙古民族大學(xué)學(xué)報(bào)：自然科學(xué)版，2009，24（06）：623-625.

[5] 李雅琴.SVM在手寫數(shù)字識(shí)別中的應(yīng)用研究[D].華中師范大學(xué)，2007.

[6] 吳琳琳.基于SVM技術(shù)的手寫數(shù)字識(shí)別的研究[D].山東師范大學(xué)，2006.

[通聯(lián)編輯： ]