金丹丹， 聞輝

( 1.莆田學(xué)院 護(hù)理學(xué)院,福建 莆田 351100;2.莆田學(xué)院 信息工程學(xué)院,福建 莆田 351100 )

0 引言

目前，神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用于醫(yī)學(xué)診斷過程中，其中反向傳播(BP)神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)(RBF)神經(jīng)網(wǎng)絡(luò)是醫(yī)學(xué)診斷過程中最為常用的兩種網(wǎng)絡(luò)模型.BP神經(jīng)網(wǎng)絡(luò)的隱節(jié)點核函數(shù)一般采用統(tǒng)一的sigmoid核對輸入樣本進(jìn)行映射，該方法雖然具有良好的泛化性能，但存在收斂速度慢和容易陷入局部最小的缺點.目前優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的方法主要有基于全局優(yōu)化的初始化權(quán)值[1]、自適應(yīng)調(diào)整學(xué)習(xí)速率[2]、增加動量項[3]、修正誤差代價函數(shù)[4]以及動態(tài)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)[5]等,這些方法雖然在一定程度上改善了BP神經(jīng)網(wǎng)絡(luò)的不足，但對于較復(fù)雜的非線性問題其效果仍十分有限.RBF網(wǎng)絡(luò)隱節(jié)點核函數(shù)一般采用高斯核對輸入樣本進(jìn)行映射，具有良好的局部響應(yīng)特性.RBF網(wǎng)絡(luò)的優(yōu)化過程主要包括隱層核參數(shù)的優(yōu)化以及線性輸出權(quán)值的優(yōu)化,其實現(xiàn)過程可以分為兩個階段：一是先將原始樣本通過隱層高斯核的映射，以此改善樣本的可分性；二是通過優(yōu)化線性超平面來完成模式分類.目前優(yōu)化RBF神經(jīng)網(wǎng)絡(luò)典型的方法有k-均值聚類[6]、模糊c均值聚類[7-8]、敏感度分析[9]、勢函數(shù)優(yōu)化[10]等，但這些方法在優(yōu)化復(fù)雜的非線性問題時，往往會加大RBF網(wǎng)絡(luò)線性輸出權(quán)值優(yōu)化的負(fù)擔(dān)，進(jìn)而影響網(wǎng)絡(luò)的性能.為此，本文針對醫(yī)學(xué)診斷數(shù)據(jù)集的特點(樣本量少、特征復(fù)雜)，提出了一種將RBF神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)相融合的HRBF-BP算法,并利用UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫[11]中的3個基準(zhǔn)醫(yī)學(xué)診斷數(shù)據(jù)集(Heart Disease、Diabetes、Breast Cancer)驗證了本文算法的有效性.

1 HRBF-BP網(wǎng)絡(luò)模型的構(gòu)建

HRBF-BP模型的構(gòu)建原理為：首先將原始樣本輸入到RBF隱層中不同參數(shù)下高斯核函數(shù)的映射中，以此提取原始樣本在不同空間區(qū)域中的局部特征，從而形成新的特征向量；然后利用RBF隱層所級聯(lián)的BP網(wǎng)絡(luò)來完成特征空間中樣本的有效分類.相對于BP網(wǎng)絡(luò)，HRBF-BP改善了輸入樣本的可分性，因此可以加快網(wǎng)絡(luò)的權(quán)值收斂速度，減少陷入局部最小的風(fēng)險；相對于RBF網(wǎng)絡(luò)，HRBF-BP將原有連接RBF網(wǎng)絡(luò)隱層與輸出層的線性權(quán)值連接更改為非線性的BP網(wǎng)絡(luò)，因此其對復(fù)雜問題具有更強(qiáng)的適應(yīng)能力.因此，HRBF-BP可以將RBF網(wǎng)絡(luò)隱節(jié)點處的局部非線性映射能力與BP網(wǎng)絡(luò)的全局非線性分類能力有效地結(jié)合起來，從而有效改善單一結(jié)構(gòu)RBF神經(jīng)網(wǎng)絡(luò)及BP神經(jīng)網(wǎng)絡(luò)的不足.

圖1 HRBF-BP網(wǎng)絡(luò)模型圖

圖1為本文所構(gòu)建的HRBF-BP神經(jīng)網(wǎng)絡(luò)模型.該模型由輸入層、RBF隱藏層、BP隱藏層以及輸出層4個部分組成，其中RBF隱藏層由一組不同參數(shù)的高斯核函數(shù)組成.設(shè)RBF隱藏層中高斯核的個數(shù)為K，當(dāng)輸入的樣本為x時，通過隱藏層的高斯核的映射可表示為：

j=1,2,…,K.

(1)

gj(x)=2·φj(x)-1.

(2)

在HRBF-BP網(wǎng)絡(luò)中，BP隱藏層由RBF隱層到RBF輸出層之間的各層節(jié)點組成.由于BP隱藏層的sigmoid函數(shù)為雙曲正切函數(shù)，因此第l個BP隱藏層中的節(jié)點j的輸出信號可表示為:

(3)

其中a和b為常數(shù).

2 HRBF-BP網(wǎng)絡(luò)算法的實現(xiàn)

圖2 HRBF-BP網(wǎng)絡(luò)學(xué)習(xí)算法

HRBF-BP網(wǎng)絡(luò)算法的實現(xiàn)分為兩個階段：一是優(yōu)化RBF網(wǎng)絡(luò)隱節(jié)點處各高斯核的參數(shù)，二是優(yōu)化BP網(wǎng)絡(luò)中各層的權(quán)值.圖2為HRBF-BP網(wǎng)絡(luò)算法的具體實現(xiàn)過程.圖2中，BP網(wǎng)絡(luò)的整體均方誤差的計算公式為：

其中dj為HRBF-BP網(wǎng)絡(luò)的目標(biāo)輸出，oj為網(wǎng)絡(luò)的實際輸出，c為輸出節(jié)點的個數(shù).

BP網(wǎng)絡(luò)的反向計算即為局域梯度的更新過程，可表示為：

BP網(wǎng)絡(luò)中第l層權(quán)值的更新過程為

其中m為迭代步長，η為學(xué)習(xí)率.

3 實驗與分析

為了驗證本文算法的性能，利用UCI機(jī)器學(xué)習(xí)數(shù)據(jù)庫中的3個不同的醫(yī)學(xué)數(shù)據(jù)(見表1)對本文算法、SGBP算法、KMRBF算法、PFRBF算法的性能進(jìn)行實驗對比.實驗中：各數(shù)據(jù)樣本全部歸一化到[-1,1]；RBF隱藏層中的核個數(shù)根據(jù)樣本空間的分布進(jìn)行調(diào)整(手動)；分別設(shè)定BP隱層的層數(shù)為1層和2層，隱藏層節(jié)點的個數(shù)設(shè)置為2～9，網(wǎng)絡(luò)學(xué)習(xí)率η采用模擬退火算法進(jìn)行迭代調(diào)整，sigmoid核參數(shù)取a=1.716，b=0.667.實驗運(yùn)行環(huán)境為Intel(R) Core(TM) i5-7500，3.4 GHZ CPU，8 G RAM，MATLAB 2013，每個實驗重復(fù)10次.

表1 不同分類數(shù)據(jù)集的信息

表1中，HD數(shù)據(jù)集用于診斷303個患者是否患有心臟病.Diabetes數(shù)據(jù)集用于診斷患者是否患有糖尿病，BC數(shù)據(jù)集用于診斷患者是否患有乳腺癌.

3.1 基準(zhǔn)醫(yī)學(xué)分類數(shù)據(jù)集下不同算法的性能對比

在基準(zhǔn)醫(yī)學(xué)數(shù)據(jù)集下，本文算法與其他算法的性能對比結(jié)果見表2—表4.由表2—表4可以看出：本文算法在學(xué)習(xí)過程中雖然比KMRBF和PFRBF算法略增加了一些訓(xùn)練時間，但其訓(xùn)練精度和測試精度均優(yōu)于其他算法，這表明本文算法對訓(xùn)練樣本空間具有更好的學(xué)習(xí)效果.另外，由表2—表4還可以看出，在本文算法中2個BP隱藏層數(shù)所需的訓(xùn)練時間明顯少于1個BP隱藏層數(shù)所需的訓(xùn)練時間，且訓(xùn)練精度和測試精度也得到進(jìn)一步提高.

表2 HD醫(yī)學(xué)數(shù)據(jù)集下不同算法的性能

表3 Diabetes醫(yī)學(xué)數(shù)據(jù)集下不同算法的性能

表4 BC醫(yī)學(xué)數(shù)據(jù)集下不同算法的性能

3.2 參數(shù)分析

圖3 RBF隱藏層節(jié)點個數(shù)變化時HRBF-BP與KMRBF算法的分類性能

以Diabetes醫(yī)學(xué)數(shù)據(jù)集為例進(jìn)行參數(shù)分析.首先固定BP隱藏層層數(shù)和BP隱層節(jié)點個數(shù)，然后通過調(diào)節(jié)RBF隱層節(jié)點個數(shù)來對比HRBF-BP網(wǎng)絡(luò)和KMRBF算法的性能，結(jié)果如圖3所示.由圖3可以看出，當(dāng)RBF隱層節(jié)點個數(shù)為16～30，RBF隱層節(jié)點個數(shù)為14～30時，其所對應(yīng)的KMRBF算法和HRBF-BP算法的網(wǎng)絡(luò)分類精度雖均可維持在一個穩(wěn)定的精度范圍內(nèi)，但HRBF-BP的網(wǎng)絡(luò)分類精度顯著優(yōu)于KMRBF算法.該結(jié)果進(jìn)一步表明,HRBF-BP網(wǎng)絡(luò)比KMRBF算法具有更好的學(xué)習(xí)能力.

在Diabetes醫(yī)學(xué)數(shù)據(jù)集中，不同的RBF隱層節(jié)點個數(shù)、BP隱藏層層數(shù)以及BP隱層節(jié)點個數(shù)對HRBF-BP算法性能的影響見表5.由表5可以看出，HRBF-BP算法的訓(xùn)練精度和測試精度相對較為穩(wěn)定，且均優(yōu)于KMRBF算法.這表明，HRBF-BP算法能夠有效降低對參數(shù)(RBF隱層節(jié)點個數(shù)、BP隱藏層層數(shù)以及BP隱層節(jié)點個數(shù))選擇的依賴.

表5 不同參數(shù)下HRBF-BP算法的性能

4 結(jié)論

研究表明，本文提出的HRBF-BP算法可將RBF網(wǎng)絡(luò)穩(wěn)定性好與BP網(wǎng)絡(luò)泛化能力強(qiáng)的優(yōu)點融合在一起，且其訓(xùn)練精度和分類精度均優(yōu)于SGBP、KMRBF、PFRBF算法；因此，本文算法可有效改善單一RBF網(wǎng)絡(luò)及BP網(wǎng)絡(luò)的分類性能和提高網(wǎng)絡(luò)學(xué)習(xí)的性能.在研究中，本文的訓(xùn)練樣本采用的是批學(xué)習(xí)方式，未能考慮序列樣本的學(xué)習(xí)方式，因此在今后的研究中我們將引入基于序列樣本的HRBF-BP算法，以完善本文算法.