劉鑫容,朱耀琴,曲慧楊,周軍華
(1.南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院,江蘇 南京 210094; 2.復(fù)雜產(chǎn)品智能制造系統(tǒng)技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,北京電子工程總體研究所,北京 100854)
近幾年來(lái),隨著導(dǎo)彈研制技術(shù)和社會(huì)經(jīng)濟(jì)的發(fā)展,導(dǎo)彈的研制費(fèi)用也逐漸增加,如何平衡導(dǎo)彈研制的需求和研制過(guò)程產(chǎn)生的費(fèi)用之間的關(guān)系,成為了一個(gè)至關(guān)重要的研究熱點(diǎn).要解決這個(gè)關(guān)鍵問(wèn)題,需要一個(gè)可靠且穩(wěn)定的估算方法進(jìn)行費(fèi)用估算,為研制出符合精度和費(fèi)用要求的導(dǎo)彈提供參考.
近幾十年來(lái),我國(guó)不斷在費(fèi)用估算方面進(jìn)行研究與探索,經(jīng)歷了一系列的方法革新.傳統(tǒng)的費(fèi)用估算方法包括工程估算法、參數(shù)估算法、類(lèi)比估算法,這幾種方法在早期有較多的應(yīng)用,例如文獻(xiàn)[1]利用了工程估算法,對(duì)裝備再制造費(fèi)用進(jìn)行分解,提出了再制造費(fèi)用的估算方案;文獻(xiàn)[2]則類(lèi)比Burns模型對(duì)建立了一種三代戰(zhàn)斗機(jī)改進(jìn)型的出廠(chǎng)費(fèi)用估算模型,改善了計(jì)算精度.
上述方法多為線(xiàn)性方法,擁有一定的預(yù)測(cè)能力,但是無(wú)法模擬出更加復(fù)雜的產(chǎn)品參數(shù)關(guān)系.而此后涌現(xiàn)的灰色系統(tǒng)理論側(cè)重于分析一些不完全確定的系統(tǒng),能夠應(yīng)用于費(fèi)用估算.在文獻(xiàn)[3]中采用了灰色系統(tǒng)理論對(duì)裝備費(fèi)用進(jìn)行估算,構(gòu)建GM(1,1)模型和GM(1,1)預(yù)測(cè)模型,以實(shí)際樣本證明該方法的估算效果;而神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)樣本屬性和費(fèi)用之間的關(guān)系估算費(fèi)用,根據(jù)RBF神經(jīng)網(wǎng)絡(luò)理論建立了一種分析模型[4],用于分析大型客機(jī)的制造成本,證明了該模型能夠得到較精確的結(jié)果.
然而,灰色系統(tǒng)理論和神經(jīng)網(wǎng)絡(luò)也存在局限性,二者較依賴(lài)數(shù)學(xué)模型,無(wú)法結(jié)合實(shí)際樣本對(duì)模型參數(shù)進(jìn)行大幅度調(diào)整.而卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)可學(xué)習(xí)樣本特征并提取其中的內(nèi)在聯(lián)系,可以根據(jù)損失調(diào)整模型結(jié)構(gòu),具有較強(qiáng)的適用性,能夠應(yīng)用于估算領(lǐng)域,提高預(yù)測(cè)精度.
卷積神經(jīng)網(wǎng)絡(luò)早在2006年之前就已被提出,直至2012年,在ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)競(jìng)賽(ImageNet Large Scale Visual Recognition Challenge,LSVRC)中,利用深度的卷積神經(jīng)網(wǎng)絡(luò)取得了當(dāng)時(shí)最佳的分類(lèi)效果[5],鼓勵(lì)了學(xué)者投入卷積神經(jīng)網(wǎng)絡(luò)的研究.
而在估算預(yù)測(cè)領(lǐng)域也早有學(xué)者構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)對(duì)各種參數(shù)進(jìn)行學(xué)習(xí)預(yù)測(cè),例如文獻(xiàn)[6]利用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)滬鋅期貨的價(jià)格,利用對(duì)比實(shí)驗(yàn)證明該模型具有良好的預(yù)測(cè)效果;文獻(xiàn)[7]構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型,預(yù)測(cè)搜索廣告的點(diǎn)擊率,驗(yàn)證了該模型的預(yù)測(cè)精度較高.
由于導(dǎo)彈結(jié)構(gòu)復(fù)雜,導(dǎo)彈研制過(guò)程存在特殊性,導(dǎo)彈的特征屬性和研制費(fèi)用往往難以獲取,公開(kāi)的樣本十分有限,且各個(gè)導(dǎo)彈樣本之間存在型號(hào)和性能上的聯(lián)系,不同的樣本對(duì)待預(yù)測(cè)樣本的參考意義不同.故在該條件下,本文采用了雙三次插值法與反距離加權(quán)插值法結(jié)合,對(duì)樣本進(jìn)行擴(kuò)充.結(jié)合卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型,驗(yàn)證了該模型的估算能力.
在小樣本條件下,本文采用雙三次插值法以解決導(dǎo)彈的原始樣本集數(shù)量有限的問(wèn)題,采用反距離加權(quán)插值法以解決樣本貢獻(xiàn)值問(wèn)題,利用兩種插值算法擴(kuò)充導(dǎo)彈研制費(fèi)用原始樣本后,輸入卷積神經(jīng)網(wǎng)絡(luò)模型中預(yù)測(cè)估算.小樣本下基于卷積神經(jīng)網(wǎng)絡(luò)的導(dǎo)彈研制費(fèi)用估算流程見(jiàn)圖1.
圖1 小樣本下基于卷積神經(jīng)網(wǎng)絡(luò)的導(dǎo)彈研制費(fèi)用估算流程
步驟1 導(dǎo)彈研制費(fèi)用樣本集的建立.
導(dǎo)彈研制費(fèi)用樣本集是從原始的導(dǎo)彈數(shù)據(jù)庫(kù)中獲取導(dǎo)彈的特征屬性和研制費(fèi)用樣本,參照已有的研究成果,選取了對(duì)導(dǎo)彈研制費(fèi)用具有關(guān)聯(lián)影響的導(dǎo)彈特征屬性,例如導(dǎo)彈的最大射程決定了導(dǎo)彈殺傷目標(biāo)的最大距離[8],故射程增大,對(duì)導(dǎo)彈的性能要求增大,則必然導(dǎo)致研制費(fèi)用的增加.通過(guò)選取影響導(dǎo)彈研制費(fèi)用的性能及相關(guān)屬性,能夠增強(qiáng)模型的泛化能力和學(xué)習(xí)的魯棒性,有助于模型對(duì)樣本集的學(xué)習(xí)和估算.
步驟2 數(shù)據(jù)預(yù)處理.
(1) 研制費(fèi)用價(jià)值轉(zhuǎn)換.建立樣本集后,需要對(duì)導(dǎo)彈研制費(fèi)用樣本集的特征進(jìn)行一定的分析,處理各屬性之間關(guān)系.考慮到通貨膨脹的情況,不同的時(shí)期下,相同價(jià)格的研制費(fèi)用在價(jià)值上也不盡相同.為了平等地對(duì)比各個(gè)導(dǎo)彈樣本的研制費(fèi)用,應(yīng)當(dāng)將各個(gè)樣本的研制費(fèi)用轉(zhuǎn)換成相同時(shí)期下的同等幣制.利用居民消費(fèi)價(jià)格指數(shù)(consumer price index,CPI),根據(jù)文獻(xiàn)[9]中費(fèi)用轉(zhuǎn)化公式可將導(dǎo)彈研制費(fèi)用轉(zhuǎn)換到同一財(cái)年.
(2) 導(dǎo)彈特征屬性歸一化.由于導(dǎo)彈的各個(gè)結(jié)構(gòu)屬性決定導(dǎo)彈的研制費(fèi)用,數(shù)值差異較大,若未處理,容易被數(shù)值大的導(dǎo)彈屬性所主導(dǎo).為了更好地體現(xiàn)各個(gè)導(dǎo)彈特征屬性之間的關(guān)系,減少訓(xùn)練過(guò)程中的計(jì)算量,將采用文獻(xiàn)[10]中提到的歸一化方法對(duì)導(dǎo)彈特征屬性進(jìn)行歸一化處理,使其取值在[0,1]之間,縮小導(dǎo)彈特征屬性差異,避免模型參數(shù)波動(dòng)大.
步驟3 基于雙三次插值和反距離加權(quán)插值的樣本擴(kuò)充.
由于導(dǎo)彈的公開(kāi)樣本數(shù)目有限且各個(gè)樣本對(duì)于待預(yù)測(cè)樣本的貢獻(xiàn)值不同,如何解決上述問(wèn)題成為本文研究的關(guān)鍵,是原始樣本集處理的重要環(huán)節(jié).本文對(duì)原始導(dǎo)彈研制費(fèi)用樣本進(jìn)行雙三次插值,對(duì)與待預(yù)測(cè)樣本型號(hào)性能相似的若干原始樣本通過(guò)反距離加權(quán)插值法進(jìn)行插值.
步驟4 訓(xùn)練調(diào)整導(dǎo)彈研制費(fèi)用卷積神經(jīng)網(wǎng)絡(luò)估算模型.
(1) 訓(xùn)練樣本與梯度下降.以導(dǎo)彈研制費(fèi)用的擴(kuò)充樣本作為輸入,建立導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型.訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型,通過(guò)均方誤差計(jì)算訓(xùn)練集和測(cè)試集的損失,觀察二者關(guān)系及是否收斂,判斷模型是否欠擬合或者過(guò)擬合.通過(guò)不斷對(duì)模型的卷積層層數(shù)、訓(xùn)練次數(shù)、dropout值或?qū)W習(xí)率進(jìn)行調(diào)整修改,以達(dá)到損失收斂且較低的狀態(tài).
(2) 檢驗(yàn)費(fèi)用估算結(jié)果精度.計(jì)算測(cè)試集樣本的評(píng)價(jià)指標(biāo)以檢驗(yàn)該模型的估算精度.若計(jì)算結(jié)果符合精度要求,則該卷積神經(jīng)網(wǎng)絡(luò)模型可用于導(dǎo)彈研制費(fèi)用的估算,否則,則回到上一步重新進(jìn)行訓(xùn)練.
為了取得導(dǎo)彈研制費(fèi)用的良好估算效果,原始導(dǎo)彈研制費(fèi)用樣本集存在以下兩個(gè)問(wèn)題:(1)獲取導(dǎo)彈的特征屬性和研制費(fèi)用存在一定困難,可用的公開(kāi)樣本數(shù)目少;(2)各個(gè)導(dǎo)彈樣本之間存在型號(hào)和性能上的聯(lián)系,不同的樣本對(duì)待預(yù)測(cè)樣本的參考意義不同.本文為解決上述問(wèn)題,從小樣本和樣本貢獻(xiàn)值兩個(gè)角度出發(fā),采用雙三次插值和反距離加權(quán)插值兩種插值方法對(duì)樣本進(jìn)行擴(kuò)充.
在小樣本條件下,目前有兩種研究方法:一是利用先驗(yàn)條件建立預(yù)測(cè)模型,但此方法對(duì)先驗(yàn)條件的要求較高,因此應(yīng)用場(chǎng)景較少[11];二是樣本擴(kuò)充法,本文利用當(dāng)下應(yīng)用廣泛的解決方案處理小樣本問(wèn)題.
針對(duì)導(dǎo)彈型號(hào)屬性相近的樣本,對(duì)研制費(fèi)用的估算也更具有參考意義的特點(diǎn),反距離加權(quán)插值采用了相似相近的原則,型號(hào)相近的樣本對(duì)插值具有更高的權(quán)重,可用于處理樣本貢獻(xiàn)率問(wèn)題.
本文結(jié)合雙三次插值和反距離加權(quán)插值,針對(duì)原始導(dǎo)彈研制費(fèi)用樣本進(jìn)行雙三次插值,通過(guò)反距離加權(quán)插值法對(duì)與待預(yù)測(cè)樣本型號(hào)性能相似的若干原始樣本進(jìn)行插值.這種方法既使得能夠有效擴(kuò)充樣本容量,使樣本分布于導(dǎo)彈研制費(fèi)用原始樣本集中,具有一定的規(guī)律性和廣泛性,又能在待預(yù)測(cè)樣本附近擬合出更多樣本,達(dá)到對(duì)相似樣本加權(quán)的目的.
1.2.1 雙三次插值法擴(kuò)充樣本
雙三次插值法用于將原始導(dǎo)彈研制費(fèi)用樣本擴(kuò)充成若干有序樣本,插值樣本分布于各原始樣本之間.導(dǎo)彈研制費(fèi)用屬性Y和導(dǎo)彈特征屬性為X=(x1,x2,x3)的3條原始樣本在k=2時(shí)的插值流程見(jiàn)圖2,樣本在經(jīng)歷兩次插值得到新的導(dǎo)彈研制費(fèi)用和特征屬性插值點(diǎn)后,篩選出包含(Y,x1,x2,x3)的插值樣本,得到最終的擴(kuò)充樣本.
針對(duì)單一導(dǎo)彈插值點(diǎn),如圖2的局部放大圖所示,雙三次插值法利用了插值點(diǎn)附近的4個(gè)方向上的16個(gè)原始導(dǎo)彈樣本點(diǎn)進(jìn)行加權(quán)插值,既考慮了4個(gè)相鄰點(diǎn)的數(shù)值影響,也考慮了各相鄰點(diǎn)數(shù)值變化率的影響[12].
圖2 雙三次插值法擴(kuò)充樣本圖示(k=2)
具體的操作流程:
步驟1 設(shè)置插值的優(yōu)化因子k;
步驟2 在每一個(gè)維度上的間隔之間對(duì)網(wǎng)格數(shù)組形式的原始導(dǎo)彈研制費(fèi)用樣本都進(jìn)行切割,形成優(yōu)化的網(wǎng)格數(shù)組;
步驟3 在網(wǎng)格之間插入數(shù)值,反復(fù)切割k次,生成2k-1個(gè)插入點(diǎn);
步驟4 保留插值網(wǎng)格的縱列中包含原始屬性(Y,x1,x2,x3)的列,得到導(dǎo)彈研制費(fèi)用樣本的擴(kuò)充樣本集.
圖3 雙三次插值法擴(kuò)充樣本流程
雙三次插值法擴(kuò)充樣本流程見(jiàn)圖3.
1.2.2 反距離加權(quán)插值法擴(kuò)充樣本
考慮到不同型號(hào)和性能的樣本對(duì)待預(yù)測(cè)樣本估算的貢獻(xiàn)率不同,本文采用反距離加權(quán)插值法對(duì)相似樣本(即與待預(yù)測(cè)樣本型號(hào)性能相似的若干原始樣本)進(jìn)行插值,以達(dá)到增加其數(shù)量及加權(quán)的目的.
由于反距離加權(quán)插值利用相似相近原理進(jìn)行插值,通過(guò)相似函數(shù)計(jì)算得到的相似樣本的距離也會(huì)越近,與插值點(diǎn)越相似,使得擬合得到的估算值也會(huì)越貼近相似樣本.
具體的插值流程:
步驟1 導(dǎo)彈特征屬性為(ai,bi,…,ni)的原始導(dǎo)彈樣本的相似函數(shù)為
其中hi是當(dāng)前導(dǎo)彈研制費(fèi)用樣本到插值點(diǎn)的距離,(ai,bi,…,ni)為導(dǎo)彈樣本的各個(gè)特征屬性,個(gè)數(shù)由導(dǎo)彈特征屬性個(gè)數(shù)決定.
步驟2 根據(jù)隨機(jī)抽取正態(tài)分布規(guī)律中概率在(μ-2σ,μ+2σ)范圍內(nèi)的一組概率α.
步驟3 根據(jù)正態(tài)分布規(guī)律在相似樣本的屬性值附近建立正態(tài)分布模型,其中均值和標(biāo)準(zhǔn)差由當(dāng)前相似樣本的導(dǎo)彈特征屬性值決定.
步驟4 根據(jù)概率α求出導(dǎo)彈特征屬性插值點(diǎn)(a,b,…,n),插值點(diǎn)的每個(gè)屬性xα服從P{X≥xα}=α,同一組插值點(diǎn)概率α相同.
步驟5 根據(jù)反距離插值法的公式,輸入導(dǎo)彈特征屬性隨機(jī)插值點(diǎn)(a,b,…,n)擬合得出對(duì)應(yīng)的導(dǎo)彈研制費(fèi)用為
步驟6 將擬合結(jié)果和導(dǎo)彈特征屬性整合,得到若干相似樣本附近的插值樣本.
反距離加權(quán)插值法擴(kuò)充樣本流程見(jiàn)圖4.
圖4 反距離加權(quán)插值法擴(kuò)充樣本流程
由于卷積神經(jīng)網(wǎng)絡(luò)具有更深度地學(xué)習(xí)能力,可以根據(jù)導(dǎo)彈研制費(fèi)用原始樣本提取各個(gè)屬性之間的關(guān)聯(lián),參考損失值和費(fèi)用估算的結(jié)果及時(shí)調(diào)整模型的結(jié)構(gòu)和參數(shù),應(yīng)用于導(dǎo)彈研制費(fèi)用的估算.圖5是導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型.
圖5 導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型
模型主要的功能層及實(shí)現(xiàn)策略:
(1) 輸入層.經(jīng)過(guò)擴(kuò)充后的導(dǎo)彈研制費(fèi)用樣本集通過(guò)讀取文件的模式讀入,對(duì)導(dǎo)彈特征屬性進(jìn)行歸一化處理,便于之后的卷積計(jì)算.根據(jù)讀入的樣本構(gòu)建導(dǎo)彈特征屬性方形矩陣,作為二維卷積的輸入.
(2) 卷積層.由于本文中輸入的數(shù)據(jù)較小,故僅使用卷積操作對(duì)導(dǎo)彈研制費(fèi)用樣本集進(jìn)行特征提取,卷積操作能夠增強(qiáng)原樣本的特征屬性.
由于卷積核的尺寸越大,能夠得到更多參數(shù),但模型的學(xué)習(xí)速度也會(huì)減緩;卷積核的數(shù)目越多,能夠得到更多的描述特征,但計(jì)算量也會(huì)相應(yīng)增加,所以應(yīng)當(dāng)選擇合適的卷積核大小及數(shù)目,以得到良好的學(xué)習(xí)估算效果.
本文根據(jù)模型輸入數(shù)據(jù)的大小,選擇卷積核大小為2×2,步長(zhǎng)為1的卷積核,經(jīng)過(guò)4次卷積作用及激活函數(shù)Relu函數(shù)的激勵(lì),得到卷積后的特征.
(3) 全連接層.搭建在整個(gè)網(wǎng)絡(luò)的尾部,能夠?qū)⒔?jīng)過(guò)卷積后的特征與輸出層相連,減少特征信息的損失.全連接層組合的特征加以Relu函數(shù)的激活,送入dropout層.
(4) dropout層.使得每一層的神經(jīng)元都部分失活,防止模型產(chǎn)生過(guò)擬合,避免模型由于過(guò)度學(xué)習(xí)大數(shù)據(jù)的冗余信息,導(dǎo)致訓(xùn)練速度慢,缺少泛化能力.
(5) 輸出層.將均方誤差作為損失函數(shù),計(jì)算后用Adam優(yōu)化器進(jìn)行優(yōu)化,經(jīng)過(guò)數(shù)次梯度下降,得到導(dǎo)彈研制費(fèi)用估算結(jié)果.
由于導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)模型可以得到唯一輸出的研制費(fèi)用估算值,故采用回歸模型的評(píng)價(jià)指標(biāo)對(duì)模型進(jìn)行評(píng)估并改進(jìn):采用均方誤差(Mean Square Error,MSE)作為模型的損失函數(shù);針對(duì)費(fèi)用預(yù)測(cè)估算的結(jié)果,采用平均絕對(duì)誤差(Mean Absolute Error,MAE)和相對(duì)誤差(Relative Error),評(píng)估模型對(duì)樣本整體和個(gè)體的估算準(zhǔn)確度.
實(shí)驗(yàn)在Win10操作系統(tǒng)下,利用MatlabR2016a編程實(shí)現(xiàn)導(dǎo)彈研制費(fèi)用原始樣本集的擴(kuò)充,在Pycharm下利用Tensorflow框架對(duì)導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型進(jìn)行訓(xùn)練,開(kāi)發(fā)語(yǔ)言為Python3.6.
實(shí)驗(yàn)利用Matlab實(shí)現(xiàn)對(duì)原始樣本集的擴(kuò)充,原始樣本集為8組導(dǎo)彈研制費(fèi)用樣本集,包括導(dǎo)彈特征屬性及其研制費(fèi)用.將8組樣本分為7組訓(xùn)練樣本和1組待預(yù)測(cè)樣本,分別根據(jù)雙三次插值及反距離加權(quán)插值算法對(duì)原始導(dǎo)彈研制費(fèi)用訓(xùn)練樣本擴(kuò)充到300組數(shù)據(jù).
擴(kuò)充樣本經(jīng)過(guò)數(shù)據(jù)預(yù)處理,采用1.3節(jié)提出的導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型,根據(jù)參數(shù)調(diào)節(jié)結(jié)果,選擇卷積層層數(shù)為4,學(xué)習(xí)率0.01,反復(fù)迭代訓(xùn)練5 000次.為了驗(yàn)證研制費(fèi)用估算結(jié)果的優(yōu)略,采用均方誤差作為損失函數(shù)進(jìn)行梯度下降,平均絕對(duì)誤差和相對(duì)誤差分別判斷測(cè)試樣本的整體和個(gè)體的估算準(zhǔn)確度,根據(jù)評(píng)價(jià)指標(biāo)不斷優(yōu)化模型,得到最優(yōu)模型.
在實(shí)際模型訓(xùn)練的過(guò)程中,估算效果好的模型需要在訓(xùn)練的過(guò)程中不斷調(diào)節(jié)參數(shù)、調(diào)整模型的結(jié)構(gòu),參考模型評(píng)價(jià)的指標(biāo)才能最終得到.本文選取卷積層層數(shù)、dropout值、學(xué)習(xí)率3個(gè)參數(shù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的估算精度進(jìn)行評(píng)估分析.
在實(shí)驗(yàn)操作中,設(shè)置卷積層層數(shù)為4,學(xué)習(xí)率為0.01,dropout值為0.5,訓(xùn)練次數(shù)為5 000次,使用控制變量方法,單次實(shí)驗(yàn)只改變卷積層層數(shù)、dropout值、學(xué)習(xí)率三者之一,得到待調(diào)整參數(shù)與測(cè)試集的MAE的關(guān)系見(jiàn)圖6—8.
圖6 卷積層層數(shù)與MAE的關(guān)系
圖7 dropout值與MAE的關(guān)系
圖8 學(xué)習(xí)率與MAE的關(guān)系
從圖6—8中平均絕對(duì)誤差與卷積層層數(shù)、dropout值、學(xué)習(xí)率的關(guān)系圖可以看出,在卷積層層數(shù)為4時(shí),MAE達(dá)到最低值,整體的估算效果較好,可以得到較為準(zhǔn)確的估算值.當(dāng)dropout值等于0.6時(shí),平均絕對(duì)誤差達(dá)到最低值,此時(shí)dropout發(fā)揮出最佳的抑制過(guò)擬合效果,使模型具有泛化能力且能保證估算精度.當(dāng)學(xué)習(xí)率為0.01和0.005時(shí),模型的擬合效果明顯,能得到較低的平均相對(duì)誤差.由于學(xué)習(xí)率為0.005時(shí),需要更久訓(xùn)練的次數(shù)才能取得最佳的估算結(jié)果,故選擇學(xué)習(xí)率為0.01較為合適.
實(shí)驗(yàn)驗(yàn)證的樣本集為8組導(dǎo)彈研制費(fèi)用樣本[8],采用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)研制費(fèi)用進(jìn)行估算.實(shí)驗(yàn)中的導(dǎo)彈特征屬性包括最大射程、最大射高、最大射速、導(dǎo)彈質(zhì)量等,具體的數(shù)值見(jiàn)表1,將8組樣本分為7組訓(xùn)練樣本和1組待預(yù)測(cè)樣本(導(dǎo)彈研制費(fèi)用均換算到1992年的價(jià)格).
表1 研制費(fèi)用原始樣本
本文模型估算出的費(fèi)用結(jié)果與線(xiàn)性回歸、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、WPCA&WSVR幾種實(shí)驗(yàn)方法進(jìn)行了對(duì)比[9],結(jié)果見(jiàn)表2.
表2 本文模型與其他實(shí)驗(yàn)方法估算結(jié)果對(duì)比
從表2可以看出,本文模型在整體和待預(yù)測(cè)樣本的估算結(jié)果都比線(xiàn)性回歸、神經(jīng)網(wǎng)絡(luò)好.本文模型結(jié)合樣本擴(kuò)充,既能解決小樣本和樣本貢獻(xiàn)率的問(wèn)題,又能較好地學(xué)習(xí)各參數(shù)之間的復(fù)雜關(guān)系,對(duì)新樣本的適應(yīng)性較強(qiáng),能夠得到合理的估算結(jié)果,本文模型解決了線(xiàn)性形式無(wú)法表現(xiàn)復(fù)雜參數(shù)關(guān)系和在小樣本條件下無(wú)法體現(xiàn)的泛化能力;與支持向量機(jī)和WPCA&WSVR費(fèi)用兩種方法相比,本文模型也在整體估算效果上優(yōu)于二者,在待預(yù)測(cè)樣本上的估算也明顯優(yōu)于支持向量機(jī).
本文針對(duì)小樣本條件下的導(dǎo)彈研制費(fèi)用估算問(wèn)題,利用雙三次插值和反距離加權(quán)插值進(jìn)行樣本擴(kuò)充,解決了原始導(dǎo)彈研制費(fèi)用樣本數(shù)目稀少和各個(gè)樣本對(duì)待預(yù)測(cè)樣本的貢獻(xiàn)值不同的問(wèn)題.利用卷積神經(jīng)網(wǎng)絡(luò)可經(jīng)過(guò)多次學(xué)習(xí)提取樣本數(shù)據(jù)關(guān)聯(lián),調(diào)整模型結(jié)構(gòu)的特點(diǎn),采用導(dǎo)彈研制費(fèi)用的卷積神經(jīng)網(wǎng)絡(luò)估算模型對(duì)擴(kuò)充樣本進(jìn)行學(xué)習(xí),對(duì)比驗(yàn)證了該模型的估算能力.然而,實(shí)驗(yàn)過(guò)程也存在一定不足,例如,調(diào)參過(guò)程繁瑣且耗時(shí)長(zhǎng),需要花費(fèi)較多的時(shí)間和人力,以后在這方面將進(jìn)行探究.
致謝:對(duì)南京理工大學(xué)計(jì)算機(jī)學(xué)院提供的良好實(shí)驗(yàn)環(huán)境,教研組江濤同學(xué)、雷陽(yáng)同學(xué)在實(shí)驗(yàn)?zāi)P蜆?gòu)建和數(shù)據(jù)集收集的建議和幫助致以衷心的感謝!