吳宗諭, 羅文彩, 陳　勇

(國(guó)防科學(xué)技術(shù)大學(xué)航天科學(xué)與工程學(xué)院, 湖南 長(zhǎng)沙 410073)

?

基于Pareto定律參數(shù)優(yōu)化的徑向基近似建模

吳宗諭, 羅文彩, 陳勇

(國(guó)防科學(xué)技術(shù)大學(xué)航天科學(xué)與工程學(xué)院, 湖南 長(zhǎng)沙 410073)

摘要：針對(duì)傳統(tǒng)留一交叉驗(yàn)證法計(jì)算量大不適用于大規(guī)模復(fù)雜系統(tǒng)的問(wèn)題,借鑒經(jīng)濟(jì)學(xué)中的Pareto定律,選擇對(duì)全局誤差大小起決定性作用的樣本點(diǎn)作為關(guān)鍵點(diǎn),對(duì)留一交叉驗(yàn)證法進(jìn)行了改進(jìn),提出了基于Pareto定律的留一交叉驗(yàn)證方法。針對(duì)徑向基模型形狀參數(shù)的優(yōu)化選擇問(wèn)題,將基于Pareto定律的留一交叉驗(yàn)證方法應(yīng)用于形狀參數(shù)的優(yōu)化,提出了基于Pareto定律參數(shù)優(yōu)化的徑向基模型構(gòu)造方法。測(cè)試表明,該方法構(gòu)造的徑向基模型具有良好的近似精度和較高的計(jì)算效率,具有推廣的價(jià)值。

關(guān)鍵詞：徑向基模型; Pareto定律; 留一法; 參數(shù)優(yōu)化

0引言

大規(guī)模復(fù)雜系統(tǒng)的多學(xué)科優(yōu)化過(guò)程中,需要反復(fù)調(diào)用系統(tǒng)的高精度分析模型,計(jì)算精度高但計(jì)算量巨大[1-3]。近似模型是多學(xué)科優(yōu)化的關(guān)鍵技術(shù)之一,通過(guò)少量的高精度分析和近似計(jì)算構(gòu)造顯式近似表達(dá)式來(lái)代替原有系統(tǒng),是解決多學(xué)科優(yōu)化計(jì)算復(fù)雜性的有效手段[4],若可以構(gòu)造出精度較高的近似模型,便可使許多復(fù)雜的工程問(wèn)題迎刃而解。

目前常用的近似模型[5]有多項(xiàng)式響應(yīng)面模型、Kriging模型、徑向基模型、支持向量機(jī)模型、神經(jīng)網(wǎng)絡(luò)模型。由于徑向基模型具有形式簡(jiǎn)單、各向同性、設(shè)置參數(shù)少、易于處理等優(yōu)點(diǎn)[6],對(duì)高維問(wèn)題和非線(xiàn)性問(wèn)題均具有較好的近似效果,所以本文選擇徑向基模型為研究對(duì)象。形狀參數(shù)決定了基函數(shù)的形狀[7],是影響近似模型近似精度的重要因素,合理設(shè)置形狀參數(shù)是構(gòu)建徑向基模型的關(guān)鍵步驟。關(guān)于如何選擇形狀參數(shù),目前常采用基于準(zhǔn)則進(jìn)行優(yōu)化的方法來(lái)確定。交叉驗(yàn)證方法常被用來(lái)評(píng)估近似模型的泛化性能[8],故可基于交叉驗(yàn)證對(duì)形狀參數(shù)進(jìn)行優(yōu)化,以此來(lái)構(gòu)造高近似精度的徑向基近似模型。交叉驗(yàn)證有3種形式：Holdout驗(yàn)證、k重交叉驗(yàn)證[9]和留一交叉驗(yàn)證[10-12]。留一法具有泛化誤差估計(jì)幾乎無(wú)偏、能排除隨機(jī)因素影響、確保驗(yàn)證過(guò)程可被完全重復(fù)等優(yōu)點(diǎn),但其高計(jì)算成本限制了其在大規(guī)模問(wèn)題上的應(yīng)用。本文針對(duì)這一缺點(diǎn),對(duì)留一法進(jìn)行了改進(jìn),提出了基于Pareto定律的改進(jìn)留一交叉驗(yàn)證方法,并結(jié)合遺傳優(yōu)化算法,對(duì)形狀參數(shù)進(jìn)行優(yōu)化,提出了基于Pareto定律參數(shù)優(yōu)化的徑向基模型構(gòu)造方法。該方法進(jìn)一步提高了徑向基模型的泛化能力,可以適用于以飛行器為代表的采樣成本高昂的復(fù)雜系統(tǒng),實(shí)現(xiàn)以較小的計(jì)算代價(jià)達(dá)到高精度建模的目的。

1徑向基插值原理

徑向基模型本質(zhì)上是一種插值方法,通過(guò)插值基函數(shù)的線(xiàn)性組合構(gòu)造徑向基插值模型,其表達(dá)式如下：

(1)

權(quán)系數(shù)向量W為

(2)

式中，Y=[y1,y2,…,yNs]T為樣本點(diǎn)上的真值,矩陣Φ的表達(dá)式如下：

(3)

常用的徑向基函數(shù)有薄板樣條插值基函數(shù)、高斯插值基函數(shù)和MQ插值基函數(shù)等,其中2次MQ插值基函數(shù)因其收斂率高的特點(diǎn)得到了廣泛的應(yīng)用[13-14]。本文采用2次MQ插值基函數(shù)作為徑向基函數(shù),把‖x-xi‖記成歐氏空間距離r,則插值基函數(shù)可表示為

(4)

式中，c是常數(shù),由于其決定了插值基函數(shù)的形狀特性,故稱(chēng)其為形狀參數(shù)。

2基于Pareto定律的留一交叉驗(yàn)證法

交叉驗(yàn)證以其不需要額外增加采樣點(diǎn),只利用現(xiàn)有訓(xùn)練樣本點(diǎn)就能驗(yàn)證近似模型精度的特點(diǎn),對(duì)于飛行器這類(lèi)采樣成本高的復(fù)雜系統(tǒng)具有明顯的優(yōu)勢(shì)。

均方根誤差(rootmeansquareerror,RMSE)是比較常用的一種誤差分析統(tǒng)計(jì)量,常用于模型的全局誤差估計(jì),將其用于交叉驗(yàn)證,表達(dá)式如下：

(5)

式中，yi為xi上的實(shí)際響應(yīng)值。RMSE的值是衡量近似模型精度的常用標(biāo)準(zhǔn),RMSE越小認(rèn)為近似精度越高。

當(dāng)采樣點(diǎn)確定后,徑向基模型的構(gòu)造就只依賴(lài)于形狀參數(shù)c。不同的形狀參數(shù)會(huì)導(dǎo)致徑向基模型的差異,此時(shí)RMSE就變成了c的函數(shù),記為f(c)。

(6)

這種直接基于留一交叉驗(yàn)證優(yōu)化形狀參數(shù)的方法缺點(diǎn)是計(jì)算量太大,形狀參數(shù)c每取一個(gè)值就要構(gòu)建Ns次近似模型。以遺傳算法為例,初始種群數(shù)為50,迭代1 000次后收斂,則整個(gè)過(guò)程需構(gòu)建50 000Ns次近似模型。對(duì)于大規(guī)模復(fù)雜問(wèn)題,這種方法是不可行的。

經(jīng)濟(jì)學(xué)中著名的Pareto定律[18-20]認(rèn)為世界上20%的人占有了全世界80%的財(cái)富,20%的努力帶來(lái)80%的收獲,20%的顧客帶來(lái)80%的生意。這種存在于努力和報(bào)酬、投入和產(chǎn)出、原因和結(jié)果之間的不平衡關(guān)系,是無(wú)法解釋而又真實(shí)存在的。一般來(lái)說(shuō),可以將投入分為2種類(lèi)型：多數(shù),它們只能起到少許的作用;少數(shù),它們卻能起到主要的作用。Pareto定律講求在平常工作和生活中不要平均地分析、處理和看待問(wèn)題,要善于抓關(guān)鍵,所以也叫關(guān)鍵少數(shù)法則、最省力法則。

m=0;

fori=1:Ns

end

return(m);

式中，μ(0<μ≤1)為最省力系數(shù),可根據(jù)需要自行設(shè)置大小,本文取為0.8。

(7)

3基于Pareto定律參數(shù)優(yōu)化的徑向基模型構(gòu)造方法

具體步驟如下。

步驟 1試驗(yàn)設(shè)計(jì)生成樣本點(diǎn)。首先采用試驗(yàn)設(shè)計(jì)的方法生成樣本點(diǎn)集X=[x1,x2,…,xNs]T,并計(jì)算樣本點(diǎn)集X上的真實(shí)響應(yīng)值Y=[y1,y2,…,yNs]T。

步驟 2基于Pareto定律確定全局Pareto點(diǎn)集。形狀參數(shù)c在取值范圍(0,2cemp)上均勻取N個(gè)點(diǎn){c1,c2,…,cN},計(jì)算相應(yīng)的Pareto點(diǎn)集,合并得到全局Pareto點(diǎn)集T。

步驟 3優(yōu)化形狀參數(shù)。對(duì)全局Pareto點(diǎn)集T進(jìn)行留一交叉驗(yàn)證,根據(jù)式(8)計(jì)算PRMSE。將PRMSE作為優(yōu)化準(zhǔn)則,由于PRMSE是形狀參數(shù)c的函數(shù)f′(c),尋找使f′(c)取最小值的問(wèn)題則轉(zhuǎn)化為以下優(yōu)化問(wèn)題

(8)

步驟 4構(gòu)建徑向基模型。將優(yōu)化后的形狀參數(shù),代入插值基函數(shù)φ,并計(jì)算權(quán)系數(shù)向量W,最終得到徑向基插值模型。

流程圖如圖1所示。

圖1　基于Pareto定律參數(shù)優(yōu)化的徑向基模型構(gòu)造流程

4算例測(cè)試

為了驗(yàn)證基于Pareto定律參數(shù)優(yōu)化的徑向基模型近似建模方法(optimalparameterbasedonParetolawforradialbasisfunctionapproximationmodeling,OPPRBF)的有效性,選取了3個(gè)經(jīng)典測(cè)試函數(shù)和一個(gè)在高超聲速飛行器上的具體應(yīng)用,以RMSE作為評(píng)價(jià)近似精度的標(biāo)準(zhǔn),與傳統(tǒng)基于參數(shù)優(yōu)化的徑向基模型近似建模方法(optimalparameterforradialbasisfunctionapproximationmodeling,OPRBF)進(jìn)行比較。

4.1測(cè)試函數(shù)1：Camelback函數(shù)

Camelback函數(shù)表達(dá)式如下

f(x,y)=(4-2.1x2+x4/3)x2+xy+

(9)

在設(shè)計(jì)空間[-1,1]×[-1,1]上使用最優(yōu)拉丁超立方試驗(yàn)設(shè)計(jì)法采樣100個(gè)點(diǎn)。分別采取OPPRBF和OPRBF對(duì)該函數(shù)進(jìn)行近似,結(jié)果如圖2(b)、2(c)所示。

圖2　Camelback函數(shù)近似建模

將關(guān)鍵點(diǎn)率(關(guān)鍵點(diǎn)數(shù)在樣本點(diǎn)中所占的比率)、建模次數(shù)(整個(gè)建模過(guò)程中構(gòu)建近似模型的次數(shù))、形狀參數(shù)(經(jīng)優(yōu)化后得到的形狀參數(shù)值)、RMSE(近似模型的交叉驗(yàn)證均方根誤差)列表如表1所示。由表1可知,采用2種方法得到的形狀參數(shù)相同,RMSE相同;OPRBF的100個(gè)采樣點(diǎn)都參加了交叉驗(yàn)證,但OPPRBF只有17個(gè)關(guān)鍵點(diǎn)參加了交叉驗(yàn)證,占采樣點(diǎn)數(shù)的17%,相比于OPRBF大大減少;另外,OPPRBF總體建模次數(shù)4 330次,遠(yuǎn)遠(yuǎn)小于OPRBF的25 000次,近似建模計(jì)算效率大幅度提高。

表1　Camelback函數(shù)近似建模方法比較

4.2測(cè)試函數(shù)2：Haupt函數(shù)

Haupt函數(shù)表達(dá)式如下：

f(x,y)=xsin(4x)+1.1ysin(2y)

(10)

在設(shè)計(jì)空間[0,3.5]×[0,3.5]上使用最優(yōu)拉丁超立方試驗(yàn)設(shè)計(jì)法采樣100個(gè)點(diǎn)。分別采取OPPRBF和OPRBF對(duì)該函數(shù)進(jìn)行近似,結(jié)果如圖3(b)和圖3(c)所示。

圖3　Haupt函數(shù)近似建模

由表2可知,OPRBF得到的形狀參數(shù)為0.437 5,OPPRBF得到的形狀參數(shù)為0.435 7,有略微差異;OPRBF的RMSE為0.211 0略?xún)?yōu)于OPPRBF的0.233 1;OPRBF的100個(gè)采樣點(diǎn)都參加了交叉驗(yàn)證,但OPPRBF只有21個(gè)關(guān)鍵點(diǎn)參加了交叉驗(yàn)證,占采樣點(diǎn)數(shù)的21%,相比于OPRBF大大減少;另外,OPPRBF總體建模次數(shù)5 050次,遠(yuǎn)遠(yuǎn)小于OPRBF的26 050次,近似建模計(jì)算效率大幅度提高。綜合考慮近似精度和計(jì)算效率,OPPRBF相比于OPRBF更具有優(yōu)勢(shì)。

表2　Haupt函數(shù)近似建模方法比較

4.3測(cè)試函數(shù)3∶20維函數(shù)

20維函數(shù)表達(dá)式如下:

(11)

在設(shè)計(jì)空間上使用最優(yōu)拉丁超立方試驗(yàn)設(shè)計(jì)法采樣300個(gè)點(diǎn)。分別采取OPPRBF和OPRBF對(duì)該函數(shù)進(jìn)行近似,結(jié)果如表3所示。

表3　20維函數(shù)近似建模方法比較

由表3可知,采用傳統(tǒng)OPRBF得到的形狀參數(shù)為0.022 6,而采用OPPRBF得到的形狀參數(shù)為0.022 7,相較于OPRBF增大了0.44%;OPRBF的RMSE為6.665 1,OPPRBF的RMSE為6.665 3,較OPRBF增大了0.003%;OPRBF的300個(gè)采樣點(diǎn)均參加了交叉驗(yàn)證,但OPPRBF只有69個(gè)點(diǎn)參加了交叉驗(yàn)證,占采樣點(diǎn)數(shù)的23%;OPRBF的總建模次數(shù)為63 000,OPPRBF的總建模次數(shù)為16 800,較OPRBF建模次數(shù)減少了73.3%,再一次印證了OPPRBF的高效率。

4.4在高超聲速飛行器中的應(yīng)用

高超聲速飛行器長(zhǎng)時(shí)間在大氣層中高速飛行,表面氣動(dòng)加熱十分嚴(yán)重,駐點(diǎn)作為飛行器各部件中受熱最嚴(yán)重的位置,對(duì)其氣動(dòng)熱分析顯得尤為重要。目前,高超聲速飛行器的氣動(dòng)熱分析常采用高精度的計(jì)算流體力學(xué)(computational fluid dynamics， CFD)仿真,但是耗費(fèi)時(shí)間長(zhǎng),計(jì)算效率低。本文以圖4所示的乘波構(gòu)型的高超聲速飛行器為例,使用OPPRBF代替高精度的CFD仿真模型。

圖4　乘波構(gòu)型高超聲速飛行器

以高超聲速飛行器的飛行高度和飛行速度作為設(shè)計(jì)變量。其中,飛行高度的取值范圍是10～100 km,飛行速度的取值范圍是1～2 km/s。使用最優(yōu)拉丁超立方試驗(yàn)設(shè)計(jì)法采樣100個(gè)點(diǎn),再用CFD仿真獲取這100個(gè)樣本點(diǎn)上的駐點(diǎn)溫度,接著分別采取OPPRBF和OPRBF對(duì)駐點(diǎn)溫度進(jìn)行近似,結(jié)果如圖5所示。

圖5　高超聲速飛行器駐點(diǎn)溫度近似建模

方法關(guān)鍵點(diǎn)率/%建模次數(shù)形狀參數(shù)RMSEOPPRBF420800.12509.1310OPRBF—520000.12499.1270

由表4可知,OPRBF得到的形狀參數(shù)為0.124 9,OPPRBF得到的形狀參數(shù)為0.125 0,有略微差異;OPRBF的RMSE為9.127 0略?xún)?yōu)于OPPRBF的9.131 0;OPRBF的100個(gè)采樣點(diǎn)都參加了交叉驗(yàn)證,但OPPRBF只有4個(gè)關(guān)鍵點(diǎn)參加了交叉驗(yàn)證,占采樣點(diǎn)數(shù)的4%,相比于OPRBF大大減少;另外,OPPRBF總體建模次數(shù)2 080次,遠(yuǎn)遠(yuǎn)小于OPRBF的52 000次,近似建模計(jì)算效率大幅度提高。綜合考慮近似精度和計(jì)算效率,OPPRBF相比于OPRBF更具有優(yōu)勢(shì)。

5結(jié)論

本文針對(duì)留一交叉驗(yàn)證法計(jì)算量大的問(wèn)題,對(duì)傳統(tǒng)留一法進(jìn)行了改進(jìn),提出了基于Pareto定律的留一交叉驗(yàn)證法,并將其應(yīng)用于徑向基模型的形狀參數(shù)優(yōu)化,提出了基于Pareto定律參數(shù)優(yōu)化的徑向基模型構(gòu)造方法。主要結(jié)論如下。

(1) 本文提出的基于Pareto定律的留一交叉驗(yàn)證法,融合了經(jīng)濟(jì)學(xué)中少數(shù)決定多數(shù)的思想,較改進(jìn)前計(jì)算量大幅度減少。

(2) 測(cè)試算例表明,基于Pareto定律參數(shù)優(yōu)化的徑向基模型構(gòu)造方法,相比于傳統(tǒng)的基于留一法參數(shù)優(yōu)化的徑向基模型構(gòu)造方法,不僅近似精度相近,而且計(jì)算效率大幅度提高,是一種可以推廣的近似模型構(gòu)造方法。

參考文獻(xiàn)：

[1] Yao W, Chen X Q, Luo W C, et al. Review of uncertainty-based multidisciplinary design optimization methods for aerospace vehicles[J].ProgressinAerospaceSciences, 2011, 47(6):450-479.

[2] Balesdent M, Bérend N, Dépincé P, et al. A survey of multidisciplinary design optimization methods in launch vehicle design[J].StructuralandMultidisciplinaryOptimization, 2012, 45(5):619-642.

[3] Martins J R R A, Lambe A B. Multidisciplinary design optimization:a survey of architectures[J].AIAAJournal, 2013, 51(9):2049-2075.

[4] Deb A, Chou C C, Dutta U, et al. Practical versus RSM-based MDO in vehicle body design[J].SAEInternationalJournalofPassengerCars-MechanicalSystems, 2012, 5(1):110-119.

[5] Queipo N V, Haftka R T, Shyy W, et al. Surrogate based analysis and optimization[J].ProgressinAerospaceSciences, 2005, 41(1):1-28.

[6] Alipanah A, Esmaeili S. Numerical solution of the two-dimensional fredholm integral equations using Gaussian radial basis function[J].JournalofComputationalandAppliedMathematics, 2011, 235(18):5342-5347.

[7] Davydov O, Oanh D T. On the optimal shape parameter for Gaussian radial basis function finite difference approximation of the Poisson equation[J].ComputerandMathematicswithApplications, 2011, 62(5):2143-2161.

[8] Hijmans R J. Cross-validation of species distribution models:removing spatial sorting bias and calibration with a null model[J].Ecology, 2012, 93(3):679-688.

[9] Fushiki T. Estimation of prediction error by usingk-fold cross-validation[J].StatisticsandComputing, 2011, 21(2):137-146.

[10] Mao W T, Mu X X, Zheng Y B, et al. Leave-one-out cross-validation-based model selection for multi-output support vector machine[J].NeuralComputingandApplications, 2014, 24(2):441-451.

[11] Kocaguneli E, Menzies T. Software effort models should be assessed via leave-one-out validation[J].JournalofSystemsandSoftware, 2013, 86(7):1879-1890.

[12] Yuan J, Liu X M, Liu C L. Leave-one-out manifold regularization[J].ExpertSystemswithApplications, 2012, 39(5):5317-5324.

[13] Wang L P, Wang X Y, Zhan H R, et al. The error analysis of element-free method based on radial basis function used in mechanical problems[J].MechanicsinEngineering, 2013, 35(2):67-72. (王立鵬, 王欣彥, 戰(zhàn)洪仁, 等. 基于徑向基函數(shù)的無(wú)單元法求解力學(xué)問(wèn)題誤差分析[J]. 力學(xué)與實(shí)踐, 2013, 35(2):67-72.)

[14] Bayona V, Moscoso M, Kindelan M. Optimal variable shape parameter for multiquadric based RBF-FD method[J].JournalofComputationalPhysics, 2012, 231(6):2466-2481.

[15] Bayona V, Moscoso M, Kindelan M. Optimal constant shape parameter for multiquadric based RBF-FD method[J].JournalofComputationalPhysics, 2011, 230(19):7384-7399.

[16] Xiang S, Wang K M, Ai Y T, et al. Trigonometric variable shape parameter and exponent strategy for generalized multiquadric radial basis function approximation[J].AppliedMathematicalModelling, 2012, 36(5):1931-1938.

[17] Zhou F L, Zhang J M, Sheng X M, et al. Shape variable radial basis function and its application in dual reciprocity boundary face method[J].EngineeringAnalysiswithBoundaryElements, 2011, 35(2):244-252.

[18] Goerlich F J. A simple and efficient test for the Pareto law[J].EmpiricalEconomics, 2013, 45(3):1367-1381.

[19] Cato S. Social choice without the Pareto principle:a comprehensive analysis[J].SocialChoiceandWelfare, 2012, 39(4):869-889.

[20] Pandey V, Bairwa A, Bhattacharya S. Application of the Pareto principle in rapid application development model[J].InternationalJournalofEngineeringandTechnology, 2013, 5(3):2649-2654.

吳宗諭(1991-),男,碩士研究生,主要研究方向?yàn)轱w行器多學(xué)科優(yōu)化設(shè)計(jì)。

E-mail：vjzwzy@outlook.com

羅文彩(1975-),男,副教授,博士,主要研究方向?yàn)轱w行器總體設(shè)計(jì)、多學(xué)科優(yōu)化設(shè)計(jì)。

E-mail：luowencai@sina.com

陳勇(1985-),男,講師,博士,主要研究方向?yàn)槁晫W(xué)、流體力學(xué)、優(yōu)化理論。

E-mail：literature.chen@gmail.com

網(wǎng)絡(luò)優(yōu)先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20141105.1633.014.html

Optimal parameter based on Pareto law for radial basis

function approximation modeling

WU Zong-yu, LUO Wen-cai, CHEN Yong

(CollegeofAerospaceScienceandEngineering,NationalUniversityofDefense

Technology,Changsha410073,China)

Abstract:The traditional leave-one-out method confronts the difficulty of large calculation scale and is not applicable to a large-scale complex system. Learning from the Pareto law in the economic science, sample points which play dominant roles in the global errors are chose as key points. Accordingly, a new leave-one-out method is proposed to improve the traditional one. To obtain the shape parameter of the radial basis function, the method of the optimal parameter based on the Pareto law for radial basis function approximation modeling is proposed by combining the new leave-one-out method and shape parameter optimization. Numerical tests show that the method is accurate and efficient, and deserves to be promoted.

Keywords:radial basis function; Pareto law; leave-one-out; optimal parameter

作者簡(jiǎn)介：

中圖分類(lèi)號(hào)：TP 391.9

文獻(xiàn)標(biāo)志碼：ADOI:10.3969/j.issn.1001-506X.2015.05.34

收稿日期：2014-03-18；修回日期：2014-10-11；網(wǎng)絡(luò)優(yōu)先出版日期：2014-11-05。