師路歡，李耀輝，吳義忠，王書亭

（1.許昌學(xué)院電氣（機(jī)電）工程學(xué)院，河南 許昌 461000）

（2.華中科技大學(xué)國(guó)家企業(yè)信息化CAD應(yīng)用支撐軟件工程技術(shù)研究中心，湖北 武漢 430074）

1 引言

隨著設(shè)計(jì)層次的提升，最優(yōu)性能備受。因知識(shí)缺乏及設(shè)計(jì)誤差，產(chǎn)品性能將出現(xiàn)偏移甚至導(dǎo)致失效。盡管計(jì)算能力持續(xù)增強(qiáng)，諸如Ansys等軟件對(duì)復(fù)雜產(chǎn)品的仿真仍非常耗時(shí)。因此，利用Kriging 近似復(fù)雜仿真的優(yōu)化方法成為產(chǎn)品設(shè)計(jì)領(lǐng)域的熱點(diǎn)[1-2]。主要利用試驗(yàn)設(shè)計(jì)、Kriging及潛在估計(jì)信息實(shí)現(xiàn)仿真的近似、空間探索及優(yōu)化，具有縮短設(shè)計(jì)周期、降低研發(fā)成本、提升設(shè)計(jì)精度等特點(diǎn)，適合解決昂貴估值的計(jì)算機(jī)仿真問題，并廣泛應(yīng)用于航空航天、機(jī)械工程等諸多領(lǐng)域。鑒于此，對(duì)序列Kriging的仿真優(yōu)化方法進(jìn)行綜述。

2 試驗(yàn)設(shè)計(jì)及Kriging模型

2.1 試驗(yàn)設(shè)計(jì)

試驗(yàn)設(shè)計(jì)（DoE：Design of Experiments）[3]通常以較少試驗(yàn)次數(shù)、較短周期和較低成本來獲得理想結(jié)果。全因子設(shè)計(jì)將試驗(yàn)各因素在不同水平下進(jìn)行組合產(chǎn)生采樣點(diǎn)，建模精度較高，但非常耗時(shí)，僅用于因素?cái)?shù)與水平數(shù)較少場(chǎng)合。又出現(xiàn)基于效應(yīng)稀疏原理和投影特性的部分因子設(shè)計(jì)、中心復(fù)合試驗(yàn)設(shè)計(jì)和Box-Behnken試驗(yàn)設(shè)計(jì)。但所獲取的設(shè)計(jì)點(diǎn)缺乏獨(dú)立性、隨機(jī)性和均勻性。為此，基于全空間填充、非重疊采樣的拉丁超立方設(shè)計(jì)（LHD）[4]得到廣泛應(yīng)用。與此相近的正交試驗(yàn)設(shè)計(jì)可根據(jù)正交性從全因子試驗(yàn)設(shè)計(jì)中挑出均勻分散、齊整可比的采樣點(diǎn)，是一種高效率經(jīng)濟(jì)的DoE方法。

2.2 Kriging模型

對(duì)于m個(gè)設(shè)計(jì)點(diǎn)X=[x1，...，xm]T，X∈?m×n和目標(biāo)響應(yīng)Y=[y1，...，ym]T，Y∈?m×1，經(jīng)典Kriging[5]的數(shù)學(xué)表達(dá)為：

式中：μ(x)—趨勢(shì)函數(shù)；z(x)—數(shù)據(jù)觀測(cè)及相關(guān)性量化后建立的隨機(jī)過程，其均值及方差分別為0和σ2。

當(dāng)μ(x)等于0、μ和時(shí)，分別稱為簡(jiǎn)單Kriging、普通Kriging和標(biāo)準(zhǔn)Kriging模型。任意采樣點(diǎn)x與w之間的相關(guān)性用協(xié)方差E[Z(x)Z(w)]=σ2R(θ，ω，x)表示，通過優(yōu)化相關(guān)參數(shù)θ，能夠自適應(yīng)調(diào)整設(shè)計(jì)點(diǎn)之間的相關(guān)性?？臻g相關(guān)函數(shù)控制著Kriging 的平滑度、樣本間的相互關(guān)系及量化觀測(cè)值間的相關(guān)性。

對(duì)任意x∈?n，(x)被看作能夠找到最佳線性無偏估計(jì)λT(x)Y的一個(gè)隨機(jī)函數(shù)，這相當(dāng)于最小化均方誤差MSE[(x)]=E[λT(x)Y-y(x)]。受無偏估計(jì)的約束限制，還需滿足E[λT(x)Yy(x)]=0。且任意點(diǎn)的Kriging表達(dá)如式（2）所示。

式中：r(x)={R(x，x1)，···，R(x，xn)}T；向量矩陣F由回歸函數(shù)f(x)組成；半正定對(duì)稱矩陣R由所有已知點(diǎn)之間的自相關(guān)性和互相關(guān)性組成的最小二乘估計(jì)和高斯隨機(jī)過程方差的估計(jì)可由式（3）和（4）計(jì)算獲得。

經(jīng)典Kriging對(duì)趨勢(shì)函數(shù)選擇、模型精度提高及隨機(jī)噪聲等問題存在不足。為此對(duì)Blind、隨機(jī)、Co-Kriging進(jìn)行綜述。

2.2.1 Blind Kriging 模型

Kriging模型難以預(yù)測(cè)計(jì)算機(jī)仿真的全部行為并選擇合適的回歸函數(shù)。Blind Kriging 就是利用貝葉斯特征選擇方法拓展了經(jīng)典Kriging。Blind Kriging［6］通過捕獲樣本數(shù)據(jù)中最大方差來確定基函數(shù)。為此，需考慮一系列候選回歸函數(shù)。理想情況下，樣本數(shù)據(jù)完全通過所選回歸函數(shù)來表示，而Kriging中的隨機(jī)部分對(duì)上述過程僅有較小影響或幾乎沒有影響。

構(gòu)造Blind Kriging經(jīng)三個(gè)階段：（1）構(gòu)造初始Kriging，并對(duì)相關(guān)參數(shù)進(jìn)行最大似然估計(jì)；（2）依據(jù)估計(jì)系數(shù)，利用更好的回歸特征函數(shù)擴(kuò)展初始Kriging的回歸函數(shù)，同時(shí)產(chǎn)生一系列Kriging；（3）最后，根據(jù)交叉驗(yàn)證所估計(jì)的誤差決定有效的Kriging是否停止構(gòu)造或改善。當(dāng)誤差滿足要求，選擇當(dāng)前最佳回歸特征函數(shù)集構(gòu)造最終Blind Kriging。

2.2.2 Co-Kriging模型

為探索精確與粗糙模型數(shù)據(jù)的相關(guān)性來，以提高模型的預(yù)測(cè)精度。Co-Kriging[7]通過已知樣本集和Xe=，分別根據(jù)經(jīng)典Kriging 模型建立低保真度模型yc=和高保真度模型。

建模思路如下：首先利用粗糙數(shù)據(jù)(Xc，yc)創(chuàng)建經(jīng)典Kriging模型Yc(x)，然后通過精確數(shù)據(jù)和粗糙數(shù)據(jù)間的殘差(Xe，yd)構(gòu)造第二個(gè)Kriging模型，其中yd=ye-ρμc(Xe)，橋接參數(shù)ρ是第二個(gè)Kriging模型中最大似然估計(jì)的一部分。兩個(gè)Kriging模型回歸函數(shù)和相關(guān)函數(shù)的選擇等設(shè)置依據(jù)粗糙數(shù)據(jù)和殘差分別進(jìn)行各自調(diào)整。

2.2.3 隨機(jī)Kriging模型

當(dāng)出現(xiàn)隨機(jī)仿真或存在噪聲情況下，前述Kriging將無法得到正確結(jié)果。因此，隨機(jī)Kriging 更接近標(biāo)準(zhǔn)的高斯回歸過程。通過獨(dú)立的高斯過程ζ(x)建立均值為0、協(xié)方差矩陣為Λ的噪聲模型，即ζ～N(0，Λ)建立隨機(jī)Kriging。與通用Kriging模型相比，表達(dá)式所增加的類似于信噪比矩陣。

2.2.4 三種新Kriging模型的優(yōu)缺點(diǎn)

為說明三種新Kriging的優(yōu)缺點(diǎn)，首先，利用Brain作為測(cè)試函數(shù)，基于相同的初始LHD、最大方差采樣和最終采樣點(diǎn)數(shù)，對(duì)標(biāo)準(zhǔn)Kriging、Blind Kriging和隨機(jī)Kriging模型進(jìn)行測(cè)試比較。其函數(shù)圖、梯度圖和方差梯度圖，如圖1所示。

圖1 標(biāo)準(zhǔn)Kriging、Blind Kriging和隨機(jī)Kriging的近似結(jié)果Fig.1 Approximate Results of Standard，Blind，and Random Kriging

從圖1可看出，Blind Kriging的近似精度最高，但搜索合適的回歸函數(shù)需要耗費(fèi)較長(zhǎng)時(shí)間。標(biāo)準(zhǔn)Kriging 的精度稍差，但與Blind Kriging相比，精度差別并不明顯，因此，Blind Kriging適合更高精度要求的場(chǎng)合。而加入噪聲的隨機(jī)Kriging的近似效果與噪聲均值和方差有必然聯(lián)系，適用具有一定分布規(guī)律的噪聲函數(shù)。然而，隨機(jī)Kriging可能存在重復(fù)仿真，這使設(shè)計(jì)者在面對(duì)實(shí)際復(fù)雜的黑箱仿真時(shí)無法接受，而重復(fù)仿真的解決有待于設(shè)計(jì)者進(jìn)一步探索和研究。對(duì)Co-Kriging，高低保真度函數(shù)的使用無法用二維函數(shù)表示。因此，選用一維函數(shù)，其近似結(jié)果，如圖2所示。

圖2 Co-Kriging模型的測(cè)試結(jié)果Fig.2 Test Results of the Co-Kriging Model

Co-Kriging的擬合精度更好，但需要具有“廉價(jià)”估值并建立兩個(gè)Kriging，也需要更大的計(jì)算成本。但在高精度仿真模型的近似中，Co-Kriging在近似效果、收斂精度以及實(shí)際應(yīng)用性方面通常好于Blind Kriging。

3 序列Kriging的仿真優(yōu)化方法

3.1 算法基本框架

依據(jù)更新次數(shù)，序列Kriging的仿真優(yōu)化分為一次DoE和序列Kriging優(yōu)化。較早的一次DoE優(yōu)化方法以全局近似后的Kriging作為優(yōu)化目標(biāo)，利用全局優(yōu)化方法直接獲取近似最優(yōu)解。實(shí)際上，為保證Kriging更接近實(shí)際仿真模型，需要對(duì)DoE過程進(jìn)行優(yōu)化，使最終DoE數(shù)據(jù)能夠更均勻、正交的分布到整個(gè)設(shè)計(jì)空間。但可能存在仿真估值次數(shù)過多、所構(gòu)造Kriging無法正常使用、部分采樣點(diǎn)信息量過小以及優(yōu)化收斂速度過慢或過早收斂等缺點(diǎn)。

多數(shù)研究者使用序列Kriging優(yōu)化方法[9]。仿真估值次數(shù)嚴(yán)格受限于時(shí)間成本，導(dǎo)致優(yōu)化方法僅在Kriging最優(yōu)點(diǎn)附近進(jìn)行更新和細(xì)化。因此，該方法利用已知數(shù)據(jù)信息和Kriging自身參數(shù)特征來有效地指導(dǎo)迭代優(yōu)化搜索朝向具有更大潛在信息量的采樣點(diǎn)，以減少仿真估值次數(shù)并快速收斂到全局最優(yōu)解。設(shè)計(jì)者如何通過加點(diǎn)采樣準(zhǔn)則減少昂貴估值次數(shù)以及如何跳出局部最優(yōu)區(qū)域一直是序列Kriging優(yōu)化的研究熱點(diǎn)。序列Kriging仿真優(yōu)化的基本框架，如圖3所示。

圖3 序列Kriging仿真優(yōu)化方法的基本框架Fig.3 The Basic Framework of Sequence Kriging Simulation Optimization

Step 1：初始DoE及Kriging建模。利用DoE中的設(shè)計(jì)方法獲取初始樣本點(diǎn)，在對(duì)這些樣本點(diǎn)仿真之后，建立初始的Kriging。

Step 2：模型驗(yàn)證。在未知設(shè)計(jì)點(diǎn)處，利用方差等信息對(duì)Kriging模型進(jìn)行精度驗(yàn)證，并作為算法是否停止的一種判別準(zhǔn)則。

Step 3：子優(yōu)化問題。根據(jù)不同優(yōu)化問題，通過Kriging相關(guān)信息建立加點(diǎn)采樣準(zhǔn)則，并利用單/多目標(biāo)全局優(yōu)化算法對(duì)該準(zhǔn)則進(jìn)行優(yōu)化采樣，獲取新的迭代點(diǎn)。

Step 4：停止準(zhǔn)則。根據(jù)子優(yōu)化問題條件，判斷收斂精度或最大仿真次數(shù)是否滿足要求，滿足時(shí)停止算法，否則，繼續(xù)。

Step 5：更新Kriging 模型。對(duì)新獲取的采樣點(diǎn)進(jìn)行仿真估值，并加入到數(shù)據(jù)樣本集中，利用新的數(shù)據(jù)點(diǎn)重新構(gòu)造Kriging模型，并為下一次的子優(yōu)化做好準(zhǔn)備。

結(jié)合圖3，對(duì)序列Kriging的無約束優(yōu)化、約束優(yōu)化及多點(diǎn)并行仿真優(yōu)化的進(jìn)展及最新算法分別進(jìn)行闡述。

3.2 序列Kriging仿真優(yōu)化方法

3.2.1 序列Kriging的無約束優(yōu)化方法

最早序列Kriging 優(yōu)化是在每次迭代過程中產(chǎn)生一個(gè)采樣點(diǎn)。目標(biāo)均值采樣準(zhǔn)則通過最小化Kriging 目標(biāo)來獲取更優(yōu)化點(diǎn)。然而，真實(shí)模型與Kriging之間的最優(yōu)值存在差異，過多強(qiáng)調(diào)目標(biāo)估計(jì)而忽視不確定性因素可能導(dǎo)致局部最優(yōu)。因此，出現(xiàn)通過最大化Kriging 估計(jì)方差來進(jìn)行序列優(yōu)化采樣[10]。然而，完全強(qiáng)調(diào)全局搜索與優(yōu)化Kriging目標(biāo)一樣糟糕。上述兩種思路在提高優(yōu)化效率和收斂精度方面能力有限。為此，文獻(xiàn)[11]提出了工程應(yīng)用較為廣泛的無約束EGO方法。結(jié)合Kriging預(yù)測(cè)目標(biāo)的最小化及采樣位置的不確定性構(gòu)造出期望改善EI（Expected Improvement）作為加點(diǎn)采樣準(zhǔn)則，找到一個(gè)具有較大不確定性且較小函數(shù)值的設(shè)計(jì)點(diǎn)。然而，EI或Kriging模型的多峰性與復(fù)雜性將增加優(yōu)化成本，初始樣本的欺騙性會(huì)產(chǎn)生較小的標(biāo)準(zhǔn)差估計(jì)，這可能導(dǎo)致僅最優(yōu)解附近的數(shù)據(jù)點(diǎn)才具有較大EI值，在進(jìn)行更全局的搜索之前，初始最優(yōu)解的附近區(qū)域?qū)⒉坏貌贿M(jìn)行更為細(xì)致的搜索。

最近，REGIS開發(fā)了一種命名為TRIKE（的無約束全局優(yōu)化方法[12]，并應(yīng)用于在陡峭又狹窄的全局最小盆域及高維度優(yōu)化問題中。為每次迭代中，該方法在可信區(qū)間內(nèi)使用信任域策略去最大化EI函數(shù)來獲取下一個(gè)迭代點(diǎn)，并根據(jù)EI實(shí)際改善的比率進(jìn)行信任域區(qū)間大小的調(diào)整。在一些情況下，使用新的初始填充設(shè)計(jì)重新開始序列Kriging 的優(yōu)化算法要?jiǎng)儆诶^續(xù)尋找全局最優(yōu)點(diǎn)。在計(jì)算昂貴的數(shù)據(jù)集中，使用新填充設(shè)計(jì)的重啟策略似乎不符常理。但是，文獻(xiàn)[13]所作的數(shù)值測(cè)試強(qiáng)有力證明：當(dāng)算法處于停滯狀態(tài)，重啟策略能夠更好地讓算法繼續(xù)進(jìn)行下去，特別是陡峭而狹窄的全局最小盆域。這種方法看似有悖常理，但其成功部分源于以下事實(shí)：序列Kriging的優(yōu)化方法對(duì)初始空間填充設(shè)計(jì)的使用相當(dāng)敏感。對(duì)給定的測(cè)試問題，在一種空間填充設(shè)計(jì)中利用序列Kriging的優(yōu)化方法可以快速找到全局最小解，利用同樣方法在另一個(gè)空間填充設(shè)計(jì)中將可能花費(fèi)相當(dāng)長(zhǎng)的時(shí)間。當(dāng)算法在迭代過程中不再有所改善時(shí)，通過重啟策略，全局最小值的平均函數(shù)估值次數(shù)將大幅減小。

盡管EGO的全局收斂性已經(jīng)確立[14]，但測(cè)試結(jié)果顯示：EGO在某些常用測(cè)試問題中具有較慢的收斂性。但在概率意義上，重啟策略的成功應(yīng)用可解釋為：在一定假設(shè)下，算法找到全局極小或接近最優(yōu)解的運(yùn)行次數(shù)符合幾何概率分布。對(duì)給定確定的初始空間填充設(shè)計(jì)，TRIKE算法也是確定的。然而，如果使用一個(gè)隨機(jī)變化的初始空間，那么TRIKE 的行為就像一個(gè)隨機(jī)算法。因此，重啟策略使優(yōu)化方法再次收斂到全局最小值成為可能。此外，文獻(xiàn)[15]結(jié)合Kriging和遺傳算法提出一種具有穩(wěn)健搜索能力和良好近似性能的優(yōu)化算法；文獻(xiàn)[16]利用混合模型（Kriging 和RBF）提出了一種自適應(yīng)序列全局優(yōu)化方法。還有結(jié)合對(duì)偶原理、Kriging模型和信任域策略形成的基于Kriging和對(duì)偶變化的全局優(yōu)化方法[17]。

3.2.2 序列Kriging的并行仿真優(yōu)化方法

像EGO 和TRIKE 這樣的優(yōu)化算法在一次迭代過程中只能增加一個(gè)新采樣點(diǎn)，對(duì)于復(fù)雜的仿真優(yōu)化問題，這需要花費(fèi)幾周或者更長(zhǎng)時(shí)間來完成全局尋優(yōu)。為提高優(yōu)化效率和收斂速度，可通過在一次循環(huán)中獲取多個(gè)采樣點(diǎn)并進(jìn)行并行仿真的序列Kriging并行仿真優(yōu)化方法實(shí)現(xiàn)。

由Jones提出的EGO并行方法通過使用超出不同給定目標(biāo)的改善概率來選擇不同采樣點(diǎn)[18]，但其性能的優(yōu)劣與設(shè)定目標(biāo)的閥值水平相關(guān)。后來，Chaudhuri等人[19]提出一種自適應(yīng)的目標(biāo)設(shè)置方法在每次EGO的迭代循環(huán)中靈活運(yùn)用PI加點(diǎn)準(zhǔn)則來獲取多個(gè)采樣點(diǎn)。文獻(xiàn)[20]使用多目標(biāo)的加點(diǎn)采樣準(zhǔn)則來有效提高改進(jìn)EGO方法的自身尋優(yōu)能力。文獻(xiàn)[21]將Kriging的有效全局算法運(yùn)行到多個(gè)代理中，其中一個(gè)循環(huán)周期內(nèi)的采樣點(diǎn)數(shù)目由代理模型的數(shù)量決定。

Ginsbourger教授結(jié)合混合蒙特卡羅采樣和分析邊界策略提出的一種并行期望的異步優(yōu)化方法[22]；基于不確定性逐步減小策略，還提出了幾個(gè)新的多點(diǎn)加點(diǎn)采樣準(zhǔn)則[23]，特別適合計(jì)算成本昂貴的并行仿真優(yōu)化。最具有代表性的并行仿真優(yōu)化思想是其所提出的相信趨勢(shì)函數(shù)的KB（Kriging Believer）策略和利用參數(shù)進(jìn)行持續(xù)欺騙的CL（Constant Liar）策略[24]，它們都可通過最大化q-EI加點(diǎn)準(zhǔn)則獲取q個(gè)采樣點(diǎn)。

KB利用Kriging對(duì)采樣點(diǎn)的預(yù)測(cè)均值替代每次迭代后所選擇采樣點(diǎn)的響應(yīng)值，以更新Kriging，進(jìn)而獲取更多新采樣點(diǎn)。多點(diǎn)問題(x′n+1，..，x′n+q)=argmaxX′∈DqEI(X′)的第一種近似求解方法：（1）建立KB(X，Y，q)函數(shù)；（2）i=1，i從1到q，做q次循環(huán)：①，方差取該點(diǎn)的預(yù)測(cè)方差；③X=X ?{xn+i}，Y=Y ?{μ(xn+i)}；④循環(huán)結(jié)束。（3）函數(shù)結(jié)束。在d維優(yōu)化上依賴已知EI的貫序策略利用可接受的計(jì)算成本提供q個(gè)設(shè)計(jì)點(diǎn)存在失敗風(fēng)險(xiǎn)，因?yàn)樾湃纹胀↘riging的估計(jì)值可能使觀測(cè)數(shù)據(jù)過沖，從而導(dǎo)致陷入非最優(yōu)區(qū)域。為此，又出現(xiàn)降低這種風(fēng)險(xiǎn)的CL策略。

利用給定值L（稱為“謊言”）在每次迭代時(shí)更新元模型的CL策略在每次迭代具有相同值L，即：最大化EI找到xn+1好像一直滿足y(xn+1)=L，L∈R。實(shí)現(xiàn)步驟如下：（1）建立函數(shù)CL(X,Y,q)；（2）i=1，i從1 到q，共做q次循環(huán)：①xn+i=argmaxx∈DEI(x)；②X=X?{xn+i}，Y=Y?{L}；③循環(huán)結(jié)束。（3）函數(shù)結(jié)束。該策略的關(guān)鍵是不同L對(duì)最終優(yōu)化性能的影響。從min{Y}，mean{Y}和max{Y}選一，也可根據(jù)權(quán)重大小自適應(yīng)獲取L。

針對(duì)Kriging并行仿真優(yōu)化的其他思路，文獻(xiàn)[25]利用多個(gè)初始點(diǎn)優(yōu)化方法搜索Kriging模型的局部最優(yōu)解，并圍繞局部最優(yōu)解的附近區(qū)域作進(jìn)一步搜索，以實(shí)現(xiàn)多點(diǎn)采樣；文獻(xiàn)[26]通過最小化目標(biāo)和最大化EI獲得兩個(gè)設(shè)計(jì)點(diǎn)完成并行采樣；文獻(xiàn)[27]提出了多點(diǎn)加點(diǎn)序列優(yōu)化采樣方法；文獻(xiàn)[28]人對(duì)序列Kriging 的并行全局優(yōu)化進(jìn)行了綜述。

盡管上述方法在迭代優(yōu)化過程中能獲取多個(gè)采樣點(diǎn)，但捕獲采樣點(diǎn)所具備的有效信息量不高，也沒有對(duì)這些采樣點(diǎn)作進(jìn)一步的篩選，因此，序列Kriging的并行仿真優(yōu)化方法仍具有潛在的研究?jī)r(jià)值。

3.2.3 序列Kriging的約束優(yōu)化方法

在約束條件已知情況下的序列Kriging優(yōu)化容易實(shí)現(xiàn)。當(dāng)約束是黑箱時(shí)，需要對(duì)約束函數(shù)進(jìn)行Kriging 的近似來完成尋優(yōu)。因此，兼顧約束邊界、點(diǎn)的可行性等因素的約束優(yōu)化方法值得研究者深入研究。

針對(duì)序列Kriging的約束優(yōu)化，文獻(xiàn)[29]通過EGO方法引入七種加點(diǎn)采樣準(zhǔn)則，并對(duì)這些準(zhǔn)則如何影響全局或局部搜索行為進(jìn)行詳細(xì)的闡述；文獻(xiàn)[30]利用Kriging 所提供目標(biāo)和約束函數(shù)的全局估計(jì)以及廣義的EI加點(diǎn)采樣準(zhǔn)則提出一種約束優(yōu)化方法，達(dá)到減少目標(biāo)及約束函數(shù)昂貴估值次數(shù)的目的。文獻(xiàn)[31]通過新加點(diǎn)采樣準(zhǔn)則在可行域內(nèi)找到Pareto最優(yōu)解進(jìn)行昂貴黑箱約束問題的處理；梯度優(yōu)化方面，文獻(xiàn)[32]依據(jù)EGO和基于梯度的優(yōu)化方法，通過對(duì)初始點(diǎn)變異方法、多元插值與非插值響應(yīng)面函數(shù)的研究以及Kriging模型參數(shù)的估計(jì)，提出了一種基于廣義灰箱約束模型的全局優(yōu)化方法。針對(duì)限制全局優(yōu)化求解的可行性因素，文獻(xiàn)[33]通過自適應(yīng)抽樣搜索并確定多個(gè)可行性區(qū)間，然后在每個(gè)可行區(qū)間進(jìn)行局部尋優(yōu)。文獻(xiàn)[34]闡述了目前常用的幾種優(yōu)化加點(diǎn)準(zhǔn)則及其相應(yīng)子優(yōu)化問題的求解與約束處理。

上述約束優(yōu)化方法只對(duì)約束問題的處理提供了一種思路或者只能處理某些簡(jiǎn)單的仿真優(yōu)化問題。且對(duì)初始樣本中是否存在可行采樣點(diǎn)以及對(duì)其進(jìn)行判斷和搜索等問題都沒有作具體的考慮和設(shè)計(jì)。在目標(biāo)和約束都為黑箱情況下，無法找到合適的加點(diǎn)采樣準(zhǔn)則來平衡全局與局部搜索行為。鑒于此，文獻(xiàn)[35]初步實(shí)現(xiàn)一種序列Kriging的約束全局優(yōu)化方法，能夠在初始DoE不存在可行點(diǎn)的情況下完成尋優(yōu)。此外，Kriging與其他元模型進(jìn)行混合的全局優(yōu)化算法也有所發(fā)展，比如自適應(yīng)混合元模型全局優(yōu)化算法[36]采用外點(diǎn)罰函數(shù)方法來處理約束優(yōu)化問題。

（1）單點(diǎn)采樣的約束優(yōu)化[37]

通常，黑箱函數(shù)f(x)的約束全局優(yōu)化由式（5）表達(dá)。

其中，約束向量g(·)中每個(gè)約束將由Kriging近似。加點(diǎn)采樣準(zhǔn)則的子優(yōu)化問題必須考慮約束。整合約束信息主要有兩種策略：第一種是評(píng)估約束可行性的概率[38]，第二種是在加點(diǎn)采樣準(zhǔn)則的子優(yōu)化中直接使用約束Kriging的均值。

a）可行性概率方法

假定Kriging 對(duì)第i個(gè)約束的預(yù)測(cè)均值和方差用(x)和(x)表示，則該約束的可行性概率可由式（6）表示。

通過EI乘以任意點(diǎn)的可行概率，可將EGO中EI的約束優(yōu)化問題轉(zhuǎn)化為一個(gè)無約束優(yōu)化問題。為此，對(duì)m個(gè)約束的優(yōu)化問題，其加點(diǎn)采樣準(zhǔn)則的表達(dá)如式（7）所示。

在任何約束條件的可行性非常低的情況下，將迫使EI的大小變?yōu)榱?。因此，可行性概率?duì)EI值的影響比較強(qiáng)烈，并且使得算法無法探索接近約束邊界的點(diǎn)。

b）約束EI法（即直接使用約束Kriging均值的方法）

這種處理約束的方法如式（8）所示。僅僅將EI優(yōu)化作為一個(gè)約束優(yōu)化問題來解決。由于Kriging均值直接作為約束條件，因此高度依賴于約束Kriging模型的精度。如果約束處于起作用狀態(tài)，則會(huì)添加接近(x)=0的采樣點(diǎn)。

注意，當(dāng)出現(xiàn)不連續(xù)可行區(qū)域且沒有找到可行點(diǎn)，文獻(xiàn)[39]建議使用可行性概率來獲得一個(gè)可行初始點(diǎn)。

c）期望違背（EV-Expected violation）

文獻(xiàn)[40]利用期望違背EV代替Kriging約束均值提出一種自適應(yīng)約束優(yōu)化方法。其中EV的定義如式（9）所示。

EV 類似于EI準(zhǔn)則，約束也要使用Kriging 模型。在沒有約束違背的區(qū)域有較高的EV值，即該區(qū)域具有較高的不確定性。如果EV高于給定閾值，則可認(rèn)為該采樣點(diǎn)是可行的。那么，新的EI優(yōu)化問題定義為：

上述三種優(yōu)化方法效果相當(dāng)，約束EI法效果略好。

（2）多點(diǎn)采樣之雙目標(biāo)約束優(yōu)化

上述的單點(diǎn)采樣方法難以在求解可行性和約束條件之間取得平衡。雙目標(biāo)約束優(yōu)化不再將約束問題轉(zhuǎn)化為無約束優(yōu)化問題，是將EI和PF作為獨(dú)立目標(biāo)進(jìn)行優(yōu)化。如式（11）。

通過考慮獲得目標(biāo)函數(shù)的最小值和滿足約束條件獲取一組Pareto集。所構(gòu)建Pareto集可讓用戶從多目標(biāo)優(yōu)化后的大量采樣點(diǎn)中篩選出更合適的采樣點(diǎn)。而在EGO算法中，只能選擇滿足兩個(gè)目標(biāo)之間可以接受的一個(gè)采樣點(diǎn)。需要著重強(qiáng)調(diào)的是，使用式（5）的單目標(biāo)方法確定的單個(gè)采樣點(diǎn)與Pareto前沿找到的點(diǎn)并不對(duì)應(yīng)。單目標(biāo)優(yōu)化函數(shù)是嚴(yán)重多峰的，因此將問題視為多目標(biāo)可以得到更好的采樣點(diǎn)。式（11）的表達(dá)可限制PF所允許區(qū)域，因優(yōu)化過程可忽略不起作用約束。然而，在優(yōu)化之前并不清楚是否為起作用約束，這也限制其適用性?？尚行愿怕实臉?biāo)準(zhǔn)形式表明：Kriging 所的估計(jì)約束限制區(qū)域?qū)⑿∮趯?shí)際約束限制區(qū)域。如果所有不起作用約束都被忽略，那么剩下的約束可以看作等式約束，并且遠(yuǎn)離約束邊界的模型精度并不需要給予太多關(guān)注。

（3）基于EI、PF和約束預(yù)測(cè)方差的三目標(biāo)約束優(yōu)化方法

在單目標(biāo)和雙目標(biāo)優(yōu)化方法中，沒有考慮約束Kriging模型的預(yù)測(cè)方差。如果某些區(qū)域的方差較大且存在全局最小值，則可能會(huì)阻止優(yōu)化過程在足夠的置信度下找到最優(yōu)值。在起作用約束下，減少預(yù)測(cè)方差可能會(huì)產(chǎn)生更接近實(shí)際約束邊界的最小值。因此，除雙優(yōu)化目標(biāo)之外，還可使用第三個(gè)目標(biāo)，即最小化約束Kriging模型的預(yù)測(cè)方差。約束Kriging的預(yù)測(cè)方差可以直接用作第三個(gè)優(yōu)化目標(biāo)，如式（12）所示。另一種方法是使用EV 準(zhǔn)則（式9）中的第二部分，如式（13）所示。

由于僅增加Kriging的預(yù)測(cè)方差作為第三個(gè)優(yōu)化目標(biāo)，從Pareto集選擇的點(diǎn)仍然隸屬于雙目標(biāo)Pareto集中的一部分。

3.2.4 三類優(yōu)化方法的優(yōu)缺點(diǎn)

對(duì)于無約束的TRIKE算法，利用對(duì)稱LHD選擇2（n+1）個(gè)初始設(shè)計(jì)點(diǎn)，并通過基準(zhǔn)測(cè)試函數(shù)Branin、Goldstein Price、Hartman3、Hartman6 與EGO 在相對(duì)誤差小于1%條件下進(jìn)行平均估值次數(shù)及標(biāo)準(zhǔn)的比較，以展示TRIKE特點(diǎn)，如表1示。

表1 TRIKE（左）和EGO（右）的比較結(jié)果Tab.1 Comparison Results of TRIKE and EGO

與EGO相比，TRIKE在局部?jī)?yōu)化策略上產(chǎn)生了本質(zhì)性的改善。特別對(duì)于高維問題，TRIKE更優(yōu)于EGO。因此，調(diào)整搜索區(qū)間的自適應(yīng)信任域策略更適用序列Kriging的無約束優(yōu)化，且對(duì)陡峭而狹窄的全局最小盆域和高維的Kriging優(yōu)化問題具有更好的適用前景。然而，對(duì)具有幾個(gè)局部最優(yōu)解且平坦的Goldstein Price函數(shù)具有略差的優(yōu)化效果。

以Branin-Hoo 為基準(zhǔn)測(cè)試函數(shù)，以3×3全因子DoE 作為初始采樣，讓四種策略（包括CL 的三種變化策略L=min（Y）、L=max（Y）和L=mean（Y）及KB 策略）在每次循環(huán)中增加四個(gè)采樣點(diǎn)，比對(duì)PI和EI進(jìn)行比較結(jié)果，如圖4所示。

圖4 KB和CL在采樣過程中PI（左圖）與EI（右圖）的比較結(jié)果Fig.4 Comparison of PI（left）and EI（right）in KB and CL during Sampling

結(jié)果顯示，四種策略都為優(yōu)化問題提供了空間填充、探索性設(shè)計(jì)和概率改善。CL[min（Y）]在所考慮的策略中給出了最好的實(shí)際改善。新增10個(gè)采樣點(diǎn)后，它訪問了測(cè)試函數(shù)的三個(gè)局部最優(yōu)區(qū)域。隨著采樣點(diǎn)的增加，PI和EI也逐漸增大，且CL策略對(duì)已經(jīng)訪問的采樣點(diǎn)會(huì)產(chǎn)生排斥。此外，還可以看出，在q-EI標(biāo)準(zhǔn)中，當(dāng)q增加時(shí)，EI的值變化比較小。這較好說明q-EI準(zhǔn)則是一種拒絕不恰當(dāng)采樣點(diǎn)的策略。

存在缺點(diǎn)是：當(dāng)q增加時(shí)，三個(gè)CL策略的PI迅速收斂并接近1，從而無法區(qū)分采樣點(diǎn)的好壞。根據(jù)1改善程度，q-EI更適合進(jìn)行采樣點(diǎn)的選擇。此外，由于幾乎所有采樣點(diǎn)都被困于初始最優(yōu)點(diǎn)附近，KB策略的測(cè)試結(jié)果不盡如人意。

對(duì)于約束優(yōu)化問題，LHD 選擇10個(gè)初始采樣點(diǎn)，設(shè)置最大函數(shù)估值次數(shù)為35，然后對(duì)單采樣點(diǎn)及基于多目標(biāo)的多采樣點(diǎn)優(yōu)化方法進(jìn)行測(cè)試，主要對(duì)搜索到的最優(yōu)解離真實(shí)函數(shù)最優(yōu)點(diǎn)的距離、近似約束函數(shù)的精度以及最優(yōu)值附近的均方根誤差進(jìn)行對(duì)比，以說明其優(yōu)缺點(diǎn)結(jié)果，如表2所示。

表2 針對(duì)優(yōu)化問題（5）七種優(yōu)化方法的比較結(jié)果Tab.2 Comparison Results of Seven Methods for Problem（5）

這些約束優(yōu)化方法中，雙目標(biāo)EI和PF法給出較好結(jié)果。三目標(biāo)準(zhǔn)則提供與雙目標(biāo)方法等價(jià)的最優(yōu)估計(jì)，但約束預(yù)測(cè)的準(zhǔn)確性更好。第二個(gè)三目標(biāo)準(zhǔn)則在整個(gè)空間得到最好的約束精度，但其對(duì)約束搜索給予太多關(guān)注，導(dǎo)致略差的最優(yōu)值估計(jì)。此外，最優(yōu)解附近的均方根誤差表明，單目標(biāo)優(yōu)化方法主要聚集在最優(yōu)解附近進(jìn)行更優(yōu)點(diǎn)的搜索，在均衡全局與局部搜索行為方面，多目標(biāo)優(yōu)化顯示了更大的優(yōu)越性?？傊?，單目標(biāo)優(yōu)化具有較少的函數(shù)調(diào)用次數(shù)，而多目標(biāo)具有較好的優(yōu)化結(jié)果。對(duì)于將約束Kriging的預(yù)測(cè)方差直接用作第三個(gè)優(yōu)化目標(biāo)的約束優(yōu)化方法，這三個(gè)優(yōu)化目標(biāo)的關(guān)系，如圖5所示。

從圖5可看出：在約束Kriging的預(yù)測(cè)均方差的影響下，三個(gè)目標(biāo)的Pareto 前沿?cái)?shù)據(jù)相當(dāng)于從原雙目標(biāo)Pareto 前沿中刪除了一些采樣點(diǎn)。輸入方面，在約束Kriging預(yù)測(cè)準(zhǔn)確性較高的情況下，來自Pareto前沿的點(diǎn)將更加分散，這有助于減少約束邊界的不確定性。總之，多個(gè)目標(biāo)優(yōu)化選擇多個(gè)采樣點(diǎn)的優(yōu)化法方法明顯優(yōu)于單個(gè)目標(biāo)獲取一個(gè)采樣點(diǎn)的優(yōu)化方法。

圖5 利用Kriging預(yù)測(cè)均方差作為第三個(gè)目標(biāo)的優(yōu)化方法的測(cè)試結(jié)果Fig.5 Result on Optimization Using Predicted MSE as Third Objective

3.3 算法終止條件

序列Kriging仿真優(yōu)化的終止條件考慮以下三方面：（1）Kriging的精度是否滿足給定精度要求；（2）是否達(dá)到最大昂貴仿真次數(shù)；（3）一些參數(shù)值（比如均方根誤差等）是否小于給定容差。通常使用交叉驗(yàn)證法（CV-Cross Validation）[41]和均方根誤差（RMSE）估計(jì)法[42]對(duì)Kriging模型進(jìn)行評(píng)價(jià)。

由于序列Kriging仿真優(yōu)化的目的是在較少昂貴估值下獲取全局近似最優(yōu)解，因此，最大昂貴仿真次數(shù)是常用的優(yōu)化停止條件，昂貴仿真次數(shù)的多少通常與優(yōu)化問題或?qū)嶋H實(shí)驗(yàn)的維度和復(fù)雜度相關(guān)。如果超出，利用Kriging近似模型進(jìn)行仿真優(yōu)化將毫無意義。此外，設(shè)計(jì)者更熱衷于使用優(yōu)化過程中的某些參數(shù)是否小于給定容差作為停止條件，比如期望改善EI小于0.001、兩次獲得的最優(yōu)解相差甚小等等。然而，對(duì)于實(shí)際測(cè)試問題，設(shè)計(jì)者通常會(huì)將上述終止準(zhǔn)則中的兩個(gè)或多個(gè)結(jié)合起來使用，當(dāng)任何一個(gè)條件滿足時(shí)，就停止優(yōu)化。

4 軟件工具箱

Kriging在近似計(jì)算密集的仿真模型中備受歡迎。為了給設(shè)計(jì)者提供方便，序列Kriging仿真優(yōu)化方法的工具箱包括：

（1）DACE 工具箱。DACE 是Matlab 工具箱，用于計(jì)算機(jī)仿真模型的Kriging近似。該軟件包括DoE方法。軟件下載請(qǐng)?jiān)L問http：//www2.imm.dtu.dk/projects/dace/。

（2）DiceKriging 及DiceOptim 工具。DiceKriging 和DiceOptim是兩個(gè)R語言軟件包，用于近似和優(yōu)化昂貴估值的確定性目標(biāo)函數(shù)。DiceKriging 工具箱對(duì)各種Kriging 模型進(jìn)行模擬、預(yù)測(cè)和驗(yàn)證。DiceOptim 能夠基于EI的單點(diǎn)和多點(diǎn)采樣準(zhǔn)則完成序列Kriging 的全局優(yōu)化。軟件包下載請(qǐng)?jiān)L問https：//cran.r-project.org/web/packages/DiceKriging/index.html和https：//cran.r-project.org/web/packages/DiceOptim/index.html。

（3）ooDACE工具箱?；贛atlab的ooDACE工具箱提供了強(qiáng)大、靈活且易于擴(kuò)展的框架。不同類型的Kriging在同一平臺(tái)下通過面向?qū)ο蟮姆绞綄?shí)現(xiàn)?？梢酝瓿蒀o-Kriging、隨機(jī)Kriging、Blind Kriging、梯度增強(qiáng)Kriging 和通用Kriging 的近似建模，高效的超參數(shù)仿真優(yōu)化。還可以利用交叉驗(yàn)證、積分的均方差等精度預(yù)測(cè)方法對(duì)模型進(jìn)行評(píng)估。軟件包下載請(qǐng)?jiān)L問http：//sumo.intec.ugent.be/ooDACE_download。

（4）SuperEGO工具箱。SuperEGO也是基于Matlab語言，將智能采樣策略、Kriging建模方法、諸如Direct算法的全局優(yōu)化方法以及優(yōu)化終止條件整合在一起完成通用Kriging的全局近似及仿真優(yōu)化。該軟件包并不公開，如果僅用于個(gè)人或教育用途，可向開發(fā)者獲取。

（5）Surrogates optimal toolbox 等?；贛atlab 的Surrogates optimal工具箱主要適用于連續(xù)、整數(shù)或混合整數(shù)變量且計(jì)算昂貴的黑箱全局優(yōu)化問題。對(duì)于計(jì)算成本低的函數(shù)評(píng)估，工具箱的優(yōu)化效果可能不是非常有效。軟件包下載可訪問https：//sites.google.com/site/srgtstoolbox/。

5 總結(jié)與展望

序列Kriging的仿真優(yōu)化方法一般只需要少量昂貴估值就能夠明顯看出函數(shù)趨勢(shì)且快速得出結(jié)論。基于序列搜索的優(yōu)化過程中，近似的Kriging模型能夠在未采樣點(diǎn)處為優(yōu)化提供預(yù)測(cè)目標(biāo)和方差的估值，這些信息結(jié)合有效的全局優(yōu)化方法能夠在平衡全局與局部搜索行為的基礎(chǔ)上搜索合適的全局近似最優(yōu)解，有效促進(jìn)了對(duì)模型的直覺理解和開發(fā)。

針對(duì)序列Kriging仿真優(yōu)化方法，還面臨許多挑戰(zhàn)：

（1）關(guān)于Kriging 模型中相關(guān)矩陣R 的病態(tài)問題。理論上，Kriging 的相關(guān)函數(shù)是完全單調(diào)的，因此，R 應(yīng)保證是半正定的。而相關(guān)矩陣出現(xiàn)異常可能存在兩種原因。第一，如果函數(shù)非常平滑且可預(yù)測(cè)，那么樣本點(diǎn)將會(huì)高度相關(guān)，這意味著相關(guān)矩陣的每一列幾乎是一個(gè)全為1的列，從而導(dǎo)致這些列的極高共線性；第二，優(yōu)化運(yùn)行接近尾聲時(shí)，算法所增加的點(diǎn)往往接近先前的采樣點(diǎn)。當(dāng)兩個(gè)采樣點(diǎn)非常接近的時(shí)候，R中與這些采樣點(diǎn)相應(yīng)的列將幾乎是一樣的，導(dǎo)致R出現(xiàn)奇異情況。如果僅僅是計(jì)算Kriging目標(biāo)估計(jì)及其標(biāo)準(zhǔn)差的話，這種病態(tài)是易于管理的，但計(jì)算邊界時(shí)，將產(chǎn)生較大麻煩。

（2）EGO中期望改善函數(shù)的復(fù)雜性。EGO方法在一些情況下確實(shí)能夠找到較好近似最優(yōu)解。但因EI函數(shù)的復(fù)雜性和多峰性可能導(dǎo)致較長(zhǎng)的優(yōu)化時(shí)間。此外，初始樣本的欺騙性可能會(huì)產(chǎn)生較小的標(biāo)準(zhǔn)差估計(jì)，這往往導(dǎo)致算法更多地關(guān)注局部探索區(qū)域，直到這種不確定性變得很小。結(jié)果，僅僅接近當(dāng)前最優(yōu)解的數(shù)據(jù)點(diǎn)有大的EI值。而且，在初始Kriging已經(jīng)獲得精確最優(yōu)解的情況下，EGO沒有任何優(yōu)點(diǎn)。因此，如何選擇有效的加點(diǎn)采樣準(zhǔn)則來保證EGO在恰當(dāng)?shù)臅r(shí)候合理跳出局部最優(yōu)區(qū)域一直是設(shè)計(jì)者研究的重點(diǎn)和難點(diǎn)。

（3）并行優(yōu)化采樣具有更大的發(fā)展?jié)摿?。相?duì)于昂貴仿真估值，優(yōu)化時(shí)間的消耗幾乎可以忽略不計(jì)，每次迭代獲得q個(gè)設(shè)計(jì)點(diǎn)的采樣準(zhǔn)則將使總優(yōu)化時(shí)間減少為原來的近1/q。目前大多數(shù)優(yōu)化方法在每次迭代中僅產(chǎn)生一個(gè)新采樣點(diǎn)，或者所獲取的多個(gè)采樣點(diǎn)無法定位到設(shè)計(jì)空間的不同盆型區(qū)域，從而導(dǎo)致搜索到的多個(gè)采樣點(diǎn)無法為循環(huán)優(yōu)化提供更多有價(jià)值的信息。如何利用深度技術(shù)在序列迭代中產(chǎn)生多個(gè)更優(yōu)前景的采樣點(diǎn)，以提高優(yōu)化效率和收斂精度，有待于進(jìn)一步研究。

（4）約束為黑箱優(yōu)化問題處理。目標(biāo)和約束的黑箱性將導(dǎo)致序列Kriging約束優(yōu)化方法的優(yōu)化難度驟然增加，大多文獻(xiàn)只對(duì)約束問題的處理提供了一種思路或者只能處理某些特殊問題。且對(duì)初始樣本中是否存在可行采樣點(diǎn)以及對(duì)其進(jìn)行判斷和搜索等問題很少作具體的考慮和設(shè)計(jì)。特別在目標(biāo)和約束都為昂貴黑箱條件下，無法找到合適的加點(diǎn)采樣準(zhǔn)則來平衡全局與局部搜索行為。這為該方向的深入研究留下充足空間。