伍洲，楊寒石，鄔俊俊，張海軍，宋晴

（1.重慶大學(xué) 自動(dòng)化學(xué)院，重慶 400044；2.哈爾濱工業(yè)大學(xué)（深圳）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，廣東 深圳 518055；3.北京郵電大學(xué) 人工智能學(xué)院，北京 100876）

0 概述

目前，智能優(yōu)化已經(jīng)成為科學(xué)和工程領(lǐng)域的研究熱點(diǎn)之一，可為復(fù)雜優(yōu)化問(wèn)題尋找最優(yōu)解決方案［1］。常用優(yōu)化算法可分為確定性算法和啟發(fā)式算法。確定性算法例如線性規(guī)劃［2］、非線性規(guī)劃［3］和最小二乘法［4］等，利用問(wèn)題解析性質(zhì)求解目標(biāo)函數(shù)的全局或近似全局最優(yōu)解［5］。啟發(fā)式算法例如遺傳算法（Genetic Algorithm，GA）［6］、差分進(jìn)化（Differential Evolution，DE）算法［7］和蟻群算法［8］等，基于隨機(jī)過(guò)程搜索目標(biāo)函數(shù)的全局或近似全局最優(yōu)解。雖然確定性算法在線性或二次規(guī)劃問(wèn)題中可保證最優(yōu)解，但啟發(fā)式算法更加靈活且易于實(shí)現(xiàn)，特別是對(duì)于“黑盒”優(yōu)化［9］、非凸優(yōu)化［10］、NP 難組合優(yōu)化［11-12］和大規(guī)模優(yōu)化［13-14］等問(wèn)題有較強(qiáng)的搜索能力。進(jìn)化算法（Evolutionary Algorithm，EA）是模擬自然界生物進(jìn)化的啟發(fā)式算法［15-17］，已成功應(yīng)用于解決生物信息學(xué)、網(wǎng)絡(luò)安全等領(lǐng)域的優(yōu)化問(wèn)題［18-19］。傳統(tǒng)EA 在解決某個(gè)問(wèn)題時(shí)往往默認(rèn)先驗(yàn)知識(shí)為零，從零開(kāi)始進(jìn)行隨機(jī)搜索［20-21］。然而，現(xiàn)實(shí)問(wèn)題很少孤立存在，從已解決或正在解決的相關(guān)問(wèn)題中提取的有效信息可以引導(dǎo)EA 高效解決新問(wèn)題，降低計(jì)算過(guò)程的時(shí)間成本，提升計(jì)算結(jié)果的質(zhì)量［22］。近年來(lái)，在機(jī)器學(xué)習(xí)中利用已解決任務(wù)的有用信息可求解相似學(xué)習(xí)任務(wù)，這種思想被稱為遷移學(xué)習(xí)（Transfer Learning，TL）［23］。然而，現(xiàn)有關(guān)于TL 的研究多數(shù)局限于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的應(yīng)用，例如基于TL 的機(jī)器視覺(jué)［24］、醫(yī)學(xué)圖像識(shí)別［25］和機(jī)器故障診斷［26］等，將TL與EA 相結(jié)合的研究較少。通過(guò)學(xué)習(xí)歷史任務(wù)或正在優(yōu)化任務(wù)中的有效知識(shí)，并遷移解決相關(guān)優(yōu)化問(wèn)題的進(jìn)化算法統(tǒng)稱為進(jìn)化遷移優(yōu)化（Evolutionary Transfer Optimization，ETO）算法［27］。

現(xiàn)有少量國(guó)外研究成果與本文研究方向類似。文獻(xiàn)［23］首先簡(jiǎn)要概述了2016 年至2021 年多任務(wù)進(jìn)化計(jì)算領(lǐng)域的研究；其次重點(diǎn)介紹了多任務(wù)進(jìn)化計(jì)算的基本實(shí)現(xiàn)方法，例如染色體編碼和解碼方案、何時(shí)進(jìn)行知識(shí)遷移及個(gè)體評(píng)估和選擇方法等；然后介紹了多任務(wù)進(jìn)化計(jì)算的相關(guān)擴(kuò)展問(wèn)題，例如算法框架、任務(wù)相似性度量和超多任務(wù)優(yōu)化問(wèn)題等。文獻(xiàn)［27］對(duì)ETO 領(lǐng)域已有工作進(jìn)行了分類和概述，根據(jù)ETO 算法解決問(wèn)題的類型將現(xiàn)有ETO 研究歸納為用于不確定環(huán)境優(yōu)化的ETO 算法、用于多任務(wù)優(yōu)化的ETO 算法、用于復(fù)雜優(yōu)化的ETO 算法、用于多目標(biāo)優(yōu)化的ETO 算法及ETO 算法在機(jī)器學(xué)習(xí)上的應(yīng)用等5 個(gè)方面。文獻(xiàn)［28］首先重點(diǎn)介紹了進(jìn)化多任務(wù)優(yōu)化（Evolutionary Multitask Optimization，EMTO）中任務(wù)選擇方法和任務(wù)遷移方法及兩者的關(guān)系；然后討論了EMTO 與EA 的融合問(wèn)題，例如EMTO 算法在復(fù)雜優(yōu)化問(wèn)題上的應(yīng)用、EMTO 算法演化過(guò)程中的資源分配策略和進(jìn)化算法搜索策略等。文獻(xiàn)［29］根據(jù)知識(shí)遷移的模式（顯式或隱式）、算法的動(dòng)態(tài)性質(zhì)（靜態(tài)或自適應(yīng)）及算法的設(shè)計(jì)模板（多因子優(yōu)化或多種群多任務(wù)優(yōu)化）對(duì)已有EMTO 算法進(jìn)行分類和綜述。本文介紹ETO 的基本分類，并從源任務(wù)選擇、知識(shí)遷移、縮小搜索空間差異、進(jìn)化算法搜索、進(jìn)化資源分配等5 個(gè)角度入手對(duì)已有ETO 研究進(jìn)行分類和綜述。

1 進(jìn)化遷移優(yōu)化分類

進(jìn)化遷移優(yōu)化是一種將遷移優(yōu)化（Transfer Optimization，TO）的概念與進(jìn)化算法結(jié)合在一起，將歷史任務(wù)或正在優(yōu)化任務(wù)的種群演化軌跡、個(gè)體信息等知識(shí)遷移到相關(guān)新問(wèn)題的EA 中，從而提升EA 優(yōu)化性能的范式。目前，遷移優(yōu)化可分為順序遷移優(yōu)化（Sequential Transfer Optimization，STO）［30］、多任務(wù)優(yōu)化（Multitask Optimization，MTO）［31］和多形式優(yōu)化（Multiform Optimization，MFO）［32］。STO 旨在解決順序發(fā)生的任務(wù)，將解決歷史任務(wù)獲得的知識(shí)遷移到新任務(wù)中。MTO 旨在解決同時(shí)發(fā)生的多個(gè)任務(wù)，將任務(wù)優(yōu)化過(guò)程中獲得的知識(shí)共享給其他任務(wù)。MFO 旨在通過(guò)使用不同的替代公式解決單個(gè)任務(wù)。

1.1 順序遷移優(yōu)化

順序遷移優(yōu)化是單方向的知識(shí)遷移。假設(shè)在求解任務(wù)Tk時(shí)，任務(wù)T1,T2,…,Tk-1已經(jīng)在知識(shí)庫(kù)的協(xié)助下得到求解，且求解T1,T2,…,Tk-1獲得的有效信息被儲(chǔ)存在知識(shí)庫(kù)中［21］，其中，Tk表示為目標(biāo)任務(wù)，T1,T2,…,Tk-1表示為源任務(wù)。STO 基本流程如圖1所示，STO 利用來(lái)自源任務(wù)的知識(shí)提升求解目標(biāo)任務(wù)的EA 性能。

圖1 STO 基本流程Fig.1 Basic procedure of STO

1.2 多任務(wù)優(yōu)化

多任務(wù)優(yōu)化將當(dāng)前所有同等優(yōu)先級(jí)任務(wù)之間的有效信息共享，實(shí)現(xiàn)全方位知識(shí)遷移。MTO 基本流程如圖2 所示，任務(wù)T1,T2,…,Tk同時(shí)被優(yōu)化，優(yōu)化過(guò)程中得到的有效信息在公共知識(shí)庫(kù)中不斷更新并共享。

多任務(wù)優(yōu)化算法解決的k個(gè)任務(wù)既可以是單目標(biāo)優(yōu)化問(wèn)題（Single-objective Optimization Problem，SOP），也可以是多目標(biāo)優(yōu)化問(wèn)題（Multi-objective Optimization Problem，MOP）。假設(shè)任務(wù)的目標(biāo)函數(shù)及其搜索空間分別為fk和Ωk，則MTO 的定義如式（1）所示，MTO 的目標(biāo)是找到每個(gè)任務(wù)的最優(yōu)解［29］。

截至目前，實(shí)現(xiàn)進(jìn)化多任務(wù)優(yōu)化的范式有兩種：第一種是采用單個(gè)種群搜索多個(gè)任務(wù)的最優(yōu)解，稱為單種群多任務(wù)優(yōu)化（Single-population based Multitasking Optimization，SMO），多因子優(yōu)化為SMO 的一種具體實(shí)現(xiàn)［33］；第二種是為每一個(gè)任務(wù)分配一個(gè)種群來(lái)搜索各自最優(yōu)解的范式，稱為多種群多任務(wù)優(yōu)化（Multi-population based Multitasking Optimization，MMO），生物群落共生進(jìn)化算法為MMO 的一種具體實(shí)現(xiàn)［34］。

目前，在進(jìn)化多任務(wù)優(yōu)化算法中的知識(shí)遷移模式分為隱式知識(shí)遷移和顯式知識(shí)遷移。隱式知識(shí)遷移通過(guò)EA 的交叉算子實(shí)現(xiàn)不同任務(wù)種群間的知識(shí)交流，多數(shù)基于多因子優(yōu)化范式的算法采用隱式知識(shí)遷移，例如多因子進(jìn)化算法（Multifactorial Evolutionary Algorithm，MFEA）。顯式知識(shí)遷移是將一個(gè)任務(wù)完整的解決方案遷移到另一個(gè)任務(wù)的EA 中，在基于MMO 范式的算法中比較常見(jiàn)［35］。除此之外，顯式知識(shí)遷移也可以通過(guò)映射函數(shù)將源任務(wù)的解決方案映射到目標(biāo)任務(wù)的搜索空間中［36］。

1.3 多形式優(yōu)化

多形式優(yōu)化的基本思想是將不同的替代公式組合成一個(gè)求解單目標(biāo)優(yōu)化問(wèn)題的算法，避免了單一公式的缺陷。MFO 基本流程如圖3 所示。假設(shè)組合算法f含有k個(gè)替代公式f1,f2,…,fk，則MFO 的定義如式（2）所示，MFO 的目標(biāo)是通過(guò)f1,f2,…,fk找到任務(wù)T的最優(yōu)解。

圖3 MFO 基本流程Fig.3 Basic procedure of MFO

其中：ΩT為T(mén)的搜索空間。

2 進(jìn)化遷移優(yōu)化算法

本節(jié)從源任務(wù)選擇、知識(shí)遷移、縮小搜索空間差異、進(jìn)化算法搜索、進(jìn)化資源分配等5 個(gè)角度對(duì)ETO算法進(jìn)行綜述。

2.1 源任務(wù)選擇

在進(jìn)化遷移優(yōu)化算法中，為目標(biāo)任務(wù)選擇合適的源任務(wù)是知識(shí)遷移成功的關(guān)鍵。合適的源任務(wù)可以促進(jìn)知識(shí)正向遷移，提升目標(biāo)任務(wù)的優(yōu)化效率。不合適的源任務(wù)會(huì)造成知識(shí)負(fù)遷移，對(duì)目標(biāo)任務(wù)帶來(lái)負(fù)面影響。一些學(xué)者認(rèn)為選擇源任務(wù)的關(guān)鍵指標(biāo)是其他任務(wù)和目標(biāo)任務(wù)的相似度。某個(gè)任務(wù)與目標(biāo)任務(wù)的相似度越高，該任務(wù)越適合作為源任務(wù)。基于任務(wù)相似度的源任務(wù)選擇方法基本流程如圖4 所示。一種計(jì)算任務(wù)相似度的方法是測(cè)量任務(wù)解的分布差異。文獻(xiàn)［37］提出一種基于相似歷史信息遷移的骨干粒子群優(yōu)化算法。該算法結(jié)合最大均值差異（Maximum Mean Discrepancy，MMD）和聚類算法提出一種基于多分布估計(jì)的最大均值差異指標(biāo)來(lái)評(píng)價(jià)歷史任務(wù)和新任務(wù)解的分布差異，顯著提高了EA的收斂速度和搜索效率。另一種計(jì)算任務(wù)相似度的方法通過(guò)構(gòu)建任務(wù)解的混合概率模型實(shí)現(xiàn)。文獻(xiàn)［38］介紹了任務(wù)解的混合概率模型與任務(wù)相似度的關(guān)系。每個(gè)源/目標(biāo)任務(wù)概率模型代表一個(gè)任務(wù)的高質(zhì)量解組成的種群?；旌细怕誓Ｐ蜑槊總€(gè)概率模型的加權(quán)和，概率模型的加權(quán)系數(shù)越大，源任務(wù)與目標(biāo)任務(wù)間的互補(bǔ)性越強(qiáng)。基于該理論，文獻(xiàn)［38］提出一種基于自適應(yīng)模型的遷移優(yōu)化框架，首先建立源任務(wù)和目標(biāo)任務(wù)的統(tǒng)一搜索空間，然后在統(tǒng)一搜索空間中利用求解源任務(wù)和目標(biāo)任務(wù)獲得的知識(shí)建立混合概率模型來(lái)計(jì)算源任務(wù)和目標(biāo)任務(wù)的相似度。該方法在SOP 和MOP 上均取得了較好的結(jié)果。文獻(xiàn)［39］證明了文獻(xiàn)［38］提出理論的正確性，并進(jìn)一步證明了在混合概率模型中增加源任務(wù)概率模型的數(shù)量可縮小父代種群和子代種群的分布差異。

圖4 基于任務(wù)相似度的源任務(wù)選擇基本流程Fig.4 Basic procedure of source task selection based on task similarity

不同于以上根據(jù)任務(wù)相似度選擇源任務(wù)的方法，一些學(xué)者根據(jù)演化過(guò)程中其他任務(wù)的知識(shí)在目標(biāo)任務(wù)上的反饋來(lái)選擇源任務(wù)。文獻(xiàn)［40］提出一種基于信用分配的自適應(yīng)源任務(wù)選擇機(jī)制，在演化過(guò)程中為目標(biāo)任務(wù)提供更多有利于解決方案的任務(wù)，獲得更高的知識(shí)遷移概率。

然而，一些學(xué)者認(rèn)為僅根據(jù)任務(wù)的相似度或其他任務(wù)的知識(shí)遷移到目標(biāo)任務(wù)后的反饋這種單一標(biāo)準(zhǔn)選擇源任務(wù)是不合適的，應(yīng)該將兩者結(jié)合，綜合選擇源任務(wù)。文獻(xiàn)［41］提出一種基于高效代理輔助模型的多任務(wù)進(jìn)化框架。首先利用協(xié)方差矩陣來(lái)表征任務(wù)歷史解的分布特征；然后計(jì)算不同任務(wù)協(xié)方差矩陣間的Kullback-Leibler 散度（Kullback-Leibler Divergence，KLD）來(lái)代表任務(wù)間的相似度；最后結(jié)合任務(wù)的相似度，利用基于信息素的協(xié)同搜索機(jī)制為目標(biāo)任務(wù)選擇最合適的源任務(wù)。文獻(xiàn)［42］介紹一種多任務(wù)進(jìn)化算法框架，并提出一種自適應(yīng)選擇機(jī)制，通過(guò)種群進(jìn)化過(guò)程中知識(shí)遷移積累的獎(jiǎng)勵(lì)動(dòng)態(tài)調(diào)整目標(biāo)任務(wù)選擇其他任務(wù)作為源任務(wù)的概率，結(jié)合目標(biāo)任務(wù)與其他任務(wù)的相似度來(lái)選擇源任務(wù)，同時(shí)采用檔案來(lái)記錄不同任務(wù)在演化過(guò)程中的相關(guān)信息，根據(jù)檔案中存儲(chǔ)的信息計(jì)算不同任務(wù)解的KLD 作為任務(wù)間的相似度。

2.2 知識(shí)遷移

在為目標(biāo)任務(wù)選擇合適的源任務(wù)后，下一步就是任務(wù)間的知識(shí)遷移。學(xué)者們從多個(gè)角度對(duì)知識(shí)遷移策略進(jìn)行設(shè)計(jì)。一些學(xué)者認(rèn)為知識(shí)遷移策略需要與解決的問(wèn)題類型相匹配，應(yīng)該根據(jù)問(wèn)題的特點(diǎn)設(shè)計(jì)知識(shí)遷移策略。例如動(dòng)態(tài)優(yōu)化問(wèn)題，全局最優(yōu)解會(huì)在優(yōu)化過(guò)程中動(dòng)態(tài)變化，即不同時(shí)間段的目標(biāo)任務(wù)不同，因此解決動(dòng)態(tài)優(yōu)化問(wèn)題的關(guān)鍵是如何為不斷變化的目標(biāo)任務(wù)提供合適的知識(shí)。針對(duì)連續(xù)動(dòng)態(tài)優(yōu)化問(wèn)題，一些學(xué)者將預(yù)測(cè)模型與ETO 算法相結(jié)合，利用求解歷史任務(wù)獲得的優(yōu)秀種群個(gè)體訓(xùn)練預(yù)測(cè)模型，在求解新任務(wù)時(shí)利用預(yù)測(cè)模型預(yù)測(cè)出適合求解新任務(wù)的種群個(gè)體，流程如圖5 所示。文獻(xiàn)［43］提出一種將EA 與時(shí)間序列模型相結(jié)合的種群個(gè)體位置預(yù)測(cè)模型。該模型利用歷史任務(wù)的最優(yōu)解序列作為構(gòu)建預(yù)測(cè)模型的知識(shí)。當(dāng)檢測(cè)到目標(biāo)函數(shù)發(fā)生變化時(shí)，預(yù)測(cè)出適合新任務(wù)的種群個(gè)體的位置。該方法在目標(biāo)函數(shù)變化頻率較高的動(dòng)態(tài)多目標(biāo)優(yōu)化問(wèn)題中取得了較好的效果。文獻(xiàn)［44］提出一種基于回歸遷移學(xué)習(xí)的預(yù)測(cè)算法。該算法利用求解歷史問(wèn)題得到的種群構(gòu)建回歸預(yù)測(cè)模型，為求解新問(wèn)題的EA 生成高質(zhì)量的初始種群。2020 年至2021 年，該團(tuán)隊(duì)在這個(gè)方向進(jìn)行了較多的研究并取得了系列成果。文獻(xiàn)［45］提出一種基于內(nèi)存驅(qū)動(dòng)的流形遷移學(xué)習(xí)算法。該算法將EA 求解歷史任務(wù)獲得的最佳個(gè)體與流形遷移學(xué)習(xí)的特征相結(jié)合。當(dāng)目標(biāo)函數(shù)改變時(shí)，預(yù)測(cè)適合求解新任務(wù)的種群個(gè)體，將預(yù)測(cè)的種群個(gè)體與求解歷史任務(wù)得到的最佳種群個(gè)體合并，構(gòu)成求解新任務(wù)的EA 初始種群。該算法顯著提高了EA初期的搜索能力，并降低了計(jì)算成本。文獻(xiàn)［46］定義了動(dòng)態(tài)優(yōu)化過(guò)程的膝關(guān)節(jié)點(diǎn)。當(dāng)檢測(cè)到目標(biāo)函數(shù)變化時(shí)，首先將膝關(guān)節(jié)點(diǎn)輸入預(yù)測(cè)模型獲得適應(yīng)新問(wèn)題的種群個(gè)體，然后采用基于不平衡遷移學(xué)習(xí)的方法生成新問(wèn)題EA 的初始種群。該方法提高了EA的收斂速度和計(jì)算結(jié)果的質(zhì)量。文獻(xiàn)［47］提出一種基于個(gè)體遷移的兩階段動(dòng)態(tài)多目標(biāo)進(jìn)化算法。第一階段采用預(yù)學(xué)習(xí)策略生成引導(dǎo)種群來(lái)減少負(fù)遷移的可能性。第二階段采用文獻(xiàn)［48］提出的算法構(gòu)建預(yù)測(cè)模型來(lái)產(chǎn)生優(yōu)良的初始種群。

圖5 基于預(yù)測(cè)模型的知識(shí)遷移基本流程Fig.5 Basic procedure of knowledge transfer based on prediction models

在離散動(dòng)態(tài)優(yōu)化問(wèn)題的背景下，文獻(xiàn)［49］提出一種具有學(xué)習(xí)能力的新型進(jìn)化搜索范式來(lái)解決動(dòng)態(tài)的車(chē)輛路徑規(guī)劃問(wèn)題。該方法在優(yōu)化過(guò)程的前期從其他相似車(chē)輛路徑規(guī)劃問(wèn)題的解決方案中獲取結(jié)構(gòu)化知識(shí)，當(dāng)檢測(cè)到問(wèn)題發(fā)生變化時(shí)利用獲取的結(jié)構(gòu)化知識(shí)解決新問(wèn)題，降低了求解新問(wèn)題的時(shí)間成本。文獻(xiàn)［50］將遺傳規(guī)劃（Genetic Program，GP）與代理輔助模型結(jié)合，提出一種基于遺傳規(guī)劃和代理輔助模型的進(jìn)化多任務(wù)算法。該算法為每個(gè)任務(wù)分配一個(gè)種群和一個(gè)代理輔助模型，通過(guò)代理輔助模型篩選種群中的優(yōu)秀個(gè)體進(jìn)入下一代，同時(shí)將代理輔助模型篩選出的優(yōu)秀個(gè)體作為結(jié)構(gòu)化知識(shí)在任務(wù)間進(jìn)行遷移，提高了任務(wù)間知識(shí)遷移的效率和GP 的收斂速度。

對(duì)于不同領(lǐng)域相關(guān)問(wèn)題間的知識(shí)遷移，文獻(xiàn)［51］介紹了一種進(jìn)化模因計(jì)算范式，并基于該范式提出一種基于半正定規(guī)劃的同構(gòu)遷移學(xué)習(xí)算法解決同構(gòu)的帶有容量限制的車(chē)輛路徑規(guī)劃問(wèn)題（Capacitated Vehicle Routing Problem，CVRP）和帶有容量限制的車(chē)輛弧路徑規(guī)劃問(wèn)題（Capacitated Arc Routing Problem，CARP）。首先構(gòu)造能夠表示源任務(wù)空間和目標(biāo)任務(wù)空間共同特征的空間，然后利用半正定規(guī)劃在共同特征空間中對(duì)源任務(wù)進(jìn)行學(xué)習(xí)，將獲得的知識(shí)模因存入知識(shí)庫(kù)。當(dāng)解決新任務(wù)時(shí)，將知識(shí)庫(kù)中適合新任務(wù)的知識(shí)模因遷移到新任務(wù)的EA 種群中。該方法可以顯著提高EA 在CVRP 和CARP 上的搜索能力。文獻(xiàn)［52］在文獻(xiàn)［51］的基礎(chǔ)上提出一種基于半正定規(guī)劃的異構(gòu)遷移學(xué)習(xí)算法來(lái)求解異構(gòu)的CVRP 和CARP。

在單目標(biāo)和多目標(biāo)優(yōu)化背景下，文獻(xiàn)［30］提出一種基于決策變量分析的進(jìn)化順序遷移優(yōu)化算法，實(shí)現(xiàn)了SOP、MOP 和超多目標(biāo)優(yōu)化問(wèn)題（Manyobjective Optimization Problem，MaOP）之間的知識(shí)遷移。將MOP 和MaOP 的決策變量分為收斂性變量和決策性變量，收斂性變量含有源問(wèn)題的搜索經(jīng)驗(yàn)，決策性變量含有源問(wèn)題的搜索分布經(jīng)驗(yàn)。通過(guò)遷移收斂性變量加速目標(biāo)問(wèn)題EA 的收斂速度，通過(guò)遷移決策性變量增加目標(biāo)問(wèn)題EA 的種群多樣性。文獻(xiàn)［53］證明了將單目標(biāo)優(yōu)化問(wèn)題轉(zhuǎn)化為多目標(biāo)優(yōu)化問(wèn)題后進(jìn)行求解，可有效降低EA 陷入局部最優(yōu)解的風(fēng)險(xiǎn)。受文獻(xiàn)［53］的啟發(fā)，文獻(xiàn)［32］提出一種單目標(biāo)和多目標(biāo)多因子進(jìn)化算法求解SOP。將SOP 分解為多個(gè)子問(wèn)題，子問(wèn)題組成MOP。采用MFEA 同時(shí)求解SOP 和MOP，將求解MOP 獲得的知識(shí)遷移到求解SOP 的種群中提升種群的局部搜索能力。文獻(xiàn)［54］提出一種多形式多目標(biāo)進(jìn)化優(yōu)化算法求解MOP。通過(guò)高斯過(guò)程回歸構(gòu)建目標(biāo)MOP 的輔助任務(wù)，利用去噪自動(dòng)編碼器實(shí)現(xiàn)目標(biāo)MOP 和輔助任務(wù)間的顯式知識(shí)遷移。該方法能有效提高EA 種群的收斂速度。文獻(xiàn)［55］對(duì)多目標(biāo)優(yōu)化中的目標(biāo)約簡(jiǎn)進(jìn)行了理論研究，并分析了兩種主流的目標(biāo)縮減方法的優(yōu)勢(shì)和劣勢(shì)。將目標(biāo)縮減視為多目標(biāo)搜索問(wèn)題，介紹了該問(wèn)題的3 個(gè)多目標(biāo)公式。在此基礎(chǔ)上提出一種基于多目標(biāo)約簡(jiǎn)的多目標(biāo)算法求解MOP。將根據(jù)目標(biāo)MOP 構(gòu)造的3 個(gè)多目標(biāo)公式作為輔助任務(wù)，通過(guò)目標(biāo)MOP 與輔助任務(wù)的知識(shí)交流提升求解目標(biāo)MOP 的EA 性能。

在復(fù)雜優(yōu)化問(wèn)題背景下，文獻(xiàn)［56］構(gòu)建一種基于結(jié)構(gòu)遷移的遷移學(xué)習(xí)框架解決多標(biāo)記標(biāo)簽單核苷酸多態(tài)性選擇問(wèn)題，并提出一種基于樹(shù)形結(jié)構(gòu)的分布式估計(jì)算法（Estimation of Distributed Algorithm，EDA）來(lái)提取歷史問(wèn)題中的結(jié)構(gòu)知識(shí)，并利用結(jié)構(gòu)知識(shí)構(gòu)造聚合矩陣。當(dāng)求解新問(wèn)題時(shí)，將聚合矩陣遷移到新問(wèn)題的EDA 中。該方法能夠降低學(xué)習(xí)EDA概率模型的時(shí)間成本，以及獲得高質(zhì)量的計(jì)算結(jié)果。

除了上述針對(duì)ETO 算法解決的問(wèn)題類型設(shè)計(jì)知識(shí)遷移策略這一研究方向，一些學(xué)者對(duì)演化過(guò)程中知識(shí)遷移的頻率或知識(shí)遷移的交叉算子等固定參數(shù)進(jìn)行自適應(yīng)設(shè)計(jì)。文獻(xiàn)［57］通過(guò)理論分析證明了知識(shí)遷移率對(duì)MFEA 的性能有較大的影響，合適的知識(shí)遷移率可以提升種群的收斂速度?；谠摾碚?，文獻(xiàn)［58］提出一種顯式多種群進(jìn)化框架。首先計(jì)算通過(guò)知識(shí)遷移獲得的優(yōu)于父代的子代個(gè)體數(shù)與父代個(gè)體數(shù)的比例，然后根據(jù)該比例自適應(yīng)調(diào)整知識(shí)遷移的頻率。該方法有效抑制了負(fù)遷移的影響。文獻(xiàn)［59］提出一種基于自適應(yīng)知識(shí)遷移的MFEA。該方法根據(jù)演化過(guò)程中獲得的知識(shí)遷移信息自適應(yīng)選擇知識(shí)遷移的交叉算子，實(shí)驗(yàn)結(jié)果表明其顯著優(yōu)于MFEA。

2.3 搜索空間差異縮小

在進(jìn)行任務(wù)間知識(shí)遷移時(shí)，如果源任務(wù)和目標(biāo)任務(wù)的搜索空間相差較大，則需要考慮從源任務(wù)中遷移到目標(biāo)任務(wù)的知識(shí)是否能夠適應(yīng)目標(biāo)任務(wù)的搜索空間，否則會(huì)造成知識(shí)負(fù)遷移。為了減少源任務(wù)和目標(biāo)任務(wù)搜索空間的差異，學(xué)者們提出了一系列方法。一些學(xué)者通過(guò)設(shè)計(jì)搜索空間映射函數(shù)將求解歷史任務(wù)獲得的優(yōu)秀種群個(gè)體映射到目標(biāo)任務(wù)的搜索空間。本文以旅行商問(wèn)題（Traveling Salesman Problem，TSP）來(lái)描述搜索空間映射的基本流程。如圖6 所示，源任務(wù)和目標(biāo)任務(wù)均為含有6 個(gè)城市點(diǎn)的TSP，首先根據(jù)源TSP 和目標(biāo)TSP 的城市點(diǎn)坐標(biāo)學(xué)習(xí)兩者的映射關(guān)系，獲得映射函數(shù)M。例如，圖6 中源TSP 中的城市點(diǎn)S1與目標(biāo)TSP 中的城市點(diǎn)T3間有映射關(guān)系，S1通過(guò)M映射到目標(biāo)域后轉(zhuǎn)換為T(mén)3，然后將源TSP 的最優(yōu)解通過(guò)M映射到目標(biāo)TSP 的搜索空間中，與求解目標(biāo)TSP 的EA 種群合并。文獻(xiàn)［60］提出一種基于單層去噪自動(dòng)編碼器的進(jìn)化搜索范式。該方法將歷史問(wèn)題的知識(shí)通過(guò)單層去噪自動(dòng)編碼器映射到新問(wèn)題的搜索空間中，有效提升了異構(gòu)問(wèn)題間知識(shí)遷移的效率。文獻(xiàn)［61］對(duì)文獻(xiàn)［48］提出的算法缺陷進(jìn)行分析，提出文獻(xiàn)［48］算法的改進(jìn)版本。將EA 求解歷史任務(wù)獲得的種群個(gè)體通過(guò)線性核映射到新任務(wù)的搜索空間中作為新任務(wù)的EA 的初始種群。文獻(xiàn)［36］提出基于子空間對(duì)齊和自適應(yīng)差分的多目標(biāo)多任務(wù)進(jìn)化算法。首先將源任務(wù)的數(shù)據(jù)和目標(biāo)任務(wù)的數(shù)據(jù)輸入子空間對(duì)齊策略中生成映射矩陣，然后通過(guò)映射矩陣將源任務(wù)中的解映射到目標(biāo)任務(wù)的搜索空間。

圖6 搜索空間映射基本流程Fig.6 Basic procedure of search space mapping

與上述通過(guò)設(shè)計(jì)搜索空間映射函數(shù)減少源任務(wù)和目標(biāo)任務(wù)搜索空間差異的研究不同，文獻(xiàn)［62］提出一種決策變量翻譯策略。該策略將不同任務(wù)搜索空間中的解映射到統(tǒng)一的搜索空間中，減少了知識(shí)遷移時(shí)來(lái)自不同任務(wù)個(gè)體的位置差異。文獻(xiàn)［63］提出一種基于線性化領(lǐng)域自適應(yīng)的進(jìn)化多任務(wù)算法。該算法將簡(jiǎn)單任務(wù)的搜索空間轉(zhuǎn)換為與復(fù)雜任務(wù)高度相關(guān)的重構(gòu)空間，以減少簡(jiǎn)單任務(wù)和復(fù)雜任務(wù)搜索空間的差異。

2.4 進(jìn)化算法搜索

在ETO 算法中，EA 搜索目標(biāo)任務(wù)最優(yōu)解的過(guò)程可以分為兩部分：一部分是利用從源任務(wù)遷移到目標(biāo)任務(wù)的知識(shí)引導(dǎo)EA 種群進(jìn)行搜索；另一部分是目標(biāo)任務(wù)EA 種群的進(jìn)化搜索。上文介紹的策略均以通過(guò)提高知識(shí)遷移的效率來(lái)提升EA 的性能，而本節(jié)介紹的搜索策略旨在通過(guò)為EA 設(shè)計(jì)新的搜索算子［64］、將EA 中的某些固定參數(shù)改造成自適應(yīng)參數(shù)［65］，以及針對(duì)特定問(wèn)題為EA 構(gòu)造搜索空間［66］等策略提升EA 種群的搜索能力，從而提升目標(biāo)任務(wù)的優(yōu)化效率。

一些學(xué)者利用代理模型來(lái)提升EA 的搜索能力。文獻(xiàn)［67］提出一種基于多問(wèn)題代理的遷移進(jìn)化多目標(biāo)算法。該算法利用歷史問(wèn)題或正在被優(yōu)化的問(wèn)題的模型知識(shí)和目標(biāo)問(wèn)題的模型知識(shí)構(gòu)建多問(wèn)題代理模型來(lái)增強(qiáng)目標(biāo)問(wèn)題上的EA 的搜索能力。該算法在測(cè)試函數(shù)尋優(yōu)、復(fù)合材料制造和機(jī)器學(xué)習(xí)模型超參數(shù)自動(dòng)調(diào)優(yōu)等問(wèn)題上的搜索能力顯著優(yōu)于文獻(xiàn)［68］提出的算法。文獻(xiàn)［69］提出一種基于代理輔助模型的多任務(wù)模因算法。該算法為每個(gè)任務(wù)分配一個(gè)種群，種群的進(jìn)化操作由3 個(gè)部分組成。首先利用DE 搜索任務(wù)的全局最優(yōu)解，其次利用具有高斯過(guò)程的代理模型預(yù)測(cè)適合目標(biāo)任務(wù)的種群個(gè)體，最后利用協(xié)方差矩陣自適應(yīng)進(jìn)化策略進(jìn)行局部搜索。

一些學(xué)者通過(guò)設(shè)計(jì)新的搜索策略來(lái)提高EA 的搜索能力。文獻(xiàn)［70］提出一種基于遺傳變換策略和超矩形搜索策略的多因子進(jìn)化算法。遺傳變換策略通過(guò)構(gòu)造的任務(wù)映射向量將源任務(wù)的父代個(gè)體映射到距離目標(biāo)任務(wù)的父代個(gè)體較近的位置上?；趯?duì)立學(xué)習(xí)的超矩形搜索策略旨在對(duì)每個(gè)任務(wù)的統(tǒng)一搜索空間和子空間進(jìn)行高效的搜索和開(kāi)發(fā)，使種群能夠搜索到更多的未探索區(qū)域。

一些學(xué)者針對(duì)ETO 算法解決的問(wèn)題類型設(shè)計(jì)搜索策略。針對(duì)離散動(dòng)態(tài)優(yōu)化問(wèn)題，文獻(xiàn)［71］提出一種基于GP 的進(jìn)化多任務(wù)算法。該算法為每個(gè)任務(wù)分配一個(gè)種群，通過(guò)交叉算子實(shí)現(xiàn)任務(wù)間結(jié)構(gòu)化知識(shí)的遷移，在求解同構(gòu)和異構(gòu)的動(dòng)態(tài)柔性車(chē)間調(diào)度問(wèn)題時(shí)均能獲得高質(zhì)量的解。針對(duì)復(fù)雜的雙層優(yōu)化問(wèn)題，文獻(xiàn)［72］將TO 與文獻(xiàn)［73］提出的基于協(xié)同進(jìn)化分解的雙層組合優(yōu)化算法相結(jié)合，提出一種基于TO 的雙層組合優(yōu)化算法。該算法通過(guò)協(xié)同進(jìn)化策略提升EA 的全局搜索能力，在求解新問(wèn)題時(shí)，利用從歷史問(wèn)題中獲得的知識(shí)模因來(lái)指導(dǎo)EA 進(jìn)行搜索，在求解供應(yīng)鏈管理中的雙層生產(chǎn)分配問(wèn)題上的表現(xiàn)優(yōu)于文獻(xiàn)［73］提出的算法。

上述研究均是在傳統(tǒng)搜索策略的基礎(chǔ)上進(jìn)行改進(jìn)，文獻(xiàn)［74］則是對(duì)DE 中的多個(gè)傳統(tǒng)搜索策略進(jìn)行理論研究，旨在選出最適合EMTO 算法的搜索策略。在參考文獻(xiàn)［75-77］后，文獻(xiàn)［74］提出一種通用的多任 務(wù)DE框架，包括DE/rand/1/bin、DE/best/1/bin 和DE/current-to-best/1/bin 這3 種傳統(tǒng)的DE 搜索策略，并通過(guò)設(shè)計(jì)對(duì)照實(shí)驗(yàn)驗(yàn)證3 種傳統(tǒng)DE 搜索策略的性能。通用的多任務(wù)DE 框架如圖7 所示。

圖7 多任務(wù)DE 框架Fig.7 Multitask DE framework

2.5 進(jìn)化資源分配

在種群演化過(guò)程中，知識(shí)遷移并不總是有效的。當(dāng)任務(wù)間的知識(shí)遷移對(duì)算法性能的提升小于種群的進(jìn)化搜索對(duì)算法性能的提升時(shí)，應(yīng)該將更多的進(jìn)化資源分配給種群的進(jìn)化搜索。反之，應(yīng)把更多的資源分配給任務(wù)間的知識(shí)遷移?；谶@一思想，文獻(xiàn)［78］提出一種進(jìn)化資源分配機(jī)制。當(dāng)任務(wù)間的知識(shí)遷移產(chǎn)生負(fù)面影響時(shí)停止知識(shí)遷移，將進(jìn)化資源全部分配給求解任務(wù)的EA 種群。該機(jī)制能夠有效平衡任務(wù)間和任務(wù)內(nèi)計(jì)算資源的分配問(wèn)題。

在多任務(wù)優(yōu)化背景下，由于不同任務(wù)的復(fù)雜程度可能不同，在進(jìn)化資源平均分配給每個(gè)任務(wù)的情況下，求解簡(jiǎn)單任務(wù)的EA 收斂速度比求解復(fù)雜任務(wù)的EA 收斂速度快很多。因此，當(dāng)求解簡(jiǎn)單任務(wù)的EA 已經(jīng)收斂到一個(gè)較好的解時(shí)，求解復(fù)雜任務(wù)的EA 還不能收斂到一個(gè)可接受的解。此時(shí)進(jìn)行任務(wù)間的知識(shí)遷移，會(huì)破壞簡(jiǎn)單任務(wù)EA 的收斂性，造成知識(shí)負(fù)遷移。針對(duì)這一問(wèn)題，一些學(xué)者根據(jù)任務(wù)的計(jì)算復(fù)雜度為任務(wù)分配進(jìn)化資源，復(fù)雜任務(wù)可獲得更多的進(jìn)化資源，從而促進(jìn)求解復(fù)雜任務(wù)的EA 種群收斂，流程如圖8 所示。

圖8 基于任務(wù)資源動(dòng)態(tài)分配的進(jìn)化資源分配流程Fig.8 Procedure of evolving resource allocation based on dynamic assignment of task resources

文獻(xiàn)［79］提出一種基于動(dòng)態(tài)資源分配策略的進(jìn)化多任務(wù)算法。該算法為每個(gè)任務(wù)分配一個(gè)種群，在每次分配計(jì)算資源前計(jì)算每個(gè)任務(wù)種群的進(jìn)化程度，然后將種群進(jìn)化程度轉(zhuǎn)換成進(jìn)化指數(shù)。進(jìn)化指數(shù)越低的任務(wù)被分配的計(jì)算資源越多。該方法能夠提升EA 的搜索能力，獲得較高質(zhì)量的解。文獻(xiàn)［80］提出一種基于分解和動(dòng)態(tài)資源分配策略的多目標(biāo)多因子進(jìn)化算法。該算法將多目標(biāo)優(yōu)化問(wèn)題分解為多個(gè)單目標(biāo)優(yōu)化問(wèn)題，使用單個(gè)種群同時(shí)求解所有單目標(biāo)優(yōu)化問(wèn)題。種群在某個(gè)問(wèn)題上的演化速度越快，分配給該問(wèn)題的進(jìn)化資源越多。該方法的整體性能優(yōu)于文獻(xiàn)［81］提出的算法。

2.6 進(jìn)化遷移優(yōu)化算法總結(jié)

ETO 算法總結(jié)如表1 所示，對(duì)源任務(wù)選擇、知識(shí)遷移、縮小搜索空間差異、進(jìn)化算法搜索和進(jìn)化資源分配等5 個(gè)研究方向中提出的核心策略進(jìn)行整理匯總，并分析它們的優(yōu)劣勢(shì)。

表1 ETO 算法的核心策略和優(yōu)劣勢(shì)分析Table 1 Analysis of the core strategies and advantages and disadvantages of the ETO algorithms

3 主要挑戰(zhàn)和未來(lái)研究方向

盡管進(jìn)化遷移優(yōu)化算法在進(jìn)化計(jì)算領(lǐng)域取得了巨大的成功，但仍處于初步探索階段，在理論研究、算法設(shè)計(jì)和工程應(yīng)用方面仍有許多潛在的研究方向。通過(guò)中國(guó)知網(wǎng)（China National Knowledge Infrastructure，CNKI）和Web of Science（WOS）對(duì)2014 年至2021 年發(fā)表的ETO 論文進(jìn)行檢索，其中CNKI 檢索關(guān)鍵詞為“進(jìn)化遷移優(yōu)化”、“進(jìn)化遷移學(xué)習(xí)”、“進(jìn)化知識(shí)遷移”、“進(jìn)化多任務(wù)優(yōu)化”和“知識(shí)模因”。WOS檢索關(guān)鍵詞 為“evolutionary transfer optimization”、“evolutionary transfer learning”、“evolutionary knowledge transfer”、“evolutionary multitask optimization”和“knowledge memetic”。通過(guò)對(duì)文獻(xiàn)進(jìn)行數(shù)據(jù)清洗，包括文獻(xiàn)合并除重、補(bǔ)全缺失信息及去除領(lǐng)域不相關(guān)文獻(xiàn)，最終得到41 篇中文文獻(xiàn)和180 篇英文文獻(xiàn)。2014 年至2021 年CNKI 及WOS 的ETO 論文數(shù)統(tǒng)計(jì)如圖9 所示，可以看出ETO相關(guān)論文發(fā)表數(shù)量在2018 年后增長(zhǎng)迅速，ETO 在近幾年已成為研究熱點(diǎn)。

圖9 2014 至2021 年的ETO 論文數(shù)統(tǒng)計(jì)Fig.9 Statistics of ETO papers from 2014 to 2021

本文運(yùn)用知識(shí)圖譜對(duì)ETO 相關(guān)論文進(jìn)行數(shù)據(jù)挖掘、信息處理、知識(shí)計(jì)量和圖形繪制，揭示ETO 的發(fā)展趨勢(shì)，從而根據(jù)ETO 發(fā)展趨勢(shì)和經(jīng)驗(yàn)分析得出ETO 未來(lái)研究方向和每個(gè)方向面臨的挑戰(zhàn)。通過(guò)文獻(xiàn)關(guān)鍵詞搜索和聚類，對(duì)ETO 研究熱點(diǎn)分布進(jìn)行可視化，圖10 為基于CNKI 的中文論文研究熱點(diǎn)分布，圖11 為基于WOS 的SCI 英文論文研究熱點(diǎn)分布。在圖10 和圖11 中：圓表示關(guān)鍵詞，圓的大小表示關(guān)鍵詞出現(xiàn)的頻次；連線表示節(jié)點(diǎn)與節(jié)點(diǎn)間曾經(jīng)共現(xiàn)過(guò)；連線的密集程度表示該研究主題與其他主題聯(lián)系的緊密程度。通過(guò)對(duì)知識(shí)圖譜的分析，挖掘出ETO 未來(lái)研究方向：

圖10 CNKI 關(guān)鍵詞共現(xiàn)分析Fig.10 Co-occurrence analysis of CNKI keywords

圖11 WOS 關(guān)鍵詞共現(xiàn)分析Fig.11 Co-occurrence analysis of WOS keywords

1）多目標(biāo)優(yōu)化為當(dāng)前最熱門(mén)的研究領(lǐng)域，在該領(lǐng)域中一些學(xué)者將研究重點(diǎn)放在如何提升任務(wù)間知識(shí)遷移的效率上，例如文獻(xiàn)［30，54-55］。為目標(biāo)任務(wù)選擇合適的源任務(wù)是知識(shí)遷移成功的關(guān)鍵之一，而任務(wù)間的相似度是選擇合適任務(wù)的重要標(biāo)準(zhǔn)。目前還沒(méi)有能夠全面精確計(jì)算任務(wù)間相似度的方法，因此設(shè)計(jì)精準(zhǔn)的相似度度量方法可作為未來(lái)研究方向之一。除了任務(wù)選擇方法，如何將源任務(wù)提供的知識(shí)轉(zhuǎn)換成適合目標(biāo)任務(wù)搜索空間的知識(shí)也是知識(shí)遷移成功的關(guān)鍵，學(xué)者們對(duì)于該方向的研究多數(shù)基于同構(gòu)問(wèn)題，對(duì)異構(gòu)問(wèn)題間的知識(shí)遷移研究較少，例如SOP 與MOP 間的遷移、MOP 與MaOP 間的遷移，因此設(shè)計(jì)跨異構(gòu)問(wèn)題知識(shí)遷移的有效方法可作為未來(lái)研究方向之一。在該領(lǐng)域中還有一部分學(xué)者對(duì)如何提升ETO 算法的搜索能力和優(yōu)化速度進(jìn)行研究，如文獻(xiàn)［67，70］。雖然學(xué)者們?cè)谠摲较蛏先〉昧司薮蟮某晒?，但是他們所解決的問(wèn)題類型主要是中小規(guī)模優(yōu)化問(wèn)題，對(duì)于含有大量數(shù)據(jù)或決策變量的大規(guī)模優(yōu)化問(wèn)題，他們?cè)O(shè)計(jì)的算法可能會(huì)失效，因此開(kāi)發(fā)解決大規(guī)模優(yōu)化問(wèn)題的ETO 算法也可作為未來(lái)的一個(gè)研究方向。

2）多形式優(yōu)化是一種新興的遷移優(yōu)化范式，在知識(shí)圖譜中還未出現(xiàn)與“多形式優(yōu)化”和“multiform optimization”相關(guān)的關(guān)鍵詞，說(shuō)明學(xué)者們對(duì)于設(shè)計(jì)基于多形式優(yōu)化的ETO 算法的研究極少，因此基于多形式優(yōu)化的ETO 算法是一個(gè)具有較大發(fā)展?jié)摿Φ难芯糠较颉?/p>

3）從知識(shí)圖譜中可以看出學(xué)者們?cè)谶B續(xù)優(yōu)化問(wèn)題上的研究較多，在離散優(yōu)化問(wèn)題上的研究較少，如果能將針對(duì)連續(xù)優(yōu)化問(wèn)題提出的有效ETO 算法和理論轉(zhuǎn)譯成適合求解離散優(yōu)化問(wèn)題的ETO 算法和理論，則會(huì)極大地促進(jìn)ETO 算法在離散優(yōu)化領(lǐng)域的發(fā)展，對(duì)發(fā)電調(diào)度、物流配送和無(wú)人機(jī)路徑規(guī)劃等實(shí)際離散優(yōu)化問(wèn)題的求解具有借鑒作用。同樣地，將針對(duì)離散優(yōu)化問(wèn)題提出的ETO 算法和理論轉(zhuǎn)譯成適合求解連續(xù)優(yōu)化問(wèn)題的ETO 算法和理論，會(huì)對(duì)從事連續(xù)優(yōu)化領(lǐng)域相關(guān)工作的學(xué)者提供啟發(fā)。因此，如何將連續(xù)優(yōu)化理論與離散優(yōu)化理論進(jìn)行相互的轉(zhuǎn)譯可作為未來(lái)的一個(gè)研究方向。

基于以上分析，本文確定求解大規(guī)模優(yōu)化問(wèn)題的ETO 算法設(shè)計(jì)、跨異構(gòu)問(wèn)題知識(shí)遷移的有效方法設(shè)計(jì)、基于多形式優(yōu)化范式的ETO 算法設(shè)計(jì)、精準(zhǔn)的相似度度量方法設(shè)計(jì)和連續(xù)與離散優(yōu)化問(wèn)題的理論轉(zhuǎn)譯等5 個(gè)ETO 未來(lái)研究方向，下面將對(duì)這5 個(gè)未來(lái)研究方向和研究方向中存在的挑戰(zhàn)進(jìn)行詳細(xì)敘述。

3.1 大規(guī)模優(yōu)化問(wèn)題求解

目前，利用進(jìn)化算法求解大規(guī)模優(yōu)化問(wèn)題的研究越來(lái)越多，例如利用EA 求解激光雕刻［82］、物流調(diào)度［83］和車(chē)輛路徑規(guī)劃［84］等問(wèn)題。由于大規(guī)模優(yōu)化問(wèn)題含有大量的數(shù)據(jù)或決策變量，EA 求解此類問(wèn)題時(shí)無(wú)法在可接受的時(shí)間內(nèi)搜索到較高質(zhì)量的計(jì)算結(jié)果。為了提高EA 求解大規(guī)模優(yōu)化問(wèn)題的性能，學(xué)者們提出了不同的方法，例如采用“分治”的思想將大規(guī)模優(yōu)化問(wèn)題分解為許多適合EA 求解的小規(guī)模優(yōu)化問(wèn)題分別求解［85-86］，以及設(shè)計(jì)新的搜索算法［87］等。與以上方法相比，ETO 為提升EA 求解大規(guī)模優(yōu)化問(wèn)題的性能提供了新思路，正如前文所述，問(wèn)題很少孤立存在，將EA 求解中小規(guī)模優(yōu)化問(wèn)題獲得的知識(shí)遷移到相似的大規(guī)模優(yōu)化問(wèn)題來(lái)指導(dǎo)EA 的搜索過(guò)程，有助于提升EA 的搜索能力，從而提升計(jì)算結(jié)果的質(zhì)量。具體研究思路為：1）將ETO 和“分治”思想相結(jié)合，在利用“分治”思想將大規(guī)模優(yōu)化問(wèn)題分解成許多小規(guī)模優(yōu)化問(wèn)題后，采用ETO 算法實(shí)現(xiàn)多個(gè)小規(guī)模優(yōu)化問(wèn)題的知識(shí)遷移；2）設(shè)計(jì)能夠?qū)⒅行∫?guī)模優(yōu)化問(wèn)題中的知識(shí)高效遷移到大規(guī)模優(yōu)化問(wèn)題搜索空間中的方法。

3.2 跨異構(gòu)問(wèn)題的知識(shí)遷移

目前，一些學(xué)者已經(jīng)實(shí)現(xiàn)了跨異構(gòu)問(wèn)題的知識(shí)遷移，例如文獻(xiàn)［30，71］實(shí)現(xiàn)了單目標(biāo)優(yōu)化問(wèn)題和多目標(biāo)優(yōu)化問(wèn)題間的知識(shí)轉(zhuǎn)移，文獻(xiàn)［60］采用去噪自編碼器作為異構(gòu)問(wèn)題間知識(shí)遷移的橋梁，將源問(wèn)題的解映射到目標(biāo)任務(wù)的搜索空間中。但是，在MOP領(lǐng)域，目前的跨異構(gòu)問(wèn)題知識(shí)遷移方法多數(shù)忽略了任務(wù)之間的關(guān)系［88］。從種群共生方式的角度看，存在3 種方式：第一種方式是共生，不同種群之間相互合作、互惠互利，對(duì)所有種群均帶來(lái)積極影響；第二種方式是寄生，不同種群共同生活，既有積極的影響，又有消極的影響；第三種方式是競(jìng)爭(zhēng)，不同種群之間相互競(jìng)爭(zhēng)，對(duì)所有種群均帶來(lái)消極影響。同時(shí)，任務(wù)關(guān)系也可以解釋為共生、寄生和競(jìng)爭(zhēng)［54］，假設(shè)任務(wù)1 是三目標(biāo)優(yōu)化問(wèn)題，任務(wù)2 是兩目標(biāo)優(yōu)化問(wèn)題，兩個(gè)任務(wù)的Pareto 最優(yōu)解集在目標(biāo)函數(shù)空間的投影不同，任務(wù)為競(jìng)爭(zhēng)關(guān)系，一個(gè)任務(wù)的改善會(huì)導(dǎo)致另一個(gè)任務(wù)的惡化［89］。該領(lǐng)域面臨的另一個(gè)挑戰(zhàn)是當(dāng)源問(wèn)題與目標(biāo)問(wèn)題維度差距過(guò)大時(shí)，現(xiàn)有的知識(shí)遷移方法往往會(huì)失效。具體研究思路為：1）設(shè)計(jì)考慮任務(wù)間關(guān)系的跨異構(gòu)問(wèn)題知識(shí)遷移方法；2）設(shè)計(jì)能夠有效解決維度相差較大問(wèn)題間知識(shí)遷移的方法。

3.3 多形式優(yōu)化范式

多形式優(yōu)化是近期提出的新遷移優(yōu)化概念，基本思想是將不同的替代公式組合成一個(gè)求解單目標(biāo)優(yōu)化問(wèn)題的算法，避免了單一公式的缺陷［90］。由于不同的替代公式代表不同的搜索策略，在多任務(wù)環(huán)境中，每個(gè)公式都可以作為輔助任務(wù)將自身的搜索經(jīng)驗(yàn)傳遞給其他任務(wù)，因此在該環(huán)境下的多形式優(yōu)化范式面臨的一個(gè)巨大挑戰(zhàn)是如何有效地跨不同公式進(jìn)行知識(shí)遷移。由于EA 的種群個(gè)體和種群移動(dòng)軌跡中包含搜索經(jīng)驗(yàn)，因此可以將EA 作為實(shí)現(xiàn)不同公式間有效知識(shí)遷移的媒介引入多形式優(yōu)化中，利用源任務(wù)種群存儲(chǔ)的搜索經(jīng)驗(yàn)來(lái)指導(dǎo)目標(biāo)任務(wù)的EA 的搜索過(guò)程。此外，多形式優(yōu)化面臨的另一個(gè)挑戰(zhàn)是由于計(jì)算資源的限制，難以確定哪個(gè)公式最適合求解當(dāng)前的問(wèn)題。具體研究思路為：1）設(shè)計(jì)能夠針對(duì)特定問(wèn)題自適應(yīng)選擇替代公式的ETO 算法；2）設(shè)計(jì)可以實(shí)現(xiàn)跨異構(gòu)問(wèn)題知識(shí)遷移的方法，例如在高維度問(wèn)題和低維度問(wèn)題之間進(jìn)行知識(shí)遷移。

3.4 相似度度量

在進(jìn)化遷移優(yōu)化算法中，為目標(biāo)任務(wù)選擇合適的源任務(wù)是知識(shí)遷移能否成功的關(guān)鍵，任務(wù)間的相似度是選擇源任務(wù)的重要依據(jù)。當(dāng)前度量任務(wù)間相似度的方法大致可以分為兩類：第一類是利用源問(wèn)題和目標(biāo)問(wèn)題的數(shù)據(jù)樣本分布的差異來(lái)衡量任務(wù)間的相似度，例如文獻(xiàn)［37］計(jì)算源問(wèn)題解和目標(biāo)問(wèn)題解的MMD，利用MMD 衡量任務(wù)間的相似度；第二類是利用源問(wèn)題和目標(biāo)問(wèn)題解分布的差異來(lái)衡量任務(wù)間的相似度，例如文獻(xiàn)［41-42］將源任務(wù)和目標(biāo)任務(wù)解分布的KLD 作為任務(wù)間的相似度。然而以上兩類方法均沒(méi)有考慮到求解不同任務(wù)的EA 種群進(jìn)化方向的相似性，在忽略遷移時(shí)機(jī)是否恰當(dāng)?shù)那闆r下，當(dāng)種群進(jìn)化方向不相似時(shí)，很可能造成負(fù)遷移［88］。具體研究思路為：1）針對(duì)特定問(wèn)題設(shè)計(jì)特定的任務(wù)相似度度量方法；2）研發(fā)新的衡量任務(wù)相似度的指標(biāo)。

3.5 連續(xù)與離散優(yōu)化問(wèn)題的理論轉(zhuǎn)譯

目前，多數(shù)進(jìn)化遷移優(yōu)化理論均是基于連續(xù)優(yōu)化問(wèn)題背景或離散優(yōu)化問(wèn)題背景提出的，將適用于連續(xù)優(yōu)化問(wèn)題的進(jìn)化遷移優(yōu)化理論與適用于離散優(yōu)化問(wèn)題的理論互相轉(zhuǎn)譯，可有效促進(jìn)ETO 在連續(xù)優(yōu)化領(lǐng)域和離散優(yōu)化領(lǐng)域的發(fā)展，一些學(xué)者在該方向進(jìn)行了研究，例如文獻(xiàn)［91］將文獻(xiàn)［92］中的MFEAII 算法包含的理論轉(zhuǎn)譯成了適合求解離散優(yōu)化問(wèn)題的理論，提出dMFEA-II 算法來(lái)求解TSP。然而，據(jù)筆者所知目前在該方向的研究很少，阻礙該方向發(fā)展的主要挑戰(zhàn)是適用于連續(xù)優(yōu)化問(wèn)題的ETO 算法中所包含的一些理論只適用于連續(xù)型數(shù)據(jù)，缺少與之對(duì)等的適用于離散型數(shù)據(jù)的理論。具體研究思路為：1）設(shè)計(jì)求解連續(xù)優(yōu)化問(wèn)題的ETO 理論的離散型版本；2）開(kāi)發(fā)測(cè)試轉(zhuǎn)譯后的算法性能的基準(zhǔn)問(wèn)題。

4 結(jié)束語(yǔ)

本文從源任務(wù)選擇、知識(shí)遷移、縮小搜索空間差異、進(jìn)化算法搜索和進(jìn)化資源分配等研究方向入手，對(duì)現(xiàn)有進(jìn)化遷移優(yōu)化算法進(jìn)行歸納總結(jié)。通過(guò)分析5 個(gè)研究方向的核心策略和優(yōu)劣勢(shì)得出，ETO 算法在搜索能力和收斂速度上相比于傳統(tǒng)EA 具有一定優(yōu)勢(shì)。后續(xù)將對(duì)利用ETO 算法高效求解大規(guī)模優(yōu)化問(wèn)題、實(shí)現(xiàn)異構(gòu)問(wèn)題的高效知識(shí)遷移、多形式優(yōu)化范式的研發(fā)、精準(zhǔn)的相似度度量方法設(shè)計(jì)以及連續(xù)與離散問(wèn)題的理論轉(zhuǎn)譯等方面做進(jìn)一步研究。