沈焱萍，鄭康鋒，伍淳華，楊義先

（1.北京郵電大學(xué)網(wǎng)絡(luò)空間安全學(xué)院，北京 100876；2.防災(zāi)科技學(xué)院信息工程學(xué)院，河北 廊坊 065201）

1 引言

1952年，阿瑟薩繆爾開發(fā)了具有自學(xué)習(xí)能力的西洋跳棋程序，并首次提出“機(jī)器學(xué)習(xí)”概念。機(jī)器學(xué)習(xí)伴隨著人工智能的發(fā)展而發(fā)展，Mitchell[1]將其定義為“對于某類任務(wù)U和性能度量R，如果一個計算機(jī)程序在U上以R衡量的性能隨著經(jīng)驗(yàn)E而自我完善，那么我們稱這個計算機(jī)程序根據(jù)經(jīng)驗(yàn)E學(xué)習(xí)”。

根據(jù)解決問題所屬領(lǐng)域不同，機(jī)器學(xué)習(xí)可分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)[2]。在監(jiān)督學(xué)習(xí)中，基于帶標(biāo)簽的訓(xùn)練數(shù)據(jù)建立訓(xùn)練模型，常用方法包括人工神經(jīng)網(wǎng)絡(luò)（ANN,artificial neural network）、支持向量機(jī)（SVM,support vector machine）、極限學(xué)習(xí)機(jī)（ELM,extreme learning machine）、K近鄰（KNN,K-nearest neighbor）和決策樹（DT,decision tree）等。在無監(jiān)督學(xué)習(xí)中，根據(jù)不帶標(biāo)簽的樣本數(shù)據(jù)建立模型，常用方法包括K-均值聚類（K-means）和自組織映射網(wǎng)絡(luò)（SOM,self organizing map）等。與監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)不同，強(qiáng)化學(xué)習(xí)不知道在某一狀態(tài)下該做什么動作，而是不斷調(diào)整每一步策略，通過對學(xué)習(xí)過程獎勵的最大化實(shí)現(xiàn)策略最優(yōu)，常用于路徑規(guī)劃、自動駕駛、棋盤游戲等場景。存儲技術(shù)的發(fā)展和大規(guī)模計算能力的提升使針對深度學(xué)習(xí)的研究受到較多關(guān)注，深度學(xué)習(xí)屬于機(jī)器學(xué)習(xí)的一個分支，它們與人工智能的關(guān)系如圖1所示[3]。

圖1 人工智能、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)關(guān)系

建立理想機(jī)器學(xué)習(xí)模型面臨各種問題。例如，對于某些模型的構(gòu)建，個別參數(shù)如神經(jīng)網(wǎng)絡(luò)權(quán)重、核參數(shù)等的選取直接影響模型的準(zhǔn)確率和泛化能力；諸多聚類算法的性能嚴(yán)格依賴于聚類中心的選取[4]，不僅影響算法的收斂性，對準(zhǔn)確率也有很大影響；特征優(yōu)化是構(gòu)建機(jī)器學(xué)習(xí)模型的重要步驟，合適的特征集合既能節(jié)約系統(tǒng)資源又能準(zhǔn)確表示原始數(shù)據(jù)；集成學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的重要研究內(nèi)容，如何選取合適的基學(xué)習(xí)器，如何將基學(xué)習(xí)器有效地組合起來是集成學(xué)習(xí)面臨的重要問題；KNN存在計算效率低、存儲需求大和易受噪聲影響等缺陷。采用數(shù)據(jù)約簡技術(shù)可同時解決上述問題。近年來，隨著SVM算法的發(fā)展和完善，核思想有效應(yīng)用于非線性模式分析問題中。然而，不同的核函數(shù)性能不同，當(dāng)遇到數(shù)據(jù)含有異構(gòu)信息、數(shù)據(jù)分布不平坦等復(fù)雜情況時，單個核函數(shù)不能滿足實(shí)際需求，因此，研究多核學(xué)習(xí)方法成為當(dāng)前熱點(diǎn)。

綜上可知，機(jī)器學(xué)習(xí)模型必須經(jīng)過優(yōu)化才能發(fā)揮理想效果。優(yōu)化方法主要包括2類：數(shù)學(xué)優(yōu)化方法和智能啟發(fā)算法。數(shù)學(xué)優(yōu)化方法主要依靠目標(biāo)函數(shù)的梯度信息進(jìn)行尋優(yōu)，還需要一個良好的起點(diǎn)保證算法成功收斂。對于計算代價高昂的搜索推導(dǎo)問題，基于數(shù)學(xué)的方法是無效的。常用的數(shù)學(xué)方法包括牛頓法、動態(tài)規(guī)劃法（DP,dynamic programming）等。近年來，智能啟發(fā)算法在工程應(yīng)用中越來越受歡迎，因?yàn)樗鼈兙哂幸蕾囉谙鄬唵蔚母拍畈⑶乙子趯?shí)現(xiàn)、不需要梯度信息、可繞過局部最優(yōu)、可用于涵蓋不同學(xué)科的廣泛問題等優(yōu)勢[3]。智能啟發(fā)算法只通過輸入和輸出來考慮和解決優(yōu)化問題。換句話說，智能啟發(fā)算法將優(yōu)化問題假設(shè)為一個黑盒，因此不需要計算導(dǎo)數(shù)，這使其在解決各種各樣的問題時具有高度的靈活性。數(shù)學(xué)優(yōu)化方法和智能啟發(fā)算法尋優(yōu)過程對比如圖2所示。

對智能啟發(fā)算法的重要研究工作如下。密德薩斯大學(xué)（Middlesex University）的Yang等提出了蝙蝠算法（BA,bat algorithm）[5]、螢火蟲算法（FA,firefly algorithm）[6]等，同時對智能啟發(fā)算法的特征、數(shù)學(xué)證明及應(yīng)用場景進(jìn)行研究；格里菲斯大學(xué)（Griffith University）的Mirjalili等提出一系列新的智能啟發(fā)算法，包括蜻蜓算法（DA,dragonfly algorithm）[7]、鯨魚優(yōu)化算法（WOA,whale optimization algorithm）[8]、灰狼優(yōu)化（GWO,grey wolf optimizer）算法[9]、蟻獅優(yōu)化（ALO,ant lion optimizer）算法[10]、樽海鞘群算法（SSA,salp swarm algorithm）[11]等，在算法設(shè)計的過程中注重探索和利用的平衡；亞伯大學(xué)（Aberystwyth University）的研究者采用啟發(fā)算法，尤其是和聲搜索算法（HS,harmony search）進(jìn)行特征選擇、集成約簡等。

圖2 傳統(tǒng)優(yōu)化方法和智能啟發(fā)算法尋優(yōu)過程對比

Talbi[12]認(rèn)為純啟發(fā)式算法一般不適用于高維度、復(fù)雜的應(yīng)用場景，提出將數(shù)學(xué)規(guī)劃、約束規(guī)劃、機(jī)器學(xué)習(xí)算法與啟發(fā)式算法相結(jié)合從而改進(jìn)啟發(fā)式算法，從算法設(shè)計和算法執(zhí)行兩方面進(jìn)行闡述,同時指出應(yīng)根據(jù)特定的問題設(shè)計合適的混合方案。與Talbi的研究不同，本文提出如何將智能啟發(fā)算法應(yīng)用于機(jī)器學(xué)習(xí)領(lǐng)域以提高機(jī)器學(xué)習(xí)算法的效率和精度?；谥悄軉l(fā)算法的機(jī)器學(xué)習(xí)建模過程如圖3所示，將基于某些特征或樣本的訓(xùn)練數(shù)據(jù)輸入核心機(jī)器學(xué)習(xí)算法中，在智能啟發(fā)算法的幫助下，分析和學(xué)習(xí)訓(xùn)練集中的數(shù)據(jù)模式，得到訓(xùn)練好的模型和樣本特征。模型的優(yōu)化過程涉及模型的多次訓(xùn)練，由智能啟發(fā)算法的迭代次數(shù)決定，應(yīng)用智能啟發(fā)算法必須確保其收斂。最后，將測試數(shù)據(jù)輸入訓(xùn)練好的算法模型中，得到最終輸出結(jié)果。

圖3 基于智能啟發(fā)算法的機(jī)器學(xué)習(xí)建模過程

2 智能啟發(fā)算法分類及建模

2.1 算法分類

智能啟發(fā)算法可分為2類：基于個體（single-solution-based）的方法和基于種群的（population-based）方法?；趥€體的方法指搜索過程從一個候選解開始，在隨后的迭代過程中不斷改進(jìn)這個單一候選解，典型算法有爬山法[13]、模擬退火（SA,simulated annealing）算法[14]、禁忌搜索（TS,tabu search）算法[15-16]等?；诜N群的方法采用一組解來執(zhí)行優(yōu)化，搜索過程從隨機(jī)初始種群開始，并且種群在迭代過程中得到改進(jìn)。基于種群方法的搜索過程分為兩步：探索階段和利用階段。探索階段指盡可能廣泛地探尋搜索空間中有前途區(qū)域的過程；利用階段指在探索階段獲得的有前景區(qū)域周邊的本地搜索。與基于個體方法相比，基于種群方法中個體相互協(xié)助、共享搜索空間信息，避免陷入局部極值，具有更大的探索性。典型算法有粒子群優(yōu)化（PSO,particle swarm optimization）算法[17]、遺傳算法（GA,genetic algorithm）[18]等。

智能啟發(fā)算法具體分類如圖4所示，包括進(jìn)化算法、基于物理規(guī)則方法、群智能算法和基于人類行為的方法[7]。進(jìn)化計算模擬自然界生物進(jìn)化過程，采用“優(yōu)勝劣汰”達(dá)到進(jìn)化目的，典型算法包括遺傳算法、進(jìn)化策略（ES,evolution strategy）[19]、基因編碼（GP,gene coding）[20]和差分進(jìn)化（DE,differential evolution）算法[21]等。基于物理規(guī)則（physics-based）的方法指通過模擬自然界中的物理現(xiàn)象概括出的啟發(fā)式算法。一組代理通過某種物理規(guī)律，如重力、運(yùn)動定律、光線投射、電磁力、慣性力等在搜索空間中移動，并根據(jù)一定規(guī)律相互通信。典型算法有引力搜索算法（GSA,gravitational search algorithm）[22]、收費(fèi)系統(tǒng)搜索算法（CSS，charged system search）[23]、中心力優(yōu)化（CFO,central force optimization）算法[24]和大爆炸（BBBC,big-bang big-crunch）算法[25]等。群智能（SI,swarm intelligence）算法從鳥類、螞蟻等動物行為中獲得靈感，具有通過個體間交互解決復(fù)雜任務(wù)的能力，典型算法包括粒子群優(yōu)化算法、蟻群優(yōu)化（ACO,ant colony optimization）算法[26]、蜂群（ABC,artificial bee colony）算法[27]和布谷鳥搜索（CS,cuckoo search）算法[28]等。群智能算法和進(jìn)化算法在種群迭代方式上不盡相同，群智能算法側(cè)重群體中個體之間的協(xié)作，而進(jìn)化算法側(cè)重個體的進(jìn)化。還有一些受人類行為啟發(fā)（human-based）的智能搜索方法，如教與學(xué)優(yōu)化（TLBO,teaching learning based optimization）算法[29]、和聲搜索[30]、禁忌搜索和組搜索優(yōu)化（GSO,group search optimizer）[31]等。

圖4 智能啟發(fā)算法分類

值得一提的是，無免費(fèi)午餐（NFL,no free lunch）定理[32]在邏輯上證明了單一智能啟發(fā)式算法不能解決所有優(yōu)化問題。換句話說，一個特定的智能啟發(fā)方法可能在一組問題上顯示出較好的性能，但在另外一組問題上可能表現(xiàn)出較差的性能。因此，當(dāng)前智能啟發(fā)算法需要不斷被改進(jìn)，也需要提出新的智能啟發(fā)算法。

2.2 算法建模

2.2.1 個體編碼

采用智能啟發(fā)算法首先需要考慮個體編碼問題，這將直接影響算法搜索的精度和效率。

有效的編碼方式能在保證算法執(zhí)行效率的前提下簡單明了地表示問題的解，并支持后續(xù)算子的各種操作變化。常用編碼方式優(yōu)缺點(diǎn)及應(yīng)用場景如表1所示。智能啟發(fā)算法大多采用矢量方式編碼，包括數(shù)值編碼和符號編碼。數(shù)值編碼即根據(jù)實(shí)際需求或算法特點(diǎn)采用二進(jìn)制或?qū)崝?shù)方式編碼。經(jīng)典遺傳算法本身采用二進(jìn)制編碼，大多數(shù)智能啟發(fā)算法基于實(shí)數(shù)編碼被創(chuàng)建。智能啟發(fā)算法還可采用符號編碼，有時要求的解僅僅是一種類型信息，并不具有任何數(shù)值意義，可采用特殊意義的符號組合表示此類問題的解。

目前的啟發(fā)算法能解決相關(guān)參數(shù)確定和類型選擇問題，但無法解決多類型組合及嵌套問題，基于非線性結(jié)構(gòu)編碼的啟發(fā)算法應(yīng)運(yùn)而生。例如，對于遺傳算法、遺傳規(guī)劃（GP,genetic programming）[33]，個體可采用樹形結(jié)構(gòu)、堆棧結(jié)構(gòu)等編碼方式解決此類問題。

個體編碼長度由實(shí)際問題維度或精度決定，一般來說個體表達(dá)不能太長，否則不僅影響算法搜索效率，還會使算法尋優(yōu)性能下降[34]。不管采用何種編碼方式，都在迭代結(jié)束前對產(chǎn)生的新個體進(jìn)行評估。

2.2.2 適應(yīng)度函數(shù)定義

適應(yīng)度函數(shù)的定義對于智能啟發(fā)算法建模至關(guān)重要，直接決定了收斂結(jié)果。適應(yīng)度函數(shù)用于評估個體在迭代過程中的優(yōu)劣，指引算法向何處搜索，通常根據(jù)實(shí)際問題的需求進(jìn)行定義，例如對于分類問題，準(zhǔn)確率、錯誤率、召回率、F值可作為適應(yīng)度函數(shù)評估標(biāo)準(zhǔn)；對于回歸問題，可以定義均方誤差作為適應(yīng)度函數(shù)。本節(jié)以用于分類的監(jiān)督學(xué)習(xí)算法為基礎(chǔ)，如快速學(xué)習(xí)網(wǎng)絡(luò)（FLN,fast learning network）[35]等介紹啟發(fā)算法進(jìn)行優(yōu)化時幾種常見的適應(yīng)度函數(shù)，其定義如表2所示。表2中，w1和w2分別表示不同評估度量的權(quán)重，必須保證不同評估度量的取值范圍是一致的。采用此種方式定義的適應(yīng)度函數(shù)應(yīng)事先確定搜索目標(biāo)的極大值或是極小值，例如對于入侵檢測問題，在進(jìn)行特征選擇的同時提高檢測性能，為了獲得最佳適應(yīng)度值，個體必須最大化檢測率、最小化虛警率和特征個數(shù)。為了達(dá)到最佳適應(yīng)值，檢測率的權(quán)值應(yīng)設(shè)置較高，虛警率和表示特征個數(shù)的權(quán)重應(yīng)設(shè)置相對較小，因?yàn)闄z測率是相對重要的目標(biāo)度量。

表1 編碼方式優(yōu)缺點(diǎn)及應(yīng)用場景

還可根據(jù)實(shí)際需求定義帶約束條件或多目標(biāo)優(yōu)化的適應(yīng)度函數(shù)。采用罰函數(shù)等方法將約束優(yōu)化問題轉(zhuǎn)化為無約束優(yōu)化問題。如果涉及多種度量，可通過表2所示的加權(quán)適應(yīng)度函數(shù)將多目標(biāo)優(yōu)化轉(zhuǎn)變?yōu)閱文繕?biāo)優(yōu)化問題。此外，還可定義多目標(biāo)適應(yīng)度函數(shù)，目前已經(jīng)提出多種實(shí)現(xiàn)多目標(biāo)優(yōu)化的方法[7]。智能啟發(fā)算法試圖盡可能精確地找到一組稱為帕累托最優(yōu)集的解。

對于具體問題，將其看作一種優(yōu)化搜索問題，研究其評估標(biāo)準(zhǔn)，采用智能啟發(fā)算法定義合適的目標(biāo)函數(shù)進(jìn)行搜索，可起到事半功倍的效果。智能啟發(fā)算法建模流程如下。

1)設(shè)置算法相關(guān)參數(shù)，例如迭代次數(shù)、種群規(guī)模等。

2)按照個體編碼規(guī)則初始化種群。

3)根據(jù)適應(yīng)度函數(shù)找出初始種群最佳個體。

4)按照個體變異規(guī)則產(chǎn)生新一代種群。

5)根據(jù)適應(yīng)度函數(shù)計算新一代種群最佳個體。

6)重復(fù)步驟4)和步驟5)，直到迭代次數(shù)終止或滿足最佳適應(yīng)度值。

7)輸出最優(yōu)解。

2.2.3 復(fù)雜度分析

智能啟發(fā)算法屬于黑盒優(yōu)化算法，不同啟發(fā)算法的迭代有其自身固定的操作環(huán)節(jié)。例如，對于PSO算法，個體需要通過速度更新式計算粒子新的速度，根據(jù)速度求出粒子的最終位置；對于差分進(jìn)化算法，個體位置更新需經(jīng)歷變異、交叉和選擇等過程。由分析可知，同一類別不同啟發(fā)算法迭代規(guī)則雖不盡相同，但由此產(chǎn)生的復(fù)雜度差別并不大。算法復(fù)雜度主要由適應(yīng)度函數(shù)決定，對每一代種群中的每個個體都需計算適應(yīng)度值，假設(shè)其復(fù)雜度為O(fitness)，則基于啟發(fā)算法優(yōu)化模型的算法復(fù)雜度為O(fitness)×sizepop×NoIter，其中，sizepop為種群規(guī)模，NoIter為迭代次數(shù)。

3 智能啟發(fā)算法在機(jī)器學(xué)習(xí)中的應(yīng)用

建立理想機(jī)器學(xué)習(xí)模型面臨各種問題，例如，對于多核學(xué)習(xí)任務(wù)，傳統(tǒng)的多核學(xué)習(xí)方法通常將問題表述為核函數(shù)和分類器的最佳組合的優(yōu)化任務(wù)，通常是一些很難解決的具有挑戰(zhàn)性的優(yōu)化任務(wù)[36]；而采用智能啟發(fā)算法對機(jī)器學(xué)習(xí)算法模型進(jìn)行優(yōu)化，可以避免將問題復(fù)雜化，從側(cè)面以仿生學(xué)的方式解決問題?；谥悄軉l(fā)算法的機(jī)器學(xué)習(xí)模型優(yōu)化體系如圖5所示，包括神經(jīng)網(wǎng)絡(luò)等參數(shù)結(jié)構(gòu)優(yōu)化、特征優(yōu)化、集成約簡、原型優(yōu)化、加權(quán)投票集成、核函數(shù)學(xué)習(xí)等。

表2 智能啟發(fā)算法常用評估度量及適應(yīng)度函數(shù)定義形式

圖5 基于智能啟發(fā)算法的機(jī)器學(xué)習(xí)模型優(yōu)化體系

3.1 神經(jīng)網(wǎng)絡(luò)等參數(shù)結(jié)構(gòu)優(yōu)化

基于神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法建立的模型必須經(jīng)過調(diào)參才能發(fā)揮理想效果，深度學(xué)習(xí)方法也是如此。由于任何一個網(wǎng)絡(luò)模型都無法適用于所有數(shù)據(jù)集，因此，將深度學(xué)習(xí)方法應(yīng)用于新數(shù)據(jù)集之前，必須先選擇一組適當(dāng)?shù)某瑓?shù)[37]。對于卷積神經(jīng)網(wǎng)絡(luò)（CNN,convolutional neural network），這些超參數(shù)包括網(wǎng)絡(luò)層數(shù)、每層隱藏節(jié)點(diǎn)數(shù)、層的激活函數(shù)、網(wǎng)絡(luò)中層的排列等。為一組新的數(shù)據(jù)集選擇新的網(wǎng)絡(luò)拓?fù)淇赡苁且豁?xiàng)耗時的任務(wù)。

在ELM中，隨機(jī)選擇輸入權(quán)重，并通過分析計算輸出權(quán)重。由于輸入權(quán)重和隱藏偏差確定的隨機(jī)性，ELM可能需要更多的隱藏神經(jīng)元。Ahila等[38]提出了一種混合優(yōu)化機(jī)制，將離散值粒子群算法與連續(xù)值粒子群算法相結(jié)合，對輸入特征子集選擇和隱藏節(jié)點(diǎn)數(shù)進(jìn)行優(yōu)化，以提高ELM的性能。Zhu等[39]采用差分進(jìn)化算法確定ELM輸入和輸出權(quán)重。Zhang等[40]提出一種新的memetic算法優(yōu)化ELM相關(guān)參數(shù)，將局部搜索策略嵌入全局優(yōu)化框架中以獲得最優(yōu)的網(wǎng)絡(luò)參數(shù)。Camilleri等[41]采用網(wǎng)格搜索和一種簡單遺傳算法優(yōu)化決策樹ID3相關(guān)參數(shù)，包括單點(diǎn)最小增益、樹的最大深度和最小分割標(biāo)準(zhǔn)。Kardan等[42]提出一種基于生物地理學(xué)優(yōu)化（BBO,biogeography based optimization）算法的改進(jìn)K近鄰的混合算法。BBO同時對特征選擇、特征權(quán)重和鄰域大小進(jìn)行優(yōu)化。Costa等[43]提出一種基于最優(yōu)路徑森林算法（OPFC,optimum-path forest algorithm）的入侵檢測模型，采用智能啟發(fā)方法估計概率密度函數(shù)，所用智能啟發(fā)方法包括蝙蝠算法、螢火蟲算法、引力搜索算法、和聲搜索方法和粒子群優(yōu)化算法。實(shí)驗(yàn)結(jié)果表明，所有智能啟發(fā)方法都比窮盡搜索方法快，但BA和PSO在效率和有效性方面都取得了最好的效果。結(jié)構(gòu)學(xué)習(xí)是貝葉斯網(wǎng)絡(luò)（BN,bayesian network）研究領(lǐng)域的一個重要問題。為找到一個基于訓(xùn)練樣本的最優(yōu)結(jié)構(gòu)，人們提出許多方法，Gheisari等[44]提出一種基于粒子群優(yōu)化的BN結(jié)構(gòu)學(xué)習(xí)算法。支持向量機(jī)是近些年應(yīng)用較廣泛的機(jī)器學(xué)習(xí)算法，為了構(gòu)造一個精確的支持向量機(jī)分類器，必須確定核函數(shù)、核參數(shù)和軟邊界常數(shù)（也稱為正則化參數(shù)）。對于參數(shù)的選取，智能啟發(fā)算法的應(yīng)用提供了一些思路。目前，有大量關(guān)于SVM相關(guān)參數(shù)的優(yōu)化方案[45-46]。智能啟發(fā)算法優(yōu)化參數(shù)如表3所示。

隨著計算機(jī)技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)、進(jìn)化算法等智能計算方法已經(jīng)取得了巨大的進(jìn)步，它們都是將生物學(xué)原理應(yīng)用于科學(xué)研究的理論成果。二者可以相互補(bǔ)充、彼此強(qiáng)化，從而獲得更強(qiáng)大的表現(xiàn)和解決實(shí)際問題的能力[47]，它們的融合產(chǎn)生一種新的神經(jīng)網(wǎng)絡(luò)稱為進(jìn)化神經(jīng)網(wǎng)絡(luò)。進(jìn)化網(wǎng)絡(luò)通常是前饋網(wǎng)絡(luò)，需要研究其他類型網(wǎng)絡(luò)的進(jìn)化算法，目前的研究大多是基于特殊情況，尚未形成通用的方法論，需要與粒子群等其他優(yōu)化算法進(jìn)行比較，而且計算復(fù)雜，需要改進(jìn)演化過程，特別是研究并行進(jìn)化算法的應(yīng)用。

表3 智能啟發(fā)算法優(yōu)化參數(shù)

3.2 特征優(yōu)化

降維是建立有效機(jī)器學(xué)習(xí)模型的關(guān)鍵步驟。通常來說，降維方法有以下2種：特征選擇和特征提取。特征選擇可去除不相關(guān)或冗余特征，在進(jìn)行分類時獲得比原樣本集相當(dāng)或更好的效果。特征提取試圖通過組合原始特征來降低維數(shù)，這種方法試圖將信息損失降到最低，但是通常會丟失原始特征。

特征加權(quán)可以看作特征選擇的泛化[48]。假設(shè)原始特征為F={f1,f2,…,fH}。特征加權(quán)算法試圖為每個特征f∈F分配一個通常在[0,1]的權(quán)重wf，權(quán)重反映了特征f針對特定問題的相關(guān)程度。特征選擇算法每個特征的權(quán)重為wf∈{0，1}，wf=1 時特征f被選中，否則被丟棄。相比特征選擇硬性地選擇一部分特征，特征加權(quán)是一種特征選擇軟方案。有些特征選擇算法是根據(jù)特征權(quán)重的大小選擇合適的特征子集，特征權(quán)重較小的被移除。這里的特征優(yōu)化指特征選擇和特征加權(quán)。

常用的特征選擇方法包括過濾法（filter）和封裝法（wrapper）。過濾法與后續(xù)算法無關(guān)，根據(jù)原始數(shù)據(jù)集的統(tǒng)計性能選擇特征。常用的過濾法包括[49]：基于距離的方法，如relief等；基于信息度量的方法，如信息增益（IG,information gain）；基于依賴性度量的方法；基于一致性度量的方法。封裝法與后續(xù)學(xué)習(xí)算法相結(jié)合進(jìn)行特征選擇，例如根據(jù)后續(xù)學(xué)習(xí)算法的準(zhǔn)確率選擇合適的特征。常用封裝法包括完全搜索法、啟發(fā)式搜索法、隨機(jī)搜索法等。封裝法以后續(xù)學(xué)習(xí)算法為指引開展工作，通常比過濾法有更好的學(xué)習(xí)效果。基于智能啟發(fā)算法進(jìn)行特征選擇（特征加權(quán)）大多屬于封裝法。

貪婪搜索和relief等特征優(yōu)化方法要么易陷入局部最優(yōu)，要么只進(jìn)行特征排序，并不考慮特征交互。而進(jìn)化計算技術(shù)具有很強(qiáng)的全局尋優(yōu)能力，在進(jìn)行特征選擇問題上顯示出了比其他方法更大的優(yōu)勢。Kashef等[50]提出采用改進(jìn)二進(jìn)制ACO進(jìn)行特征選擇，特征被視為圖中的點(diǎn)，要求螞蟻必須訪問所有特征，采用幾種統(tǒng)計度量作為啟發(fā)式函數(shù)檢查圖中邊緣的可見性。Zelenkov等[51]采用遺傳算法進(jìn)行特征選擇，選用準(zhǔn)確率作為適應(yīng)度函數(shù)。Diao等[52]對應(yīng)用于特征選擇的10種不同啟發(fā)算法進(jìn)行比較，結(jié)果表明所有算法都可以找到質(zhì)量較優(yōu)的特征子集，其中模擬退火算法和禁忌搜索算法可以達(dá)到更好的評估適應(yīng)度值。Mateos等[53]提出一種基于進(jìn)化計算的KNN改進(jìn)規(guī)則，統(tǒng)一2個經(jīng)典加權(quán)范式，即對每個鄰居的貢獻(xiàn)度和數(shù)據(jù)特征的重要性同時進(jìn)行調(diào)整，以更好地識別新的實(shí)例。文本自動聚類已成為一種有效的文本分析方法，Bharti等[54]在聚類前采用二進(jìn)制粒子群優(yōu)化算法進(jìn)行特征選擇，采用添加變異取反策略改進(jìn)二進(jìn)制粒子群算法增強(qiáng)搜索性能。Li等[55]采用改進(jìn)灰狼算法進(jìn)行特征選擇，采用GA確定灰狼初始種群位置。Zhang[56]借用SA、混沌相關(guān)思想改進(jìn)FA增強(qiáng)全局搜索能力，并將其應(yīng)用于分類和回歸模型中進(jìn)行特征選擇。

如果要選擇的特征數(shù)量是固定的，可以選用十進(jìn)制編碼；如果要選擇的特征數(shù)量事先沒有確定，則采用常規(guī)的二進(jìn)制編碼。值得一提的是，在確定基學(xué)習(xí)器相關(guān)參數(shù)時，可采用特征選擇算法在進(jìn)行特征選擇的同時對支持向量機(jī)的正則化參數(shù)、核參數(shù)進(jìn)行優(yōu)化，因?yàn)樘卣髯蛹倪x擇對適當(dāng)?shù)膬?nèi)核參數(shù)有影響，反之亦然。

大量實(shí)驗(yàn)表明，基于智能啟發(fā)算法的特征優(yōu)化方法通常與基于filter的度量方法結(jié)果保持一致。不同的啟發(fā)算法能否識別出不同的特征子集，從而采用特征選擇集成構(gòu)造出更高質(zhì)量的特征子集是值得進(jìn)一步研究的。實(shí)驗(yàn)結(jié)果還表明，每種啟發(fā)算法在處理不同的數(shù)據(jù)集時可能有其自身的優(yōu)勢和弱點(diǎn)，可以開發(fā)一種元框架，動態(tài)地識別合適的算法，以形成一種更智能的、混合的特征優(yōu)化方法。

3.3 集成約簡

多分類器集成系統(tǒng)（MCS,multiple classifier systems）的構(gòu)建由三部分組成：子模型產(chǎn)生、子模型選擇及子模型的集成方式[57]。集成約簡（ensemble pruning）又稱集成選擇（ensemble selection），是子模型創(chuàng)建和子模型集成的中間環(huán)節(jié)，集成約簡的主要工作是減少將要集成的子學(xué)習(xí)器的數(shù)目。假設(shè)分類器池為C={c1,c2,…,cM}，M為所有分類器的數(shù)量。集成約簡的目的是尋找一組分類器C'?C，使基于C'在測試集上的性能類似或優(yōu)于基于C在測試集上的性能。減少子學(xué)習(xí)器數(shù)量可以消除部分運(yùn)行開銷，使集成處理更快，同時也意味著較小的內(nèi)存和存儲需求；刪除冗余成員也可改善集成系統(tǒng)子學(xué)習(xí)器的多樣性，進(jìn)一步提高系統(tǒng)預(yù)測精度。目前常用的集成約簡算法包括基于某度量的子模型排序方案、基于聚類的集成約簡方案和基于優(yōu)化算法的約簡算法等。Cruz指出集成選擇分為靜態(tài)選擇和動態(tài)選擇，在靜態(tài)選擇中，選用固定的子模型子集對測試樣本進(jìn)行預(yù)測；而動態(tài)選擇對于不同的測試樣本選用的子模型子集不同。目前存在的大部分集成約簡技術(shù)都屬于靜態(tài)選擇。

集成約簡和特征選擇思想類似，都是采用某種方法選擇原始集合的子集，Zhou等[58]提出一種基于GA的集成約簡模型，給每個神經(jīng)網(wǎng)絡(luò)即子分類器賦予一個權(quán)重，該權(quán)重表示將該神經(jīng)網(wǎng)絡(luò)包含在集成中的可能性，將權(quán)重大于預(yù)設(shè)閾值的子模型加入集成中。實(shí)驗(yàn)結(jié)果表明，使用一定數(shù)目的子學(xué)習(xí)器比使用所有的子學(xué)習(xí)器效果更好。Diao等[59]將集成學(xué)習(xí)預(yù)測比作訓(xùn)練樣本，將分類器視為特征，將特征選擇相關(guān)思想應(yīng)用在分類器集成約簡，采用全局啟發(fā)式和聲搜索算法進(jìn)行集成約簡。Shen等[60]采用二進(jìn)制蝙蝠算法對投票極限學(xué)習(xí)機(jī)集成算法進(jìn)行約簡，并應(yīng)用于入侵檢測領(lǐng)域，驗(yàn)證了Zhou提出的“many could be better than all”相關(guān)思想。Krawczyk等[61]也將集成約簡問題看作搜索問題，提出一種基于螢火蟲算法的one-class分類器集成約簡框架，基于聚類的集成修剪思想，發(fā)現(xiàn)類似的分類器組，并用一個相關(guān)的代表來代替它們，最后將選出的分類器進(jìn)行權(quán)重組合。Hu等[62]提出一種分布式入侵檢測框架，采用在線AdaBoost算法在每個節(jié)點(diǎn)上構(gòu)造局部檢測模型，采用PSO挑選合適的局部模型進(jìn)行整合，最終采用支持向量機(jī)進(jìn)行全局檢測。

一般的集成約簡策略都是通用的，屬于框架方案適用于任何子模型。在未來的工作中，針對不同的應(yīng)用場景選擇相適應(yīng)的子模型，并選用適當(dāng)?shù)脑u估標(biāo)準(zhǔn)，如準(zhǔn)確率、差異性度量等多目標(biāo)適應(yīng)度評估標(biāo)準(zhǔn)，生成適合的集成約簡方案需要進(jìn)一步考慮。如何擴(kuò)展并改進(jìn)現(xiàn)有約簡算法以解決機(jī)器學(xué)習(xí)中存在的概念漂移、超參數(shù)選擇等問題也需要進(jìn)一步考慮[63]。

3.4 原型優(yōu)化

原型優(yōu)化用來實(shí)現(xiàn)數(shù)據(jù)約簡或原型簡化。由于近鄰（NN,nearest neighbor）模型存在存儲需求大、易受噪聲影響等問題，常采用NN模型指引數(shù)據(jù)約簡。假設(shè)樣本表示為(xi,yi)，其中xi=(xi1,xi2,…,xiD)∈RH，H為特征總數(shù)，yi表示樣本標(biāo)簽，NN模型一般采用歐氏距離評估樣本相似度，如式(1)所示。

其中，d(xi,xj)表示樣本xi和xj的歐氏距離，xir表示樣本i的第r個特征。

假設(shè)P表示一組原始數(shù)據(jù)，原型優(yōu)化的目的是從原始數(shù)據(jù)P中尋找一組約簡子集P'使|P'|<<|P|，約簡子集P'可能包含和原始數(shù)據(jù)P中相同的樣本，也可能包含根據(jù)原始樣本組成的新樣本。原型優(yōu)化指從原始數(shù)據(jù)集生成一組原型，使基于生成數(shù)據(jù)訓(xùn)練的近鄰模型可以接近（或優(yōu)于）基于原始數(shù)據(jù)生成的學(xué)習(xí)模型。原型優(yōu)化可分為原型選擇（PS,prototype selection）和原型生成（PG,prototype generation）技術(shù)。PS技術(shù)用來識別原始數(shù)據(jù)集的最佳子集，PG關(guān)注創(chuàng)建一組可以表示原始數(shù)據(jù)的新對象。與特征選擇相同，PS和PG技術(shù)也可以分為filter和wrapper這2種[64-65]。常見的PS算法包括剪輯近鄰法（ENN,edited nearest neighbor）[66]與壓縮近鄰法（CNN,condensed nearest neighbour）[67]。傳統(tǒng)的PG方法包括學(xué)習(xí)矢量量化[68]、bootstrap技術(shù)[69]和高斯混合方法[70]。進(jìn)化計算是一種新的原型生成方法。

Nanni等[71]提出一種基于PSO的原型約簡方法。算法流程類似于對隨機(jī)森林中隨機(jī)子空間的處理。在訓(xùn)練階段，重復(fù)生成原型多次，然后使用每個訓(xùn)練模型對每個測試樣本進(jìn)行分類，最后通過多數(shù)投票規(guī)則將分類結(jié)果組合起來。Hu等[72]提出一種PSO多目標(biāo)優(yōu)化原型生成方法。Triguero等[73]介紹了一種位置調(diào)整的原型生成方法，采用差分進(jìn)化方法對原型進(jìn)行定位優(yōu)化。Rezaei等[74]采用重力搜索算法生成原型，利用分層策略提取初始對象。實(shí)驗(yàn)表明，基于GSA的原型生成技術(shù)可以提高KNN分類器的性能。

Perez等[75]采用混合差分進(jìn)化算法和CHC遺傳算法同時進(jìn)行特征選擇、實(shí)例選擇、特征權(quán)重和實(shí)例權(quán)重調(diào)整。Derrac[76]采用一種協(xié)同進(jìn)化算法同時優(yōu)化樣本和特征權(quán)重并進(jìn)行原形選擇。Escalante等[77]介紹一種基于遺傳規(guī)劃的原型生成技術(shù)，所提方法將多個訓(xùn)練樣本通過算術(shù)運(yùn)算結(jié)合起來生成目標(biāo)原型，采用1NN作為評估分類器。Verbiest等[78]提出一種原型選擇框架，將多個最佳原型子集進(jìn)行集成，給出4種最先進(jìn)的基于進(jìn)化的PS方法，包括世代遺傳算法（GGA，generational genetic algorithm）、穩(wěn)態(tài)遺傳算法（SSGA，steady state genetic algorithm）、穩(wěn)態(tài)memetic算法、擴(kuò)展GGA的自適應(yīng)實(shí)例選擇搜索算法。GGA和SSGA都遵循進(jìn)化算法一般方案，不同之處在于SSGA在每代中只生成2個新的個體，而GGA則取代一部分個體；穩(wěn)態(tài)memetic算法即在SSGA算法中添加優(yōu)化策略。4種基于進(jìn)化算法進(jìn)行原型選擇的適應(yīng)度函數(shù)定義如表2中F4所示。

為了增加算法在海量數(shù)據(jù)上的執(zhí)行效率，應(yīng)著重于研究進(jìn)化算法的分布式，如MapReduce的編程模型。了解每種原型優(yōu)化方法的主要優(yōu)點(diǎn)，根據(jù)所解決的問題選擇合適的原型優(yōu)化方法也是需要進(jìn)一步考慮的問題。

3.5 加權(quán)投票集成

對3.3節(jié)中提到的集成學(xué)習(xí)的第三個步驟子模型的集成方式，即子模型的組合策略，使用最多的是多數(shù)投票和加權(quán)投票組合策略。多數(shù)投票根據(jù)投票最多作為最終預(yù)測結(jié)果，由于概念簡單、直觀、有效而被廣泛使用。然而不同的子學(xué)習(xí)器發(fā)揮的作用不同，因此可采用加權(quán)投票的方式進(jìn)行組合。

根據(jù)分類器的輸出（標(biāo)簽類別或概率類別），加權(quán)投票集成可分為基本加權(quán)投票和軟投票系統(tǒng)[72]。假設(shè)分類標(biāo)簽yn為yn∈{ω1,…,ωD}，其中，ωj表示類別j，D為類別總數(shù)。C={c1,c2,…,cM}，ci(i=1,…,M)表示獨(dú)立的分類器，M為分類器總數(shù)，則

其中，H(xT)表示樣本xT的預(yù)測類別，pij(xT)為樣本xT被分類器ci判斷為ωj的概率，wi表示分類器ci的權(quán)重。

對于基本加權(quán)投票，如果分類器ci對樣本xT的預(yù)測為類別ωj，則pij(xT)=1，否則pij(xT)=0。當(dāng)遇到二分類問題(yn∈{-1,1})時，式(2)可寫為

其中，fi(xT)表示樣本xT被分類器ci預(yù)測的類別。

對于軟投票系統(tǒng)，根據(jù)加權(quán)級別不同可分為分類器級別加權(quán)、樣本級別加權(quán)和類別級別加權(quán)[79]。分類器級別加權(quán)只對要集成的基學(xué)習(xí)器分配權(quán)重，總體性能良好的基學(xué)習(xí)器的權(quán)重較高；針對每個樣本對分類器影響不同，可對樣本給予適當(dāng)權(quán)重；對于類別加權(quán)，考慮到不同子學(xué)習(xí)器在不同類別上的性能不同，為每個基學(xué)習(xí)器在不同輸出類別上分配不同的權(quán)重。

加權(quán)投票可以看作一種優(yōu)化問題，可采用智能啟發(fā)算法解決。Aburomman等[80]提出了一種新的集成構(gòu)造入侵檢測模型，采用不同K值的K近鄰方法和不同參數(shù)的SVM作為基分類器，采用粒子群算法產(chǎn)生的權(quán)值對其進(jìn)行集成。采用局部單峰采樣（LUS,local unimodal sampling）方法作為元優(yōu)化器，為粒子群優(yōu)化算法尋找更好的性能參數(shù)。Zhang等[81]采用C4.5、樸素貝葉斯（NB,naive Bayesian）、貝葉斯網(wǎng)絡(luò)和K近鄰方法作為基分類器，采用差分進(jìn)化算法確定加權(quán)投票的權(quán)值。Onan等[82]基于一種多目標(biāo)優(yōu)化的差分進(jìn)化算法確定投票權(quán)值，采用邏輯回歸（LR,logistic regression）、樸素貝葉斯、線性判別分析、邏輯回歸和支持向量機(jī)作為基學(xué)習(xí)器，實(shí)驗(yàn)結(jié)果表明該方案比傳統(tǒng)的集成學(xué)習(xí)方法如AdaBoost、Bagging、隨機(jī)子空間和多數(shù)投票等具有更好的預(yù)測能力。Zelenkov等[51]采用GA進(jìn)行特征選擇的同時，也用其進(jìn)行權(quán)重組合學(xué)習(xí)。Ekbal等[83]采用GA構(gòu)造基于加權(quán)投票的分類器集合解決命名實(shí)體識別（NER,named entity recognition）問題，以最大熵（ME,maximum entropy）、條件隨機(jī)場（CRF,conditional random field）和SVM作為基本分類器。結(jié)果表明，基于GA的投票集成策略優(yōu)于單個分類器、3種傳統(tǒng)集成方法和一些現(xiàn)有集成技術(shù)。

對于異構(gòu)集成學(xué)習(xí)模型，由于不同子模型性能不同，對子模型的選擇是加權(quán)投票集成的關(guān)鍵問題。除此之外，可能需要同時優(yōu)化多種度量確定最佳集成組合，采用多目標(biāo)優(yōu)化技術(shù)是解決此類集成優(yōu)化的關(guān)鍵。

3.6 核函數(shù)學(xué)習(xí)

核方法是機(jī)器學(xué)習(xí)領(lǐng)域有效的學(xué)習(xí)方法，主要用來解決低維空間線性不可分問題。采用核方法的好處在于可以處理任意維數(shù)的特征空間，而不需要計算其到特征空間的映射，避免復(fù)雜的內(nèi)積計算。核函數(shù)可表示為一特征空間的內(nèi)積，假設(shè)K(xi,xj)為核函數(shù)，向量xi和xj在高維特征空間的內(nèi)積可表示為K(xi,xj)=<φ(xi),φ(xj)>，其中φ(x)表示向量x到高維空間的映射。任意滿足Mercer定理的函數(shù)都可以作為核函數(shù)。典型核函數(shù)包括線性核函數(shù)、多項(xiàng)式核函數(shù)、徑向基核函數(shù)、sigmoid核函數(shù)等，其中徑向基核函數(shù)又稱為高斯核函數(shù)是最常用的核函數(shù)。然而，由于樣本可能包含異構(gòu)信息或者表示方式不同，使用單個預(yù)定義核函數(shù)通常是不夠的。因此，存在核組合方法的大量研究，即多核學(xué)習(xí)（MKL,multiple kernel learning）。不管采用單核學(xué)習(xí)還是多核學(xué)習(xí)，都需確定相關(guān)核參數(shù)，因?yàn)槠潆[式定義了高維特征空間的結(jié)構(gòu)，從而控制最終解決方案的復(fù)雜性，對于多核學(xué)習(xí)還需確定相關(guān)核函數(shù)系數(shù)。線性多核函數(shù)是最常見的多核函數(shù)形式[84]，如式(4)所示。

其中，n表示核函數(shù)的個數(shù)，s表示核函數(shù)的序號，sω表示第s個核函數(shù)的系數(shù)。SVM是核方法成功應(yīng)用的典型。為了確定核函數(shù)及相關(guān)參數(shù)，大量核方法通?；赟VM展開研究，將目標(biāo)函數(shù)轉(zhuǎn)化為不同的優(yōu)化問題，通過不同的優(yōu)化方法求解。采用智能啟發(fā)算法求解核函數(shù)不失為一種簡潔的方案。Gauthama等[85]針對SVM參數(shù)設(shè)置，包括懲罰參數(shù)項(xiàng)和高斯核參數(shù)以及特征選擇問題，提出一種基于超圖遺傳算法（HG-GA,hypergraph based genetic algorithm）的自適應(yīng)穩(wěn)健入侵檢測技術(shù)。Zhang等[86]提出采用蟻群優(yōu)化算法優(yōu)化SVM相關(guān)參數(shù)。Kuang等[87-88]分別采用遺傳算法和混沌粒子群優(yōu)化算法優(yōu)化SVM相關(guān)參數(shù)，建立基于KPCA進(jìn)行特征提取的入侵檢測模型。當(dāng)前存在的智能啟發(fā)算法不斷被改進(jìn)，Bamakan等[89]提出一種基于時變混沌粒子群優(yōu)化算法進(jìn)行特征選擇和確定SVM參數(shù)的入侵檢測模型，采用檢測率和誤報率2種度量定義適應(yīng)度函數(shù)。Bao等[90]提出一種基于PSO和模式搜索（PS,pattern search）的memetic框架對SVM參數(shù)尋優(yōu)，其中，PSO用來搜索全局空間，PS進(jìn)行局部探尋，并采用一種概率選擇策略平衡二者關(guān)系。Avci等[91]采用GA優(yōu)化基于小波核函數(shù)的核參數(shù)及極限學(xué)習(xí)機(jī)相關(guān)系數(shù)。

Ma等[84]提出基于自適應(yīng)蜂群（SABC,self-adaptive artificial bee colony）算法的多尺度高斯核極限學(xué)習(xí)機(jī)模型。采用多種高斯核函數(shù)相結(jié)合的方式作為核極限學(xué)習(xí)機(jī)的核函數(shù)，指出多種高斯核函數(shù)的結(jié)合比用單一高斯核函數(shù)更靈活。SABC用來確定正則化參數(shù)和核參數(shù)以及多個核函數(shù)的權(quán)重值。和Ma的分類器相關(guān)的多核學(xué)習(xí)相比，Niazmardi等[92]采用和分類器無關(guān)的多核學(xué)習(xí)方法，提出采用PSO評估組合核和理想核的相似度進(jìn)行多核學(xué)習(xí)，采用3種基于核的相似性度量，即核對齊（KA,kernel alignment）、中心核對齊（CKA,centered kernel alignment）和希爾伯特–施密特獨(dú)立準(zhǔn)則（HSIC,Hilbert-Schmidt independence criterion）進(jìn)行評估。

多核學(xué)習(xí)方法假定基礎(chǔ)核函數(shù)是預(yù)先確定的，目前大多數(shù)MKL算法采用復(fù)雜的優(yōu)化技術(shù)，只能解決二分類問題[92]；而采用啟發(fā)算法進(jìn)行多核學(xué)習(xí)可同時優(yōu)化基本核參數(shù)及其組合系數(shù)。在已有核函數(shù)學(xué)習(xí)框架中，評估核函數(shù)的非線性組合以及核相似性度量是需要進(jìn)一步研究的方向。

4 結(jié)束語

本文結(jié)合機(jī)器學(xué)習(xí)算法在實(shí)際應(yīng)用中面臨的問題，對智能啟發(fā)算法在機(jī)器學(xué)習(xí)中的應(yīng)用進(jìn)行總結(jié)，從對神經(jīng)網(wǎng)絡(luò)等參數(shù)結(jié)構(gòu)的優(yōu)化、特征優(yōu)化、集成約簡、原型優(yōu)化、加權(quán)投票集成和核函數(shù)學(xué)習(xí)等方面介紹智能啟發(fā)算法的應(yīng)用場景，為解決問題提供一個新的思路。采用智能啟法算法解決問題是一個相對較新的領(lǐng)域，常和其他技術(shù)相結(jié)合使用。另外，智能啟發(fā)算法本身也可以直接應(yīng)用在某一領(lǐng)域，例如傳統(tǒng)的聚類算法一般基于梯度下降法實(shí)現(xiàn)，然而由于求解易陷入局部極值，產(chǎn)生的結(jié)果并不準(zhǔn)確。1990年，研究者們開始嘗試采用自然啟發(fā)方法實(shí)現(xiàn)聚類，Nanda等[93]研究基于自然啟發(fā)式的聚類分析方法近二十年，將單目標(biāo)函數(shù)啟發(fā)算法和多目標(biāo)函數(shù)啟發(fā)算法在聚類中的應(yīng)用進(jìn)行綜述。對啟發(fā)算法還有許多新的研究領(lǐng)域。

1)無免費(fèi)午餐定理指出沒有一種優(yōu)化方法適用于所有問題，根據(jù)具體應(yīng)用場景研究相適應(yīng)的新的智能啟發(fā)算法是研究者們一直努力的方向?？紤]不同算法的優(yōu)缺點(diǎn)，將不同算法的搜索策略進(jìn)行組合產(chǎn)生新的算法也是研究者們研究的熱點(diǎn)。

2)智能啟發(fā)算法相關(guān)參數(shù)將不同程度影響算法性能，如何調(diào)整參數(shù)以提高算法性能是一項(xiàng)重要任務(wù)。

3)盡管智能啟發(fā)算法在實(shí)踐中很有效，但在理論上還沒有經(jīng)過數(shù)學(xué)上的分析證明[94]。嘗試用一些數(shù)學(xué)工具如馬爾可夫鏈理論、動態(tài)系統(tǒng)等方法證明算法的有效性是學(xué)者們努力的方向。

4)由于深度學(xué)習(xí)算法訓(xùn)練時間過長，如何采用智能啟發(fā)算法在合理的時間內(nèi)優(yōu)化大數(shù)據(jù)背景下的深度學(xué)習(xí)模型是一個挑戰(zhàn)[95]。如采用基于GPU并行計算的智能啟發(fā)算法或許可加快模型的訓(xùn)練速度。

5)在科學(xué)、工程、工業(yè)和商業(yè)等領(lǐng)域有許多優(yōu)化問題待解決，研究某種應(yīng)用場景下相適合的啟發(fā)算法是研究者們要考慮的問題。