鐵錦程 趙戰(zhàn)營

(上海浦東發(fā)展銀行 上海 200120)

0 引 言

大數(shù)據(jù)、人工智能、云計算等技術(shù)的發(fā)展,推動著每一家金融機(jī)構(gòu)探索科技創(chuàng)新賦能業(yè)務(wù)增長。ABCD(AI人工智能、Blockchain區(qū)塊鏈、Cloud Computing云計算、Big Data大數(shù)據(jù))是金融科技創(chuàng)新發(fā)展的核心技術(shù),金融行業(yè)良好的信息化建設(shè)與規(guī)范的大數(shù)據(jù)資源管理,為人工智能在獲客、風(fēng)控、營銷等領(lǐng)域應(yīng)用落地打好了堅實(shí)的基礎(chǔ)。數(shù)據(jù)是金融發(fā)展的重要戰(zhàn)略資源,數(shù)據(jù)驅(qū)動信用卡業(yè)務(wù)的發(fā)展,迫切需要提升數(shù)據(jù)價值應(yīng)用的效率和效果,機(jī)器學(xué)習(xí)技術(shù)通過AI算法對歷史樣本數(shù)據(jù)進(jìn)行學(xué)習(xí),生成對未來的數(shù)據(jù)進(jìn)行預(yù)測的模型,廣泛應(yīng)用于獲客、營銷、風(fēng)控、合規(guī)、消保等信用卡經(jīng)營管理業(yè)務(wù)。

機(jī)器學(xué)習(xí)模型是數(shù)據(jù)價值應(yīng)用的有效手段,然而數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)效果的上限,而模型算法決定了逼近這個上限的程度。機(jī)器學(xué)習(xí)模型的性能與超參數(shù)直接相關(guān),如何在現(xiàn)有數(shù)據(jù)特征的基礎(chǔ)上,提高機(jī)器學(xué)習(xí)模型的效果很大程度上取決于模型超參數(shù)調(diào)優(yōu)(Hyper-Parameters Optimization,HPO)。超參調(diào)優(yōu)是機(jī)器學(xué)習(xí)工作流中最難的工作,多組可調(diào)整參數(shù)構(gòu)成的高維連續(xù)數(shù)值空間中存在海量的參數(shù)組合,每次調(diào)整后,都需要利用訓(xùn)練得到的模型的準(zhǔn)確率和泛化能力作為參數(shù)調(diào)優(yōu)的評價標(biāo)準(zhǔn)[1]。人工調(diào)參是一種反復(fù)試驗(yàn)的方法,需要消耗大量的時間,所得到的結(jié)果也無法保證是最佳的參數(shù)組合,因此誕生了很多自動化超參數(shù)優(yōu)化的方法。本文提出基于粒子群優(yōu)化算法的模型超參數(shù)調(diào)優(yōu)方法,通過設(shè)置偏移量、慣性系數(shù)、個體學(xué)習(xí)因子和群體學(xué)習(xí)因子等超參數(shù)初始值,隨機(jī)選定若干組模型參數(shù)組合生成初始粒子群,通過動態(tài)更新慣性系數(shù)和偏移量來動態(tài)更新模型參數(shù)組合,不斷循環(huán)迭代,直至模型參數(shù)近似最優(yōu)。通過對比實(shí)驗(yàn)驗(yàn)證,與常用的網(wǎng)格搜索、隨機(jī)搜索、貝葉斯優(yōu)化等調(diào)優(yōu)方法相比,本文提出的基于粒子群優(yōu)化算法的模型超參數(shù)調(diào)優(yōu)方法能夠提高調(diào)參效率,在相同的樣本集上使用該方法進(jìn)行模型參數(shù)調(diào)優(yōu),通過多輪迭代逐步逼近最優(yōu)解,更容易達(dá)到預(yù)期的模型效果目標(biāo),能夠提升機(jī)器學(xué)習(xí)模型的預(yù)測精度和泛化能力。

1 模型超參數(shù)優(yōu)化問題研究

1.1 模型超參數(shù)優(yōu)化及其重要性

隨著互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能技術(shù)的發(fā)展,新生信息層出不窮,知識總量爆炸式增長,為數(shù)據(jù)價值的挖掘提出了新的挑戰(zhàn),機(jī)器學(xué)習(xí)能夠發(fā)現(xiàn)和挖掘數(shù)據(jù)規(guī)律,并應(yīng)用于對未來的預(yù)測,實(shí)現(xiàn)數(shù)據(jù)價值驅(qū)動業(yè)務(wù)增長。然而,機(jī)器學(xué)習(xí)模型的開發(fā)和應(yīng)用,既需要對業(yè)務(wù)的深入理解,又需要統(tǒng)計、算法理論分析等知識技能,門檻相對較高、流程較為繁瑣。業(yè)務(wù)分析人員完成模型定義之后,機(jī)器學(xué)習(xí)模型的開發(fā)應(yīng)用主要涉及如下五個階段,如圖1所示。

機(jī)器學(xué)習(xí)算法模型的參數(shù)包含模型參數(shù)和超參數(shù)兩類,模型參數(shù)是在訓(xùn)練過程中可進(jìn)行自動優(yōu)化或?qū)W習(xí)得到的參數(shù),不需要手動設(shè)置;超參數(shù)是在模型訓(xùn)練之前設(shè)置的,用于控制模型擬合數(shù)據(jù)的靈活性,無法通過數(shù)據(jù)學(xué)習(xí)得到,需要用戶手動配置[2]。在機(jī)器學(xué)習(xí)模型開發(fā)應(yīng)用涉及的主要階段中,超參數(shù)優(yōu)化的目的是對模型超參配置進(jìn)行調(diào)優(yōu),使得訓(xùn)練產(chǎn)出的模型具有較好的業(yè)務(wù)效果、穩(wěn)定性和泛化能力。模型超參數(shù)優(yōu)化是一項(xiàng)繁瑣但至關(guān)重要的任務(wù),直接決定著模型效果的優(yōu)劣,很大程度上影響了算法的性能。一個機(jī)器學(xué)習(xí)模型中,一般有著多個超參數(shù),每個超參數(shù)可調(diào)整的數(shù)值范圍是非常廣的,也就是說,參數(shù)調(diào)優(yōu)是在多維連續(xù)數(shù)值空間內(nèi),找到最優(yōu)的一組參數(shù)組合,使模型效果最優(yōu)。這個難度是非常大的,且不同機(jī)器學(xué)習(xí)模型的超參數(shù)并不一致,更增加了模型參數(shù)調(diào)優(yōu)的困難。傳統(tǒng)參數(shù)調(diào)優(yōu)時,需要高度依賴建模人員經(jīng)驗(yàn),對參數(shù)進(jìn)行不斷的調(diào)整優(yōu)化,才能獲得較優(yōu)性能,整個過程非常費(fèi)時費(fèi)力,且需要較高的專業(yè)領(lǐng)域知識。因此,如何實(shí)現(xiàn)自動化的超參數(shù)優(yōu)化是機(jī)器學(xué)習(xí)中研究的重點(diǎn)。

1.2 模型超參數(shù)優(yōu)化問題分析

為機(jī)器學(xué)習(xí)算法選擇較好的超參數(shù)是機(jī)器學(xué)習(xí)領(lǐng)域的一項(xiàng)重要研究課題,研究自動模型超參數(shù)優(yōu)化方法,對于解放建模人員、快速尋找性能較好的模型超參數(shù)組合,提升模型參數(shù)調(diào)優(yōu)的效率等具有重大的意義。自動超參數(shù)優(yōu)化的方法主要有網(wǎng)格搜索、隨機(jī)搜索、貝葉斯優(yōu)化、種群智能類方法等。(1) 網(wǎng)格搜索方法[3]對參數(shù)區(qū)間進(jìn)行網(wǎng)格化,并通過遍歷網(wǎng)格參數(shù)的所有可能組合,來獲得最優(yōu)結(jié)果,以提高機(jī)器學(xué)習(xí)最優(yōu)參數(shù)的搜索效率。網(wǎng)格搜索法通過改變步長來提高參數(shù)搜索效率,參數(shù)的范圍和設(shè)置的步長會影響模型參數(shù)調(diào)優(yōu)的速度,而且需要遍歷所有可能的組合,所以網(wǎng)格搜索法只能在參數(shù)較少且取值范圍較窄的模型中應(yīng)用,在大規(guī)模的參數(shù)空間下性能往往表現(xiàn)很差。(2) 隨機(jī)搜索方法[4]和網(wǎng)格搜索類似,也需要在參數(shù)空間對參數(shù)進(jìn)行搜索,但是搜索樣本點(diǎn)的選取服從概率分布,隨機(jī)搜索可以通過固定數(shù)量的搜索尋找到近似最優(yōu)參數(shù)組合,得到的結(jié)果比網(wǎng)格搜索更好。但是隨機(jī)搜索沒有利用先前表現(xiàn)良好的區(qū)域,缺乏先驗(yàn)經(jīng)驗(yàn)的使用造成存在大量不必要的評估,且不能保證尋找到的是最佳參數(shù)組合。(3) 貝葉斯優(yōu)化方法[5-6]以高斯回歸模型作為代理模型,用先驗(yàn)經(jīng)驗(yàn)與樣本信息進(jìn)行綜合,不斷更新代理模型并產(chǎn)生新的采樣點(diǎn),通過多次迭代從而產(chǎn)生最優(yōu)超參數(shù)組合。貝葉斯搜索方法也可用來提升參數(shù)調(diào)優(yōu)效率,但是貝葉斯搜索方法需要根據(jù)實(shí)際問題,結(jié)合相關(guān)領(lǐng)域知識選擇合適的代理函數(shù)與采集函數(shù),而不同機(jī)器學(xué)習(xí)模型的參數(shù)是多樣的,很難找到一個全局的代理函數(shù)來近似。(4) 種群智能類方法,創(chuàng)建預(yù)定超參數(shù)的多個機(jī)器學(xué)習(xí)模型,通過模擬種群行為尋找最優(yōu)變化趨勢,并據(jù)此調(diào)整搜索行為,從而找到最優(yōu)超參數(shù)組合。實(shí)踐證明機(jī)器學(xué)習(xí)模型與種群智能方法相結(jié)合的超參數(shù)優(yōu)化方法具有較好的應(yīng)用效果?；诖?本文對粒子群優(yōu)化算法進(jìn)行改進(jìn),提出一種基于粒子群優(yōu)化算法的模型超參數(shù)調(diào)優(yōu)方法。

2 基于粒子群優(yōu)化算法超參數(shù)調(diào)優(yōu)方法

2.1 粒子群優(yōu)化算法

粒子群優(yōu)化算法[7](Particle Swarm Optimization,PSO)是Kennedy等提出的一種基于群體智能的優(yōu)化方法。算法模擬了鳥類覓食的行為,由于鳥類在尋找食物時的有效策略是按照最近的飛行路徑進(jìn)行搜索,算法模擬了該行為。PSO中每個粒子都代表優(yōu)化問題的一個可能解,通過搜索每個粒子的最優(yōu)解,并和粒子群整體共享,從而達(dá)到優(yōu)化的目的。Shi等[8]對原始PSO進(jìn)行優(yōu)化,在速度更新公式中引入了慣性權(quán)重(w),慣性權(quán)重表明了對前一步粒子速度的繼承程度,含慣性權(quán)重的PSO稱為標(biāo)準(zhǔn)粒子群優(yōu)化算法(SPSO)。SPSO的速度迭代公式可由式(1)表示。

(1)

2.2 慣性系數(shù)自適應(yīng)調(diào)整策略

研究表明,隨著進(jìn)化過程深入,慣性系數(shù)設(shè)置為遞減有助于算法優(yōu)化性能的提高,取值范圍一般認(rèn)為在0.4～0.9[9-10]。為使慣性系數(shù)能夠隨著搜索進(jìn)程進(jìn)行動態(tài)遞減,本文提出一種新的慣性系數(shù)更新的方法,具體為：更新的慣性系數(shù)=前若干輪迭代的慣性系數(shù)的均值×剩余迭代輪次+(模型參數(shù)組合中參數(shù)總數(shù)-本輪次更新的參數(shù)個數(shù))/模型參數(shù)組合中參數(shù)總數(shù),數(shù)學(xué)表達(dá)方式如式(2)所示。

(2)

改進(jìn)后的慣性系數(shù)能夠跟隨算法的迭代運(yùn)行而動態(tài)調(diào)整,擴(kuò)大了算法的搜索空間,在初期能夠?qū)θ诌M(jìn)行充分探測,并在后期能夠針對可能有最優(yōu)解的區(qū)域進(jìn)行重點(diǎn)搜索。因而本文的粒子群算法在進(jìn)行迭代過程中,每個粒子都能夠進(jìn)行動態(tài)迭代更新,動態(tài)更新的慣性系數(shù)使得粒子尋優(yōu)方法在性能上有所提高,針對不同的規(guī)模的數(shù)據(jù)都具有調(diào)整全局和局部的搜索能力。

3 基于粒子群優(yōu)化算法超參數(shù)調(diào)優(yōu)過程

3.1 機(jī)器學(xué)習(xí)模型超參數(shù)調(diào)優(yōu)問題定義

基于粒子群優(yōu)化算法的參數(shù)尋優(yōu)過程可歸納成對一個數(shù)學(xué)優(yōu)化問題的求解過程,該問題定義如下：設(shè)α1,α2,…,αn為機(jī)器學(xué)習(xí)模型的n個超參數(shù),ek為機(jī)器學(xué)習(xí)訓(xùn)練模型的損失函數(shù),則基于粒子群優(yōu)化算法的參數(shù)尋優(yōu)問題定義如式(3)所示,約束條件如式(4)所示。

minek=F(α1,α2,…,αn)

(3)

s.t.αi∈[αimin,αimax]

(4)

式中：αimin、αimax為第i個超參數(shù)數(shù)值的最小值和最大值,即超參數(shù)αi的變化范圍。通過更新慣性系數(shù)和偏移量來動態(tài)更新粒子的速度和位置得到新的參數(shù)組合。當(dāng)滿足基于訓(xùn)練數(shù)據(jù)下的損失函數(shù)最小或達(dá)到設(shè)定訓(xùn)練次數(shù)上限時,算法終止,并返回最優(yōu)參數(shù)作為機(jī)器學(xué)習(xí)模型的超參數(shù)。

3.2 改進(jìn)的模型超參數(shù)調(diào)優(yōu)過程

基于粒子群優(yōu)化算法的參數(shù)尋優(yōu)過程如圖2所示。

圖2 基于粒子群優(yōu)化算法的參數(shù)尋優(yōu)過程

3.2.1設(shè)定超參數(shù)初始值和初始粒子群

確定粒子群算法超參數(shù)的初始值,包括偏移量、慣性系數(shù)、個體學(xué)習(xí)因子和群體學(xué)習(xí)因子。并確定機(jī)器學(xué)習(xí)模型的模型參數(shù)組合,隨機(jī)選出若干組模型參數(shù)組合訓(xùn)練模型生成模型初始粒子群。

3.2.2迭代尋優(yōu),更新模型超參數(shù)組合

在整個迭代過程中,主要是通過更新粒子群算法中的慣性系數(shù)以及偏移量這兩個超參數(shù),來更新粒子群中的模型參數(shù)組合。具體地,在每一輪迭代開始時,利用偏移量更新粒子群中的模型參數(shù)組合,每一次迭代結(jié)束更新慣性系數(shù),并基于更新的慣性系數(shù)計算下一次迭代過程的偏移量。

1) 參數(shù)組合更新。在迭代過程中,新模型參數(shù)組合的具體方式如式(5)所示。

[α1,k,α2,k,…,αn,k]=[α1,k-1,α2,k-1,…,αn,k-1]+

[p1,k,p2,k,…,pn,k]

(5)

式中：[α1,k,α2,k,…,αn,k]為第k輪迭代的模型參數(shù)組合;[α1,k-1,α2,k-1,…,αn,k-1]為第k-1輪迭代的模型參數(shù)組合;[p1,k,p2,k,…,pn,k]為第k輪迭代的偏移量;下標(biāo)n表示模型參數(shù)組合中的參數(shù)總數(shù),k=1,2,…,K,K為最大迭代輪次,當(dāng)k=1時,[α1,k-1,α2,k-1,…,αn,k-1]為模型初始粒子群中的模型參數(shù)組合。

2) 慣性系數(shù)更新。在迭代過程中,慣性系數(shù)的更新方式詳見2.2節(jié),數(shù)學(xué)表達(dá)式參見式(2)。

3) 偏移量更新。在迭代過程中,下一次迭代過程的偏移量依據(jù)更新的慣性系數(shù)確定,如式(6)所示：

[p1,K+1,p2,K+1,…,pn,K+1]=GK+1·[p1,K,p2,K,…,pn,K]+

γg·[xg1,k,xg2,k,…,xgn,k]+

γq·[xq1,k,xq2,k,…,xqn,k]

k=1,2,…,K-1

(6)

式中：[p1,K,p2,K,…,pn,K]為第k輪迭代使用的偏移量;[p1,K+1,p2,K+1,…,pn,K+1]為更新的用于第k+1輪迭代使用的偏移量;Gk+1為更新的第k+1輪迭代使用的慣性系數(shù);K為最大迭代輪次,下標(biāo)n表示模型參數(shù)組合中的參數(shù)總數(shù);γg為個體學(xué)習(xí)因子;γq為群體學(xué)習(xí)因子;[xg1,k,xg2,k,…,xgn,k]為第k輪迭代后當(dāng)前個體與個體序列中最優(yōu)解的差;[xq1,k,xq2,k,…,xqn,k]為第k輪迭代后當(dāng)前個體與群體序列中最優(yōu)解的差。

3.2.3算法參數(shù)限制和終止條件

模型參數(shù)組合中的每個參數(shù)設(shè)置一個最大偏移量,在迭代過程中更新偏移量時,每個參數(shù)的偏移量不超過其對應(yīng)的最大偏移量。

在迭代過程中更新偏移量時,當(dāng)參數(shù)的偏移量超過其對應(yīng)的最大偏移量時,將該參數(shù)的偏移量賦值為最大偏移量。

當(dāng)參數(shù)尋優(yōu)迭代過程達(dá)到全局最優(yōu)條件或者最大迭代輪次,結(jié)束迭代,并將得到的參數(shù)作為最優(yōu)超參數(shù)組合返回給機(jī)器學(xué)習(xí)模型。

4 實(shí)證分析

4.1 應(yīng)用場景說明

金融行業(yè)是數(shù)據(jù)高度密集型行業(yè),數(shù)據(jù)不僅總量大,而且增長迅速。在金融行業(yè)企業(yè)數(shù)字化、智能化轉(zhuǎn)型過程中,機(jī)器學(xué)習(xí)算法模型發(fā)揮著無可替代的作用。因此探索自動化的機(jī)器學(xué)習(xí)超參數(shù)調(diào)優(yōu)方法,將有助于金融行業(yè)企業(yè)深挖數(shù)據(jù)價值、提升機(jī)器學(xué)習(xí)模型性能,并有助于建立自動化的智能決策全流程,提升智能決策水平,豐富客戶體驗(yàn)。

本文立足于提升模型超參數(shù)優(yōu)化效果,在風(fēng)控、營銷、推薦、催收、合規(guī)、消保等信用卡核心業(yè)務(wù)領(lǐng)域的模型中應(yīng)用驗(yàn)證,效果提升明顯。以下選取信用卡貸前審批和貸后催收兩個場景詳細(xì)介紹。其中信用卡貸前審批場景是信用卡企業(yè)綜合運(yùn)用客戶各方面數(shù)據(jù),決定客戶是否準(zhǔn)入以及如何授信的場景,往往直接決定著信用卡業(yè)務(wù)的客戶質(zhì)量,對信用卡企業(yè)的風(fēng)險和收入有著直接的影響。信用卡貸后催收場景是指當(dāng)客戶逾期后,銀行方面綜合運(yùn)用各方面數(shù)據(jù)決定客戶的催收方式,以實(shí)現(xiàn)逾期款項(xiàng)收回的最大化。

本文選取金融業(yè)務(wù)中最常用的Xgboost、lightGBM和邏輯回歸(Logistic Regression,LR)模型作為研究的對象,進(jìn)行對比分析。

4.2 實(shí)驗(yàn)環(huán)境與編程示例

本文所涉及的實(shí)驗(yàn)環(huán)境信息如下：(1) CPU型號：Intel(R) Xeon(R) Gold 6152 CPU @ 2.10 GHz。(2) CPU核心數(shù)量：88。(3) 內(nèi)存：1 TB。(4) 操作系統(tǒng)：Red Hat Enterprise Linux Server 7.9(Maipo)。(5) 編程語言及主要框架：Python 3.8.4,Scikit-Learn 0.24,XGBoost 0.90.0,LightGBM 2.3.1,Matplotlib 3.5.3。

本文動態(tài)更新慣性系數(shù)和動態(tài)更新偏移量,核心偽代碼片段如下。

for i in range(max_iter)：

#迭代更新粒子移動速度

pop_velocity[i][index] =

weight*pop_velocity[i][index]+

c1*random.uniform(0,1)*(local_best[i][index]-pop[i][index])+c2*random.uniform(0,1)*(global_best[index]-pop[i][index])

#慣性權(quán)重線性遞減

if w_range：

weight-=w_range/max_iter

4.3 實(shí)驗(yàn)結(jié)果

4.3.1信用卡貸前審批場景實(shí)驗(yàn)效果

貸前風(fēng)險模型基于客戶在準(zhǔn)件前的相關(guān)數(shù)據(jù),如客戶的征信信息、申請信息等,對客戶在未來的逾期概率做出預(yù)測。

分別選用Xgboost、lightGBM和LR模型進(jìn)行訓(xùn)練,訓(xùn)練樣本共70萬條,初始特征2 000多個,每個模型在訓(xùn)練時分別采用貝葉斯(BAYES)、粒子群優(yōu)化(PSO)和網(wǎng)格(GRID)搜索算法進(jìn)行超參數(shù)調(diào)優(yōu)對比。三個模型進(jìn)行參數(shù)調(diào)優(yōu)的效果分別如圖3-圖5所示。

圖3 基于Xgboost貸前風(fēng)險模型調(diào)優(yōu)結(jié)果對比

圖4 基于lightGBM貸前風(fēng)險模型調(diào)優(yōu)結(jié)果對比

通過對比,可以看到在Xgboost、lightGBM和LR三種模型下,粒子群優(yōu)化算法的調(diào)優(yōu)效果都優(yōu)于貝葉斯和網(wǎng)格搜索算法,且基于XGBOOST貸前風(fēng)險模型得出效果較好,最終得到的最優(yōu)參數(shù)如表1所示。

表1 貸前風(fēng)險模型最終最優(yōu)參數(shù)設(shè)置

4.3.2信用卡貸后催收場景實(shí)驗(yàn)效果

貸后催收模型用來預(yù)判客戶最優(yōu)的催收方式,應(yīng)用于對逾期客戶制定差異化的催收分案策略。同貸前審批場景一樣,分別選用Xgboost、lightGBM和LR模型進(jìn)行訓(xùn)練,訓(xùn)練樣本共17萬條,初始特征57個,每個模型在訓(xùn)練時分別采用貝葉斯、優(yōu)化后的粒子群搜索算法和網(wǎng)格搜索算法進(jìn)行超參數(shù)調(diào)優(yōu)對比。三個模型進(jìn)行參數(shù)調(diào)優(yōu)的效果分別如圖6-圖8所示。

圖6 基于Xgboost貸后催收模型調(diào)優(yōu)結(jié)果對比

圖7 基于lightGBM貸后催收模型調(diào)優(yōu)結(jié)果對比

圖8 基于邏輯回歸算法貸后催收模型調(diào)優(yōu)結(jié)果對比

通過對比,可以看到在貸后催收場景中,Xgboost、lightGBM和LR三種模型中,粒子群搜索算法的調(diào)優(yōu)效果都優(yōu)于貝葉斯和網(wǎng)格搜索算法,且基于XGBOOST貸后催收模型得出效果較好,最終得到的最優(yōu)參數(shù)如表2所示。

表2 貸后催收模型最終最優(yōu)參數(shù)設(shè)置

4.3.3實(shí)驗(yàn)結(jié)論

實(shí)驗(yàn)數(shù)據(jù)表明,在信用卡業(yè)務(wù)常用的XGboost、lightGBM和LR三種模型中,本文提出的基于粒子群優(yōu)化算法的模型超參數(shù)優(yōu)化方法均優(yōu)于貝葉斯算法和網(wǎng)格搜索的調(diào)優(yōu)效果。貝葉斯算法在迭代尋優(yōu)的過程中,波動性較大且隨著迭代輪次的加大,適應(yīng)度與粒子群算法差距進(jìn)一步拉大;而網(wǎng)格搜索算法,在預(yù)定的中止條件下無法得到相對于預(yù)期較理想的效果。相比之下,本文改進(jìn)的粒子群算法能夠較好地提升模型的準(zhǔn)確度,使得模型具有更高的預(yù)測精度和泛化能力。

5 結(jié) 語

本文基于標(biāo)準(zhǔn)粒子群優(yōu)化算法,提出對其中慣性系數(shù)的設(shè)置方式進(jìn)行優(yōu)化,使之能夠隨著迭代處理過程進(jìn)行動態(tài)調(diào)整,從而提高粒子群尋優(yōu)方法的性能。通過在不同場景、不同模型中進(jìn)行實(shí)驗(yàn)對比,優(yōu)化后的粒子群優(yōu)化算法相對于貝葉斯算法、網(wǎng)格搜索算法都有著更優(yōu)的調(diào)優(yōu)能力,更適合在金融業(yè)務(wù)場景中應(yīng)用。雖然粒子群超參數(shù)調(diào)優(yōu)方法在金融數(shù)據(jù)中取得了較好的性能,但基于種群式的搜索成本是比較高的,無法直接適用于需要快速實(shí)現(xiàn)智能決策應(yīng)用的場景。隨著金融科技的持續(xù)推進(jìn),越來越多的優(yōu)秀算法被引入金融行業(yè),從而不斷提升機(jī)器學(xué)習(xí)模型的應(yīng)用成效。