李德剛，王成威，于 振，李廣義，王爍寰

（山東省國(guó)際信托股份有限公司，山東 濟(jì)南 250101）

0 引 言

隨著信息技術(shù)的飛速發(fā)展和大數(shù)據(jù)應(yīng)用的普及，人們進(jìn)入了信息時(shí)代[1]。大數(shù)據(jù)的持續(xù)增長(zhǎng)和多樣化的數(shù)據(jù)類(lèi)型，給傳統(tǒng)的任務(wù)處理與數(shù)據(jù)分析帶來(lái)了前所未有的挑戰(zhàn)。在高度數(shù)字化和信息化的時(shí)代背景下，云計(jì)算作為一種強(qiáng)大的計(jì)算和存儲(chǔ)平臺(tái)，成為解決大規(guī)模任務(wù)處理問(wèn)題的重要方式[2]。然而，隨著數(shù)據(jù)規(guī)模的急劇擴(kuò)大，傳統(tǒng)的任務(wù)處理方法面臨著問(wèn)題日益復(fù)雜的情況[3]。如何高效處理海量的數(shù)據(jù)任務(wù)，是云計(jì)算和分布式系統(tǒng)的熱門(mén)議題。此外，不同領(lǐng)域和資源之間的異構(gòu)性，以及多個(gè)領(lǐng)域之間的數(shù)據(jù)通信需求，使任務(wù)處理和資源優(yōu)化更加復(fù)雜[4]。在云計(jì)算環(huán)境中，各個(gè)域之間的資源分布和性能差異可能導(dǎo)致任務(wù)分配不均和資源利用率低下等問(wèn)題出現(xiàn)。為有效應(yīng)對(duì)這些挑戰(zhàn)，研究者們積極探索任務(wù)處理方法，以實(shí)現(xiàn)任務(wù)的智能分配、資源的高效利用以及整體系統(tǒng)性能的提升。實(shí)際應(yīng)用場(chǎng)景中，大規(guī)模任務(wù)處理的效率和質(zhì)量會(huì)直接影響系統(tǒng)的性能與用戶(hù)體驗(yàn)。然而，傳統(tǒng)單一領(lǐng)域任務(wù)處理方法經(jīng)常忽視資源的異質(zhì)性和多領(lǐng)域之間的通信成本，難以滿(mǎn)足多樣化需求[5]。隨著任務(wù)規(guī)模的不斷膨脹，如何合理分配任務(wù)，同時(shí)保持每個(gè)節(jié)點(diǎn)的負(fù)載平衡，并減少數(shù)據(jù)傳輸成本，變得愈發(fā)復(fù)雜。為解決這些問(wèn)題，文章提出一種基于多目標(biāo)粒子群算法的創(chuàng)新性方法，目的是在大規(guī)模任務(wù)處理過(guò)程中實(shí)現(xiàn)任務(wù)負(fù)載的均衡和域間通信帶寬資源成本的最小化。通過(guò)融合帕累托支配理論、擁擠度比較法以及柯西變異操作，所提方法在解決任務(wù)分配和資源優(yōu)化方面取得了顯著成果，有助于為大數(shù)據(jù)環(huán)境下的多領(lǐng)域任務(wù)處理提供指導(dǎo)，推動(dòng)該領(lǐng)域的進(jìn)一步發(fā)展，以應(yīng)對(duì)日益復(fù)雜和龐大的任務(wù)處理挑戰(zhàn)，同時(shí)為云計(jì)算在大規(guī)模任務(wù)處理中的應(yīng)用提供新的思路和方法。

1 系統(tǒng)架構(gòu)設(shè)計(jì)

文章提出一種基于多域并行計(jì)算思想的大規(guī)模任務(wù)處理方法。每個(gè)域內(nèi)的節(jié)點(diǎn)處理速度受計(jì)算資源性能和內(nèi)部調(diào)度策略的影響。一方面，傳統(tǒng)方法通常將數(shù)據(jù)處理任務(wù)按照某種規(guī)則分配到各個(gè)域的節(jié)點(diǎn)，易導(dǎo)致部分節(jié)點(diǎn)負(fù)載過(guò)重，資源利用不均，產(chǎn)生資源浪費(fèi)問(wèn)題[6,7]。因此，設(shè)計(jì)一種能夠高效合理實(shí)現(xiàn)數(shù)據(jù)中心負(fù)載均衡的大規(guī)模任務(wù)處理方法顯得尤為重要[8]。另一方面，云計(jì)算環(huán)境下的大規(guī)模任務(wù)處理由于域間數(shù)據(jù)傳輸量大，給固定網(wǎng)絡(luò)資源帶來(lái)了巨大壓力，導(dǎo)致帶寬資源成本急劇上升[9]。多域環(huán)境下的大規(guī)模任務(wù)部署實(shí)例如圖1 所示。

針對(duì)處理大規(guī)模任務(wù)面臨的挑戰(zhàn)，基于云計(jì)算環(huán)境的大規(guī)模任務(wù)處理方法能夠提供關(guān)鍵性的解決方案。通過(guò)創(chuàng)新性地應(yīng)用多域并行計(jì)算思想、帕累托支配理論、擁擠度比較法以及柯西變異操作等，設(shè)計(jì)了一種高效快速的任務(wù)處理方法，可實(shí)現(xiàn)數(shù)據(jù)中心負(fù)載均衡和帶寬資源成本的優(yōu)化，有助于提高大數(shù)據(jù)分析和處理效率，實(shí)現(xiàn)長(zhǎng)期收益[10]。

大數(shù)據(jù)環(huán)境下基于多域的大規(guī)模任務(wù)處理方法的邏輯架構(gòu)如圖2 所示。文章構(gòu)建基于多域的大規(guī)模任務(wù)處理方法的系統(tǒng)架構(gòu)，在大數(shù)據(jù)環(huán)境下實(shí)現(xiàn)任務(wù)處理的高效性和資源優(yōu)化。該方法的邏輯架構(gòu)清晰展現(xiàn)了各個(gè)模塊之間的緊密協(xié)作，確保大規(guī)模任務(wù)能夠得到有效處理。在整個(gè)處理流程中，不同模塊之間的密切協(xié)作是實(shí)現(xiàn)任務(wù)高效處理的關(guān)鍵。監(jiān)控器模塊通過(guò)獲取信息，為系統(tǒng)提供重要的輸入數(shù)據(jù)，包括大規(guī)模任務(wù)請(qǐng)求的資源需求信息、可用物理節(jié)點(diǎn)以及鏈路的資源狀態(tài)等。這些數(shù)據(jù)為后續(xù)的虛擬網(wǎng)絡(luò)映射方案奠定了基礎(chǔ)。虛擬網(wǎng)絡(luò)映射控制器模塊負(fù)責(zé)執(zhí)行虛擬節(jié)點(diǎn)映射操作，生成虛擬網(wǎng)絡(luò)映射方案，并根據(jù)實(shí)際情況進(jìn)行調(diào)整。部署控制器模塊承擔(dān)了任務(wù)部署的重要任務(wù)，根據(jù)虛擬網(wǎng)絡(luò)映射方案、節(jié)點(diǎn)以及鏈路資源狀態(tài)，制定任務(wù)部署策略，實(shí)現(xiàn)任務(wù)的合理分配和節(jié)點(diǎn)的負(fù)載均衡。

圖2 大數(shù)據(jù)環(huán)境下基于多域的大規(guī)模任務(wù)處理方法的邏輯架構(gòu)

這些模塊協(xié)同作用，使得整個(gè)系統(tǒng)能夠高效處理大規(guī)模任務(wù)。通過(guò)監(jiān)控器的信息獲取和虛擬網(wǎng)絡(luò)映射控制器的執(zhí)行，能夠在任務(wù)映射過(guò)程中保持負(fù)載均衡，并最小化帶寬資源成本。部署控制器的任務(wù)策略進(jìn)一步優(yōu)化了任務(wù)的部署過(guò)程，確保任務(wù)能夠得到有效執(zhí)行。通過(guò)協(xié)同工作，基于多域的大規(guī)模任務(wù)處理方法實(shí)現(xiàn)了大規(guī)模任務(wù)的高效處理和資源優(yōu)化。圖2 的系統(tǒng)架構(gòu)提供了一個(gè)直觀視角，有助于更好地理解該方法的工作流程和各模塊之間的相互關(guān)系，對(duì)于推動(dòng)大規(guī)模任務(wù)處理領(lǐng)域的研究和應(yīng)用具有積極意義。該方法可以更好地應(yīng)對(duì)大數(shù)據(jù)環(huán)境下任務(wù)處理的挑戰(zhàn)，提高任務(wù)處理的效率和質(zhì)量。

2 實(shí)現(xiàn)過(guò)程

通過(guò)將多域結(jié)構(gòu)應(yīng)用于大規(guī)模任務(wù)處理領(lǐng)域，構(gòu)建了一種基于多域協(xié)作的系統(tǒng)架構(gòu)，同時(shí)基于帕累托理論方法，在多域協(xié)作的背景下優(yōu)化大規(guī)模任務(wù)處理流程，為解決大規(guī)模任務(wù)處理問(wèn)題提供了更加高效的解決方案。

與傳統(tǒng)的單目標(biāo)粒子群算法不同，所提的大規(guī)模任務(wù)處理方法采用一種全新的初始種群生成策略。一方面，在算法迭代過(guò)程中運(yùn)用帕累托支配理論，可以比較可行解之間的關(guān)系，通過(guò)使用快速非支配選擇方法，可以獲得帕累托最優(yōu)解集，從而獲取映射方案的最優(yōu)解集。另一方面，采用擁擠度比較法，設(shè)計(jì)了一個(gè)選取問(wèn)題最終唯一解的策略，以確保粒子群的多樣性。

第一步，設(shè)定最大迭代次數(shù)為Max Generation，并初始化每個(gè)粒子的位置向量Pop[i]，同時(shí)將每個(gè)粒子的速度向量設(shè)置為0。在每次迭代過(guò)程中，運(yùn)用Kruskal 最小生成樹(shù)算法，從可用物理路徑集合中動(dòng)態(tài)選擇權(quán)重最小的物理路徑，評(píng)估種群中的每個(gè)粒子，計(jì)算其適應(yīng)度值。

第二步，求解帕累托最優(yōu)解集，獲得最優(yōu)的虛擬網(wǎng)絡(luò)映射方案集合。

第三步，引入擁擠度比較法，獲得唯一的最優(yōu)解。擁擠度比較法需要根據(jù)歐幾里得距離公式，計(jì)算圍繞每個(gè)可行解形成的最小矩形的對(duì)角線長(zhǎng)度，將其定義為變量Di，作為擁擠度的度量?？尚薪鈸頂D程度的計(jì)算如圖3 所示，基于可行解所在的最小矩形的對(duì)角線長(zhǎng)度，可以求得可行解的擁擠度。

圖3 可行解擁擠程度的計(jì)算

第四步，將具有個(gè)體極值的歷史最優(yōu)位置向量進(jìn)行存檔。進(jìn)化過(guò)程中，算法會(huì)將每個(gè)粒子的當(dāng)前位置向量設(shè)置為其個(gè)體歷史最佳位置向量pbest，并將每個(gè)粒子的當(dāng)前適應(yīng)度值設(shè)置為其個(gè)體極值。

第五步，通過(guò)循環(huán)操作搜索最優(yōu)解。

首先，更新每個(gè)粒子的速度，即

式中：w為慣性權(quán)重；Vel[i]和Pop[i]分別為第i個(gè)粒子的速度向量和位置向量；r1和r2為學(xué)習(xí)因子，取值為0 ～1；pbest[i]為個(gè)體歷史最優(yōu)位置向量。

其次，引入柯西變異方法，計(jì)算種群中第j維粒子的平均速度，計(jì)算公式為

式中：Velij為第i個(gè)粒子在第j維上的速度，而AvgVelj∈[-AvgVelmax,AvgVelmax]，將AvgVelmax設(shè)為1；PopScale為粒子種群的大小。

最后，對(duì)全局最優(yōu)位置向量gbest采取變異措施。經(jīng)過(guò)變異后得到可行解gmutbest，其計(jì)算公式為

式中：F為隨機(jī)數(shù)；[Popmin,Popmax]為問(wèn)題的定義域。通過(guò)比較和全局最優(yōu)位置向量gbest，選擇更優(yōu)解進(jìn)行存檔更新，然后進(jìn)行迭代，直至達(dá)到最大迭代次數(shù)。

3 結(jié) 論

文章提出一種應(yīng)用于大數(shù)據(jù)環(huán)境下多域大規(guī)模任務(wù)處理的啟發(fā)式方法。首先，引入一種創(chuàng)新性方法迅速獲取虛擬網(wǎng)絡(luò)映射方案的最優(yōu)解集，即算法過(guò)程中的帕累托最優(yōu)解集。通過(guò)應(yīng)用帕累托支配理論，在保持最大映射成功率的前提下，獲得一系列高質(zhì)量的虛擬網(wǎng)絡(luò)映射方案。其次，設(shè)計(jì)并采用擁擠度比較法，從帕累托最優(yōu)解集中選取最終的唯一解，不僅能夠確保算法的種群多樣性，還能夠在保持高質(zhì)量解的基礎(chǔ)上提升算法性能。最后，為避免陷入局部最優(yōu)，引入柯西變異操作，以增強(qiáng)算法的全局搜索性能，確保能夠在迭代過(guò)程中發(fā)現(xiàn)更優(yōu)解，從而得到最終的唯一最優(yōu)解，即最優(yōu)虛擬網(wǎng)絡(luò)映射方案。