摘 要：

數據采集是仿真執(zhí)行過程中的重要環(huán)節(jié)，數據采集的完整性和效率對整個訓練仿真活動的最終效果和效率具有重大影響。然而，在現有基于高層體系結構（high level architecture， HLA）的分布式仿真系統(tǒng)中，集中式數據采集在單個步長內讀寫海量數據，會影響仿真正常推進，而分布式數據采集會造成大量冗余數據，且采集模塊的開發(fā)不具備通適性。針對上述問題，基于弱分布式數據采集結構，利用多個采集成員實現并行數據采集，并基于非支配排序遺傳算法II（non-dominated sorting genetic algorithm II， NSGA-II）制定采集任務在多個成員間的分配策略，實現數據采集負載的均衡分布。仿真結果和真實系統(tǒng)上的實驗結果表明，所提方法能顯著提升數據采集效率，同時減少數據采集成員執(zhí)行過程中的中央處理器（central processing unit， CPU）和內存消耗。

關鍵詞：

數據采集; 高層體系結構; 大規(guī)模分布式仿真; 非支配排序遺傳算法II; 采集效率

中圖分類號：

TP 391.9

文獻標志碼： A""" DOI：10.12305/j.issn.1001-506X.2024.09.22

Data collection strategy of HLA simulation system based on

non-dominated genetic algorithm

WANG Peiqi， JU Rusheng*， ZHANG Miao， DUAN Wei

（College of Systems Engineering， National University of Defense Technology， Changsha 410073， China）

Abstract：

Data collection is the primary link in the simulation execution process. The integrity and efficiency of data acquisition have a significant impact on the final effect and efficiency of the entire training simulation activity. However， in the existing distributed simulation system based on high level architecture （HLA）， centralized data collection is difficult to handle massive data in a single step， which will affect the normal advancement of simulation while distributed data collection will cause a large number of redundant data， and the development of the collection module does not have universality. In response to the above problems， based on weak distributed data acquisition structure， multiple collection members are used to realize parallel data collection， and the distribution strategy of collection tasks is formulated among multiple members by the non-dominated sorting genetic algorithm-II （NSGA-II） to achieve a balanced distribution of data collection loads. The experimental results on simulation result and real system show that the proposed method can significantly improve the efficiency of data collection while reducing the central processing unit （CPU） and memory consumption during the execution of data collection members.

Keywords：

data collection; high level architecture （HLA）; large-scale distributed simulation; non-dominated sorting genetic algorithm-II （NSGA-II）; collection efficiency

0 引 言

集中式仿真方法難以支撐大規(guī)模仿真場景中大量模型實體快速解算的需要，需要采用分布式仿真技術擴充大規(guī)模作戰(zhàn)協(xié)同仿真系統(tǒng)的計算資源;對于分布式部署的仿真系統(tǒng)，也需要分布式仿真技術來構建統(tǒng)一的仿真環(huán)境。為實現分布、異構仿真系統(tǒng)間的高效互聯，美國國防部提出了高層體系結構（high level architecture， HLA），并被IEEE吸收成為分布式仿真的標準規(guī)范［1-2］。HLA采用標準化的對象模型模板（object model template， OMT）定義仿真實體的對象信息以及描述實體間的交互信息，并且通過運行支撐環(huán)境（run time infrastructure， RTI）提供的支撐服務實現底層通信與上層仿真應用系統(tǒng)之間的解耦，保證各仿真子系統(tǒng)或應用的獨立性和可重用。

在信息化聯合訓練的時代背景下，仿真活動的重心逐漸從模型轉向數據，瞬息萬變的作戰(zhàn)環(huán)境、復雜多樣的武器裝備以及協(xié)同多維的作戰(zhàn)信息導致演訓數據呈現爆發(fā)式增長。數據采集是數據分析與處理的基礎，可靠完備的數據能提升數據分析結果的準確性，從而保證了決策的科學性。HLA標準提供聲明管理和數據分發(fā)管理兩種機制來實現對象類及其屬性和交互類及其屬性的反射和更新。聲明管理為成員提供基于類的公布/訂購機制，成員可依據自己的能力和興趣過濾數據;數據分發(fā)管理提供實例層次的表達來對發(fā)送方和接收方的數據進行匹配。本文考慮實例層次的數據分發(fā)管理機制下，在一個仿真步長內，數據采集成員從RTI中獲取若干條不同實例的數據［3-4］。

目前，基于HLA的采集策略包括集中式數據采集和分布式數據采集。集中式采集是設置一個專門用于采集在RTI中傳輸的所有數據的聯邦成員，該成員訂購所有的類和交互，然后記錄和采集內部所有已經公布的數據，再保存到數據文件或數據庫中［5］。這種方式有利于實現集中化管理，但其伸縮性較差，隨著聯邦規(guī)模的擴大以及數據流量增加，單一的數據采集成員會受到讀寫速率限制，拖慢整個系統(tǒng)的運行速度，而且存在單點故障的風險。分布式數據采集包括了強分布式、弱分布式和強弱結合分布式3種數據采集結構。強分布式采集也稱為完全嵌入式分布式采集［6］，是在每個聯邦成員中設置一個數據采集的模塊，各個成員不需要通過HLA的公布/訂購機制就可以得到自己的所有數據;弱分布式是將采用多個聯邦成員承擔數據采集任務，實現應用聯邦成員與數據采集成員完全的責任分離;強弱結合分布式數據采集［7］是將集中式數據采集和強分布式數據采集結合的一種采集方式，這種方式既有專門負責數據采集的聯邦成員，又在部分應用聯邦成員中嵌入了數據采集功能，以達到一種平衡負載和資源分配的作用。分布式數據采集能有效彌補集中式的缺點，但同時存在大量冗余數據數據、重復的開發(fā)工作的問題［8］。

針對上述問題，本文提出采用多聯邦成員弱分布式數據采集方法，多個數據采集成員依據特定策略協(xié)同完成整個系統(tǒng)的數據采集任務。

在采集過程中，數據采集任務在多個采集成員間的不合理分配容易導致出現數據傾斜的現象，進而降低系統(tǒng)的運行效率。為協(xié)調聯邦中各種可用、異構的資源，確保數據采集的完整性和低冗余，提高整體仿真效率，本文的研究以負載均衡問題作為優(yōu)化目標，制定采集任務的分配策略?？紤]到當前缺乏對多聯邦數據采集中負載均衡問題的研究，本文基于非支配排序遺傳算法II（non-dominated sorting genetic algorithm II， NSGA-II）生成數據采集任務在多個采集成員間的分配策略，確保在一個仿真步長內，所有數據能成功采集，同時控制采集成員的數量，以避免資源浪費。

1 相關工作

數據采集是數據分析挖掘的基礎。在仿真訓練中，仿真回放與效果評估需要數據作為支撐。因此，采集完整數據能提升數據分析的準確性，逼真地反映仿真的真實情況，從而提升仿真訓練的可靠性，輔助用戶作出合理的決策［9］。本節(jié)主要從集中式和分布式角度介紹了傳統(tǒng)數據采集方法，同時考慮數據采集系統(tǒng)的負載均衡問題。

1.1 分布式仿真系統(tǒng)的數據采集

面向分布式仿真系統(tǒng)的數據采集主要包括集中式和分布式兩種數據采集方式，下面以基于HLA的分布式仿真系統(tǒng)為例，簡單介紹兩種不同的數據采集方式。

1.1.1 集中式數據采集

集中式數據采集結構如圖1所示［10］，主要包括順序事件觸發(fā)式和定頻采樣式兩種采樣方法。張柯等［11］提出一種對象序列化的存取方案，將要記錄的數據轉換為對象，并利用對象的序列化機制設計了一種二進制單一順序數據文件的保存格式。定頻采樣式是在仿真開始前確定數據采集頻率，按照固定頻率采集數據，這種方式沒有考慮到數據發(fā)布的頻率，因此不具有普適性。

面對大規(guī)模的屬性或交互數據，集中式數據采集通過單一成員采集所有數據，會導致成員的輸入/輸出（input/output， I/O）瓶頸，從而極大限制聯邦運行的整體性能。

1.1.2 分布式數據采集

分布式采集包括強分布式、弱分布式和強弱結合分布式3種數據采集結構。強分布式采集結構如圖2所示，這種方式能有效減少了網絡負載。但由于數據分散存儲在各個成員中，無法從數據格式上實現讀取的通用性，難以在短時間內進行全局分析，后期維護困難，而且可能導致數據冗余問題。

弱分布式結構具體如圖3所示，該結構既能避免單一的數據采集節(jié)點導致的性能瓶頸，還能實現數據的有效組織和管理，從而確保在線分析和離線分析的順利進行。

強弱結合分布式數據采集對承擔數據采集任務的特定采集成員和應用聯邦成員的職責管理相對復雜，而且違背了面向對象中的單一職責原則，降低了數據采集與處理的可控性。

總的來說，在大規(guī)模仿真中，集中式數據采集難以保證數據采集的高效性，強分布式數據采集難以滿足采集的通用性。在保守時間推進機制下，基于HLA的分布式系統(tǒng)會按照固定步長進行仿真，如果采集成員不能在單個步長內完成所有采集任務，就會導致數據不能完整采集;在樂觀時間推進機制下，只有在所有聯邦成員完成各自的任務后，系統(tǒng)才會推進到下一仿真時間，所以采集的效率會直接影響到整個系統(tǒng)的仿真推進。因此，本文提出采用基于多聯邦成員弱分布式數據采集框架，緩解單一成員的I/O讀寫壓力，提高數據采集效率，實現數據采集與承擔計算任務的聯邦成員解耦，保證采集的通用性。

1.2 面向數據采集的負載均衡

為保證分布式系統(tǒng)的高效持續(xù)運行，需要考慮數據采集系統(tǒng)的負載均衡問題。在分布式系統(tǒng)中，仿真數據根據處理邏輯的映射函數被分配到多個有限的處理節(jié)點中進行并行處理。隨著仿真時間不斷推進，如果缺乏有效的采集任務分配策略，持續(xù)產生的數據會造成數據傾斜，從而導致處理節(jié)點的負載不均衡［12-14］。分布式數據流處理系統(tǒng)的負載不均衡大致有兩種原因：① 數據流的高并發(fā)性，即在某一時刻，大量數據快速涌入系統(tǒng)，導致系統(tǒng)不能及時處理所有數據，造成處理節(jié)點的超載。Tatbul等［15］針對該問題提出對系統(tǒng)數據進行卸載，并且在數據卸載的過程中協(xié)調節(jié)點以保證系統(tǒng)正常運轉，但這個解決方法需要大量資源來保證卸載的數據不會對系統(tǒng)性能造成影響，進而降低系統(tǒng)的服務質量;鄧華鋒等［16］通過調整集群中物理節(jié)點的數量來緩解單節(jié)點處理壓力，并保持在調整節(jié)點過程中各個節(jié)點的負載動態(tài)均衡。② 由數據傾斜引起的負載均衡問題，這類問題只能通過將數據從高負載節(jié)點、或者超載節(jié)點遷移至低負載節(jié)點。Gedik等［17］使用一個較小的路由表來保證語義的一致性，采用基本映射函數加路由表的策略分發(fā)數據;唐穎峰等［18］考慮最小化路由遷移代價和路由表的長度來保證系統(tǒng)負載均衡;Robson等［19］考慮組成分布式系統(tǒng)資源的異構性以及在非共享資源上運行的外部后臺負載，采用分層結構來采集資源集群數據和聯邦成員的本地數據，以減少監(jiān)控開銷，再根據分區(qū)策略對負載資源進行過濾，針對計算負載和通信負載進行資源再分配和負載遷移，以實現動態(tài)均衡。

在分布式系統(tǒng)中，當前的研究主要從網絡結構調整和負載遷移實現數據采集系統(tǒng)的負載均衡。在基于HLA的數據采集系統(tǒng)中，其網絡結構固定為軟總線形式，不能動態(tài)調整。因此，本文提出在弱分布式數據采集框架的基礎上，將數據采集成員視為一個子系統(tǒng)，以該系統(tǒng)負載均衡作為優(yōu)化目標，為各個采集成員分配任務。

2 問題分析與建模

不同聯邦成員之間基于公布/訂購機制通過中間件進行互聯互操作，多聯邦成員的數據采集是采用多個聯邦成員共同承擔采集任務，以避免采集成員由于解析或轉存數據不及時導致在單個步長內不能完成采集任務的情況。因此，考慮將多聯邦成員作為一個分布式的數據采集系統(tǒng)，對系統(tǒng)中的采集節(jié)點進行任務分配，以保證整個系統(tǒng)的高效持續(xù)運行。

2.1 問題分析

為了避免集中式數據采集與強分布式數據采集在處理海量仿真數據時存在的問題，本文采用弱分布式數據采集方法。在聯邦運行前，若干個聯邦成員按照既定策略通過可拓展標記語言（extensible markup language， XML）配置文件組織聯邦運行過程中的數據采集。

因此，在聯合作戰(zhàn)仿真中，弱分布式數據采集方法能有效避免帶寬資源的瓶頸問題。隨著仿真時間的不斷推進，仿真中持續(xù)產生的海量數據通過聯邦中有限的采集成員并行處理，不同成員完成不同的采集任務。若某一成員需要完成的采集量巨大，就出現了數據傾斜現象。數據傾斜會造成采集成員的負載不均衡，系統(tǒng)出現采集成員空轉或超載的現象。所以，對于多采集節(jié)點的分布式數據采集，采集節(jié)點的負載不均衡則會直接影響到基于HLA的大規(guī)模分布式仿真的性能。

2.2 問題建模

2.2.1 問題描述

本文研究的是基于HLA的弱分布式數據采集問題，通過實現數據采集任務在不同采集成員上的恰當分配，使系統(tǒng)的性能指標達到最優(yōu)。一方面，機器空轉會導致能源的浪費，增加用戶的管理成本;另一方面，多個數據采集成員間不均衡的負載分布會顯著降低系統(tǒng)的整體性能。為此，本文考慮同時最小化采集成員的數量以及采集成員間負載的方差。

2.2.2 假設條件

考慮到實驗的必要條件，在不影響仿真效果可信性的前提下，本文作出以下假設：

（1） 仿真節(jié)點有相同的負載限制，通信線路有帶寬限制，節(jié)點的采集速度是確定且事先已知的;

（2） 在HLA中，數據以類型為單位被公布和訂購，每類數據被視為為一個數據包，且每個數據包只能分配給一個仿真節(jié)點;

（3） 多個任務可分配給一個仿真節(jié)點，同一個仿真節(jié)點內的仿真任務之間不需要進行通信;

（4） 不同數據包的計算開銷在不同節(jié)點上是相等的，任務間的通信負載在不同仿真節(jié)點上是相等的。

2.2.3 問題建模

基于上述假設條件，本文使用表1中的符號將問題形式化描述為多目標優(yōu)化問題。

本文模型的目標為最小化聯邦成員采集任務負載量的方差以及完成采集任務的聯邦成員數量，即最小化以下目標函數：

min z=∑mj=1（xj－L-）2（1）

min m（2）

s.t. 0≤xj≤t·v·T， j=1，2，…，m（3）

∑ni=1L（Ki）=∑mj=1xj（4）

目標函數式（1）表示采集成員之間的負載方差，目標函數式（2）表示采集的聯邦成員數量，式（3）表示每個聯邦成員在仿真時間內能完成分配的任務數據量，等式約束式（4）表示各類數據的總量等于聯邦成員采集的數據總量，保證了數據采集的完整性。

3 求解算法

為實現快速求解，且保證解的質量，本文采用智能優(yōu)化算法解決上述問題。

3.1 典型智能優(yōu)化算法

帶精英策略的NSGA-II是通過外部集合法保留精英個體的多目標進化算法，該方法通過將種群分層，按照后代之間的支配關系保留那些具有絕對優(yōu)勢的精英解作為下一代交叉變異的父代［20］。由于其自身的魯棒性以及過程簡單的特點，該算法適用于大規(guī)模、多峰態(tài)函數、含離散變量等情況下的全局優(yōu)化問題。NSGA-II采用的快速非支配排序算法能夠有效降低計算復雜度;擁擠度比較算法可以擴展Pareto域，進而保持種群的多樣性;所引入的精英選擇策略則能夠避免算法的早熟，提高優(yōu)化結果的精度［21-22］。

多目標粒子群優(yōu)化（multiple objective particle swarm optimization， MOPSO）算法是群體智能算法的典型代表，利用空間中個體的最佳位置和全局最佳位置，通過在搜索空間中迭代更新粒子的位置和速度找出全局的最優(yōu)解。該算法具有個體數量少、實現簡單等特點，在求解復雜問題時有較強的優(yōu)越性［23-25］。

基于分解的多目標進化算法（multi-objective evolutionary algorithm based on decomposition， MOEA-D）是一類模擬生物進化機制形成的全局性概率優(yōu)化搜索方法，該方法將多目標優(yōu)化問題分解成多個單目標優(yōu)化問題進行求解，每個單目標問題利用其鄰居信息進行優(yōu)化更新，最后只保留一個最優(yōu)解［26-29］。

加強帕累托進化算法（strength Pareto evolutionary algorithm， SPEA-2）與NSGA-II算法類似，都是受生物進化理論啟發(fā)的智能優(yōu)化算法，通過裁剪操作控制外部歸檔集的數量，并獲得分布均勻的怕累托前沿，不僅運算速度快，還通過計算種群個體間密度，保證算法的穩(wěn)健性，獲得離散的解集［30］。

本文提出基于HLA弱分布式數據采集的任務分配策略，給出主流的多目標優(yōu)化算法NSGA-II對該問題的求解過程，同時采用MOPSO、MOEA-D和SPEA-2求解進行對比。

3.2 算法設計

本文針對基于HLA弱分布式數據采集的任務分配策略問題，從編碼規(guī)則、算法流程和約束處理3個方面進行求解。

3.2.1 編碼規(guī)則

本文采用整數編碼方式對每類數據分配到的采集成員編號進行編碼，編碼序列的位置表示數據類型號，序列的數字表示分配的采集成員編號。例如，將10類數據分配給采集成員1號到采集成員4號中的任意一個或多個成員進行采集。如圖4所示，10類數據分配給采集節(jié)點的編碼序列為［3 1 4 2 3 1 3 2 4 4］，表示1號采集成員完成第2類和第6類數據采集任務，2號采集成員采集第4類和第8類數據，3號采集成員采集第1類、第5類和第7類數據，4號成員采集第3類、第9類和第10類數據。

采集成員分配的任務的解碼與編碼互為逆過程，其解映射為負載均衡問題，每個仿真節(jié)點的分配任務用10×4矩陣的形式表示，每一行對應采集節(jié)點的采集任務，即第k行代表節(jié)點k需要采集的數據類型。

3.2.2 算法流程

對于每類數據而言，首先按照節(jié)點的閑置情況，尋找擁有最大處理能力的采集節(jié)點，判斷該節(jié)點是否達到了最大處理上限。如果沒有，則將此類數據的采集任務分配給該節(jié)點;否則進一步尋找合適的采集節(jié)點，其計算過程如算法1所示。

數據類型列表中存放各個數據類型對應的數據量，采集成員列表保存采集成員的編號，資源列表中存放各個采集成員的資源上限。算法的基本流程如下：① 初始化每個數據類型列表中的數據量，采集成員號和各個采集成員的剩余資源數（步驟1～步驟3）;② 遍歷每一種數據類型，尋找合適的采集成員：對各類數據匹配采集成員，初始化各采集成員在同類數據下的訪問標識（步驟5～步驟6）;③ 如果當前采集節(jié)點的剩余資源不足以提供給該類數據，則跳出循環(huán)，尋找下一采集節(jié)點（步驟7～步驟8）;否則將該類數據的采集任務分配給當前采集成員（步驟9～步驟11）。當全部類型的數據的采集任務都分配給采集成員后，返回任務分配列表。

3.2.3 約束處理

本文在MOPSO和NSGA-II中采用基于約束違背度的支配關系機制［31］，在MOEA-D中采用基于懲罰的邊界交叉方法［32］，在SPEA-2中通過適應度分配和種群修建來淘汰不可行解［33-34］。當種群中的一個解是非支配解時，則將其保留，并剔除不可行的解。通過迭代將種群中的個體分層，計算每層個體的擁擠度，確?？尚薪獾亩鄻有浴?/p>

4 仿真實驗與結果分析

本文主要從算法選擇實驗和策略驗證實驗進行分析。

4.1 實驗樣本與參數設置

假設采集成員的處理速度為v=1 000 KB/s，仿真步長為t=0.01 s，仿真步長數為T=60 000，數據發(fā)布頻率同仿真步長一致，即每個步長公布相同規(guī)模的數據。樣本實例如表2所示，各類數據的數據量是［0，300 000］之間的隨機數。

本文采用NSGA-II與MOPSO、MOEA-D和SPEA-2對弱分布式數據采集任務分配問題進行求解，其參數設置如表3～表5所示，其中種群數量為200，最大迭代次數為10 000，而且NSGA-II和SPEA-2參數設置相同（見表3）。

4.2 算法選擇

4.2.1 性能指標

針對本文的研究問題，本文選擇超體積（hyper volume， HV）度量和運行時間來評估不同算法在本文問題中的實驗效果，其中HV可以同時評估占優(yōu)解集的收斂性和多樣性。HV值越大，表示該算法解決該問題效果更好，其計算如下所示：

HV（X，P）=∪Xx∈Xv（x，P）（5）

式中：v（x，P）表示非占優(yōu)解集X中的解x與參考點P之間形成空間的超體積;運行時間用來評價算法運行的效率。在本文的實驗中，參考點P選取的是在表2的3種不同規(guī)模問題中分別進行30次實驗得到的所有非支配解在各個目標函數值上的最大值組成。

4.2.2 實驗設計

本文主要考慮在滿足HLA現實約束的情況下，尋找具有完備性的分配方案以實現高效的數據采集。因此，針對表2中的樣本，本文采用解決多目標優(yōu)化問題的4種啟發(fā)式算法設計仿真實驗，其參數如表3～表5所示。同時，對4種算法的HV值進行Wilcoxon秩和檢驗。

4.2.3 結果分析

表6列出了4種算法在3種不同規(guī)模問題下分別進行30次獨立性實驗的結果，即HV值包括30次獨立性實驗的平均值及標準差。將NSGA-II所得HV值與其他3種算法實驗所得HV值在0.05顯著性水平下進行Wilcoxon 秩和檢驗。表6中使用“+”“-”或“≈”表示對比算法優(yōu)于、劣于或約等于NSGA-II。

從表6中可以看出，在算例1和算例2的情況下，通過Wilcoxon秩和檢驗，NSGA-II與MOPSO、SPRA-2無顯著差異，因此可以從算法耗時進行算法選擇，NSGA-II比MOPSO、SPEA-2需要的算法耗時少了一個數量級。NSGA-II與MOEA-D存在顯著差異，NSGA-II的HV均值大于MOEA-D，尤其在算例1下，其差異超過了一個數量級。在算例3下，NSGA-II與其他3種算法都存在顯著差異，從HV均值及標準差上考慮，NSGA-II的實驗效果優(yōu)于MOEA-D，且與SPEA-2取得的效果相近，略差與MOPSO;從算法耗時上看，NSGA-II略優(yōu)于SPEA-2，且優(yōu)于MOPSO。

綜上考慮，NSGA-II算法是本文研究問題較優(yōu)的求解算法。

4.3 策略驗證

為了驗證數據采集任務分配策略在真實系統(tǒng)中的性能，本文提出3個指標衡量數據采集的效率和資源利用率，并在真實系統(tǒng)中驗證基于NSGA-II算法的數據采集任務分配策略具備提升采集效率以及節(jié)約CPU以及內存資源的效果。

4.3.1 性能指標

本文特別關注多成員協(xié)同數據采集過程的能源消耗和負載均衡問題。因此，在對算法進行分析比較時，采用了3個不同的具體評價指標，具體如下。

（1） 采集效率提升率

該指標為優(yōu)化前后采集效率的改進量，用ΔV表示，計算如下所示：

ΔV=VNSGA－II－VconVcon×100%（6）

式中：VNSGA－II表示采用NSGA-II分配采集策略后的采集效率;Vcon表示集中式數據采集的采集效率。采集效率定義為單個仿真步長內采集的數據量。

（2） 中央處理器（central processing unit， CPU）利用率

該指標為優(yōu)化前后CPU平均利用率的改進量，用ΔR表示，計算如下所示：

ΔR=Rcon－RNSGA－II（7）

式中：RNSGA－II表示采用NSGA-II分配采集策略后的CPU利用率;Rcon表示集中式數據采集的CPU利用率。CPU利用率可通過系統(tǒng)的性能監(jiān)視器獲取仿真運行期間數據采集線程的CPU利用率。

（3） 內存占用率降低的百分比

該指標為優(yōu)化前后空閑時間內存消耗的百分比，用ΔM表示，計算如下所示：

ΔM=Mcon－MNSGA－IIMNSGA－II×100%（8）

式中：MNSGA－II表示采用NSGA-II分配采集策略后的內存占用率;Mcon表示集中式數據采集的內存占用率。內存占用率通過從系統(tǒng)的性能監(jiān)視器獲取仿真運行期間數據采集線程的內存占用率。

4.3.2 實驗設計

在HLA仿真平臺中，公布4組規(guī)模不同的10類數據，各類數據在每個仿真步長中公布的數據量不同，表7所示為不同規(guī)模的10類數據，其單位為MB。選擇規(guī)模最大的第4組數據，根據表3的參數，將以下10類數據分配給4個成員中的部分成員完成采集。

4.3.3 結果分析

在真實HLA仿真平臺上，考慮上述具體評價指標——采集效率提升率、CPU利用率、內存占用率，將單一節(jié)點的集中式采集與基于NSGA-II的弱分布式數據采集進行對比。

（1） 采集效率提升率

基于HLA仿真平臺對表7中的4組數據進行實驗。依據最優(yōu)策略，并加入隨機分配的采集策略進行對比實驗。在仿真時間600 s內，根據式（7）計算可得采集效率結果如表8所示。

表8中，不同算例表示不同規(guī)模的數據量，在600 s的采集時間情況下，弱分布式采集的數據量大于集中式采集的數據量，因此基于NSGA-II弱分布式數據采集的效率總體優(yōu)于集中式采集的效率，且在特定情況下能獲得超過17%的性能提升。

（2） CPU利用率

根據式（7）可求出，在規(guī)模1～4情況下，CPU的利用率如表9所示。

由于采集成員是多線程實現的，因此其CPU利用率超過100%。不管在多大數據規(guī)模下，采用基于NSGA-II的分布式數據采集方案下的CPU平均利用率都比集中式數據采集低，即采用NSGA-II的分布式數據采集會消耗更少的CPU周期，如圖5所示?？梢钥闯觯诜植际江h(huán)境下數據采集對CPU的消耗相較于集中式數據采集更低，尤其在大規(guī)模數據環(huán)境中，對比結果更為明顯。

（3） 內存占用率降低的百分比

根據式（8）可求出，在規(guī)模1～規(guī)模4情況下，內存降低百分比如表10所示。不管在多大數據規(guī)模下，采用NSGA-II的分布式數據采集會占用更少的內存。

從圖6中可看出，在內存消耗上，采用分布式數據采集比集中式數據采集更加節(jié)省內存。隨著需要采集的數據規(guī)模不斷增大，采用分布式數據采集對單個采集成員而言，其內存消耗的變化幅度更小，即單個采集成員能更好地維持高效采集工作。

5 結束語

本文對HLA的傳統(tǒng)數據采集方式進行改進，提出采用多聯邦成員協(xié)同弱分布式采集框架，彌補了傳統(tǒng)采集方式的缺點，在保證數據采集完整性的基礎上，提升了采集的效率。此外，本文在分布式數據采集系統(tǒng)的基礎上，建立了一個整數規(guī)劃模型，以最小化成員數量和任務負載均衡為目標，采用NSGA-II對模型進行求解。仿真實驗表明，本文提出的將NSGA-II制定分布式數據采集策略，一方面能在問題規(guī)模較大的情況下，保證了采集成員的性能穩(wěn)定，避免出現節(jié)點崩潰導致數據丟失的情況，另一方面能最大限度地減少系統(tǒng)中不必要的開銷，切實提升基于HLA系統(tǒng)的效率。

本文所建立的模型還存在一定的局限性，未考慮通信負載的影響等問題，下一步工作將針對系統(tǒng)通信、網絡延遲等問題進行動態(tài)負載研究，尋求新的解決方案。

參考文獻

［1］ HAN J W， KAMBR M. Data mining-concepts and techniques［M］. San Fransisco： Morgan Kaufmann， 2001.

［2］ FALCONE A， GARRO A. Distributed co-simulation of complex engineered systems by combining the high level architecture and functional mock-up interface［J］. Simulation Modelling Practice and Theory， 2019， 97： 101967.

［3］ IEEE 1516. 1-2010 redline version， IEEE standard for modeling and simulation （Mamp;S） high level architecture （HLA）-fede-rate interface specification-redline［S］. New York： IEEE， 2010.

［4］ MAGOUA J J， WANG F， LI N. High level architecture-based framework for modeling interdependent critical infrastructure systems［J］. Simulation Modelling Practice and Theory， 2022， 118： 102529.

［5］ 宋恒杰， 楊明， 王子才. 基于HLA的仿真數據記錄系統(tǒng)研究［J］. 系統(tǒng)工程與電子技術， 2005， 27（3）： 505-507， 544.

SONG H J， YANG M， WANG Z C. Data collection system for HLA-based simulation［J］. Systems Engineering and Electronics， 2005， 27（3）： 505-507， 544.

［6］ 吳躍平. 基于HLA的數據記錄與回放系統(tǒng)的研究與實現［D］. 成都： 西南交通大學， 2012.

WU Y P. The research and implementation of HLA-based data recording and playback system［D］. Chengdu： Southwest Jiaotong University， 2012.

［7］ 鞠儒生， 喬海泉， 邱曉鋼， 等. HLA仿真結果數據庫設計及其應用研究［J］. 系統(tǒng)仿真學報， 2006， 18（2）： 327-330.

JU R S， QIAO H Q， QIU X G， et al. Research on design and application of HLA simulation result database［J］. Journal of System Simulation， 2006， 18（2）： 327-330.

［8］ WANG W G， XU Y P， CHEN X， et al. High level architecture evolved modular federation object model［J］. Journal of Systems Engineering and Electronics， 2009， 20（3）： 625-635.

［9］ 張柯， 張新宇， 鞠儒生， 等. 基于HLA的分布仿真系統(tǒng)數據采集解決方案［J］. 系統(tǒng)仿真學報， 2004， 16（12）： 2725-2728.

ZHANG K， ZHANG X Y， JU R S， et al. Solution of data collection in HLA［J］. Journal of System Simulation， 2004， 16（12）： 2725-2728.

［10］ 劉慶國. HLA訓練仿真系統(tǒng)數據記錄與回放的設計和實現［J］. 火力與指揮控制， 2014， 39（10）： 121-125.

LIU Q G. The design and implementation of data recording and playback in a HLA-based tactical simulation system［J］. Fire Control and Command Control， 2014， 39（10）： 121-125.

［11］ 張柯， 張新宇， 鞠儒生， 等. 基于HLA的分布仿真系統(tǒng)數據采集解決方案［J］. 系統(tǒng)仿真學報， 2004， 16（12）： 2725-2728.

ZHANG K， ZHANG X Y， JU R S， et al. Solution of data collection in HLA［J］. Journal of System Simulation， 2004， 16（12）： 2725-2728.

［12］ PAULINE A， WILCOX A G. BURGER P H. Investigating the impact of simulation communication patterns on distributed data collection strategies［C］∥Proc.of the Spring Simulation Interoperability Workshop， 1999.

［13］ DROUGAS Y， REPANTIS T， KALOGERAKI V. Load ba-lancing techniques for distributed stream processing applications in overlay environments［C］∥Proc.of the IEEE 19th International Symposium on Object and Component-Oriented Real-Time Distributed Computing， 2006.

［14］ TONG R X， ZHU X F. A load balancing strategy based on the combination of static and dynamic［C］∥Proc.of the 2nd International Workshop on Database Technology and Applications， 2010.

［15］ TATBUL N， ZDONIK S. Dealing with overload in distributed stream processing systems［C］∥Proc.of the 22nd International Conference on Data Engineering Workshops， 2006.

［16］ 鄧華鋒， 劉云生， 肖迎元. 分布式數據流處理系統(tǒng)的動態(tài)負載平衡技術［J］. 計算機科學， 2007， 34（7）： 120-123.

DENG H F， LIU Y S， XIAO Y Y. Dynamic load balancing techniques for the distributed stream processing systems［J］. Computer Science， 2007， 34（7）： 120-123.

［17］ GEDIK B. Partitioning functions for stateful data parallelism in stream processing［J］. The International Journal on Very Large Data Bases， 2014， 23（4）： 517-539.

［18］ 唐穎峰， 陳世平. 分布式數據流處理系統(tǒng)管理中負載均衡問題建模與求解［J］. 運籌與管理， 2021， 30（4）： 155-162.

TANG Y F， CHEN S P. Modeling and solution for load balancing optimization in distributed stream processing system management［J］. Operations Research and Management Science， 2021， 30（4）： 155-162.

［19］ ROBSON E， GRANDE D， BOUKERCHE A. dynamic balancing of communication and computation load for HLA-based simulations on large-scale distributed systems［J］. Journal of Parallel and Distributed Computing， 2011， 71（1）： 40-52.

［20］ 馬武彬， 王銳， 王威超， 等. 基于進化多目標優(yōu)化的微服務組合部署與調度策略［J］. 系統(tǒng)工程與電子技術， 2020， 42（1）： 90-100.

MA W B， WANG R， WANG W C， et al. Micro-service composition deployment and scheduling strategy based on evolutionary multi-objective optimization［J］. System Engineering and Electronics， 2020， 42（1）： 90-100.

［21］ 柳強， 毛莉. 基于NSGA-II的油氣管網多目標布局優(yōu)化［J］. 控制工程， 2019， 26（2）： 308-313.

LIU Q， MAO L. Multi-objective layout optimization of oil-gas pipeline network based on NSGA-II［J］. Control Engineering of China， 2019， 26（2）： 308-313.

［22］ BHARGAV G， VIMAL S， VIVEK P. Multi-objective optimization of vehicle passive suspension system using NSGA-II， SPEA2 and PESA-II［J］. Procedia Technology， 2016， 23： 361-368.

［23］ 陳通. 基于MOPSO算法的虛擬機動態(tài)整合策略研究［D］. 西安： 西安電子科技大學， 2021.

CHEN T， Research of dynamic integration strategy of virtual machine based on MOPSO algorithm［D］. Xi’an： Xidian University， 2021.

［24］ AHMED B， OSSAMA M， ANAS S. A MOPSO algorithm based on Pareto dominance concept for comprehensive analysis of a conventional adsorption desiccant cooling system［J］. Journal of Building Engineering， 2022， 60： 105189.

［25］ 何羚， 舒文江， 陳良. 改進的多目標粒子群優(yōu)化算法及其在雷達布站中的應用［J］. 電子科技大學學報， 2020， 49（6）： 806-811.

HE L， SHU W J， CHEN L， et al. Improved multi-objective particle swarm optimization algorithm and its application in radar station distribution［J］. Journal of University of Electronic Science and Technology of China， 2020， 49（6）： 806-811.

［26］ 邵苗苗. 改進的MOEA/D算法在雙目標投資組合問題中的應用［D］. 武漢： 華中師范大學， 2021.

SHAO M M. An improved MOEA/D and application in bi-objective portfolio problem［D］. Wuhan： Central China Normal University， 2021.

［27］ FERNANDEZ E， RANGEL-VALDEZ N， CRUZ-REYES L， et al. Preference incorporation in MOEA/D using an outranking approach with imprecise model parameters［J］. Swarm and Evolutionary Computation， 2022， 72： 101097.

［28］ CAO J， ZHANG J L， ZHAO F Q， et al. A two-stage evolutionary strategy based MOEA/D to multi-objective problems［J］. Expert Systems with Applications， 2021， 185： 115654.

［29］ JIAO R W， ZENG S Y， LI C H， et al. Two-type weight adjustments in MOEA/D for highly constrained many-objective optimization［J］. Information Sciences， 2021， 578： 592-614.

［30］ 孟勤超， 楊翠麗， 喬俊飛. 基于改進SPEA2算法的給水管網多目標優(yōu)化設計［J］. 智能系統(tǒng)學報， 2018， 13（1）： 118-124.

MENG Q C， YANG C L， QIAO J F. Multi-objective optimization design of water distribution systems based on improved SPEA2 algorithm［J］. CAAI Transactions on Intelligent Systems， 2018， 13（1）： 118-124.

［31］ GU Q H， BAI J M， LI X X， et al. A constrained multi-objective evolutionary algorithm based on decomposition with improved constrained dominance principle［J］. Swarm and Evolutionary Computation， 2022， 75： 101162.

［32］ 華東師范大學. 一種基于罰函數交叉邊界法的多目標自適應分類方法及系統(tǒng)［P］. 中國： CN202110884575.4， 2021-11-23.

East China Normal University. A multi object adaptive classification method and system based on penalty function cross boundary method［P］. China： CN202110884575.4， 2021-11-23.

［33］ SEBASTIN L， LORENA P， IIRO P， et al. Multi objective optimization of a continuous kraft pulp digester using SPEA2［J］. Computers amp; Chemical Engineering， 2020， 143： 107086.

［34］ 孫克乙. 基于多任務遷移演化學習的超多目標優(yōu)化［D］. 大連： 大連理工大學， 2019.

SUN K Y. Many-objective optimization based on evolutionary multi-tasking and transfer learning［D］. Dalian： Dalian University of Technology， 2019.

作者簡介

王佩騏（1994—），女，碩士研究生，主要研究方向為分布式仿真。

鞠儒生（1976—），男，研究員，博士，主要研究方向為分布式仿真測試與評估、智能控制及其應用。

張 淼（1994—），男，助理研究員，博士研究生，主要研究方向為系統(tǒng)仿真、云仿真。

段 偉（1983—），男，副教授，博士，主要研究方向為系統(tǒng)仿真。