摘要：針對PolSARpro軟件自帶高分三號數(shù)據(jù)轉(zhuǎn)換模塊無法自適應(yīng)分布式差異化硬件環(huán)境問題，提出了一種按照該軟件的數(shù)據(jù)格式要求進行分布式自適應(yīng)負載均衡并行轉(zhuǎn)換算法，將高分三號多極化數(shù)據(jù)快速精確定標(biāo)及格式轉(zhuǎn)換，對不同硬件配置環(huán)境自適應(yīng)，能夠抗數(shù)據(jù)偏斜，并且通過KingMapV10.5平臺實現(xiàn)了算法并在實際數(shù)據(jù)中進行測試，試驗結(jié)果表明性能提升了約12.7倍，驗證了算法的可行性、高效性和正確性。

關(guān)鍵詞：高分三號合成孔徑雷達自適應(yīng)負載均衡分布式并行計算

中圖分類號：P237

AdaptiveDistributedLoadBalancingParallelConversionAlgorithmofGF-3Data

YAOShulin*

XiamenKingtopInformationTechnologyCo.，Ltd.，XiamenCity，F(xiàn)ujianProvince，361008China

Abstract：InresponsetotheissuesofPolSARprosoftware'sbuilt-inGF-3dataconversionmodulebeingunabletoadapttodistributeddifferentiatedhardwareenvironments，this paperproposesadistributedloadbalancingparallelconversionalgorithmaccordingtothedataformatrequirementsofitssoftware，whichcanquicklyandaccuratelycalibrateandconvertGF-3multi-polarizationdata，adaptstodifferenthardwareconfigurationenvironments，andcanresistdataskew.andthealgorithmisimplementedontheKingMapV10.5platformandtestedonactualdata.theexperimentalresultsshowthattheperformancehasbeenimprovedbyabout12.7times，whichverifiesthefeasibility，efficiencyandcorrectnessofthealgorithm.

KeyWords：GF-3;SAR;Adaptive;Loadbalancing;DistributedParallelComputing

高分三號03星于2022年4月成功發(fā)射，與高分三號01星、高分三號02星組網(wǎng)運行，三星攜手在太空中織就一張“天眼網(wǎng)”，形成“1+1+1＞3”的應(yīng)用效能，標(biāo)志著我國民用高分辨率SAR衛(wèi)星數(shù)據(jù)由示范應(yīng)用階段正式跨入業(yè)務(wù)化應(yīng)用階段[1-2]。目前PolSARpro軟件雖已集成了高分三號數(shù)據(jù)的導(dǎo)入處理［3］，但數(shù)據(jù)轉(zhuǎn)換效率相對較低。陳云［4?6］給出了基于MPI和OpenMP高效的分布式并行轉(zhuǎn)換算法。陳云［7］采用MapReduce在單機環(huán)境下有更好的性能表現(xiàn)，但并未在分布式環(huán)境下實現(xiàn)?，F(xiàn)有算法都未考慮差異化環(huán)境下多模數(shù)據(jù)偏斜問題。因此，本文提出了高分三號分布式自適應(yīng)負載均衡并行轉(zhuǎn)換方法，通過實際數(shù)據(jù)，驗證算法的自適應(yīng)和抗數(shù)據(jù)偏斜能力，并通過性能對比分析，表明本文方法可以更高效地解決上述問題。

1算法原理

本文主要針對高分三號數(shù)據(jù)L1A產(chǎn)品進行數(shù)據(jù)轉(zhuǎn)換處理。根據(jù)PolSARpro軟件的數(shù)據(jù)格式要求，以及根據(jù)陳云[5]研究中的優(yōu)化推導(dǎo)出中間參數(shù)。

其中，為該景圖像量化前的最大值，可通過元數(shù)據(jù)文件字段獲取。為該景圖像的雷達散射的定標(biāo)系數(shù)，可通過L1A圖像元數(shù)據(jù)文件CalibrationConst字段獲取。則有：

式（2）、式（3）中：和分別為1A級產(chǎn)品實部和虛部，和分別為實部和虛部后向散射系數(shù)。

由于對任意一景高分三號數(shù)據(jù)，都可分配給其中的一個MPI實例，分配復(fù)雜度有，屬于NP難問題。為了快速解決上述問題，提出一種自適應(yīng)高效分配方案。先針對不同的極化工作模式選取常見的標(biāo)準(zhǔn)景數(shù)據(jù)，其在各個MPI上的處理時間作為參考依據(jù)，來簡化分配復(fù)雜度。然后根據(jù)不同的硬件環(huán)境進行分類，通過不同的極化工作模式標(biāo)準(zhǔn)景數(shù)據(jù)在分類后的MPI上的處理時間作為參考依據(jù)，再降低分配復(fù)雜度。最后考慮到多景數(shù)據(jù)和單景標(biāo)準(zhǔn)數(shù)據(jù)的處理時間存在相關(guān)性，假設(shè)其為線性關(guān)系，進一步簡化分配。因此分配規(guī)則簡化如下。

（1）首輪分配規(guī)則。

①基于排序后的處理實例列表，獲取先驗標(biāo)準(zhǔn)景處理時間最少的同級別處理實例，將排序后的高分三號數(shù)據(jù)列表中的高分三號數(shù)據(jù)依次順序分配給先驗標(biāo)準(zhǔn)景處理時間最少的處理實例，每個實例分配1景。

②分別獲取所有已分配的處理實例的累計先驗花費時間；獲取排序后的高分三號數(shù)據(jù)列表中的待處理高分三號數(shù)據(jù)，獲取該景高分三號數(shù)據(jù)分別在已分配的處理實例上的先驗處理時間，以及獲取該景高分三號數(shù)據(jù)在排序后的處理實例列表中的待分配處理實例上的先驗處理時間；分別計算所有已分配的處理實例新的累計花費時間，取最少的花費時間，并記為；如果，則把待處理高分三號數(shù)據(jù)分配給累計花費時間最小的已分配處理實例；否則分配給待分配處理實例；其中，表示已分配的處理實例數(shù)。

③重復(fù)上述過程，直至把所有高分三號數(shù)據(jù)分配完成，或者完成處理實例列表中所有處理實例首輪分配。

（2）次輪分配規(guī)則。

如果進入次輪分配，按處理實例的先驗標(biāo)準(zhǔn)景處理時間及累計時間進行次輪分配，具體敘述如下。

①分別獲取所有已分配的處理實例的累計先驗花費時間；獲取排序后的高分三號數(shù)據(jù)列表中的待處理高分三號數(shù)據(jù)，獲取該景高分三號數(shù)據(jù)分別在已分配的處理實例上的先驗處理時間；分別計算所有已分配的處理實例新的累計花費時間，取最少的花費時間，并記為，把待處理高分三號數(shù)據(jù)分配給該處理實例，并更新該處理實例上的累計花費時間；其中，表示已分配的處理實例數(shù)。

②重復(fù)上述過程，直至把所有高分三號數(shù)據(jù)分配完成。

2算法設(shè)計

本文算法采用上述自適應(yīng)負載均衡分配策略，主要算法流程如下。

（1）分布式環(huán)境配置信息主要包括：獲取每個MPI實例的先驗標(biāo)準(zhǔn)景處理時間，可以先從配置文件中讀取，如果沒有，則采用標(biāo)準(zhǔn)景進行實際測試后獲取初始先驗標(biāo)準(zhǔn)景處理時間（2）獲取所有高分三號待處理數(shù)據(jù)列表。（3）按各個MPI處理實例的先驗標(biāo)準(zhǔn)景處理時間升WZ3+Vviv3z5Nn5gQJIgI7w==序排序。（4）按每景數(shù)據(jù)大小進行降序排序。（5）按上述自適應(yīng)負載均衡分配方法。（6）把上述分配好的待處理任務(wù)派發(fā)給每個MPI實例。（7）每個MPI實例采用MapReduce框架調(diào)用并行轉(zhuǎn)換函數(shù)按景處理，先采用公式（1）計算中間參數(shù)。（8）在并行轉(zhuǎn)換函數(shù)中采用OpenMP按極化方式進行并行處理。（9）具體轉(zhuǎn)換函數(shù)中采用公式（2）和公式（3）進行轉(zhuǎn)換。（10）更新記錄每個MPI實例已完成處理高分三號數(shù)據(jù)總的景數(shù)、累計數(shù)據(jù)量大小以及總的處理時間。（11）為了更準(zhǔn)確地體現(xiàn)先驗標(biāo)準(zhǔn)景處理時間，采用完成的高分三號數(shù)據(jù)處理記錄清空更新初始的先驗標(biāo)準(zhǔn)景處理時間信息。

3算法實例

通過地理信息系統(tǒng)開發(fā)平臺KingMap V10.5進行驗證，平臺是通過C/C++語言實現(xiàn)。平臺運行環(huán)境如下。

計算機配置：操作系統(tǒng)為MicrosoftWindows11專業(yè)版；內(nèi)存為LPDDR4x16.0GB，3733MHz；CPU為11thGenIntel（R）Core（TM）i5-11300H@3.10GHz，四核，8線程；內(nèi)置固態(tài)硬盤為512GB，M.2接口；外置移動硬盤為4TB，5400rpm，USB接口；顯卡為Intel（R）Iris（R）XeGraphics集成顯卡，128M。

為了方便對比測試，在上述電腦上配置兩臺不同配置的虛擬機，操作系統(tǒng)為Win10專業(yè)版，具體如下。

虛擬機1：內(nèi)存為8.0GB；CPU為4核；外置固態(tài)硬盤大小為160GB；虛擬機2：內(nèi)存為4.0GB；CPU為2核；外置移動機械硬盤大小為160GB。

算法程序以4景高分三號全極化條帶I數(shù)據(jù)和2景精細條帶II數(shù)據(jù)（數(shù)據(jù)清單如表1所示）進行轉(zhuǎn)換，先通過標(biāo)準(zhǔn)數(shù)據(jù)測試，虛擬機1每處理1GB平均花費時間為10.389s，虛擬機2每處理1GB花費時間約為258.011s，2臺虛擬機的性能相差約24.8倍。不同算法和不同運行策略下的性能結(jié)果如表2所示。經(jīng)驗證本文算法轉(zhuǎn)換后的全極化條帶I數(shù)據(jù)結(jié)果與PolSARpro軟件生成的結(jié)果一致，精細條帶II類似，表明算法真實可靠。

運行效率分析：采用不同配置的雙機環(huán)境下，基于負載均衡的方法在處理6景在極端條件下共花費約1758.532s，雖然每臺虛擬機都是分配3景，但因配置不同，計算花費的時間不同，差距較大。而本文采用基于MS-MPI、MapReduce和OpenMP混合編程的自適應(yīng)負載均衡方法也同樣處理6景共耗時只需約138.832s，即通過數(shù)據(jù)和計算能力自適應(yīng)負載均衡策略，第一臺性能好的虛擬機分配5景測試數(shù)據(jù)，另一臺性能差的虛擬機僅分配1景測試數(shù)據(jù)，實現(xiàn)每臺虛擬機處理基本負載均衡。因此，雙機分布式環(huán)境下，引入自適應(yīng)負載均衡節(jié)約了1619.7s，性能提升了約12.7倍，效果顯著。本文旨在充分利舊，根據(jù)數(shù)據(jù)的偏斜以及機器性能自適應(yīng)分配合適的MPI計算實例，實現(xiàn)了更快的計算結(jié)果。

4結(jié)語

本文通過簡化計算公式提出了一種基于MPI、MapReduce和OpenMP高分三號數(shù)據(jù)分布式自適應(yīng)負載均衡并行轉(zhuǎn)換算法。該算法已在地理信息系統(tǒng)開發(fā)平臺KingMapV10.5上編程實現(xiàn)并進行實際數(shù)據(jù)測試，驗證了算法的可靠性、準(zhǔn)確性、高效性、易擴展性、硬件配置自適應(yīng)和抗數(shù)據(jù)偏斜能力。當(dāng)然，本文也存在不足之處，因硬件利舊，發(fā)生故障的可能性更大，有待考慮異常處理等問題，將在另文討論。

參考文獻

［1］ 張未，劉錦洋，張?zhí)m蘭，等.03星發(fā)射高分三號系列衛(wèi)星織就太空“天眼網(wǎng)”[N].科技日報，2022-04-08（1）.

［2］ 國家國防科技工業(yè)局重大專項工程中心，國家航天局對地觀測與數(shù)據(jù)中心.2018中國高分衛(wèi)星應(yīng)用國家報告（共性產(chǎn)品卷）［M］.北京：國防科工局重大專項工程中心，2018.

［3］ POTTIERE.PolSARprov6.0（BiomassEdition）Software[EB/OL].（2021-05-01）[2024-04-26].https：//ietr-lab.univ-rennes1.fr/polsarpro-bio/.

［4］ 陳云，鞠佳衡，林偉木，等.一種高分三號復(fù)數(shù)散射矩陣數(shù)據(jù)快速轉(zhuǎn)換算法［J］.測繪與空間地理信息，2022，45（3）：50-52.

［5］ 陳云.基于OpenMP的高分三號數(shù)據(jù)并行轉(zhuǎn)換算法［J］.測繪與空間地理信息，2022，45（6）：85-86，91.

［6］ 陳云.基于MPI和OpenMP混合編程的高分三號數(shù)據(jù)分布式并行轉(zhuǎn)換算法［J］.測繪與空間地理信息，2024，47（2）：43-45，49.

［7］ 陳云.基于MapReduce的VCT3.0多圖層面間接線并行構(gòu)建算法［J］.測繪地理信息，2022，47（3）：157-160.