張晨浩，肖利民，秦廣軍，宋堯，蔣世軒，王繼業(yè)

1. 軟件開(kāi)發(fā)環(huán)境國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100191；2. 北京航空航天大學(xué)計(jì)算機(jī)學(xué)院，北京 100191；3. 北京聯(lián)合大學(xué)智慧城市學(xué)院，北京 100101；4. 國(guó)家電網(wǎng)有限公司大數(shù)據(jù)中心，北京 100031

1 引言

傳統(tǒng)高性能計(jì)算應(yīng)用（如高能物理、氣象預(yù)報(bào)、生物信息等）的計(jì)算和數(shù)據(jù)量大且跨域分布，而且隨著移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新一代信息技術(shù)的蓬勃發(fā)展，新興應(yīng)用（如智慧城市、精準(zhǔn)醫(yī)療等）也不斷產(chǎn)生大量數(shù)據(jù)且這些數(shù)據(jù)分布更加廣泛，從GB級(jí)、TB級(jí)發(fā)展到ZB級(jí)，甚至YB級(jí)。這促使數(shù)據(jù)密集型和計(jì)算密集型任務(wù)的數(shù)據(jù)規(guī)模和計(jì)算規(guī)模逐步增加[1-2]，多中心協(xié)同處理海量數(shù)據(jù)正在成為發(fā)展趨勢(shì)。高性能計(jì)算（high performance computing，HPC）平臺(tái)也從傳統(tǒng)的高性能計(jì)算領(lǐng)域逐步拓展到大數(shù)據(jù)處理領(lǐng)域，可有效滿足大數(shù)據(jù)采集、過(guò)濾、索引、分析、處理所需的硬性要求[3]。為了滿足數(shù)據(jù)處理的更大規(guī)模需求，國(guó)內(nèi)外紛紛投入大量資源建立跨多超級(jí)計(jì)算中心（以下簡(jiǎn)稱(chēng)超算中心）的廣域高性能計(jì)算環(huán)境，旨在提供規(guī)模更大、性能更強(qiáng)的數(shù)據(jù)處理平臺(tái)，以支撐科學(xué)發(fā)現(xiàn)和科技創(chuàng)新。

美國(guó)國(guó)家科學(xué)基金會(huì)的極限科學(xué)與工程發(fā)現(xiàn)環(huán)境（XSEDE）[4]項(xiàng)目旨在將廣域分散自治的多家機(jī)構(gòu)互聯(lián)，并實(shí)現(xiàn)廣域資源共享，以提供更好的科學(xué)研發(fā)環(huán)境。XSEDE[4]可以存儲(chǔ)、管理、處理海量的科學(xué)數(shù)據(jù)，為科學(xué)家提供一站式服務(wù)。作為一個(gè)集成了多種資源的單一虛擬系統(tǒng)，XSEDE[4]匯聚了超算、數(shù)據(jù)分析、數(shù)據(jù)存儲(chǔ)等資源，可支持用戶(hù)共享計(jì)算資源和數(shù)據(jù)，支持任務(wù)通過(guò)高性能計(jì)算機(jī)網(wǎng)絡(luò)快速訪問(wèn)和檢索數(shù)據(jù)，為多個(gè)領(lǐng)域的科學(xué)發(fā)現(xiàn)提供有力支持。歐洲網(wǎng)格基礎(chǔ)設(shè)施（EGI）項(xiàng)目[5]旨在擴(kuò)展歐洲在計(jì)算、存儲(chǔ)、數(shù)據(jù)等方面的重要聯(lián)合服務(wù)能力，使用網(wǎng)格計(jì)算技術(shù)將全歐洲廣域分布的高性能、高吞吐計(jì)算資源聚合起來(lái)，實(shí)現(xiàn)科學(xué)數(shù)據(jù)共享，可為海量的數(shù)據(jù)以及計(jì)算資源提供統(tǒng)一的訪問(wèn)。EGI將不同歐洲國(guó)家的超算中心連接起來(lái)，以支持多學(xué)科聯(lián)合的國(guó)際研究。EGI的子項(xiàng)目OneData[6-7]是一個(gè)全球數(shù)據(jù)管理系統(tǒng)，支持從個(gè)人數(shù)據(jù)管理到數(shù)據(jù)密集型科學(xué)計(jì)算的各種用例，用戶(hù)可以使用全球計(jì)算中心和存儲(chǔ)提供商支持的全球數(shù)據(jù)存儲(chǔ)來(lái)訪問(wèn)、存儲(chǔ)、處理和發(fā)布數(shù)據(jù)。我國(guó)在國(guó)家高技術(shù)研究發(fā)展計(jì)劃（863計(jì)劃）的支持下，依托國(guó)產(chǎn)高性能計(jì)算機(jī)建立了中國(guó)國(guó)家網(wǎng)格（CNGRID）。CNGRID由8個(gè)主節(jié)點(diǎn)連接而成，形成了18萬(wàn)億次的計(jì)算能力，在當(dāng)時(shí)全世界的網(wǎng)格環(huán)境中排名第二[8]?！笆晃濉逼陂g，我國(guó)進(jìn)一步發(fā)展了CNGRID，其計(jì)算能力達(dá)到3 000萬(wàn)億次以上，有效支持了通用科學(xué)、工業(yè)仿真和生物醫(yī)學(xué)等應(yīng)用，促進(jìn)了科學(xué)技術(shù)的發(fā)展[9]。北京航空航天大學(xué)針對(duì)國(guó)家高性能計(jì)算環(huán)境中廣域分散存儲(chǔ)資源的聚合需求以及大型計(jì)算應(yīng)用對(duì)跨域全局虛擬數(shù)據(jù)空間的實(shí)際需要，研發(fā)了一個(gè)可運(yùn)行于國(guó)家高性能計(jì)算環(huán)境的廣域虛擬數(shù)據(jù)空間（global virtual data space，GVDS）軟件系統(tǒng)，解決了長(zhǎng)期困擾我國(guó)高性能計(jì)算環(huán)境發(fā)展的廣域存儲(chǔ)管理和訪問(wèn)的瓶頸問(wèn)題[10-11]。

作為跨域數(shù)據(jù)處理的典型平臺(tái)，EGI、XSEDE、CNGRID等廣域高性能計(jì)算環(huán)境正發(fā)展成進(jìn)行大規(guī)模數(shù)據(jù)存儲(chǔ)和處理的重要基礎(chǔ)設(shè)施，高效地利用廣域高性能計(jì)算環(huán)境支撐大數(shù)據(jù)的存儲(chǔ)管理以及高效處理仍然面臨如下挑戰(zhàn)。

● 挑戰(zhàn)1：如何形成全局?jǐn)?shù)據(jù)空間，進(jìn)而支持廣域分散數(shù)據(jù)的存儲(chǔ)、管理、傳輸、訪問(wèn)的統(tǒng)一管理。

● 挑戰(zhàn)2：如何實(shí)現(xiàn)廣域環(huán)境中數(shù)據(jù)與計(jì)算任務(wù)的協(xié)同調(diào)度，以?xún)?yōu)化多中心存儲(chǔ)與計(jì)算資源的利用，支撐海量數(shù)據(jù)的跨中心高效處理。

針對(duì)挑戰(zhàn)1，筆者所在團(tuán)隊(duì)已經(jīng)研發(fā)了GVDS系統(tǒng)，該系統(tǒng)可聚合廣域分散存儲(chǔ)資源形成全局?jǐn)?shù)據(jù)空間，以支持?jǐn)?shù)據(jù)的統(tǒng)一管理和高效傳輸。針對(duì)挑戰(zhàn)2，本文基于GVDS系統(tǒng)，研究了存儲(chǔ)與計(jì)算協(xié)同調(diào)度策略，并實(shí)現(xiàn)了一個(gè)存算協(xié)同調(diào)度系統(tǒng)，該系統(tǒng)綜合考慮數(shù)據(jù)布局、存算資源狀態(tài)、容量限制等多方面因素，可合理選擇任務(wù)和數(shù)據(jù)的優(yōu)化調(diào)度策略，實(shí)現(xiàn)在廣域范圍內(nèi)高效的計(jì)算任務(wù)分配和數(shù)據(jù)布局，以提高環(huán)境資源利用率，提升應(yīng)用計(jì)算效率。

本文的主要貢獻(xiàn)包括以下3個(gè)方面：

● 研究并實(shí)現(xiàn)了一套包含存算協(xié)同調(diào)度在內(nèi)的調(diào)度方法，以支撐高性能大數(shù)據(jù)的快速分析處理；

● 設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于虛擬數(shù)據(jù)空間的存算協(xié)同調(diào)度系統(tǒng)，可優(yōu)化廣域環(huán)境中的全局資源利用，支持海量數(shù)據(jù)跨域存儲(chǔ)管理與高效處理；

● 系統(tǒng)已部署于國(guó)家高性能計(jì)算環(huán)境中廣域分散的5個(gè)節(jié)點(diǎn)，并形成測(cè)試床，驗(yàn)證了分子對(duì)接、跨域目標(biāo)協(xié)同識(shí)別等典型大型數(shù)據(jù)處理類(lèi)應(yīng)用。

2 研究現(xiàn)狀

現(xiàn)代科學(xué)計(jì)算和實(shí)驗(yàn)已變得十分復(fù)雜，工程仿真、高能物理、氣象領(lǐng)域、基因測(cè)序研究等產(chǎn)生的數(shù)據(jù)量可達(dá)數(shù)百TB[12]，生產(chǎn)生活中的移動(dòng)互聯(lián)網(wǎng)、社交媒體等也每天產(chǎn)生海量的數(shù)據(jù)。采用分布式資源為大數(shù)據(jù)處理提供所需的計(jì)算能力和存儲(chǔ)能力逐漸成為大數(shù)據(jù)處理的重要選擇，但是，如何充分利用這些海量資源、發(fā)揮存儲(chǔ)與計(jì)算資源的綜合效用仍然是一個(gè)亟待解決的問(wèn)題[13]。存儲(chǔ)與計(jì)算的協(xié)同調(diào)度是解決該問(wèn)題的重要方法之一。通過(guò)感知資源分布、數(shù)據(jù)分布、計(jì)算需求等，依據(jù)數(shù)據(jù)訪問(wèn)特征和計(jì)算特征來(lái)優(yōu)化數(shù)據(jù)布局和任務(wù)布局，可有效地提高跨域存儲(chǔ)與計(jì)算資源的利用率以及海量數(shù)據(jù)的處理效率[10]。

參考文獻(xiàn)[13]設(shè)計(jì)了Condor-G系統(tǒng)，該系統(tǒng)是面向網(wǎng)格的計(jì)算資源調(diào)度系統(tǒng)，采用Globus和Condor使用戶(hù)能夠統(tǒng)一管理多個(gè)域內(nèi)的資源，提供作業(yè)管理、資源選擇、安全性和容錯(cuò)等能力，并提供了管理網(wǎng)格資源的通用接口。針對(duì)大規(guī)模數(shù)據(jù)的訪問(wèn)效率低、可靠性差的問(wèn)題，Kosar T等人[14]開(kāi)發(fā)了Stork數(shù)據(jù)管理系統(tǒng)，通過(guò)感知數(shù)據(jù)使用特征來(lái)進(jìn)行合理的數(shù)據(jù)布局和調(diào)度，以實(shí)現(xiàn)對(duì)廣域環(huán)境中大規(guī)模數(shù)據(jù)的高效訪問(wèn)，同時(shí)利用參考文獻(xiàn)[13]中Condor-G系統(tǒng)提供的管理網(wǎng)格計(jì)算資源通用接口，實(shí)現(xiàn)了對(duì)廣域環(huán)境中存算資源的協(xié)同管理，提高了對(duì)數(shù)據(jù)密集型應(yīng)用的計(jì)算效率。

Zhao L P等人[15]基于超圖分區(qū)的技術(shù)對(duì)廣域環(huán)境中的存儲(chǔ)、計(jì)算、網(wǎng)絡(luò)資源進(jìn)行協(xié)同調(diào)度，減少了廣域環(huán)境中數(shù)據(jù)的傳輸，并且最大限度地縮短了任務(wù)完成時(shí)間，提升了廣域分布式計(jì)算環(huán)境中的數(shù)據(jù)中心整體性能。參考文獻(xiàn)[16]使用任務(wù)竊取技術(shù)使閑置的調(diào)度器通過(guò)從超載的調(diào)度器中調(diào)度任務(wù)來(lái)平衡負(fù)載，實(shí)現(xiàn)了動(dòng)態(tài)負(fù)載均衡的計(jì)算目標(biāo)。參考文獻(xiàn)[17]以數(shù)據(jù)訪問(wèn)熱度為核心因素，在滿足創(chuàng)建數(shù)據(jù)副本的條件下進(jìn)行數(shù)據(jù)副本的優(yōu)化布局，進(jìn)而系統(tǒng)通過(guò)感知數(shù)據(jù)副本的布局信息進(jìn)行任務(wù)的調(diào)度，提高了數(shù)據(jù)處理效率，縮短了任務(wù)完成時(shí)間。參考文獻(xiàn)[18]提出了一種雙邊匹配算法，將任務(wù)與資源進(jìn)行多種屬性間的匹配，之后將任務(wù)調(diào)度到匹配度高的資源，減少了調(diào)度過(guò)程中的開(kāi)銷(xiāo)。參考文獻(xiàn)[19]則以最小化數(shù)據(jù)傳輸為目標(biāo)進(jìn)行任務(wù)的調(diào)度，以減少數(shù)據(jù)傳輸?shù)拈_(kāi)銷(xiāo)。參考文獻(xiàn)[20]提出了一種自適應(yīng)調(diào)度算法，將任務(wù)分配給一定時(shí)間內(nèi)閑置的資源，避免了關(guān)鍵任務(wù)的低效分配，同時(shí)通過(guò)一種消息超前發(fā)送的方法節(jié)省通信時(shí)間，并進(jìn)一步提高整體性能。參考文獻(xiàn)[21]將子任務(wù)按不同規(guī)則分為任務(wù)組，任務(wù)組或單個(gè)任務(wù)被映射到不同的節(jié)點(diǎn)，但缺乏對(duì)任務(wù)所需存儲(chǔ)、計(jì)算資源的考慮，導(dǎo)致任務(wù)和資源的相關(guān)性低，例如將計(jì)算密集的任務(wù)映射到存儲(chǔ)能力強(qiáng)的節(jié)點(diǎn)，或者將數(shù)據(jù)密集的任務(wù)映射到計(jì)算能力強(qiáng)的節(jié)點(diǎn)，最終造成任務(wù)排隊(duì)時(shí)間過(guò)長(zhǎng)或者節(jié)點(diǎn)資源利用不充分等問(wèn)題。

綜上所述，對(duì)廣域環(huán)境中的存儲(chǔ)與計(jì)算進(jìn)行協(xié)同調(diào)度是優(yōu)化資源利用并提升計(jì)算效率的有效方法，但廣域高性能計(jì)算中存儲(chǔ)資源的訪問(wèn)效率仍然較低，存儲(chǔ)與計(jì)算的協(xié)同性較差，難以高效應(yīng)對(duì)廣域高性能計(jì)算環(huán)境中復(fù)雜多變的海量數(shù)據(jù)處理需求，海量數(shù)據(jù)的跨域高效處理需要高效的存算協(xié)同調(diào)度技術(shù)。

3 廣域存算協(xié)同調(diào)度系統(tǒng)

本文基于GVDS研發(fā)了跨域多中心存算協(xié)同調(diào)度技術(shù)和系統(tǒng)，可綜合利用廣域環(huán)境中的存儲(chǔ)和計(jì)算資源，支持?jǐn)?shù)據(jù)與計(jì)算任務(wù)的統(tǒng)一調(diào)度，滿足大數(shù)據(jù)的高效分析處理需求。針對(duì)不同的應(yīng)用場(chǎng)景，在框架中實(shí)現(xiàn)了3種不同策略的調(diào)度方法：存算協(xié)同調(diào)度方法以?xún)?yōu)化系統(tǒng)中的全局資源利用、最小化任務(wù)執(zhí)行時(shí)間為目標(biāo)，實(shí)現(xiàn)了任務(wù)需求與資源能力的高效匹配，可合理地進(jìn)行任務(wù)與數(shù)據(jù)的聯(lián)合調(diào)度，優(yōu)化全局資源利用，降低任務(wù)執(zhí)行時(shí)間；基于負(fù)載均衡策略的調(diào)度方法以?xún)?yōu)化系統(tǒng)整體計(jì)算資源利用、縮短任務(wù)響應(yīng)時(shí)間為目標(biāo)進(jìn)行調(diào)度，實(shí)現(xiàn)了較優(yōu)的系統(tǒng)平均資源利用和任務(wù)完成時(shí)間；基于數(shù)據(jù)局部性的調(diào)度方法以最小化全局?jǐn)?shù)據(jù)傳輸為目標(biāo)進(jìn)行調(diào)度，充分減少了任務(wù)執(zhí)行過(guò)程中的全局?jǐn)?shù)據(jù)傳輸開(kāi)銷(xiāo)，進(jìn)而縮短了系統(tǒng)中的任務(wù)完成時(shí)間?；诒疚难芯康恼{(diào)度策略，以及GVDS提供的全局虛擬數(shù)據(jù)空間，進(jìn)一步實(shí)現(xiàn)了一個(gè)存算協(xié)同調(diào)度系統(tǒng)，將該系統(tǒng)與國(guó)家高性能計(jì)算環(huán)境已有全局作業(yè)調(diào)度系統(tǒng)對(duì)接，形成多級(jí)調(diào)度系統(tǒng)，綜合利用廣域環(huán)境存儲(chǔ)和計(jì)算資源，優(yōu)化全局資源利用，提高計(jì)算效率，支撐大數(shù)據(jù)的高效處理。

3.1 廣域虛擬數(shù)據(jù)空間系統(tǒng)

針對(duì)廣域高性能計(jì)算環(huán)境中存儲(chǔ)與計(jì)算的協(xié)同性差導(dǎo)致的應(yīng)用計(jì)算效率低的問(wèn)題，筆者團(tuán)隊(duì)前期研發(fā)了高性能計(jì)算虛擬數(shù)據(jù)空間系統(tǒng)GVDS[10-11]。GVDS可支持對(duì)跨域分散自治資源的統(tǒng)一管理，為海量數(shù)據(jù)提供高性能、高可靠性存儲(chǔ)，為廣域環(huán)境中的海量數(shù)據(jù)提供全局?jǐn)?shù)據(jù)視圖，可有效支撐應(yīng)用以統(tǒng)一訪問(wèn)模式高效訪問(wèn)廣域分散異構(gòu)的存儲(chǔ)資源，實(shí)現(xiàn)廣域環(huán)境中分布數(shù)據(jù)的跨域共享和協(xié)同處理，以支撐跨多超算中心協(xié)同處理的應(yīng)用運(yùn)行模式。目前，GVDS已在國(guó)家高性能計(jì)算環(huán)境中部署了測(cè)試床，并集成到中國(guó)國(guó)家網(wǎng)格門(mén)戶(hù)網(wǎng)站的“聚合資源運(yùn)行支撐環(huán)境”AROSE平臺(tái)中，用戶(hù)可通過(guò)3種方式登錄GVDS，并使用網(wǎng)格的計(jì)算資源，如圖1所示。

圖1 GVDS與國(guó)家高性能計(jì)算環(huán)境對(duì)接

GVDS可結(jié)合網(wǎng)格環(huán)境提供的全局作業(yè)調(diào)度，綜合利用廣域環(huán)境下的存儲(chǔ)和計(jì)算資源，為跨域多中心存算協(xié)同調(diào)度提供基礎(chǔ)，進(jìn)而優(yōu)化全局資源利用，滿足海量數(shù)據(jù)跨域高效處理的需求，如圖2所示。

圖2 GVDS對(duì)應(yīng)用計(jì)算模式的支撐

3.2 存算協(xié)同調(diào)度策略

為了充分發(fā)揮跨域存儲(chǔ)和計(jì)算資源的效用，滿足海量數(shù)據(jù)高效處理的需求，本文提出了一種數(shù)據(jù)與計(jì)算感知的存算協(xié)同調(diào)度策略。存算協(xié)同調(diào)度指綜合考慮計(jì)算任務(wù)和與數(shù)據(jù)相關(guān)的多種因素，如存儲(chǔ)和計(jì)算資源負(fù)載、數(shù)據(jù)布局情況、網(wǎng)絡(luò)帶寬負(fù)載等，以縮短任務(wù)完成時(shí)間為目標(biāo)，制定數(shù)據(jù)和計(jì)算任務(wù)協(xié)同調(diào)度的最優(yōu)策略。傳統(tǒng)的調(diào)度算法一般從負(fù)載均衡的角度和提高數(shù)據(jù)局部性的角度考慮，本文提出的存算協(xié)同調(diào)度方法則從任務(wù)、數(shù)據(jù)和資源的關(guān)系的角度出發(fā)，以資源與任務(wù)的相關(guān)性為基礎(chǔ)，結(jié)合任務(wù)的優(yōu)先級(jí)、數(shù)據(jù)的訪問(wèn)熱度、資源的負(fù)載情況，得出任務(wù)和數(shù)據(jù)的最佳調(diào)度策略，優(yōu)化任務(wù)的執(zhí)行時(shí)間，以提高廣域高性能計(jì)算環(huán)境中的資源利用，解決任務(wù)與資源不匹配造成的任務(wù)執(zhí)行時(shí)間長(zhǎng)的問(wèn)題。

基于存算協(xié)同的調(diào)度執(zhí)行過(guò)程如圖3所示。用戶(hù)提交任務(wù)到存算協(xié)同調(diào)度系統(tǒng)，調(diào)度計(jì)劃器通過(guò)調(diào)度決策產(chǎn)生任務(wù)調(diào)度計(jì)劃和數(shù)據(jù)調(diào)度計(jì)劃，調(diào)度計(jì)劃會(huì)被發(fā)送到調(diào)度執(zhí)行器；調(diào)度執(zhí)行器調(diào)用底層作業(yè)管理系統(tǒng)和存儲(chǔ)管理系統(tǒng)來(lái)執(zhí)行任務(wù)調(diào)度與數(shù)據(jù)調(diào)度。關(guān)鍵步驟包括調(diào)度決策和執(zhí)行兩個(gè)階段，其中，調(diào)度決策階段將計(jì)算任務(wù)與資源的相關(guān)性作為調(diào)度的決策依據(jù)，結(jié)合任務(wù)的優(yōu)先級(jí)、數(shù)據(jù)副本布局，對(duì)任務(wù)和數(shù)據(jù)進(jìn)行合理的協(xié)同調(diào)度；調(diào)度執(zhí)行階段通過(guò)Slurm的計(jì)算管理器和GVDS的存儲(chǔ)管理器執(zhí)行任務(wù)和數(shù)據(jù)的調(diào)度，同時(shí)依據(jù)數(shù)據(jù)的訪問(wèn)熱度反饋，優(yōu)化數(shù)據(jù)副本布局，以降低后續(xù)任務(wù)執(zhí)行時(shí)的數(shù)據(jù)傳輸開(kāi)銷(xiāo)，提高計(jì)算效率。

圖3 存算協(xié)同調(diào)度的執(zhí)行過(guò)程

3.2.1 調(diào)度決策階段

（1）存算協(xié)同調(diào)度

在廣域高性能計(jì)算環(huán)境中，由于任務(wù)的復(fù)雜性、存儲(chǔ)和計(jì)算資源的多樣性，系統(tǒng)需要合理匹配任務(wù)和資源，以產(chǎn)生合理的調(diào)度策略，縮短任務(wù)處理時(shí)間，提高系統(tǒng)吞吐量。本文提出了一種基于任務(wù)與資源相關(guān)性的協(xié)同調(diào)度方法，通過(guò)余弦相似性計(jì)算任務(wù)向量與資源能力向量的關(guān)系，選擇相關(guān)性最大的任務(wù)和資源，依據(jù)節(jié)點(diǎn)的負(fù)載情況，協(xié)同調(diào)度任務(wù)與數(shù)據(jù)。

設(shè)Q是二元向量，表示任務(wù)q所需的計(jì)算資源和存儲(chǔ)資源，如下所示：

其中，Cq是處理器核數(shù)，表示所需的計(jì)算資源；Sq是運(yùn)行任務(wù)q所需的存儲(chǔ)空間大小。

設(shè)P是二元向量，表示節(jié)點(diǎn)p的計(jì)算能力和存儲(chǔ)能力，如下所示：

其中，CPUp表示節(jié)點(diǎn)p擁有的處理器核數(shù)，即節(jié)點(diǎn)p的計(jì)算能力；sizep表示節(jié)點(diǎn)p的存儲(chǔ)空間總量。

用Rel(q,p)表示任務(wù)q和節(jié)點(diǎn)p的資源相關(guān)性，Rel(q,p)的表示如下：

Rel(q,p)采用余弦函數(shù)來(lái)計(jì)算Q和P的相關(guān)性，值越大，任務(wù)q與節(jié)點(diǎn)p的資源相關(guān)性越大，即如果將任務(wù)與數(shù)據(jù)調(diào)度至該節(jié)點(diǎn)，預(yù)期可以縮短任務(wù)處理時(shí)間。

在實(shí)際使用場(chǎng)景中，如果任務(wù)所需數(shù)據(jù)距離目標(biāo)節(jié)點(diǎn)較遠(yuǎn)，可能會(huì)出現(xiàn)任務(wù)等待數(shù)據(jù)傳輸?shù)那闆r，這時(shí)候會(huì)更加傾向于優(yōu)先處理可訪問(wèn)本地?cái)?shù)據(jù)的任務(wù)，即數(shù)據(jù)傳輸距離會(huì)影響任務(wù)的優(yōu)先級(jí)。因此，本文引入了任務(wù)的優(yōu)先級(jí)，并將其作為任務(wù)與數(shù)據(jù)協(xié)同調(diào)度的因素。設(shè)任務(wù)q的優(yōu)先級(jí)為Priq，如下所示：

設(shè)置調(diào)度決策評(píng)分Scoreq,p表示協(xié)同調(diào)度任務(wù)與數(shù)據(jù)的分值，如式（5）所示，采用優(yōu)先級(jí)Priq對(duì)相關(guān)性Rel(q,p)進(jìn)行加權(quán)，該式表示任務(wù)與資源相關(guān)性越大且任務(wù)的優(yōu)先級(jí)越高，任務(wù)與數(shù)據(jù)被協(xié)同調(diào)度的概率就越高，從而優(yōu)化資源利用并提高任務(wù)的計(jì)算效率：

（2）任務(wù)執(zhí)行前的數(shù)據(jù)副本放置

在廣域高性能計(jì)算環(huán)境中，受限的網(wǎng)絡(luò)帶寬導(dǎo)致數(shù)據(jù)傳輸成本很高，對(duì)于任務(wù)來(lái)說(shuō)，考慮數(shù)據(jù)局部性，即將計(jì)算任務(wù)分配到數(shù)據(jù)所在的節(jié)點(diǎn)是合適的選擇，但是對(duì)于含有大量計(jì)算任務(wù)的應(yīng)用或者被頻繁訪問(wèn)的數(shù)據(jù)來(lái)說(shuō)，如果僅考慮數(shù)據(jù)局部性會(huì)導(dǎo)致某一節(jié)點(diǎn)的計(jì)算負(fù)載過(guò)高、網(wǎng)絡(luò)負(fù)載過(guò)高、排隊(duì)時(shí)間過(guò)長(zhǎng)等，因此，在資源負(fù)載較低或者被頻繁訪問(wèn)的節(jié)點(diǎn)建立數(shù)據(jù)副本是合適的選擇。由Priq可知，數(shù)據(jù)局部性越好，任務(wù)被調(diào)度的優(yōu)先級(jí)越高，因此本文的調(diào)度計(jì)劃器也可基于數(shù)據(jù)訪問(wèn)熱度，在任務(wù)執(zhí)行階段進(jìn)行數(shù)據(jù)副本布局，即在任務(wù)調(diào)度階段，依據(jù)計(jì)算資源的負(fù)載情況，預(yù)先調(diào)度數(shù)據(jù)到指定節(jié)點(diǎn)，以利用數(shù)據(jù)局部性，提升計(jì)算效率。

數(shù)據(jù)的訪問(wèn)熱度由數(shù)據(jù)最近訪問(wèn)的時(shí)間間隔、平均訪問(wèn)時(shí)間間隔決定。定義平均訪問(wèn)時(shí)間間隔為T(mén)i，它反映數(shù)據(jù)被訪問(wèn)的頻率；最近訪問(wèn)的時(shí)間間隔為(li-li-1)，指調(diào)度策略產(chǎn)生時(shí)的數(shù)據(jù)訪問(wèn)時(shí)間li與上次訪問(wèn)該數(shù)據(jù)的時(shí)間的間隔，反映數(shù)據(jù)的訪問(wèn)熱度趨勢(shì)，(li-li-1)越小，表明數(shù)據(jù)正逐漸成為訪問(wèn)熱點(diǎn)。設(shè)數(shù)據(jù)i的訪問(wèn)熱度為Hi，Ki表示訪問(wèn)數(shù)據(jù)i占所有數(shù)據(jù)的比例，則Hi的計(jì)算式如下：

節(jié)點(diǎn)u的負(fù)載U包括節(jié)點(diǎn)的存儲(chǔ)資源負(fù)載和計(jì)算資源負(fù)載，如式（7）所示。其中，UC表示可用的計(jì)算資源比例，US表示可用的存儲(chǔ)資源比例。

本地節(jié)點(diǎn)和遠(yuǎn)程節(jié)點(diǎn)會(huì)根據(jù)節(jié)點(diǎn)的負(fù)載情況以及數(shù)據(jù)的訪問(wèn)熱度判斷是否建立數(shù)據(jù)副本。當(dāng)負(fù)載情況及數(shù)據(jù)的訪問(wèn)熱度符合設(shè)定的閾值范圍時(shí)，即在節(jié)點(diǎn)創(chuàng)建數(shù)據(jù)副本；反之，則不建立。

3.2.2 調(diào)度執(zhí)行階段

（1）執(zhí)行調(diào)度策略

在階段1，調(diào)度計(jì)劃器負(fù)責(zé)產(chǎn)生廣域環(huán)境中任務(wù)需求與資源能力匹配的調(diào)度策略，調(diào)度策略被發(fā)送給調(diào)度執(zhí)行器，調(diào)度執(zhí)行器通過(guò)調(diào)用底層作業(yè)管理系統(tǒng)和存儲(chǔ)管理系統(tǒng)，實(shí)際完成數(shù)據(jù)和計(jì)算任務(wù)的協(xié)同調(diào)度。計(jì)算管理器基于Slurm實(shí)現(xiàn)。Slurm是一個(gè)用于大型計(jì)算節(jié)點(diǎn)集群的高度可伸縮和容錯(cuò)的集群管理器和作業(yè)調(diào)度系統(tǒng)，提供對(duì)計(jì)算資源的監(jiān)視，它將作業(yè)映射到基本的計(jì)算資源，可以實(shí)現(xiàn)計(jì)算任務(wù)的高效調(diào)度；存儲(chǔ)管理器基于GVDS實(shí)現(xiàn)，用于確保數(shù)據(jù)在廣域范圍內(nèi)的統(tǒng)一管理、訪問(wèn)和傳輸。

（2）任務(wù)完成后的數(shù)據(jù)副本放置修正

在計(jì)算任務(wù)完成后，存算資源監(jiān)控器會(huì)依據(jù)收集到的本次計(jì)算所用數(shù)據(jù)的訪問(wèn)熱度，綜合考慮節(jié)點(diǎn)實(shí)際的計(jì)算能力、負(fù)載情況等來(lái)修正數(shù)據(jù)副本的優(yōu)化布局，以降低后續(xù)任務(wù)執(zhí)行時(shí)的數(shù)據(jù)傳輸開(kāi)銷(xiāo)，提高計(jì)算效率。令第i份數(shù)據(jù)的平均訪問(wèn)時(shí)間間隔為T(mén)i，它表示數(shù)據(jù)的訪問(wèn)頻度，Ti越小，訪問(wèn)越頻繁；Ki表示第i份數(shù)據(jù)被訪問(wèn)的次數(shù)占所有數(shù)據(jù)被訪問(wèn)次數(shù)的比例。第i份數(shù)據(jù)的訪問(wèn)熱度Fi的計(jì)算式如下：

3.3 存算協(xié)同調(diào)度系統(tǒng)

本文基于GVDS提供的全局統(tǒng)一資源管理和訪問(wèn)能力，以及提出的存算協(xié)同調(diào)度框架和策略，實(shí)現(xiàn)了一個(gè)跨域存算協(xié)同調(diào)度系統(tǒng)。系統(tǒng)的調(diào)度策略除了本文提出的存算協(xié)同調(diào)度策略外，還支持負(fù)載均衡調(diào)度、數(shù)據(jù)局部性調(diào)度，以支持高性能計(jì)算環(huán)境中的跨域任務(wù)與數(shù)據(jù)調(diào)度。

基于負(fù)載均衡策略的調(diào)度算法如圖4所示。通過(guò)感知計(jì)算資源的全局負(fù)載進(jìn)行任務(wù)調(diào)度，盡可能將計(jì)算任務(wù)均衡分配到各中心，以?xún)?yōu)化資源整體利用率，縮短任務(wù)完成時(shí)間。任務(wù)管理器將任務(wù)劃分為一系列子任務(wù)，資源管理器實(shí)時(shí)檢測(cè)各超算中心的計(jì)算資源負(fù)載情況，并定時(shí)將各節(jié)點(diǎn)的計(jì)算資源負(fù)載情況反饋到存算協(xié)同調(diào)度系統(tǒng)中的任務(wù)分配決策器，任務(wù)分配決策器依據(jù)各節(jié)點(diǎn)計(jì)算資源的空閑程度，將任務(wù)管理器劃分的一系列子任務(wù)分發(fā)到不同的計(jì)算節(jié)點(diǎn)，以?xún)?yōu)化系統(tǒng)整體的計(jì)算任務(wù)分配情況。

圖4 負(fù)載均衡調(diào)度策略

基于數(shù)據(jù)局部性策略的調(diào)度方法如圖5所示。任務(wù)管理器將用戶(hù)提交的任務(wù)劃分為一系列子任務(wù)，計(jì)算時(shí)資源管理器檢測(cè)各超算中心的數(shù)據(jù)分布情況，并將各節(jié)點(diǎn)的數(shù)據(jù)分布情況反饋到存算協(xié)同調(diào)度系統(tǒng)中的任務(wù)分配決策器，通過(guò)分析系統(tǒng)中各子任務(wù)的類(lèi)型及對(duì)數(shù)據(jù)的依賴(lài)關(guān)系，任務(wù)分配決策器將不同的子任務(wù)劃分到不同的分組中，以最大化數(shù)據(jù)局部性，降低數(shù)據(jù)傳輸開(kāi)銷(xiāo)。

圖5 數(shù)據(jù)局部性調(diào)度策略

存算協(xié)同調(diào)度系統(tǒng)的總體架構(gòu)如圖6所示。該系統(tǒng)基于GVDS研發(fā)，目前已對(duì)接Slurm作業(yè)管理器，對(duì)負(fù)載共享設(shè)施（load sharing facility，LSF）、便攜式批處理系統(tǒng)（portable batch system，PBS）等作業(yè)管理系統(tǒng)的支持也在逐步完善。存算協(xié)同調(diào)度系統(tǒng)對(duì)底層存算資源的狀態(tài)進(jìn)行監(jiān)控，根據(jù)選擇的調(diào)度方法產(chǎn)生相應(yīng)的調(diào)度策略，調(diào)度策略被發(fā)布至作業(yè)管理系統(tǒng)和存儲(chǔ)管理系統(tǒng)進(jìn)行計(jì)算任務(wù)和數(shù)據(jù)的調(diào)度。

圖6 存算協(xié)同調(diào)度的系統(tǒng)架構(gòu)

存算協(xié)同調(diào)度系統(tǒng)的Web界面如圖7所示。在調(diào)度申請(qǐng)框中，可以選擇應(yīng)用的名稱(chēng)、任務(wù)名稱(chēng)、程序執(zhí)行路徑，CPU核心數(shù)量用于指定每個(gè)子任務(wù)占用的CPU核數(shù)，內(nèi)存容量用于指定每個(gè)子任務(wù)占用的內(nèi)存大小，子任務(wù)數(shù)量用于將任務(wù)劃分成指定數(shù)量的子任務(wù)，調(diào)度算法可以根據(jù)不同場(chǎng)景選擇不同的調(diào)度策略，執(zhí)行參數(shù)指執(zhí)行程序可選的參數(shù)，用戶(hù)任務(wù)信息用于查看任務(wù)運(yùn)行結(jié)果（任務(wù)名稱(chēng)、運(yùn)行狀態(tài)、開(kāi)始時(shí)間、結(jié)束時(shí)間）。在任務(wù)執(zhí)行狀態(tài)框中，可以看到每個(gè)子任務(wù)運(yùn)行所在的節(jié)點(diǎn)。計(jì)算資源負(fù)載框顯示的是系統(tǒng)以輪詢(xún)的方式收集的各節(jié)點(diǎn)的計(jì)算資源負(fù)載情況，以便系統(tǒng)對(duì)計(jì)算資源進(jìn)行管理。

圖7 存算協(xié)同調(diào)度系統(tǒng)

4 應(yīng)用驗(yàn)證

目前，GVDS已在廣域分布的5個(gè)國(guó)家級(jí)超算中心部署并形成測(cè)試床，本文提出的系統(tǒng)已在測(cè)試床上部署，并開(kāi)展了分子對(duì)接應(yīng)用和跨域目標(biāo)協(xié)同識(shí)別應(yīng)用的驗(yàn)證，從而證明本文提出的系統(tǒng)對(duì)大數(shù)據(jù)高效處理的支撐。

4.1 實(shí)驗(yàn)環(huán)境

系統(tǒng)部署于中國(guó)科學(xué)院網(wǎng)絡(luò)信息中心（以下簡(jiǎn)稱(chēng)中科院網(wǎng)絡(luò)信息中心）、國(guó)家超級(jí)計(jì)算濟(jì)南中心（以下簡(jiǎn)稱(chēng)國(guó)家超算濟(jì)南中心）、國(guó)家超級(jí)計(jì)算廣州中心（以下簡(jiǎn)稱(chēng)國(guó)家超算廣州中心）、國(guó)家超級(jí)計(jì)算長(zhǎng)沙中心（以下簡(jiǎn)稱(chēng)國(guó)家超算長(zhǎng)沙中心）、上海超級(jí)計(jì)算中心5個(gè)國(guó)家級(jí)超算中心的測(cè)試節(jié)點(diǎn)，測(cè)試環(huán)境見(jiàn)表1。

表1 測(cè)試環(huán)境

4.2 應(yīng)用驗(yàn)證

本文基于生物信息學(xué)的分子對(duì)接應(yīng)用、跨域目標(biāo)協(xié)同識(shí)別應(yīng)用等典型大型應(yīng)用，對(duì)筆者團(tuán)隊(duì)研發(fā)的存算協(xié)同調(diào)度系統(tǒng)開(kāi)展了應(yīng)用驗(yàn)證，以研究系統(tǒng)對(duì)應(yīng)用計(jì)算效率的提升情況。分子對(duì)接是通過(guò)受體的特征以及受體和藥物分子之間的相互作用的方式來(lái)進(jìn)行藥物設(shè)計(jì)的方法[22]。分子對(duì)接應(yīng)用的傳統(tǒng)執(zhí)行方式是在單個(gè)數(shù)據(jù)中心進(jìn)行集中式的計(jì)算，這導(dǎo)致資源利用不均、計(jì)算效率低，而本文的存算協(xié)同調(diào)度系統(tǒng)可以將計(jì)算任務(wù)及數(shù)據(jù)進(jìn)行合理的分配，優(yōu)化資源利用率，提高應(yīng)用計(jì)算效率。跨域目標(biāo)協(xié)同識(shí)別應(yīng)用需要對(duì)大量視頻幀進(jìn)行目標(biāo)檢測(cè)，搜尋一個(gè)目標(biāo)時(shí)往往需要多個(gè)中心的數(shù)據(jù)，其計(jì)算量和數(shù)據(jù)量都較大。

首先，將分子對(duì)接應(yīng)用基于存算協(xié)同調(diào)度系統(tǒng)提交運(yùn)行，以驗(yàn)證系統(tǒng)的存算調(diào)度系統(tǒng)功能，實(shí)驗(yàn)如圖8所示。在調(diào)度申請(qǐng)階段，將分子對(duì)接應(yīng)用分成100個(gè)子任務(wù)，每個(gè)子任務(wù)分配一個(gè)CPU核心，經(jīng)過(guò)系統(tǒng)調(diào)度之后，分子對(duì)接應(yīng)用的任務(wù)被分配到3個(gè)節(jié)點(diǎn)執(zhí)行（圖8中任務(wù)執(zhí)行狀態(tài)框），從圖8中計(jì)算資源的負(fù)載情況框中可以看到各中心的負(fù)載情況。

圖8 存算協(xié)同調(diào)度系統(tǒng)進(jìn)行分子對(duì)接實(shí)驗(yàn)

其次，分子對(duì)接應(yīng)用和跨域目標(biāo)識(shí)別應(yīng)用分別與兩個(gè)應(yīng)用的單節(jié)點(diǎn)運(yùn)行模式相比，分子對(duì)接應(yīng)用的任務(wù)被存算協(xié)同調(diào)度分配到3個(gè)節(jié)點(diǎn)執(zhí)行，跨域目標(biāo)協(xié)同識(shí)別應(yīng)用被存算協(xié)同調(diào)度分配到5個(gè)節(jié)點(diǎn)執(zhí)行，執(zhí)行結(jié)果如圖9和圖10所示。

圖9 分子對(duì)接應(yīng)用實(shí)驗(yàn)

圖10 跨域目標(biāo)協(xié)同識(shí)別應(yīng)用實(shí)驗(yàn)

在測(cè)試結(jié)果中，分子對(duì)接應(yīng)用基于存算協(xié)同調(diào)度系統(tǒng)運(yùn)行的效率達(dá)到了傳統(tǒng)運(yùn)行模式的3.07倍，跨域目標(biāo)協(xié)同識(shí)別應(yīng)用運(yùn)行的效率達(dá)到了傳統(tǒng)運(yùn)行模式的4.03倍，表明存算協(xié)同調(diào)度系統(tǒng)可將計(jì)算任務(wù)及數(shù)據(jù)進(jìn)行合理的分配，有效地提高應(yīng)用的計(jì)算效率。

最后，為了對(duì)比本文提出的存算協(xié)同調(diào)度系統(tǒng)提供的3種調(diào)度策略的性能，在分子對(duì)接實(shí)驗(yàn)中進(jìn)行了單節(jié)點(diǎn)運(yùn)行、存算協(xié)同調(diào)度策略、負(fù)載均衡調(diào)度策略、數(shù)據(jù)局部性調(diào)度策略的對(duì)比，將應(yīng)用分別劃分為100、200、300、400、500個(gè)子任務(wù)，分別測(cè)量3種調(diào)度方法下的任務(wù)完成時(shí)間，實(shí)驗(yàn)結(jié)果如圖11所示。

在圖11中，當(dāng)任務(wù)的計(jì)算量較小時(shí)（如圖11中子任務(wù)數(shù)量為100~200個(gè)），各節(jié)點(diǎn)的計(jì)算資源狀態(tài)相對(duì)空閑，任務(wù)的數(shù)據(jù)遷移時(shí)間是系統(tǒng)的性能瓶頸，此時(shí)，考慮了數(shù)據(jù)遷移優(yōu)化的數(shù)據(jù)局部性調(diào)度策略和存算協(xié)同調(diào)度策略擁有較好的性能。這是因?yàn)榇嫠銋f(xié)同調(diào)度策略在產(chǎn)生調(diào)度策略時(shí)，通過(guò)綜合分析數(shù)據(jù)局部性和計(jì)算資源的負(fù)載情況，將任務(wù)與數(shù)據(jù)協(xié)同調(diào)度到合適的節(jié)點(diǎn)，在減少?gòu)V域網(wǎng)環(huán)境中數(shù)據(jù)遷移開(kāi)銷(xiāo)的同時(shí)，避免了計(jì)算任務(wù)排隊(duì)過(guò)長(zhǎng)的情況，因此性能較優(yōu)；數(shù)據(jù)局部性調(diào)度策略會(huì)將計(jì)算任務(wù)盡可能分配到數(shù)據(jù)所在的節(jié)點(diǎn)，避免了大量的廣域網(wǎng)數(shù)據(jù)傳輸，優(yōu)化了數(shù)據(jù)遷移過(guò)程，相對(duì)空閑的計(jì)算資源可以及時(shí)處理分配的計(jì)算任務(wù)，從而縮短任務(wù)完成時(shí)間，但隨著計(jì)算量的增大，數(shù)據(jù)所在的節(jié)點(diǎn)會(huì)逐漸成為系統(tǒng)的瓶頸，使得任務(wù)完成時(shí)間延長(zhǎng)，因此性能會(huì)逐漸下降；而負(fù)載均衡調(diào)度策略在計(jì)算資源相對(duì)空閑的情況下，為了均衡廣域環(huán)境中各節(jié)點(diǎn)的負(fù)載，會(huì)產(chǎn)生不必要的數(shù)據(jù)遷移，出現(xiàn)計(jì)算任務(wù)等待數(shù)據(jù)遷移的情況，因此性能相對(duì)較差。隨著任務(wù)的計(jì)算量增大（如圖11中子任務(wù)數(shù)量為300~500個(gè)），計(jì)算資源逐漸成為系統(tǒng)的性能瓶頸，此時(shí)考慮了資源優(yōu)化利用的存算協(xié)同調(diào)度策略和負(fù)載均衡調(diào)度策略擁有較好的性能，存算協(xié)同調(diào)度策略擁有最好的性能，負(fù)載均衡調(diào)度策略的性能次之，數(shù)據(jù)局部性調(diào)度策略的性能較差。這是因?yàn)榇嫠銋f(xié)同調(diào)度策略會(huì)基于數(shù)據(jù)局部性選擇相關(guān)性最大的任務(wù)和資源，依據(jù)節(jié)點(diǎn)的負(fù)載情況協(xié)同調(diào)度任務(wù)與數(shù)據(jù)，優(yōu)化了廣域高性能計(jì)算環(huán)境中的資源利用，因此性能最優(yōu)；而負(fù)載均衡調(diào)度策略會(huì)將計(jì)算任務(wù)盡可能均衡地分配到各節(jié)點(diǎn)，但未充分考慮任務(wù)及其所需的數(shù)據(jù)與超算中心內(nèi)的計(jì)算和存儲(chǔ)資源狀態(tài)不匹配造成的任務(wù)分配不合理的問(wèn)題，因此性能次之；而數(shù)據(jù)局部性調(diào)度策略在計(jì)算任務(wù)的計(jì)算量較大的情況下，會(huì)出現(xiàn)數(shù)據(jù)所在節(jié)點(diǎn)的計(jì)算任務(wù) 排隊(duì)過(guò)長(zhǎng)的情況，從而導(dǎo)致任務(wù)完成時(shí)間大幅延長(zhǎng)。

圖11 4種調(diào)度策略性能對(duì)比

總體上，存算協(xié)同調(diào)度策略在各種子任務(wù)劃分下，性能均優(yōu)于其他調(diào)度方法。單節(jié)點(diǎn)運(yùn)行的完成時(shí)間會(huì)隨著任務(wù)數(shù)量的增加而大幅延長(zhǎng)，尤其在任務(wù)數(shù)量超過(guò)300個(gè)時(shí)，由于節(jié)點(diǎn)負(fù)載增加，完成時(shí)間快速延長(zhǎng)。其他3種調(diào)度策略則隨著子任務(wù)數(shù)的變化而變化平緩，說(shuō)明3種方法都能較好地匹配數(shù)據(jù)與計(jì)算作業(yè)。存算協(xié)同調(diào)度策略的最好情況是子任務(wù)數(shù)為500個(gè)時(shí)，完成時(shí)間僅為單節(jié)點(diǎn)運(yùn)行完成時(shí)間的20.76%，最壞情況是子任務(wù)數(shù)為300個(gè)時(shí)，完成時(shí)間為單節(jié)點(diǎn)運(yùn)行完成時(shí)間的52.54%；負(fù)載均衡調(diào)度策略的最好情況是子任務(wù)數(shù)為400個(gè)時(shí)，完成時(shí)間為單節(jié)點(diǎn)運(yùn)行完成時(shí)間的25.42%，最壞情況是子任務(wù)數(shù)為100個(gè)時(shí)，完成時(shí)間為單節(jié)點(diǎn)運(yùn)行完成時(shí)間的74.52%；數(shù)據(jù)局部性調(diào)度策略的最好情況是子任務(wù)數(shù)為400個(gè)時(shí)，完成時(shí)間為單節(jié)點(diǎn)運(yùn)行完成時(shí)間的36.92%，最壞情況是子任務(wù)數(shù)為100個(gè)時(shí)，完成時(shí)間為單節(jié)點(diǎn)運(yùn)行完成時(shí)間的為105.7%。

綜合上述驗(yàn)證實(shí)驗(yàn)可知，存算協(xié)同調(diào)度策略可以通過(guò)合理的任務(wù)與數(shù)據(jù)調(diào)度，優(yōu)化多中心存儲(chǔ)與計(jì)算資源的利用，既避免了計(jì)算資源成為系統(tǒng)的瓶頸，又避免了大量數(shù)據(jù)的遷移開(kāi)銷(xiāo)，使得任務(wù)完成時(shí)間最短。

5 結(jié)束語(yǔ)

本文針對(duì)海量數(shù)據(jù)的高效處理需求，基于筆者團(tuán)隊(duì)研發(fā)的高性能虛擬數(shù)據(jù)空間系統(tǒng)，基于負(fù)載均衡調(diào)度、數(shù)據(jù)局部性調(diào)度、存算協(xié)同調(diào)度3種調(diào)度方法研發(fā)了存算協(xié)同調(diào)度系統(tǒng)。該系統(tǒng)可以統(tǒng)一管理廣域環(huán)境中的存算資源，進(jìn)行存算協(xié)同調(diào)度，優(yōu)化廣域環(huán)境中的存算資源利用，支持大數(shù)據(jù)的存儲(chǔ)管理與高效分析處理。

目前，筆者團(tuán)隊(duì)研發(fā)的存算協(xié)同調(diào)度系統(tǒng)已經(jīng)和GVDS一起實(shí)驗(yàn)性地部署于國(guó)家高性能計(jì)算環(huán)境中的中科院網(wǎng)絡(luò)信息中心、上海超級(jí)計(jì)算中心、國(guó)家超算濟(jì)南中心、國(guó)家超算長(zhǎng)沙中心、國(guó)家超算廣州中心5個(gè)超算中心的測(cè)試節(jié)點(diǎn)，并通過(guò)分子對(duì)接應(yīng)用、跨域目標(biāo)協(xié)同識(shí)別應(yīng)用驗(yàn)證了系統(tǒng)的有效性和高效性，初步建成了跨域海量數(shù)據(jù)處理的實(shí)驗(yàn)平臺(tái)。

筆者團(tuán)隊(duì)后續(xù)將在存算協(xié)同調(diào)度策略對(duì)高性能計(jì)算環(huán)境的資源感知方面開(kāi)展工作，以進(jìn)一步提高存算協(xié)同調(diào)度策略的調(diào)度精度和準(zhǔn)確性，并集成更多的調(diào)度策略，以擴(kuò)展存算協(xié)同調(diào)度系統(tǒng)的應(yīng)用場(chǎng)景和靈活性，以?xún)?yōu)化國(guó)家高性能計(jì)算環(huán)境的資源利用，并為海量數(shù)據(jù)的跨域高效協(xié)同處理提供支撐。

致謝

感謝項(xiàng)目團(tuán)隊(duì)的各位老師和同學(xué)，以及為項(xiàng)目研發(fā)提供指導(dǎo)的各位項(xiàng)目專(zhuān)家，尤其感謝中山大學(xué)陳志廣老師團(tuán)隊(duì)提供的分子對(duì)接應(yīng)用、跨域目標(biāo)協(xié)同識(shí)別應(yīng)用。