李宏梅,楊天國(guó),張磊,莫瑞超,許小龍,3,徐占洋,3
(1.云南電網(wǎng)有限責(zé)任公司德宏供電局,云南 德宏 678400; 2.南京信息工程大學(xué)計(jì)算機(jī)軟件學(xué)院,江蘇 南京 210044; 3.南京信息工程大學(xué)江蘇省網(wǎng)絡(luò)監(jiān)控中心,江蘇 南京 210044)
隨著近些年來互聯(lián)網(wǎng)行業(yè)的快速發(fā)展,互聯(lián)網(wǎng)應(yīng)用所產(chǎn)生的數(shù)據(jù)規(guī)模在不斷擴(kuò)大的同時(shí),數(shù)據(jù)的復(fù)雜性也在逐漸增加[1]。為了給用戶提供豐富且良好的互聯(lián)網(wǎng)服務(wù),如何及時(shí)有效地處理這些應(yīng)用數(shù)據(jù)是現(xiàn)在互聯(lián)網(wǎng)行業(yè)所面臨的巨大難題[2-3]。
云計(jì)算作為一種分布式計(jì)算模式,通過將計(jì)算任務(wù)部署在擁有超強(qiáng)計(jì)算能力的資源池中,各計(jì)算任務(wù)能夠根據(jù)自身需求獲取計(jì)算資源,從而使得計(jì)算任務(wù)能夠得到高效的執(zhí)行[4]。隨著近些年來云計(jì)算技術(shù)的快速發(fā)展,云計(jì)算的相關(guān)技術(shù)日漸成熟,通過構(gòu)建大型云平臺(tái)以滿足用戶的計(jì)算資源需求,使得互聯(lián)網(wǎng)應(yīng)用所產(chǎn)生的數(shù)據(jù)能夠得到有效的處理,已經(jīng)成為目前的一種趨勢(shì)[5]。
數(shù)據(jù)密集型應(yīng)用作為一種對(duì)數(shù)據(jù)的訪問頻率十分密集且數(shù)據(jù)量大的特殊應(yīng)用,其要求產(chǎn)生的數(shù)據(jù)需要在極短的時(shí)間內(nèi)得到有效處理。相比與非數(shù)據(jù)密集型的應(yīng)用,數(shù)據(jù)密集型應(yīng)用對(duì)數(shù)據(jù)處理時(shí)延極其敏感。當(dāng)應(yīng)用所產(chǎn)生的數(shù)據(jù)不能夠得到及時(shí)的處理將會(huì)帶來較差的用戶體驗(yàn)。云計(jì)算技術(shù)雖然為應(yīng)對(duì)數(shù)據(jù)密集型應(yīng)用的計(jì)算需求提供了充足的計(jì)算資源,但在云平臺(tái)中部署數(shù)據(jù)密集型應(yīng)用時(shí)仍有一些問題需要解決[6-7]。在云平臺(tái)中有許多因素可能導(dǎo)致計(jì)算結(jié)點(diǎn)死機(jī),例如計(jì)算結(jié)點(diǎn)過載,操作系統(tǒng)的故障等等[8-9]。當(dāng)任意托管應(yīng)用的計(jì)算節(jié)點(diǎn)發(fā)生故障時(shí),部署在該故障結(jié)點(diǎn)的計(jì)算任務(wù)不能夠及時(shí)的在正常運(yùn)行的計(jì)算結(jié)點(diǎn)得到恢復(fù)將會(huì)引發(fā)各種后果(例如,數(shù)據(jù)丟失,數(shù)據(jù)密集型應(yīng)用完成時(shí)間延長(zhǎng)等),而這些后果將會(huì)給用戶(比如:電力行業(yè))帶來巨大損失[10-12]??偟膩碚f,在云平臺(tái)出現(xiàn)故障后,如何為故障結(jié)點(diǎn)上部署的任務(wù)選擇合適的資源配置策略依舊面臨著巨大挑戰(zhàn)。一方面,為宕機(jī)結(jié)點(diǎn)上部署的計(jì)算任務(wù)選擇出最優(yōu)的資源配置策略需要使得數(shù)據(jù)密集型應(yīng)用的完成時(shí)間盡可能的短,另一方面,云平臺(tái)計(jì)算結(jié)點(diǎn)的負(fù)載均衡也需要被考慮,通過優(yōu)化負(fù)載平衡,云平臺(tái)所有計(jì)算節(jié)點(diǎn)都工作在穩(wěn)定狀態(tài),這有利于提高云平臺(tái)的資源利用率。此外,保證云平臺(tái)的負(fù)載均衡能夠降低了數(shù)據(jù)密集型應(yīng)用執(zhí)行過程中出現(xiàn)問題的可能性,從而進(jìn)一步提高了云平臺(tái)的容錯(cuò)能力。
針對(duì)現(xiàn)存的故障任務(wù)遷移問題上,國(guó)內(nèi)外學(xué)術(shù)界和工業(yè)界都開展了廣泛的研究:Zhu等設(shè)計(jì)了一個(gè)隨意的工作流容錯(cuò)框架,并提出了一種動(dòng)態(tài)容錯(cuò)調(diào)度算法,用于對(duì)虛擬化云中的實(shí)時(shí)工作流進(jìn)行資源配置[13];文獻(xiàn)[14]中,Asvija等結(jié)合實(shí)際的氣象工作流建立了MM5模型作為計(jì)算網(wǎng)格工作流程的支持框架以解決故障任務(wù)的遷移問題;Chen等提出了一種普通任務(wù)失效建模模型,該模型采用基于最大似然估計(jì)的參數(shù)估計(jì)過程來模擬工作流工作的性能,該模型的提出在一定程度上解決了故障任務(wù)恢復(fù)的問題[15];文獻(xiàn)[16]中,Ding等從云平臺(tái)的角度提出了一種容錯(cuò)彈性調(diào)度算法,可以應(yīng)用于云平臺(tái)來執(zhí)行工作流;而在文獻(xiàn)[17]中,Yao等設(shè)計(jì)了一種獨(dú)特的容錯(cuò)工作流調(diào)度算法,該算法結(jié)合了基于復(fù)制和基于重新提交的策略,以實(shí)現(xiàn)其容錯(cuò)功能。
但是當(dāng)前的研究工作忽略了在任務(wù)恢復(fù)過程中任務(wù)的執(zhí)行完成時(shí)間問題,而且也忽略了任務(wù)故障恢復(fù)對(duì)數(shù)據(jù)中心負(fù)載均衡所造成的影響。因此,本文針對(duì)性提出了一種云計(jì)算環(huán)境下面向數(shù)據(jù)密集型應(yīng)用的容錯(cuò)性資源配置方法,以實(shí)現(xiàn)任務(wù)故障恢復(fù),并能夠保證故障恢復(fù)后的任務(wù)的完成時(shí)間與云平臺(tái)所有計(jì)算結(jié)點(diǎn)的負(fù)載均衡需求。
虛擬層2(Virtual layer 2,VL2)[18]是一種實(shí)用的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),分為中繼交換機(jī)層(Intermediate Switches Layer)、匯聚交換機(jī)層(Aggregate Switches Layer)和TOR交換機(jī)層(Top of Rack Switches Layer)[15]。通過部署大量的網(wǎng)絡(luò)設(shè)備和網(wǎng)絡(luò)鏈接,VL2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)實(shí)現(xiàn)了網(wǎng)絡(luò)的全二等分帶寬,為建立高性能的云平臺(tái)提供了良好的基礎(chǔ)[18]。
如圖1所示,在根據(jù)VL2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)搭建的云平臺(tái)中,不同的區(qū)域根據(jù)實(shí)際的計(jì)算需要部署任務(wù)備份節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)。在同一區(qū)域的所有計(jì)算節(jié)點(diǎn)和備份節(jié)點(diǎn)都被連接相同的TOR層交換機(jī)。此外,為了保證兩個(gè)區(qū)域之間的數(shù)據(jù)通信,兩個(gè)相鄰區(qū)域的TOR層交換機(jī)被連接到同一個(gè)匯聚層交換機(jī)上。同時(shí),匯聚層的所有交換機(jī)都被連接到中繼交換機(jī)上以保證網(wǎng)絡(luò)中所有區(qū)域之間的數(shù)據(jù)通信。因此,在VL2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)所搭建的云平臺(tái)中每一個(gè)終端計(jì)算節(jié)點(diǎn)到中繼交換機(jī)的最長(zhǎng)距離為3跳,這使得在云平臺(tái)部分結(jié)點(diǎn)發(fā)生錯(cuò)誤的時(shí)候,宕機(jī)任務(wù)能夠得到有效的恢復(fù)。
圖1 基于VL2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的云平臺(tái)
為了簡(jiǎn)化數(shù)據(jù)密集型應(yīng)用的工作流程,在本文中將數(shù)據(jù)密集型應(yīng)用被定義為有向無環(huán)圖(Directed Acyclic Graph, DAG),用D={T,R}來表示,其中T={t1,t2,...,tn}代表著完成該數(shù)據(jù)密集型應(yīng)用做需要執(zhí)行的任務(wù)集合,而R用來表示任務(wù)之間數(shù)據(jù)依賴集合。兩個(gè)任務(wù)之間的數(shù)據(jù)依賴可以用ri,j=(ti,tj)的形式來表示,在這種 情 況 下,任 務(wù)ti(1≤i≤n)表 示 為tj(1≤j≤n)的前驅(qū)任務(wù),相應(yīng)的tj則作為ti的后繼任務(wù)。一般來說,一個(gè)任務(wù)的開始需要傳入來自前驅(qū)任務(wù)完成得到的數(shù)據(jù)。此外,tstart和tend這兩個(gè)虛擬任務(wù)分別作為應(yīng)用的開始任務(wù)和結(jié)束任務(wù)被引入,使得應(yīng)用中只包含一個(gè)入口和出口。
在數(shù)據(jù)密集型應(yīng)用模型中,從開始結(jié)點(diǎn)到結(jié)束結(jié)點(diǎn)花費(fèi)時(shí)間最長(zhǎng)的路徑被稱為關(guān)鍵路徑,為了找出關(guān)鍵路徑,應(yīng)用中的每一個(gè)任務(wù)的最早開始時(shí)間(Earliest Start Time, EST)、最早完成時(shí)間(Earliest Finish Time, EFT)、最晚開始時(shí)間(Last Start Time, LST)和最晚結(jié)束時(shí)間(Last Finish Time, LFT)需要被計(jì)算出來以便判斷該任務(wù)是否處于關(guān)鍵路徑。任務(wù)ti的最早開始時(shí)間可以通過下面的公式計(jì)算出來:
其中,p(ti)代表的是任務(wù)ti的所有前驅(qū)任務(wù)集合;αjexe是任務(wù)完成所需要的執(zhí)行時(shí)間;ctfi,j代表的是任務(wù)ti獲取其前驅(qū)任務(wù)數(shù)據(jù)所需要花費(fèi)的時(shí)間。
2)迭代:在NSGA-III的迭代過程中,父代種群Ho經(jīng)過選擇和突變產(chǎn)生子種群Qo,然后將來自父代種群Ho和子種群Qo的所有個(gè)體融合到Ro中,然后通過非優(yōu)勢(shì)排序從Ro中選擇合適的個(gè)體,然后通過參考點(diǎn)法從N個(gè)個(gè)體形成新的種群N個(gè)個(gè)體選取新的個(gè)體以構(gòu)建新的種群Ht+1。當(dāng)數(shù)據(jù)密集型應(yīng)用的完成時(shí)間和云平臺(tái)的負(fù)載均衡的結(jié)果收斂后,NSGA-III的迭代過程將會(huì)停止,而此時(shí)種群中的個(gè)體將形成一個(gè)解集,稱為帕雷托(Pareto)最優(yōu)解。
粗選磁場(chǎng)強(qiáng)度110 kA/m,精選磁場(chǎng)強(qiáng)度110 kA/m,掃選磁場(chǎng)強(qiáng)度110 kA/m。磨礦細(xì)度80.00%-0.074 mm,給礦濃度35.00%。試驗(yàn)結(jié)果見表9,試驗(yàn)原則流程圖及數(shù)質(zhì)量流程分別見圖3、圖4。
任務(wù)ti的最晚開始時(shí)間通過下式可以計(jì)算出來:
其中,c(ti)代表的是任務(wù)ti的后繼任務(wù)集合。此外,應(yīng)用的最晚開始時(shí)間表示為:
通過上述分析,可以得到應(yīng)用上每一個(gè)任務(wù)的最早開始時(shí)間和最晚開始時(shí)間,而后根據(jù)關(guān)鍵路徑的定義可知,當(dāng)一個(gè)任務(wù)的最早開始時(shí)間和最晚開始時(shí)間相等,則該任務(wù)是關(guān)鍵路徑上的任務(wù),稱該任務(wù)為關(guān)鍵任務(wù)。根據(jù)關(guān)鍵任務(wù)可以找出應(yīng)用的關(guān)鍵路徑,從而計(jì)算出該數(shù)據(jù)密集型應(yīng)用的最大完成時(shí)間D。
在數(shù)據(jù)密集型應(yīng)用模型基礎(chǔ)上,假設(shè)由于計(jì)算結(jié)點(diǎn)發(fā)生故障導(dǎo)致工作流產(chǎn)生的宕機(jī)任務(wù)集合為FT={ft1,ft2,...,ftn},為了恢復(fù)ftz(1≤z≤n),該任務(wù)的備份鏡像數(shù)據(jù)和前驅(qū)任務(wù)完成所產(chǎn)生的數(shù)據(jù)需要被發(fā)送到恢復(fù)該任務(wù)的計(jì)算結(jié)點(diǎn),從而使得ftz能夠繼續(xù)執(zhí)行。然而,恢復(fù)任務(wù)的計(jì)算結(jié)點(diǎn)接收宕機(jī)任務(wù)的鏡像數(shù)據(jù)和其前驅(qū)任務(wù)所產(chǎn)生的數(shù)據(jù)并且重啟ftz需要花費(fèi)一定的時(shí)間云計(jì)算平臺(tái)是不能夠被忽略的。假設(shè)恢復(fù)任務(wù)ftz所需要的時(shí)間為HFSz,則HFSz表示為:
扶貧資源濫用,扶貧資金被截留和貪污,扶貧政策監(jiān)管和執(zhí)行中出現(xiàn)偏差,一個(gè)重要的原因就是缺乏有效的跟蹤反饋[4]。由于觀念原因,有些脫貧人口仍死死扣留“貧困帽子”,不愿退出。由于上級(jí)下達(dá)的貧困戶指標(biāo)有限,真正需要幫助的貧困戶無法進(jìn)入。部分地區(qū)返貧率高,沒有返貧人口再入機(jī)制,貧困人口退出機(jī)制和再入機(jī)制不健全,一些人甚至出現(xiàn)“被脫貧”、“假脫貧”現(xiàn)象。由此可以看出,缺乏動(dòng)態(tài)管理和監(jiān)管,對(duì)黑龍江省精準(zhǔn)脫貧產(chǎn)生了巨大的束縛。
本文提出了一種容錯(cuò)性資源配置方法(Fault- tolerant Resource Provisioning Method,F(xiàn)RPM)使得在云平臺(tái)發(fā)生錯(cuò)誤之后,宕機(jī)任務(wù)能夠找到最優(yōu)的恢復(fù)策略,保證部署在云平臺(tái)上的數(shù)據(jù)密集型應(yīng)用的完成時(shí)間最短的同時(shí),云平臺(tái)的負(fù)載均衡也能夠得到保證。本文所提出的FRPM是基于參考點(diǎn)的非支配排序算法(Non-dominated Sorting Genetic Algorithm III, NSGA-III)[19],該算法是一種能夠針對(duì)目標(biāo)進(jìn)行同時(shí)優(yōu)化的遺傳算法,F(xiàn)RPM在實(shí)現(xiàn)過程中將數(shù)據(jù)密集型應(yīng)用的完成時(shí)間和云平臺(tái)的負(fù)載均衡作為算法優(yōu)化的目標(biāo),借助NSGA-III為宕機(jī)任務(wù)找到能夠同時(shí)滿足數(shù)據(jù)密集型應(yīng)用的完成時(shí)間最短和云計(jì)算平臺(tái)的負(fù)載均衡這兩個(gè)目標(biāo)的資源配置策略。
假設(shè)云計(jì)算中心當(dāng)前未發(fā)生故障的計(jì)算結(jié)點(diǎn)的集合為Ps={ps1,ps2,...,psl},且每一個(gè)計(jì)算結(jié)點(diǎn)所剩余的計(jì)算資源表示為cd(1≤d≤l)。此外,鏡像服務(wù)器集合為Pm={pm1,pm2,...,pmk}。假設(shè)ftz會(huì)在psd(1≤d≤k)上重啟,則psd需要從不同的結(jié)點(diǎn)獲取ftz的鏡像數(shù)據(jù)和其前驅(qū)任務(wù)所產(chǎn)生的數(shù)據(jù)。假設(shè)恢復(fù)ftz所需要的鏡像數(shù)據(jù)和前驅(qū)任務(wù)所產(chǎn)生的數(shù)據(jù)分別存放在pam(1≤a≤k)和psb(1≤b≤l)上面。
根據(jù)VL2的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)特點(diǎn),不同的結(jié)點(diǎn)之間的位置關(guān)系存在3種情況,為了便于表示恢復(fù)任務(wù)計(jì)算結(jié)點(diǎn)與前驅(qū)任務(wù)數(shù)據(jù)所在結(jié)點(diǎn)以及任務(wù)的備份數(shù)據(jù)所在結(jié)點(diǎn)之間的關(guān)系,使用ξ來表示這三種情況:
1)ξ=0代表著兩個(gè)計(jì)算結(jié)點(diǎn)連接到了同一個(gè)TOR;
2)ξ=1代表著兩個(gè)計(jì)算結(jié)點(diǎn)未連接到同一個(gè)TOR交換機(jī),但是連接到了同一個(gè)匯聚層交換機(jī);
3)ξ=2代表著兩個(gè)計(jì)算結(jié)點(diǎn)未連接到同一個(gè)TOR交換機(jī)或匯聚層交換機(jī),但是兩個(gè)結(jié)點(diǎn)連接到了同一個(gè)中繼層交換機(jī)。同理,計(jì)算結(jié)點(diǎn)和任務(wù)鏡像結(jié)點(diǎn)之間的關(guān)系也可以用ξ來表示。
與傳統(tǒng)的遺傳算法相比,NSGA-III通過采用精英策略,能夠很迅速找到多目標(biāo)優(yōu)化問題的全局最優(yōu)解,所以在本文中采用NSGA-III來解決多目標(biāo)的宕機(jī)任務(wù)恢復(fù)問題[20]。在遺傳算法中,染色體的基因型表示多目標(biāo)優(yōu)化問題的解。在本文中為了找到宕機(jī)任務(wù)恢復(fù)策略,對(duì)云平臺(tái)中未發(fā)生錯(cuò)誤的計(jì)算結(jié)點(diǎn)進(jìn)行編碼,將每個(gè)計(jì)算節(jié)點(diǎn)的編號(hào)作為基因,這些基因被組合在一起形成一條染色體,染色體通過不斷的變異和進(jìn)化從而為宕機(jī)任務(wù)找到最優(yōu)的資源配置策略。此外,由于宕機(jī)任務(wù)不能夠在出現(xiàn)問題的計(jì)算結(jié)點(diǎn)恢復(fù),也不能在計(jì)算容量不能夠滿足運(yùn)行該任務(wù)的計(jì)算結(jié)點(diǎn)上執(zhí)行,所以對(duì)每一條染色體,式(13)和式(14)給出了適應(yīng)度函數(shù)。
for 關(guān)鍵任務(wù) do
當(dāng)psd在得到了ftz的鏡像數(shù)據(jù)之后,需要獲取來自該任務(wù)的前驅(qū)任務(wù)的數(shù)據(jù),假設(shè)前驅(qū)任務(wù)的數(shù)據(jù)大小為dmz,則獲取前驅(qū)任務(wù)所產(chǎn)生數(shù)據(jù)需要的傳輸時(shí)間hssz表示為:
此外,由于ftz的前驅(qū)任務(wù)可能會(huì)是一個(gè)或多個(gè),所以需要從多個(gè)計(jì)算結(jié)點(diǎn)獲取數(shù)據(jù),但是psd在獲取這些前驅(qū)任務(wù)的數(shù)據(jù)是同時(shí)進(jìn)行的,所以將在這個(gè)過程中需要的最長(zhǎng)時(shí)間作為hssz。
在對(duì)宕機(jī)任務(wù)進(jìn)行恢復(fù)的過程中,需要考慮到這些任務(wù)都屬于數(shù)據(jù)密集型的任務(wù),對(duì)計(jì)算結(jié)點(diǎn)所處的狀態(tài)有一定的要求。具體來說,如果宕機(jī)任務(wù)在過載或者即將過載狀態(tài)的計(jì)算結(jié)點(diǎn)進(jìn)行恢復(fù),將會(huì)引發(fā)云平臺(tái)的計(jì)算結(jié)點(diǎn)再次出現(xiàn)宕機(jī)的情況。因此,在對(duì)宕機(jī)任務(wù)進(jìn)行恢復(fù)時(shí)一定要考慮到云平臺(tái)所有計(jì)算結(jié)點(diǎn)的負(fù)載均衡狀態(tài),降低由于恢復(fù)宕機(jī)任務(wù)而導(dǎo)致計(jì)算結(jié)點(diǎn)負(fù)載不均衡的可能。在本文中,云平臺(tái)所有計(jì)算節(jié)點(diǎn)平均利用率的方差被用來表示云的總體負(fù)載平衡。云計(jì)算中心所有計(jì)算結(jié)點(diǎn)的負(fù)載均衡方差的值越小,就表明云中各計(jì)算節(jié)點(diǎn)的整體負(fù)載越均衡。假設(shè)完成任務(wù)td(1≤d≤n)所需的虛擬機(jī)容量是vmd,且每個(gè)計(jì)算節(jié)點(diǎn)的平均利用率由ρd來表示,可以表示為:
①系統(tǒng)覆蓋范圍和用戶較廣。在管理內(nèi)容上覆蓋了水利、供水、排水、水文四大行業(yè);在管理范圍上覆蓋了國(guó)家、直轄市、區(qū)(縣)三級(jí)管理;在建設(shè)范圍上覆蓋了自動(dòng)化和信息化等方面集成;在用戶使用上覆蓋了水行政主管部門、企業(yè)、科研規(guī)劃部門、社會(huì)公眾等。
其中,ω(ti)表示的是判斷任務(wù)ti是否運(yùn)行在計(jì)算結(jié)點(diǎn)psw(1≤w≤l)上,表示為:
此外,ρ被用來表示云平臺(tái)中所有計(jì)算結(jié)點(diǎn)的平均資源率,表示為:
最后,通過以上計(jì)算得出了云平臺(tái)各計(jì)算結(jié)點(diǎn)的平均資源利用率和云平臺(tái)總體的平均資源利用率,由此可以的得到云平臺(tái)的負(fù)載均衡,可以表示為:
在云平臺(tái)的計(jì)算結(jié)點(diǎn)發(fā)生錯(cuò)誤時(shí),需要盡快對(duì)部署在這些計(jì)算結(jié)點(diǎn)上的計(jì)算任務(wù)在其他正常計(jì)算結(jié)點(diǎn)重新啟動(dòng),以確保數(shù)據(jù)密集型應(yīng)用的完成時(shí)間D最短的同時(shí),也要保證云平臺(tái)各計(jì)算結(jié)點(diǎn)的負(fù)載均衡U。本文所需要實(shí)現(xiàn)的目標(biāo)和約束具體表示為:
其中hsmz代表的是下載ftz鏡像數(shù)據(jù)所需要的時(shí)間,hsfz是獲取該任務(wù)的前驅(qū)任務(wù)執(zhí)行產(chǎn)生數(shù)據(jù)所花費(fèi)的時(shí)間,hssz是在計(jì)算結(jié)點(diǎn)上重啟ftz所需要的時(shí)間。
基于前文分析,從深層原則與基礎(chǔ)理念看,近代以來西方社會(huì)管理的基本要素或基本原則主要有兩個(gè):一是個(gè)人主義,二是理性主義。
數(shù)據(jù)密集型應(yīng)用的完成時(shí)間是指從開始任務(wù)到結(jié)束任務(wù)所需要的最長(zhǎng)執(zhí)行時(shí)間,也就是關(guān)鍵路徑上所有任務(wù)完成所花費(fèi)的時(shí)間的總和。為了計(jì)算出數(shù)據(jù)密集型應(yīng)用的完成時(shí)間,在算法1中,首先需要找出數(shù)據(jù)密集型應(yīng)用中的關(guān)鍵路徑,然后對(duì)關(guān)鍵路徑上面的關(guān)鍵任務(wù)所需要的時(shí)間進(jìn)行求和,從而得到數(shù)據(jù)密集型應(yīng)用的完成時(shí)間。
算法1 數(shù)據(jù)密集型應(yīng)用的完成時(shí)間
輸入 數(shù)據(jù)密集型應(yīng)用
輸出 數(shù)據(jù)密集型應(yīng)用的完成時(shí)間D
2、外部信息溝通不順暢。電力企業(yè)為更好地實(shí)現(xiàn)往來賬款信息的及時(shí)清理,建立了有關(guān)往來款核對(duì)的第三方平臺(tái),用于信息的及時(shí)核對(duì)。但現(xiàn)實(shí)操作中,往往會(huì)出現(xiàn)一家供應(yīng)商與多個(gè)業(yè)務(wù)部門之間的往來業(yè)務(wù),導(dǎo)致最終的詢證函發(fā)放工作還在財(cái)務(wù)部門。這種一對(duì)多的往來信息核對(duì)無法依靠第三方平臺(tái)實(shí)現(xiàn),很容易因財(cái)務(wù)的人工核對(duì)造成錯(cuò)誤。
初始化關(guān)鍵任務(wù)集合V
for 所有的宕機(jī)任務(wù)結(jié)點(diǎn) do
根據(jù)式(1)、(2)計(jì)算任務(wù)的最早開始時(shí)間和最早結(jié)束時(shí)間
根據(jù)式(3)、(4)計(jì)算任務(wù)的最晚開始時(shí)間和最晚結(jié)束時(shí)間
if 該任務(wù)的最早開始時(shí)間和最晚開始時(shí)間相等 do
將該任務(wù)放置到關(guān)鍵任務(wù)集合V中
end if
end for
其中,計(jì)算結(jié)點(diǎn)和TOR層交換機(jī)之間的帶寬表示為rst,TOR層交換機(jī)與匯聚層交換機(jī)之間的帶寬表示為rta,匯聚層交換機(jī)與中繼層交換機(jī)的之間帶寬表示為rau。
if 該任務(wù)是tstart
首先討論超級(jí)人工智能。超人無比強(qiáng)大。對(duì)于人類與超人的關(guān)系,不是人類面對(duì)超人人類該怎么辦,因?yàn)槿祟惛緵]有應(yīng)對(duì)能力,根本無法控制超人,而是超人會(huì)如何對(duì)待人類。
fortstart的后繼任務(wù)
選擇tstart需要花費(fèi)時(shí)間最長(zhǎng)的后繼任務(wù)ti
D+ti完成所需要的時(shí)間+數(shù)據(jù)傳輸時(shí)間
end for
要做到“兩個(gè)過程”的合理性,即從數(shù)學(xué)知識(shí)發(fā)生發(fā)展過程的合理性、學(xué)生認(rèn)知過程的合理性上加強(qiáng)思考,這是落實(shí)數(shù)學(xué)核心素養(yǎng)的關(guān)鍵點(diǎn).前一個(gè)是數(shù)學(xué)的學(xué)科思想問題,后一個(gè)是學(xué)生的思維規(guī)律、認(rèn)知特點(diǎn)問題.
end if
end for
返回?cái)?shù)據(jù)密集型應(yīng)用的完成時(shí)間D
基于以上的分析,恢復(fù)任務(wù)的計(jì)算結(jié)點(diǎn)需要獲取宕機(jī)任務(wù)的鏡像數(shù)據(jù)和該任務(wù)前驅(qū)任務(wù)所產(chǎn)生的數(shù)據(jù),首先假設(shè)宕機(jī)任務(wù)ftz的鏡像數(shù)據(jù)大小為dmz,則在psd上獲取該任務(wù)的鏡像數(shù)據(jù)所需要的時(shí)間hsmz可以表示為:
1)基因操作:在遺傳算法中,基因操作分別是交叉和變異。其中交叉(Crossover)是指通過將兩條父母染色體經(jīng)過交換部分基因的方式產(chǎn)生兩個(gè)新的后代,這樣產(chǎn)生的子代染色體會(huì)繼承優(yōu)良基因從父母,并且可以形成子代染色體自身獨(dú)特的基因型,方便找到最優(yōu)解。此外,突變(Mutation)作為另一種基因操作,染色體通過小概率的基因突變會(huì)使得該染色體上的一個(gè)基因型被該染色體上的另一個(gè)等位基因所取代,從而形成一個(gè)新的個(gè)體。通過多次基因操作有效提高了種群的多樣性,加快了目標(biāo)解的結(jié)果收斂。
根據(jù)公式(1)計(jì)算出來的最早開始時(shí)間和完成任務(wù)所需要花費(fèi)的時(shí)間ei,任務(wù)的最早結(jié)束時(shí)間可以由下式計(jì)算出來:
3)選擇優(yōu)化:事實(shí)上,由于NSGA-III可以生成多個(gè)表示故障任務(wù)資源供應(yīng)策略的解決方案。因此,為了得到最優(yōu)解,實(shí)現(xiàn)了簡(jiǎn)單加權(quán)法(Simple Weighting Method, SAW)和多準(zhǔn)則決策(Multiple Criteria Decision Making, MCDM)從多種策略進(jìn)行歸一化處理,從而選出最優(yōu)資源配置策略。使用SAW和MCDM計(jì)算每個(gè)解決方案的效用值,并選擇效用值最大的解決方案作為最終的資源配置策略。假設(shè)EiD和FiD分別表示兩個(gè)目標(biāo)的值,EDmax、EDmin、FDmax和FDmin分別表示兩個(gè)目標(biāo)函數(shù)的最大和最小值。此外,ε1和ε2作為數(shù)據(jù)密集型應(yīng)用完成時(shí)間和負(fù)載平衡的權(quán)重指標(biāo),兩者之和為1。
FFD:該方法的核心思想是首先將云平臺(tái)中還在正常運(yùn)行的計(jì)算結(jié)點(diǎn)按照剩余容量進(jìn)行升序排序,然后每一個(gè)宕機(jī)任務(wù)將在剩余容量可以滿足該任務(wù)的計(jì)算結(jié)點(diǎn)重啟,該方法最大的特點(diǎn)就是一旦找到能夠滿足該任務(wù)的計(jì)算結(jié)點(diǎn)就不再繼續(xù)找其他更合適的計(jì)算結(jié)點(diǎn)了。
本實(shí)驗(yàn)是在一臺(tái)配有Intel Core i7-5500U 處理器和8GB 內(nèi)存的電腦上完成的。本文使用云平臺(tái)發(fā)生錯(cuò)誤后數(shù)據(jù)密集型應(yīng)用的完成時(shí)間、云平臺(tái)的負(fù)載均衡這兩個(gè)評(píng)估標(biāo)準(zhǔn)來展示FRPM的在動(dòng)態(tài)資源分配的優(yōu)越性。此外,實(shí)驗(yàn)中使用的VL2網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)搭建的云平臺(tái)的具體參數(shù)如表1所示,網(wǎng)絡(luò)的具體參數(shù)配置是根據(jù)文獻(xiàn)[18]而來。
在我國(guó),小麥的面積和總產(chǎn)僅次于水稻和玉米,為第三大糧食作物,在國(guó)民經(jīng)濟(jì)中占有重要地位。面粉顏色是小麥品質(zhì)評(píng)價(jià)的重要指標(biāo),而籽粒黃色素含量是影響面粉顏色的主要因素。因此,研究小麥籽粒黃色素含量形成機(jī)制及其相關(guān)基因,對(duì)我國(guó)小麥面粉顏色品質(zhì)改良具有重要意義。
表1 參數(shù)設(shè)置
為了充分展示出FRPM的性能,在本文實(shí)驗(yàn)過程中選擇了Benchmark、FFD和BFD[5,9]進(jìn)行比較,三種方法的基本原理如下:
非線性偏微分方程有很多的應(yīng)用,尤其是非線性方程的孤子解,在工程、光纖和物理等領(lǐng)域都起著很重要的作用。因此求解非線性偏微分方程的孤子解變得越來越重要了,但是它的求解是非常困難的,尤其是高階非線性偏微分方程。直到最近幾十年,隨著計(jì)算機(jī)軟件的發(fā)展,如MATLAB、Mathematica等,許多的求解非線性偏微分方程孤子解的方法被提出,非線性方程求解方向獲得很大發(fā)展[1-16]。
Benchmark:該方法的核心思想是為每一個(gè)宕機(jī)任務(wù)隨機(jī)選取一個(gè)正常運(yùn)行的計(jì)算結(jié)點(diǎn)進(jìn)行恢復(fù)。
鄂麥398田間綜合抗病性較好,但抗性鑒定結(jié)果表明該品種高感條銹病和紋枯病、中感赤霉病和白粉病,生產(chǎn)中應(yīng)注意防治條銹病、紋枯病、赤霉病和白粉病,搞好“一噴三防”。
5.統(tǒng)一規(guī)范,把好項(xiàng)目資料關(guān)。規(guī)范基礎(chǔ)工作是審計(jì)項(xiàng)目順利開展的前提和保障,審計(jì)組長(zhǎng)在強(qiáng)化審計(jì)項(xiàng)目質(zhì)量的同時(shí),要擯棄“重成果、輕基礎(chǔ)”的錯(cuò)誤導(dǎo)向,按照“規(guī)范、全面、標(biāo)準(zhǔn)”的要求,實(shí)行審計(jì)基礎(chǔ)工作標(biāo)準(zhǔn)化管理,保證審計(jì)資料歸檔的及時(shí)性、準(zhǔn)確性、完整性,促進(jìn)審計(jì)質(zhì)量和工作效率的提高。
BFD:該方法的核心思想是首先將云平臺(tái)中還在正常運(yùn)行的計(jì)算結(jié)點(diǎn)按照剩余容量進(jìn)行升序排序,然后每一個(gè)宕機(jī)任務(wù)將在剩余容量剛好滿足該任務(wù)的計(jì)算結(jié)點(diǎn)重啟,該方法最大的特點(diǎn)就是宕機(jī)任務(wù)找到的重啟任務(wù)的計(jì)算結(jié)點(diǎn)的剩余容量是所有正常運(yùn)行計(jì)算結(jié)點(diǎn)中最小的。
4.3.1 應(yīng)用完成時(shí)間對(duì)比
數(shù)據(jù)密集型應(yīng)用的完成時(shí)間是評(píng)價(jià)宕機(jī)任務(wù)恢復(fù)方法的關(guān)鍵標(biāo)準(zhǔn)。在云平臺(tái)的計(jì)算節(jié)點(diǎn)發(fā)生故障后,宕機(jī)任務(wù)需要得到有效的恢復(fù)以使得數(shù)據(jù)密集型應(yīng)用的完成時(shí)間盡可能短。在本實(shí)驗(yàn)過程中,首先隨機(jī)選取五個(gè)宕機(jī)任務(wù),而后每次向宕機(jī)任務(wù)集合中添加兩個(gè)宕機(jī)任務(wù)。在數(shù)據(jù)密集型應(yīng)用的完成時(shí)間這一指標(biāo)中,Benchmark、BFD、FFD和FRPM的實(shí)驗(yàn)結(jié)果如表2所示。其中,Benchmark、BFD和FFD算法所為宕機(jī)任務(wù)找到資源配置策略雖然能夠使得任務(wù)得到恢復(fù)并繼續(xù)執(zhí)行,但是算法在執(zhí)行過程中未考慮到數(shù)據(jù)密集型應(yīng)用的整體的完成時(shí)間,而FRPM方法在迭代尋找資源配置的過程中始終將數(shù)據(jù)密集型應(yīng)用的完成時(shí)間作為考量指標(biāo),所以也就導(dǎo)致使用Benchmark、BFD和FFD對(duì)宕機(jī)任務(wù)進(jìn)行恢復(fù)后的完成時(shí)間明顯長(zhǎng)于FRPM。此外,在實(shí)驗(yàn)過程中為了避免FRPM所找出的資源配置策略出現(xiàn)局部最優(yōu)解,所以對(duì)FRPM所得出的解借助SAW和MCDM進(jìn)行了歸一化處理,從而避免出現(xiàn)局部最優(yōu)解的問題。
“當(dāng)然有啊,”陸教授說,“古代又沒有電腦制圖,也沒有現(xiàn)代化的造幣機(jī),那么第一批樣錢,也就是我們說的雕母,當(dāng)然是純手工造的啊。而且肯定比別的錢造得精細(xì)。要是樣品都造得隨隨便便,成品錢就不象樣了?!?/p>
表2 數(shù)據(jù)密集型應(yīng)用完成時(shí)間對(duì)比 (單位:秒/s)
4.3.2 平均資源使用率對(duì)比
大量的計(jì)算資源被部署在云平臺(tái)以滿足用戶對(duì)計(jì)算能力的需求,一般情況下,云平臺(tái)的計(jì)算資源是希望被充分利用,所以云平臺(tái)的計(jì)算資源是否被充分利用也是衡量資源配置策略有效性的重要因素。在本文中,通過計(jì)算每個(gè)計(jì)算節(jié)點(diǎn)所占用的虛擬機(jī)數(shù)量來評(píng)估云平臺(tái)的平均資源利用率。如表3所示,對(duì)比了Benchmark、BFD、FFD和FRPM在 不 同宕機(jī)任務(wù)情況下的云平臺(tái)的平均資源利用率。可以看出:由于FRPM在為宕機(jī)任務(wù)進(jìn)行資源配置時(shí)對(duì)當(dāng)前云平臺(tái)所有計(jì)算結(jié)點(diǎn)的資源使用率進(jìn)行了充分考量,所以隨著宕機(jī)任務(wù)數(shù)量的增加,云平臺(tái)的資源利用率也隨之增大;而Benchmark、BFD和FFD在進(jìn)行資源配置的時(shí)候僅考慮單一計(jì)算結(jié)點(diǎn)的資源使用率,并沒有考慮云平臺(tái)整體的資源使用率,所以不能為宕機(jī)任務(wù)進(jìn)行均衡的資源配置。
表3 平均資源使用率對(duì)比(*102%)
4.3.3 負(fù)載均衡對(duì)比
負(fù)載均衡作為宕機(jī)任務(wù)恢復(fù)方法的一個(gè)重要評(píng)價(jià)指標(biāo),一方面,當(dāng)云平臺(tái)總體保持負(fù)載均衡時(shí)可以在最大程度上發(fā)揮各計(jì)算結(jié)點(diǎn)的性能。另一方面,當(dāng)云中的所有計(jì)算節(jié)點(diǎn)都保持負(fù)載平衡狀態(tài)時(shí),所有的計(jì)算結(jié)點(diǎn)都處在較為穩(wěn)定的狀態(tài),降低了計(jì)算節(jié)點(diǎn)出現(xiàn)問題的風(fēng)險(xiǎn),在一定程度上提升了云計(jì)算中心的容錯(cuò)性。一般情況下,負(fù)載平衡方差的值越小,就表示云計(jì)算中心所有計(jì)算節(jié)點(diǎn)的負(fù)載平衡越好。如表4所示,隨著宕機(jī)任務(wù)數(shù)量的增加,在Benchmark、BFD、FFD和FRPM對(duì)宕機(jī)任務(wù)進(jìn)行資源配置之后,云計(jì)算中心計(jì)算結(jié)點(diǎn)的負(fù)載均衡方差都在隨之增加。其中,F(xiàn)RPM所得到的負(fù)載均衡方差值最小,BFD的負(fù)載均衡方差比FRPM大,而Benchmark和FFD得到的負(fù)載均衡方差值最大。主要原因時(shí)由于Benchmark和FFD在為宕機(jī)任務(wù)進(jìn)行資源配置的過程中不考慮各計(jì)算節(jié)點(diǎn)的負(fù)載而直接進(jìn)行資源配置,所以導(dǎo)致兩種算法在為宕機(jī)任務(wù)進(jìn)行資源配置的時(shí)候云計(jì)算平臺(tái)的負(fù)載均衡方差值相差無幾;BFD在為宕機(jī)任務(wù)進(jìn)行資源配置的時(shí)候,首先會(huì)考慮最所剩容量適合宕機(jī)任務(wù)的計(jì)算結(jié)點(diǎn),所以使得云計(jì)算中心的負(fù)載較好;而FRPM在尋找宕機(jī)任務(wù)資源配置策略時(shí)會(huì)綜合考量云計(jì)算中心所有計(jì)算結(jié)點(diǎn)當(dāng)前所處的負(fù)載狀態(tài),因此得到的資源配置策略使得云計(jì)算中心處于更好的負(fù)載均衡狀態(tài)。
表4 負(fù)載均衡對(duì)比
在本文中,為了保證在云平臺(tái)發(fā)生故障時(shí),部署在云平臺(tái)的數(shù)據(jù)密集型應(yīng)用的完成時(shí)間最短的同時(shí),云平臺(tái)的負(fù)載均衡也能得到有效的保證,本文提出了一種基于NSGA-III的FRPM方法。該方法為云平臺(tái)中發(fā)生錯(cuò)誤的數(shù)據(jù)密集型應(yīng)用進(jìn)行有效的資源配置以保證數(shù)據(jù)密集型應(yīng)用在云平臺(tái)發(fā)生宕機(jī)時(shí)的完成時(shí)間最短的同時(shí),也能夠保證云中所有計(jì)算節(jié)點(diǎn)的負(fù)載均衡。最后,通過大量的實(shí)驗(yàn)對(duì)FRPM的有效性進(jìn)行了驗(yàn)證。在未來的工作中,在恢復(fù)宕機(jī)任務(wù)過程中,應(yīng)用數(shù)據(jù)的隱私問題需要被考慮。
大數(shù)據(jù)時(shí)代下,企業(yè)的發(fā)展依賴于信息化平臺(tái)的建設(shè),資源共享平臺(tái)建設(shè)是會(huì)計(jì)信息化的重要發(fā)展趨勢(shì)和前進(jìn)方向。資源共享平臺(tái)的構(gòu)建會(huì)為管理者決策行為提供可靠保障,為了避免會(huì)計(jì)信息化發(fā)展過程中信息孤島的出現(xiàn),資源共享平臺(tái)的開拓有著十分重要的意義。