蔡小慶++顧陸偉++劉小丹++王勤超++許俊
摘要:應(yīng)用高分子進(jìn)行模擬計(jì)算機(jī)中的網(wǎng)格,這可以從事復(fù)雜材料管理以及研究人員搭建一個(gè)分子模擬、信息共享以及資源計(jì)算的良好平臺(tái),而在網(wǎng)格作業(yè)的管理模塊中,主要涵蓋了提交作業(yè)、調(diào)度以及監(jiān)視方面的內(nèi)容,這能夠較好地服務(wù)于用戶中網(wǎng)格資源的管理,通過運(yùn)用該模塊進(jìn)行高分子的模擬以及網(wǎng)格計(jì)算,不僅提高了服務(wù)用戶的質(zhì)量,而且對資源的優(yōu)化配置也帶來積極作用。本文正是從這些方面深入的分析實(shí)踐中的應(yīng)用效果。
關(guān)鍵詞:一個(gè)高分子;模擬;計(jì)算網(wǎng)格;作業(yè)管理
中圖分類號:TP311 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號:1009-3044(2016)26-0021-02
在網(wǎng)格作業(yè)的管理中,按照作業(yè)資源的實(shí)際需求以及網(wǎng)格中所承載的資源狀態(tài),對作業(yè)所選擇的資源實(shí)施分配,同時(shí)提升作業(yè)資源的管理水平以及執(zhí)行控制能力,通過這個(gè)網(wǎng)格模式可以更好地優(yōu)化作業(yè)的管理以及滿足用戶的需求。
1網(wǎng)格作業(yè)管理的結(jié)構(gòu)分析
在MSCGrid的作業(yè)管理結(jié)構(gòu)中包含了四個(gè)核心的部件,分別是作業(yè)的提交、作業(yè)的調(diào)度、作業(yè)的執(zhí)行以及監(jiān)視,在提交作業(yè)的步驟中,需要實(shí)現(xiàn)的是用戶之間的交互作用,主要負(fù)責(zé)的是用戶中作業(yè)頁面的生成以及動(dòng)態(tài)生成的描述,然后再通過xm1的穩(wěn)當(dāng)以及文件形式上傳,此外,按照用戶的需求可以把作業(yè)的資源描述為一個(gè)實(shí)在的請求,這樣便于資源能夠更好地進(jìn)行查詢以及匹配,進(jìn)而促進(jìn)作業(yè)實(shí)施調(diào)度的決策,在作業(yè)執(zhí)行中,主要依靠的是決策信息的資源[1],它把用戶中作業(yè)資源的提交工作運(yùn)行在適當(dāng)?shù)慕Y(jié)點(diǎn)中,同時(shí)可以增加對作業(yè)實(shí)際狀態(tài)的監(jiān)視以及通知作業(yè)等。
1.1 作業(yè)提交
在這個(gè)過程中,用戶通過網(wǎng)格模式進(jìn)行作業(yè)的提交,其中的資源要求也不同,而通過MSCGrid的方式為用戶提供一個(gè)登陸的系統(tǒng),即:portal的頁面,通過這個(gè)頁面進(jìn)入作業(yè)程序,同時(shí)把數(shù)據(jù)文件中的相關(guān)信息上傳到具體的操作系統(tǒng)中,通過一個(gè)簡單的數(shù)據(jù)表單填寫相應(yīng)的參數(shù),即可以促進(jìn)網(wǎng)格作業(yè)實(shí)現(xiàn)提交的目的;此外在描述作業(yè)中的信息空間,采用高分子的模擬計(jì)算方式,這屬于一個(gè)超大類型的密集運(yùn)算問題,在這個(gè)過程中,用戶的主要作用就是對其中的運(yùn)行結(jié)果以及最終試驗(yàn)數(shù)據(jù)進(jìn)行保存,而通過MSCD rid的應(yīng)用可以較好地提升作業(yè)信息中服務(wù)器的運(yùn)行效率,從而為每一位用戶提供良好的數(shù)據(jù)服務(wù),同時(shí)在建立用戶的臨時(shí)數(shù)據(jù)方面也起著重要作用,這在保存作業(yè)方面也可以提供良好的保護(hù)性,例如資源綁定情況,調(diào)度執(zhí)行情況以及上下文中用戶的使用情況等。在信息空間中可以對目錄情況進(jìn)行組織,然后用不同的目錄代表不同用戶,從而可以更加便利地為每一位用戶設(shè)計(jì)一個(gè)合適的存儲(chǔ)代理證書,在Job的子目錄中可以提升存儲(chǔ)文件以及程序的能力。
1.2 作業(yè)描述
在作業(yè)描述中,主要包括了用戶對作業(yè)資源所提出的要求以及結(jié)果的通知,在這個(gè)過程中可以較好地為用戶提供輸入信息所需要的Web界面,然后再結(jié)合用戶的情況而建立一個(gè)良好的系統(tǒng),主要用于相關(guān)參數(shù)的描述,具體的情況如下:第一個(gè)是用戶信息,它主要是在系統(tǒng)中提升信息安全的認(rèn)證,在整個(gè)系統(tǒng)中所需要的安全認(rèn)證包括了Web的安全以及網(wǎng)格中資源的Grid安全,在Web層級中的安全主要是依靠用戶和Web的服務(wù)器進(jìn)行安全機(jī)制的管理,然后結(jié)合用戶的密鑰以及賬戶信息,而采取SSL的傳輸協(xié)議實(shí)施加密數(shù)據(jù)處理,從而實(shí)現(xiàn)用戶信息在身份認(rèn)證以及訪問控制中安全的目的[2],此外在網(wǎng)格的資源Grid中,安全主要的作用是GlobusGSI的機(jī)制,然后為用戶中的Proxy找到合適的代理證書,從而較好地實(shí)現(xiàn)了用戶作業(yè)和資源間相互認(rèn)證和授權(quán)管理的目的;第二是基于作業(yè)中基本信息管理,主要的內(nèi)容包括了Work Dir中用戶的作業(yè)目錄,它的目的是存儲(chǔ)用戶所提供的作業(yè)程序、文件數(shù)據(jù)以及結(jié)構(gòu)等,而Resource equestInfo的作業(yè)資源而言,在作業(yè)資源的調(diào)度中發(fā)揮著重要作用,例如作業(yè)的需求數(shù)目、內(nèi)存的最小值、最小磁盤的空間、作業(yè)運(yùn)行中系統(tǒng)建構(gòu)以及平臺(tái)管理等;第三是對Job Gram RSL的作業(yè)參數(shù)信息的文檔描述,運(yùn)用xml的文檔將作業(yè)中的資源需求可以進(jìn)行轉(zhuǎn)化,使得信息資源能夠更好地變?yōu)镚RAM中RSL的格式文件,同時(shí)還可以提交至GRAM中進(jìn)行處理,在此模塊中同時(shí)還實(shí)現(xiàn)了用戶對任務(wù)所提出的請求或者是刪除、檢查狀況等;第四是處理作業(yè)的調(diào)度信息問題,通過Job Schefule中的用戶能夠?qū)ψ鳂I(yè)實(shí)施調(diào)度策略,主要內(nèi)容涵蓋了作業(yè)的擴(kuò)展的動(dòng)態(tài)變化性處理,例如中斷信息的恢復(fù)工作,Restartable中的作業(yè)優(yōu)先位置處理工作等;第五是處理作業(yè)中的運(yùn)行情況以及信息監(jiān)視,這就是需要Job Run Info發(fā)揮重要作用,在這個(gè)過程中包括了作業(yè)執(zhí)行中對用戶信息的通知方式以及內(nèi)容,例如通過電子郵件的形式、電話、短信或者是具體形式的通知等[3],然后借助于用戶所指定使用的FTP文件加強(qiáng)服務(wù)器中地址的管理。
2 作業(yè)調(diào)度
在作業(yè)調(diào)度中需要根據(jù)用戶的實(shí)際需要進(jìn)行資源的過濾以及匹配處理,從而使得系統(tǒng)中能夠更好應(yīng)對信息檢索所需要的條件,從而促進(jìn)用戶尋找出最佳的資源結(jié)合點(diǎn),從而把作業(yè)提交到實(shí)際的資源帶中進(jìn)行執(zhí)行,因此,在作業(yè)調(diào)度中需要進(jìn)一步實(shí)施優(yōu)先的調(diào)度機(jī)制,在作業(yè)系統(tǒng)中更好地進(jìn)行資源管理以及分配,把作業(yè)的優(yōu)先級進(jìn)行科學(xué)的處理,一般情況下包括了低級優(yōu)先、中級優(yōu)先以及高級優(yōu)先,其中一般的用戶屬于低級優(yōu)先[4],而中級優(yōu)先則為重要的用戶,在高級優(yōu)先中可以更好地為用戶提供資源業(yè)主,然后根據(jù)不同的等級劃分出合適的資源性能,具體的情況如下,高級優(yōu)先中的資源結(jié)點(diǎn)為1,中級優(yōu)先中資源的結(jié)點(diǎn)為2,普通優(yōu)先中的資源結(jié)點(diǎn)為3,在結(jié)點(diǎn)不斷增加的過程中,還需要設(shè)計(jì)更多的資源優(yōu)先等級,具體情況請見下圖:
2.1 作業(yè)的搶先機(jī)制
在這個(gè)機(jī)制中,主要是用戶對于作業(yè)本身所使用的可中斷點(diǎn)模式進(jìn)行執(zhí)行設(shè)計(jì)以及實(shí)現(xiàn),因此,在高分子的模擬中,可以較好地處理這一類具有超大規(guī)模計(jì)算的密集型問題,例如作業(yè)中的執(zhí)行,在通常情況下需要的時(shí)間較長,同時(shí)在執(zhí)行的過程中比較容易出現(xiàn)問題,如資源的可利用狀態(tài)不夠、作業(yè)中程序的運(yùn)作方式發(fā)生錯(cuò)誤、用戶在處理作業(yè)中的操作發(fā)生中斷執(zhí)行的情況等[5],因此,引入了簡單處理Ckeck-Poit的機(jī)制,從而使得作業(yè)能夠更好地避免出現(xiàn)重新開始執(zhí)行的情況,除此之外,對于作業(yè)處理中所運(yùn)用的搶先機(jī)制還可以提升整個(gè)系統(tǒng)中的作業(yè)所需要的響應(yīng)時(shí)間,其中所需要敘的重要組件以及條件為:
1)連續(xù)性作業(yè)中的執(zhí)行,這是對系統(tǒng)中作業(yè)的處理而言,需要采用搶占的機(jī)制實(shí)施調(diào)度,這是一個(gè)先決條件,在這個(gè)過程中要求了用戶能夠更好地處理其中的程序,然后根據(jù)一些可讀性的數(shù)據(jù)以及文件資源進(jìn)行執(zhí)行,這對于計(jì)算密集性問題的處理而言具有十分重要的意義。
2)對于Check-Point的機(jī)制,它主要作用是處理用戶在程序中所需要進(jìn)行的多進(jìn)度或者是線程進(jìn)行同步數(shù)據(jù)的設(shè)置,從而使得每一個(gè)同步點(diǎn)都能夠在數(shù)據(jù)中進(jìn)行匯總與處理,從而使得作業(yè)在執(zhí)行中更好地應(yīng)對一些異常情況,例如在高級優(yōu)先中可以較好地處理作業(yè)搶先的問題,然后通過主線調(diào)度的方式使得信息的讀取以及作業(yè)的分析能夠更好地滿足xml的文件要求,進(jìn)而有效地確定一個(gè)良好的Check-point的結(jié)點(diǎn),再通過復(fù)制該數(shù)據(jù)中的文件到用戶所需要的數(shù)據(jù)備份中,增強(qiáng)了作業(yè)的結(jié)點(diǎn)進(jìn)入優(yōu)先級,為下一次進(jìn)行調(diào)度制造了條件。
3)處理中間結(jié)果中存儲(chǔ)的問題,這是為了較好地保障Check-Point中的機(jī)制以及恢復(fù)工作而進(jìn)行的用戶作業(yè)文件處理,同時(shí)也為用戶的存取帶來了較好地便利性,因此,在設(shè)置的系統(tǒng)目錄中需要進(jìn)一步優(yōu)化各個(gè)節(jié)點(diǎn)中數(shù)據(jù)的文件名,從而使得文件在各個(gè)節(jié)點(diǎn)中保持文件名的唯一性,提升了用戶對文件使用的效率。
3作業(yè)的執(zhí)行與監(jiān)視
在作業(yè)的執(zhí)行過程中,用戶需要根據(jù)作業(yè)的實(shí)際情況而采取恰當(dāng)?shù)淖鳂I(yè)匹配資源信息,從而為作業(yè)資源中實(shí)際信息的節(jié)點(diǎn)執(zhí)行帶來便利性,主要有兩種情況:第一種情況是作業(yè)的傳輸,這是用戶在作業(yè)程序以及文件數(shù)據(jù)中所需要的進(jìn)行執(zhí)行的結(jié)構(gòu),同時(shí)這也是資源的結(jié)點(diǎn)能夠真正實(shí)施執(zhí)行作業(yè)的重要方式,因此,通過網(wǎng)格中計(jì)算機(jī)數(shù)據(jù)的傳輸方式進(jìn)行完成,支持三種不同的方式,分別是數(shù)據(jù)的傳輸、斷點(diǎn)的續(xù)傳以及并行傳輸[6],此外就是結(jié)合GIS的安全認(rèn)證,通過指令的操作方式使得資源中的結(jié)點(diǎn)能夠?qū)崿F(xiàn)共享工作目錄,同時(shí)提升了文件傳輸中效率。
在作業(yè)監(jiān)視中有兩種情況,它們分別是作業(yè)的控制以及通知,在作業(yè)控制中是用戶對作業(yè)的狀態(tài)進(jìn)行查詢以及控制,然后再結(jié)合其中的ID進(jìn)行輸入信息,即可幫助用戶提供較好地操作以及控制策略,其功能是查詢、執(zhí)行暫停、恢復(fù)、獲取以及占用等;在通知類型中主要是用戶事件以及作業(yè)再次調(diào)度的通知,通知的方式有:信息、電話以及郵件等。
4 結(jié)束語
在高分子的模塊中,模擬網(wǎng)格作業(yè)是一個(gè)密集型的應(yīng)用問題,它需要協(xié)調(diào)與應(yīng)用多種不同的模擬軟件、數(shù)據(jù)以及計(jì)算資源的共享,在本設(shè)計(jì)中,正是現(xiàn)實(shí)了一個(gè)高分子對計(jì)算機(jī)中網(wǎng)格的模擬,主要是建立于OGSA基礎(chǔ)之上,通過Globu3.2的平臺(tái),構(gòu)建一個(gè)服務(wù)器,通過門戶信息、調(diào)度以及決策共同組成了良好的模擬作業(yè)管理形式。
參考文獻(xiàn):
[1] 吉旭,鐘淦基,于洋,等.高分子材料行業(yè)云制造的關(guān)鍵技術(shù)及應(yīng)用[J].計(jì)算機(jī)集成制造系統(tǒng),2015,3(9):3072-3078.
[2] 闞文梟,王聰,徐琪,等.AndreiTsaregorodtsev,陳剛.基于桌面網(wǎng)格技術(shù)的高能物理計(jì)算系統(tǒng)[J].計(jì)算機(jī)工程,2016,6(15):48-54.
[3] 程耀東,石京燕,陳剛.高能物理計(jì)算環(huán)境概述[J].科研信息化技術(shù)與應(yīng)用,2014,5(20):3-10.
[4] 劉剛國,羅省賢.基于指標(biāo)體系的網(wǎng)格調(diào)度算法研究與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與應(yīng)用,2012,7(29):97-101+143.
[5] 王興偉,王學(xué)毅,黃敏.云計(jì)算環(huán)境下一種基于雙向拍賣的資源分配模型[J].小型微型計(jì)算機(jī)系統(tǒng),2013,2(15):309-316.
[6] 師雪霖,徐恪.云虛擬機(jī)資源分配的效用最大化模型[J].計(jì)算機(jī)學(xué)報(bào),2013,2(15):252-262.