李 英
(內(nèi)江職業(yè)技術(shù)學(xué)院 信息技術(shù)系,四川 內(nèi)江 641000)
傳統(tǒng)信息分配法則將數(shù)量固定的輸入數(shù)據(jù),按照所有輸出端的傳輸需求進行平均分配處理.這種數(shù)據(jù)信息分配方法利用Map/Reduce型處理平臺完成內(nèi)存資源的動態(tài)調(diào)配[1].但隨著科學(xué)技術(shù)手段的進步,人們對數(shù)據(jù)信息分配結(jié)果的精準(zhǔn)度提出了更高要求.這種傳統(tǒng)方法對于數(shù)據(jù)包走向的控制性、對于索引列表的搭建有效性,逐漸低于人們的平均期望水平,且不能在方法運行的同時保證Map/Reduce型處理平臺始終保持良好的穩(wěn)定狀態(tài).為解決上述問題,搭建基于可擴展存儲網(wǎng)絡(luò)空間環(huán)境的新型數(shù)據(jù)信息動態(tài)分配方法[2].這種新型數(shù)據(jù)信息分配手段利用Hadoop/MapReduce平臺代替Map/Reduce平臺,并從根本上達(dá)到提升方法運行穩(wěn)定性的目的.為改進現(xiàn)有技術(shù)手段中存在的弊端,通過計算信息動態(tài)優(yōu)先級等方式,完成對數(shù)據(jù)包走向情況的嚴(yán)密控制.
新型數(shù)據(jù)信息動態(tài)分配方法,以可擴展存儲網(wǎng)絡(luò)空間作為基礎(chǔ)運行環(huán)境.
Hadoop/MapReduce框架結(jié)構(gòu)是可擴展存儲網(wǎng)絡(luò)空間環(huán)境的搭建基礎(chǔ).該框架結(jié)構(gòu)以MapReduce客戶端作為主要核心搭建環(huán)節(jié).當(dāng)網(wǎng)絡(luò)空間環(huán)境中數(shù)據(jù)信息按照用戶要求進行流動時,MapReduce客戶端啟動Hadoop輔助功能,并在該功能的促進下,與數(shù)據(jù)信息位置分配索引器建立連接.將待分配的動態(tài)數(shù)據(jù)以信息流的形式傳輸至初級分配列表,并在列表中建立完善的動態(tài)信息表格,以保證數(shù)據(jù)包的走向始終處于有效控制狀態(tài)[3-4].
文件存儲合并模塊與Hadoop/MapReduce可擴展存儲框架中的動態(tài)信息表格直接相連.為避免數(shù)據(jù)包的走向得不到有效控制,利用HDFS約束原理,對需要進行動態(tài)分配處理的大數(shù)據(jù)進行細(xì)化處理,將待分配的大數(shù)據(jù)均等分成多個分散信息節(jié)點[5].再將這些節(jié)點統(tǒng)一集合到文件存儲合并模塊上,使每一個節(jié)點都得到一個列表引碼,即數(shù)據(jù)信息的索引文件列表.
可擴展存儲網(wǎng)絡(luò)空間結(jié)構(gòu)的信息動態(tài)引腳,將文件存儲合并模塊生成的列表引碼,按照一定的排列順序組成數(shù)據(jù)與數(shù)據(jù)首尾相連的環(huán)形結(jié)構(gòu),無數(shù)環(huán)形結(jié)構(gòu)在IP網(wǎng)絡(luò)協(xié)議的連接下,形成網(wǎng)絡(luò)空間索引文件列表.現(xiàn)有信息分配技術(shù)將數(shù)據(jù)文件劃分為HDFS和Key/Value兩種形式.其中,以HDFS形式作為后綴的數(shù)據(jù)文件是信息分配的主要載體[6-7].以Key/Value形式作為后綴的數(shù)據(jù)文件,新型數(shù)據(jù)信息動態(tài)分配方法利用int輸入語句,在有效控制數(shù)據(jù)包走向的同時,達(dá)到建立網(wǎng)絡(luò)空間索引文件列表的目的.
數(shù)據(jù)信息的動態(tài)優(yōu)先級是避免數(shù)據(jù)包混亂現(xiàn)象出現(xiàn)的主要依據(jù).新型數(shù)據(jù)信息動態(tài)分配方法利用搶占排序算法,完成數(shù)據(jù)信息的動態(tài)優(yōu)先級計算.搶占排序算法可將所有待分配的數(shù)據(jù)信息,按照執(zhí)行時間從小到大的順序進行排列.當(dāng)數(shù)據(jù)信息的執(zhí)行時間得到有序排列后,這些信息所附屬的任務(wù)ID也會隨之完成排列,這也大大降低數(shù)據(jù)傳輸混亂現(xiàn)象的發(fā)生幾率.通過這種搶占排序后,數(shù)據(jù)信息的動態(tài)優(yōu)先級始終維持從小到大的順序,且對與新型動態(tài)分配方法來說,數(shù)據(jù)的穩(wěn)定排序更有利于對數(shù)據(jù)包走向進行標(biāo)記處理[8-9].
完成動態(tài)優(yōu)先級計算的待分配數(shù)據(jù)信息始終按照執(zhí)行時間從小到大的順序進行排列[10].為保證新型分配方法能夠在有效控制數(shù)據(jù)包走向的基礎(chǔ)上,建立有效的索引列表,還需完成信息的動態(tài)分配情況判斷.
當(dāng)新型分配方法進入工作流程時,首先需要在中心系統(tǒng)的既定操作平臺,輸入待分配數(shù)據(jù)信息的總量,再由中心系統(tǒng)的基本判斷流程確定在該傳輸總量額度下,是否需要追加一定的動態(tài)分配內(nèi)存.若判斷結(jié)果為“是”,則可認(rèn)為該傳輸總量額度滿足大量待分配數(shù)據(jù)信息的限制要求;若判斷結(jié)果為“否”,則可認(rèn)為該傳輸總量額度不滿足大量待分配數(shù)據(jù)信息的限制要求.完成上述判斷流程后,可將所有待分配數(shù)據(jù)信息按照傳輸總量的不同,分為兩大部分,在確保中心操作系統(tǒng)能夠按照既定網(wǎng)絡(luò)協(xié)議標(biāo)準(zhǔn),為每一部分?jǐn)?shù)據(jù)信息建立一個特定的索引文件列表后,可認(rèn)為此次動態(tài)分配情況較為良好,至此完成一次動態(tài)分配情況判斷.
為保證該方法的順利運行,還需根據(jù)動態(tài)節(jié)點的消耗曲線對數(shù)據(jù)信息的分配參數(shù)進行修正.動態(tài)節(jié)點消耗曲線是一條部分完整的對數(shù)曲線,其具體走向趨勢如圖1所示.
圖1 動態(tài)節(jié)點消耗曲線圖
分析圖1,可將數(shù)據(jù)信息動態(tài)分配參數(shù)分為三部分,設(shè)在數(shù)據(jù)信息總量為2.0 T之前,數(shù)據(jù)信息動態(tài)分配參數(shù)為λ1,在數(shù)據(jù)信息總量大于2.0 T、節(jié)點消耗情況為正時,數(shù)據(jù)信息動態(tài)分配參數(shù)為λ2,在數(shù)據(jù)信息總量大于2.0 T、節(jié)點消耗情況為負(fù)時,數(shù)據(jù)信息動態(tài)分配參數(shù)為λ3,則每個修正參數(shù)的具體表達(dá)公式如下:
(1)
其中,m1,m2,m3分別代表不同時期數(shù)據(jù)信息的動態(tài)權(quán)重,e1,e2,e3分別代表不同時期動態(tài)節(jié)點消耗曲線的斜率.
為驗證該方法的實用性價值,設(shè)計如下對比實驗.以兩臺CPU主頻在3.0 GHz以上的中心計算機作為實驗對象.隨機挑選出一臺計算機作為實驗組,搭載新型數(shù)據(jù)信息動態(tài)分配方法;另一臺計算機,作為對照組,搭載現(xiàn)有信息分配技術(shù)手段.在控制實驗時間相同的情況下,分別記錄兩組計算機對數(shù)據(jù)包縱向的控制情況、索引列表的搭載有效性.
實驗開始前,按照下表完成相關(guān)實驗參數(shù)設(shè)置.
表1 實驗參數(shù)設(shè)置表
上表中參數(shù)依次代表數(shù)據(jù)包走向控制參數(shù)、分配修正參數(shù)、預(yù)估列表搭建有效性、數(shù)據(jù)信息總量、分配調(diào)節(jié)率,為保證實驗的公平性,實驗組、對照組數(shù)據(jù)始終保持一致.
以10 min作為實驗時間,記錄在這段時間內(nèi),實驗組、對照組數(shù)據(jù)包走向控制參數(shù)的變化情況.已知參數(shù)變化情況與數(shù)據(jù)包走向控制情況,始終保持相同的變化趨勢,且變化幅度也保持一致.為保證實驗結(jié)果更具真實性,第一組實驗在計算機低頻率運行狀態(tài)下進行,詳細(xì)實驗情況,如圖2所示.第二組實驗在計算機高頻率運行狀態(tài)下進行,詳細(xì)實驗情況,如圖3所示.
圖2 數(shù)據(jù)包走向控制情況對比圖(低頻率運行)
圖3 數(shù)據(jù)包走向控制情況對比圖(高頻率運行)
上圖中左部分代表實驗組數(shù)據(jù)包走向控制參數(shù)的變化情況,右部分代表對照組數(shù)據(jù)包走向控制參數(shù)的變化情況.分析圖2中左圖可知,在計算機保持低頻率運行狀態(tài)時,實驗組數(shù)據(jù)包走向控制參數(shù)的變化情況呈現(xiàn)先降低、再升高、最后穩(wěn)定的變化趨勢.根據(jù)圖中數(shù)據(jù)所示,可知實驗組數(shù)據(jù)包走向控制參數(shù)的最大值能夠達(dá)到8~9之間;分析圖2中右圖可知,在計算機保持低頻率運行狀態(tài)時,實驗組數(shù)據(jù)包走向控制參數(shù)的變化情況呈現(xiàn)先升高再降低的趨勢.根據(jù)圖中數(shù)據(jù)所示,可知對照組數(shù)據(jù)包走向控制參數(shù)的最大值,僅能達(dá)到3左右.
分析圖3中左圖可知,在計算機保持高頻率運行狀態(tài)時,實驗組數(shù)據(jù)包走向控制參數(shù)的變化情況呈現(xiàn)先穩(wěn)定、再下降、再上升的變化趨勢,根據(jù)圖中數(shù)據(jù)所示,可知實驗組數(shù)據(jù)包走向控制參數(shù)的最大值能夠達(dá)到10左右,超過目標(biāo)參數(shù);分析圖3中右圖可知,在計算機保持高頻率運行狀態(tài)時,對照組數(shù)據(jù)包走向控制參數(shù)的變化情況呈現(xiàn)持續(xù)降低的趨勢,根據(jù)圖中數(shù)據(jù)所示,可知對照組數(shù)據(jù)包走向控制參數(shù)的最大值,僅能達(dá)到5左右.由此可證,隨著基于可擴展存儲網(wǎng)絡(luò)空間環(huán)境,數(shù)據(jù)信息動態(tài)分配方法的應(yīng)用,數(shù)據(jù)包走向的控制情況得到明顯好轉(zhuǎn).
令兩臺實驗計算機保持相同的工作狀態(tài),并以15 min作為實驗時間,分別記錄在這段時間內(nèi),實驗組、對照組索引列表的搭建有效性對比情況.為保證實驗結(jié)果更具真實性,第一組實驗在計算機低頻率運行狀態(tài)下進行,詳細(xì)實驗情況如圖4所示.第二組實驗在計算機高頻率運行狀態(tài)下進行,詳細(xì)實驗情況如圖5所示.
圖4 索引列表搭建有效性對比圖(低頻率運行)
圖5 索引列表搭建有效性對比圖(高頻率運行)
分析圖4可知,在計算機保持低頻率運行狀態(tài)時,實驗組索引列表的搭建有效性呈現(xiàn)較大的浮動狀態(tài),但當(dāng)運行時間接近6 min時,有效性的最大值依然超過目標(biāo)值,達(dá)到91.02%;對照組索引列表的搭建有效性雖然全程保持較為穩(wěn)定的浮動狀態(tài),但無論運行時間為何值時,有效性最大值只能達(dá)到44.75%,遠(yuǎn)低于目標(biāo)值.分析圖5可知,在計算機保持高頻率運行狀態(tài)時,實驗組索引列表的搭建有效性呈現(xiàn)緩緩上升的變化趨勢,當(dāng)運行時間超過9 min時,有效性的最大值超過目標(biāo)值,達(dá)到92.33%;對照組索引列表的搭建有效性先保持穩(wěn)定再小幅度上升,當(dāng)運行時間超過9 min時,達(dá)到最大值46.81%,遠(yuǎn)低于目標(biāo)值.由此可證,隨著基于可擴展存儲網(wǎng)絡(luò)空間環(huán)境數(shù)據(jù)信息動態(tài)分配方法的應(yīng)用,索引列表的搭建有效性得到一定程度地提升.
基于可擴展存儲網(wǎng)絡(luò)空間環(huán)境的新型數(shù)據(jù)信息動態(tài)分配方法,在保持現(xiàn)有技術(shù)手段優(yōu)點的基礎(chǔ)上,針對弊端進行有效的改進設(shè)計,且對比實驗結(jié)果,也能證明該方法的實用性價值.