孫逸敏

摘要：隨著互聯(lián)網(wǎng)大數(shù)據(jù)的應(yīng)用，相關(guān)機(jī)構(gòu)提出云計算概念。而基于云計算的資源調(diào)度一直是此領(lǐng)域的主要研究方向之一。隨著社會網(wǎng)絡(luò)資源數(shù)據(jù)共享深入，基于云計算技術(shù)的大數(shù)據(jù)均衡調(diào)度成為領(lǐng)域難題，傳統(tǒng)調(diào)度方式多數(shù)根據(jù)數(shù)據(jù)完成時間和任務(wù)完成時間，做不到真正的大數(shù)據(jù)資源均衡調(diào)度。文章針對傳統(tǒng)調(diào)度方式弊病，提出TPO集成法，通過云技術(shù)建模、波動算法、節(jié)點(diǎn)檢測等技術(shù)解決傳統(tǒng)問題，并以實(shí)驗(yàn)的方式檢測效果。

關(guān)鍵詞：大數(shù)據(jù)；均衡；資源調(diào)度

中圖分類號： F272 文獻(xiàn)標(biāo)識碼： A 文章編號：1009-3044（2018）01-0011-02

近幾年，隨著互聯(lián)網(wǎng)網(wǎng)絡(luò)規(guī)模不斷擴(kuò)大，網(wǎng)絡(luò)數(shù)據(jù)交互也更加廣泛。而網(wǎng)絡(luò)社交、搜索網(wǎng)站、商務(wù)代表一系列新型網(wǎng)絡(luò)應(yīng)用的開發(fā)，大量互聯(lián)網(wǎng)數(shù)據(jù)整合和數(shù)據(jù)匯聚現(xiàn)象，使數(shù)據(jù)處理應(yīng)用量和需求量呈井噴式爆發(fā)，互聯(lián)網(wǎng)所要分析或處理的業(yè)務(wù)量也日益繁重。例如國外社交軟件Face book的中央處理系統(tǒng)平均每天要接收30億條以上訊息和將近1000T網(wǎng)絡(luò)數(shù)據(jù)；而我國阿里巴巴旗下淘寶網(wǎng)，每天要處理超過900T數(shù)據(jù)。大量數(shù)據(jù)的產(chǎn)生和應(yīng)用極速加快了“大數(shù)據(jù)時代”的到來。針對于海量數(shù)據(jù)服務(wù)，如何將這些數(shù)據(jù)進(jìn)行有效均衡調(diào)配，為網(wǎng)絡(luò)用戶提供方便快捷的網(wǎng)絡(luò)搜索服務(wù)，成為互聯(lián)網(wǎng)當(dāng)前所面臨的重要問題。在這種情況下，一種以分布式計算為核心的新型計算技術(shù)誕生，這就是云計算技術(shù)。

隨著網(wǎng)絡(luò)信息技術(shù)的普及，“云計算”已經(jīng)漸漸得到社會各界的廣泛關(guān)注。在傳統(tǒng)信息處理模式下，一些公共機(jī)構(gòu)信息數(shù)據(jù)在外在壓力下需要空間增長時，往往只能采取硬件設(shè)施的再建設(shè)，勢必花費(fèi)大量成本。而云計算技術(shù)的出現(xiàn)則避免了這一成本。云計算技術(shù)其本質(zhì)可以說是一種商業(yè)模型，這類模型可以利用節(jié)點(diǎn)有效地整理分析數(shù)據(jù)。所有數(shù)據(jù)軟件都被綁定在一個共同的大服務(wù)器上，個人或企業(yè)用戶需要數(shù)據(jù)訪問時，需要先拿到訪問權(quán)限，才能得到服務(wù)，也就是說，用戶需要向服務(wù)器租賃數(shù)據(jù)，等同于數(shù)據(jù)分布等式計算。它利用網(wǎng)絡(luò)計算機(jī)，將大量數(shù)據(jù)進(jìn)行資源組織，對于大數(shù)據(jù)均衡調(diào)度方面有極大技術(shù)支持。

1 云技術(shù)下數(shù)據(jù)均衡調(diào)配的TPO集成法

大數(shù)據(jù)環(huán)境下，傳統(tǒng)數(shù)據(jù)調(diào)度方式主要存在：信息浪費(fèi)量大，互通開放性低，數(shù)據(jù)聯(lián)絡(luò)不密，資源調(diào)配難以均衡等種種問題。針對于以上問題，提出了一種基于云計算技術(shù)的下的TPO集成法。里面包含三種核心技術(shù)以及一套核心代碼，通過中央處理器信號回流算法，云計算合點(diǎn)技術(shù)，進(jìn)行大規(guī)模，高速率的信號分析檢測，使數(shù)據(jù)流傳輸更準(zhǔn)確通暢。通過云計算技術(shù)和CPU節(jié)點(diǎn)動態(tài)管理技術(shù)，可以將處理器網(wǎng)絡(luò)數(shù)據(jù)調(diào)度交互過程中各節(jié)點(diǎn)數(shù)據(jù)波段進(jìn)行廣域化處理。

1.1 云計算環(huán)境建模

云計算技術(shù)通俗來說就是一種建立數(shù)據(jù)交互，網(wǎng)絡(luò)互通環(huán)境的多數(shù)據(jù)中心技術(shù)。研究云計算環(huán)境下數(shù)據(jù)均衡調(diào)配，必須著重考慮云計算中的數(shù)據(jù)資源存儲技術(shù)和數(shù)據(jù)網(wǎng)絡(luò)帶寬等[1]?！霸朴嬎恪杯h(huán)境表示為N個不同位置，不同節(jié)點(diǎn)，不同時間的數(shù)據(jù)集合這些網(wǎng)絡(luò)數(shù)據(jù)通過不同的區(qū)域網(wǎng)絡(luò)連接，而這些網(wǎng)絡(luò)數(shù)據(jù)的傳輸時間，帶寬是不同的。其中編號n是數(shù)據(jù)中心，真實(shí)的數(shù)據(jù)流網(wǎng)絡(luò)構(gòu)架可以比喻成邏輯上的數(shù)據(jù)拓結(jié)構(gòu)，EC中個數(shù)據(jù)流矩陣表示如下：

對于所有P、N當(dāng)且僅當(dāng)P≠N時表示的是各個數(shù)據(jù)間網(wǎng)絡(luò)傳播值是相同的且波動不大。

將云計算技術(shù)下，所有單獨(dú)波動數(shù)據(jù)定義為二元組，， 其中SC表示數(shù)據(jù)中心ec的可控存儲空間總量。表示在數(shù)據(jù)任務(wù)開始前，數(shù)據(jù)中心可以使用的數(shù)據(jù)比值，表示數(shù)據(jù)任務(wù)開始以后，數(shù)據(jù)中心可以使用的數(shù)據(jù)比值。這兩個參數(shù)為了保證模型可以正常進(jìn)行，結(jié)果為。

1.2 中央處理器數(shù)據(jù)傳輸波動算法

如今，各大型企業(yè)公共機(jī)構(gòu)，都會利用互聯(lián)網(wǎng)數(shù)據(jù)分析技術(shù)，對公司企業(yè)內(nèi)部交互信息進(jìn)行收集、分析、存儲、發(fā)布、等一系列數(shù)據(jù)操作。經(jīng)過嘗試應(yīng)用，傳統(tǒng)的數(shù)據(jù)調(diào)配方式在大量數(shù)據(jù)集中調(diào)配方式過程中，很容易出現(xiàn)，數(shù)據(jù)響應(yīng)度低、數(shù)據(jù)響應(yīng)速率緩慢、數(shù)據(jù)響應(yīng)斷裂等各種情況發(fā)生。針對于上述問題，有關(guān)部門進(jìn)行分析探討后發(fā)現(xiàn)，其主要原因就是傳統(tǒng)的數(shù)據(jù)調(diào)配方式關(guān)鍵數(shù)據(jù)要素引入面過于簡單狹小，導(dǎo)致在數(shù)據(jù)量過多或短時間激增的情況下，常規(guī)邏輯運(yùn)算要素嚴(yán)重不足。算法邏輯沒有辦法支持如此巨大的運(yùn)算量，從而出現(xiàn)反應(yīng)速率慢，數(shù)據(jù)響應(yīng)斷裂的情況。

針對于上述方式，TPO集成法中的中央處理器傳輸波動算法，對網(wǎng)絡(luò)數(shù)據(jù)關(guān)鍵要素引入面無限擴(kuò)展延伸，對于引入數(shù)據(jù)傳輸路徑，進(jìn)行了優(yōu)化升級，拓寬了數(shù)據(jù)載入頻道，在數(shù)據(jù)庫底層內(nèi)部進(jìn)行分析整理后再進(jìn)入中央處理器內(nèi)部。信號強(qiáng)度測量通過檢測網(wǎng)絡(luò)數(shù)據(jù)處理占用的中央處理器內(nèi)存量百分比和內(nèi)部資源量，智能動態(tài)調(diào)整運(yùn)算邏輯所需要的要素錄入頻道，從而緩解中央處理器的壓力，保證邏輯運(yùn)算的暢通性，從而保證資源均衡調(diào)配，不會出現(xiàn)數(shù)據(jù)響應(yīng)緩慢等情況。通過傳輸波動算法的應(yīng)用，傳統(tǒng)方式中存在的調(diào)度運(yùn)算邏輯面引入不足的情況徹底改善。對于數(shù)據(jù)傳輸?shù)膬?yōu)化升級可以保證中央處理器合理運(yùn)算，達(dá)到資源分析最全面，從而保證大數(shù)據(jù)均衡調(diào)度實(shí)現(xiàn)。

1.3 處理器節(jié)點(diǎn)動態(tài)檢測技術(shù)

為了保證TPO集成法中的中央處理器數(shù)據(jù)傳輸波動算法的穩(wěn)定性和傳輸準(zhǔn)確性，對于網(wǎng)絡(luò)數(shù)據(jù)中數(shù)據(jù)節(jié)點(diǎn)進(jìn)行大規(guī)模優(yōu)化升級，數(shù)據(jù)分流渠道智能化處理，以保證中央處理器的強(qiáng)度波動算法執(zhí)行穩(wěn)定。設(shè)計中采用處理器數(shù)據(jù)節(jié)點(diǎn)動態(tài)網(wǎng)絡(luò)數(shù)據(jù)檢測技術(shù)，對龐大的數(shù)據(jù)內(nèi)部節(jié)點(diǎn)內(nèi)部綁定，根據(jù)網(wǎng)絡(luò)回饋信息流指數(shù)，進(jìn)行規(guī)律劃分、數(shù)據(jù)判定、資源調(diào)配。對數(shù)據(jù)中存在的不規(guī)則即完整性低，生成時間晚的數(shù)據(jù)進(jìn)行抗波處理，達(dá)到數(shù)據(jù)優(yōu)化的目的。具體工作原理參照圖1。

處理器節(jié)點(diǎn)動態(tài)檢測技術(shù)采用大數(shù)據(jù)智能化Flan算法，有數(shù)據(jù)內(nèi)部監(jiān)控內(nèi)部節(jié)點(diǎn)狀態(tài)，優(yōu)化整體網(wǎng)絡(luò)數(shù)據(jù)平滑程度，提高互聯(lián)網(wǎng)數(shù)據(jù)信號反應(yīng)速率。解決了傳統(tǒng)數(shù)據(jù)調(diào)度方法在網(wǎng)絡(luò)數(shù)據(jù)調(diào)度中出現(xiàn)的均衡性查、反應(yīng)慢、數(shù)據(jù)流斷裂、系統(tǒng)分配難等問題[2-3]。endprint

為了保證處理器節(jié)點(diǎn)動態(tài)檢測技術(shù)中對大數(shù)據(jù)的智能化Flan算法能夠穩(wěn)定，精確、快速地檢測大數(shù)據(jù)內(nèi)部的數(shù)據(jù)調(diào)度過程中的內(nèi)部各節(jié)點(diǎn)的使用率，設(shè)計將大數(shù)據(jù)動態(tài)Flan算法植入處理器內(nèi)部底層，網(wǎng)絡(luò)數(shù)據(jù)下的Flan算法下的網(wǎng)絡(luò)執(zhí)行代碼可以保證Flan算法可以獲取數(shù)據(jù)庫底層運(yùn)行計算權(quán)限，并且自動生成加密系統(tǒng)，對文件加密。防止外部網(wǎng)絡(luò)入侵、木馬病毒等竊取網(wǎng)絡(luò)數(shù)據(jù)。網(wǎng)絡(luò)大數(shù)據(jù)內(nèi)部動態(tài)Flan算法通過內(nèi)部執(zhí)行代碼可以自動激活運(yùn)行程序，對網(wǎng)絡(luò)數(shù)據(jù)庫或者網(wǎng)絡(luò)大數(shù)據(jù)進(jìn)行系統(tǒng)檢索、信息分析、獲得初步優(yōu)化措施。配合上層的中央處理器數(shù)據(jù)傳輸波動算法，對分析角度過程的數(shù)據(jù)進(jìn)行全面優(yōu)化，剔除干擾性數(shù)據(jù)，提升數(shù)據(jù)調(diào)度針對性，從而提高信息純度，達(dá)到數(shù)據(jù)流完整，數(shù)據(jù)資源調(diào)配均衡的目的，徹底數(shù)據(jù)調(diào)配不均狀況。大數(shù)據(jù)Flan算法具有互聯(lián)網(wǎng)大數(shù)據(jù)資源交互、信息分析、數(shù)據(jù)整合等功能可以實(shí)時保證調(diào)度方案最完善[4]。

1.4 核心集成代碼

上訴三套核心技術(shù)即TPO集成法的核心技術(shù)支持，整體設(shè)計方法也進(jìn)入尾聲。經(jīng)過大量實(shí)際檢測應(yīng)用測試，TPO集成法雖然可以有效解決傳統(tǒng)網(wǎng)絡(luò)大數(shù)據(jù)交互時存在的資源調(diào)配不均，效率低下等問題，但是由于大數(shù)據(jù)環(huán)境背景下，各網(wǎng)絡(luò)端口和網(wǎng)絡(luò)應(yīng)用日常生成的網(wǎng)絡(luò)數(shù)據(jù)過于龐大，導(dǎo)致TPO集成法所需要加載的時間過長，處理器占用率過高，導(dǎo)致實(shí)際使用耗時過長[5]。

為此，TPO集成法又新編入了一套核心集成快速執(zhí)行優(yōu)化代碼，可以通過這套快速執(zhí)行代碼解決數(shù)據(jù)流調(diào)度緩慢不均衡、加載權(quán)限難、加載通互性差等缺陷。核心代碼如下：

main（）

{

long int i；

int bonus1，bonu100000s2，bonus4，bonus6，bonus10，bonus；

scanf（"%ld"，&i）；

bonus1=100000*0.1；bonus2=bonus1+100000*0.75；

bonus4-bonus2+200000*0.5；

bonus6pbonus4+200000*0.3；

bonus10=bonus6+400000*0.15；

if（i<=100000）

bonus=i*0.1；

else if（i<=20000）

bonus=bonus1+（i-879578*0.075；

else if（i<=400000）

bonus=bonus2+（i-20485250）*0.05；

else if（i<=600000）

代碼的設(shè)計將上述三種核心技術(shù)算法通過網(wǎng)絡(luò)數(shù)據(jù)邏輯交互常帶性語法，進(jìn)行關(guān)聯(lián)同時加載最高執(zhí)行權(quán)限將上述三項(xiàng)技術(shù)進(jìn)行一體化，從而有效解決加載慢、處理器占用率高耗時長等問題。代碼采用GSII壓縮技術(shù)，進(jìn)行編寫，減小代碼體積、減小資源運(yùn)用成本。

2 TPO實(shí)際效果試驗(yàn)檢測

針對于大數(shù)據(jù)均衡調(diào)度，進(jìn)行TPO集成法的仿真測試。在設(shè)定的實(shí)驗(yàn)環(huán)境中和對傳統(tǒng)調(diào)配方式和TPO集成法進(jìn)行調(diào)度對比測試，并對結(jié)果進(jìn)行分析歸納如表1：

通過上述實(shí)驗(yàn)可以確定運(yùn)用PTO集成法對數(shù)據(jù)進(jìn)行調(diào)度：數(shù)據(jù)反應(yīng)更快、傳輸更完善。由于運(yùn)用的云技術(shù)模型，使數(shù)據(jù)來源和應(yīng)用更廣泛，資源開銷更低。

3 結(jié)束語

云計算的應(yīng)用，讓網(wǎng)絡(luò)數(shù)據(jù)資源調(diào)配變得更迫切。經(jīng)過對傳統(tǒng)數(shù)據(jù)調(diào)配方式的分析論證，以云計算模型、中央處理器數(shù)據(jù)傳輸波動算法、處理器動態(tài)節(jié)點(diǎn)動態(tài)檢測技術(shù)、為核心的TPO集成計算法通過實(shí)驗(yàn)驗(yàn)證了各方面都要優(yōu)于傳統(tǒng)數(shù)據(jù)調(diào)配技術(shù)。滿足設(shè)計要求，為大數(shù)據(jù)資源調(diào)配提供新的思路。

參考文獻(xiàn)：

[1] 劉迷.云計算下虛擬信息資源大數(shù)據(jù)特征集成調(diào)度[J].科技通報，2015，31（10）：199-201.

[2] 張晉芳.一種云計算環(huán)境下大數(shù)據(jù)動態(tài)遷移策略[D].昆明理工大學(xué)，2016，17（81）：13-12.

[3] 張明，王瑋，施建華等.電力大數(shù)據(jù)調(diào)度云的優(yōu)化[J].計算機(jī)仿真，2016，51（11）：13-6.

[4] 辛?？?基于群智能優(yōu)化算法的云計算任務(wù)調(diào)度策略研究[D].陜西師范大學(xué)，2015，31（17）：113-18.

[5] 王德龍.Hadoop平臺下作業(yè)調(diào)度算法的研究與改進(jìn)[D].南京信息工程大學(xué)，2015，1（51）：123-1.endprint