鄭志學(xué)

（河南工業(yè)和信息化職業(yè)學(xué)院 河南 焦作 454000）

1 引言

近年來計(jì)算機(jī)技術(shù)高速發(fā)展，尤其是大數(shù)據(jù)技術(shù)在當(dāng)前疫情環(huán)境下的大量運(yùn)用，隨著阿帕奇（Apache）基金會(huì)發(fā)布的一款基于Hadoop云計(jì)算平臺開源項(xiàng)目的不斷更新，使得大數(shù)據(jù)的數(shù)據(jù)計(jì)算效率得到了質(zhì)的提升，而Hadoop云計(jì)算平臺是以MapReduce框架為軟件系統(tǒng)架構(gòu)，以分布式計(jì)算機(jī)硬件作為硬件支撐，通過MapReduce在指定的分布式計(jì)算機(jī)集群系統(tǒng)中進(jìn)行海量數(shù)據(jù)集的處理工作，因此整個(gè)分布式集群系統(tǒng)的穩(wěn)定性很大程度依賴于系統(tǒng)的故障預(yù)測的實(shí)時(shí)性和準(zhǔn)確性[1]。目前針對分布式計(jì)算機(jī)集群系統(tǒng)的故障預(yù)測基本都集中在用戶使用期間所產(chǎn)生的故障問題采用的預(yù)測算法也較為傳統(tǒng)，常見的預(yù)測算法有比較回歸分析方法、支持向量機(jī)預(yù)測法、灰度模型預(yù)測法以及前幾項(xiàng)常用預(yù)測法的組合方法[2]。雖然不同的預(yù)測法都能夠?qū)ο鄳?yīng)的情況進(jìn)行一定量的預(yù)測，但是這些方法都只能對較為確定的用戶關(guān)注點(diǎn)進(jìn)行預(yù)測，無法對其所關(guān)注的點(diǎn)中不確定的可變隨機(jī)值進(jìn)行概率預(yù)測，尤其是在分布式集群運(yùn)行過程中，往往由于系統(tǒng)運(yùn)行環(huán)境的復(fù)雜性使得故障的產(chǎn)生也出現(xiàn)一定的隨機(jī)性，因此正是由于該值的不確定性使得傳統(tǒng)方式的預(yù)測結(jié)果都存在不同程度的偏差。

因此本文提出一種基于改進(jìn)的時(shí)間序列算法進(jìn)行分布式云計(jì)算集群系統(tǒng)的故障預(yù)測方法，將傳統(tǒng)的時(shí)間序列預(yù)測算法同極限學(xué)習(xí)機(jī)算法相結(jié)合，通過采集云計(jì)算系統(tǒng)集群運(yùn)行時(shí)各種維度的信息，進(jìn)而通過構(gòu)建相應(yīng)的模型進(jìn)行系統(tǒng)故障的預(yù)測，最后通過搭建云計(jì)算集群實(shí)驗(yàn)平臺來驗(yàn)證最終的預(yù)測結(jié)果。

2 時(shí)間序列預(yù)測算法

2.1 時(shí)間序列預(yù)測法定義

時(shí)間序列預(yù)測算法從本質(zhì)上來說是一種回歸的預(yù)測算法，該算法的基本原理為：首先算法的基礎(chǔ)是承認(rèn)事務(wù)發(fā)展的可延展性，通過運(yùn)用以往的時(shí)間序列所產(chǎn)生的數(shù)據(jù)進(jìn)行相關(guān)信息的統(tǒng)計(jì)與分析，進(jìn)而根據(jù)用戶所關(guān)注的點(diǎn)推測事務(wù)發(fā)展的方向；其次在充分考慮事務(wù)發(fā)展存在偶然性因素的影響導(dǎo)致其可能產(chǎn)生的結(jié)果具備一定的隨機(jī)性，因此為了能夠有效地消除相關(guān)隨機(jī)因素的波動(dòng)產(chǎn)生的不良影響，通過調(diào)查與研究事務(wù)歷史發(fā)展的相關(guān)數(shù)據(jù)，其前期預(yù)測所要收集的信息內(nèi)容包括：收集與整合與事務(wù)相關(guān)的某種社會(huì)現(xiàn)象的歷史材料，通過對所收集的材料進(jìn)行一定程度的糾錯(cuò)與鑒別，將用戶關(guān)注的點(diǎn)形成數(shù)據(jù)進(jìn)行數(shù)據(jù)量化，構(gòu)成具有一定規(guī)律的數(shù)列，針對排序之后的數(shù)字序列，進(jìn)而定位某些現(xiàn)象隨時(shí)間變化的特定規(guī)律，進(jìn)而構(gòu)建發(fā)展的模型，形成具備通用性的模式，以此通用性的模式來套用以后使用者所關(guān)注的現(xiàn)象特點(diǎn)，進(jìn)而獲得一定準(zhǔn)確率的預(yù)測結(jié)果。

2.2 時(shí)間序列預(yù)測法步驟

（1）采集相關(guān)的數(shù)據(jù)資料，通過特定的方式進(jìn)行整理，編寫成時(shí)間序列的數(shù)據(jù)資料，同時(shí)根據(jù)所形成的時(shí)間序列繪制成統(tǒng)計(jì)圖。通常情況下我們所關(guān)注的數(shù)據(jù)資料可以分為四大類：現(xiàn)象長期趨勢、季節(jié)變動(dòng)、事務(wù)循環(huán)方式、事務(wù)的隨機(jī)不確定變動(dòng)。

（2）對時(shí)間序列進(jìn)行有效的分析。針對采集數(shù)據(jù)形成的時(shí)間序列要分析出哪些不同的因素共同作用引發(fā)的總和結(jié)果。

（3）根據(jù)各種變動(dòng)求解時(shí)間序列的長期趨勢（T）以及與季節(jié)相關(guān)的時(shí)間變動(dòng)（S）同時(shí)還要考慮事務(wù)的不穩(wěn)定變動(dòng)（L）的值，統(tǒng)計(jì)完成之后使用與之相匹配的數(shù)學(xué)模型來替代這些數(shù)據(jù)。

（4）根據(jù)時(shí)間序列資料求出相關(guān)的長期趨勢（T）以及與季節(jié)相關(guān)的時(shí)間變動(dòng)（S）同時(shí)還要考慮事務(wù)的不穩(wěn)定變動(dòng)（L）的數(shù)學(xué)模型，之后通過該模型來預(yù)測事務(wù)的發(fā)展趨勢。

（5）針對某些不規(guī)則變動(dòng)的相關(guān)預(yù)測值難以求出的情況，可以使用單獨(dú)求解長期趨勢與相關(guān)時(shí)間變動(dòng)的預(yù)測值，通過兩者的乘積或者求和運(yùn)算來獲取對應(yīng)的預(yù)測值。

3 極限學(xué)習(xí)機(jī)算法

極限學(xué)習(xí)機(jī)（Extreme Learning Machine，ELM）是由南洋理工大學(xué)的Chee-Kheong Siew等人在2004年在IEEE國際交互會(huì)議上提出的，該算法的提出是為了針對反向傳播算法進(jìn)行一定程度的優(yōu)化和效率的改進(jìn)，用來提升及其智能學(xué)習(xí)的效率以及相關(guān)參數(shù)的設(shè)定問題，從該算法被提出之后就引起了大量的關(guān)注。

3.1 極限學(xué)習(xí)機(jī)算法流程

極限學(xué)習(xí)機(jī)算法（ELM）僅僅只需要求解相關(guān)信息的輸出權(quán)重信息，因此該算法是一種基于線性參數(shù)（linear-in-the-parameter）的模式。

該算法的自我學(xué)習(xí)過程關(guān)鍵點(diǎn)在于全局層面上的極小值問題。當(dāng)N組需要機(jī)器進(jìn)行自我學(xué)習(xí)的數(shù)據(jù)采集完成之后，針對其中還隱含的層級節(jié)點(diǎn)個(gè)數(shù)為L和輸出層級節(jié)點(diǎn)個(gè)數(shù)為M的學(xué)習(xí)流程為：

系統(tǒng)隨機(jī)進(jìn)行參數(shù)節(jié)點(diǎn)的分配工作：在系統(tǒng)進(jìn)行計(jì)算的初始階段，SLFN的相關(guān)節(jié)點(diǎn)參數(shù)需要隨機(jī)生成，即輸入系統(tǒng)的相關(guān)數(shù)據(jù)和隨機(jī)生成的節(jié)點(diǎn)的參數(shù)要相互獨(dú)立。

系統(tǒng)根據(jù)輸入的節(jié)點(diǎn)數(shù)據(jù)進(jìn)行隱含層的矩陣輸出：系統(tǒng)隱含的矩陣輸出，該矩陣的大小為N行和L列，該矩陣行數(shù)是根據(jù)輸入的所需要訓(xùn)練的數(shù)據(jù)個(gè)數(shù)統(tǒng)計(jì)出來，該列數(shù)是根據(jù)隱含的層級節(jié)點(diǎn)計(jì)算出來，因此該系統(tǒng)輸出的矩陣從本質(zhì)的特征上來說就是將用戶所需要的訓(xùn)練個(gè)數(shù)N通過特定的方式映射到L個(gè)層級節(jié)點(diǎn)之上，最終獲取相應(yīng)的結(jié)果。

系統(tǒng)通過矩陣來計(jì)算求解相應(yīng)的權(quán)重輸出：該算法同其他預(yù)測算法的不同之處在于，該算法中的輸出層級節(jié)點(diǎn)是可以不存在誤差節(jié)點(diǎn)的信息，因此該算法的核心就是通過對輸出權(quán)重的計(jì)算獲取誤差函數(shù)最小的節(jié)點(diǎn)信息[3]。

4 基于改進(jìn)的時(shí)間序列算法的云計(jì)算集群故障預(yù)測的實(shí)現(xiàn)

4.1 基于時(shí)間序列算法的系統(tǒng)實(shí)現(xiàn)

首先采集云計(jì)算集群的系統(tǒng)使用時(shí)間、使用人數(shù)、并發(fā)訪問數(shù)作為時(shí)間序列預(yù)測模型的輸入量將采集的信息按照時(shí)間排列組成多組的隨機(jī)變量，在相等的時(shí)間間隔內(nèi)按照系統(tǒng)設(shè)定的采樣率進(jìn)行不間斷的采集。根據(jù)使用時(shí)間的向量、使用人數(shù)、并發(fā)訪問的人數(shù)來構(gòu)建模型，通過構(gòu)建的模型獲取長期趨勢（T），季節(jié)變動(dòng)（S），循環(huán)變動(dòng)（C），不規(guī)則變動(dòng)（I）等參數(shù)，通過時(shí)間數(shù)列的組合模型來進(jìn)行數(shù)據(jù)的預(yù)測，其中有使用加法模型Y=T+S+C+I (Y，T 計(jì)量單位相同的總量指標(biāo))(S，C，I 對長期趨勢產(chǎn)生的或正或負(fù)的偏差)來獲取相應(yīng)的偏差值。將以上通過模型計(jì)算出來的不同維度的預(yù)測數(shù)據(jù)最為極限學(xué)習(xí)機(jī)算法的輸入，進(jìn)而完成對系統(tǒng)故障的更為精確的預(yù)測。

4.2 基于極限學(xué)習(xí)機(jī)算法的實(shí)現(xiàn)

（1）初始階段針對上一階段產(chǎn)生的相關(guān)故障維度的預(yù)測結(jié)果值，設(shè)定系統(tǒng)隱層節(jié)點(diǎn)個(gè)數(shù)為M，進(jìn)而通過隨機(jī)函數(shù)產(chǎn)生對第i個(gè)隱層節(jié)點(diǎn)的相關(guān)權(quán)值的計(jì)算，進(jìn)而通過系統(tǒng)設(shè)置相關(guān)的激勵(lì)節(jié)點(diǎn)的參數(shù)，根據(jù)矩陣變換計(jì)算出初始的權(quán)值。

（2）通過上層給出的預(yù)測結(jié)果選出部分作為系統(tǒng)訓(xùn)練的樣本，依次獲取不同的樣本，先假設(shè)獲取的樣本數(shù)為k+1個(gè)。

（3）通過模型系統(tǒng)計(jì)算出相應(yīng)的輸出權(quán)重的向量值為βk+1。

（4）對不同的維度數(shù)據(jù)依次進(jìn)行重復(fù)的計(jì)算，獲取最終的預(yù)測結(jié)果。

5 實(shí)驗(yàn)

本文實(shí)驗(yàn)所采用的環(huán)境為i7處理器，4GB內(nèi)存，500G硬盤的24臺電腦搭建而成的Hadoop云計(jì)算平臺，電腦之間的網(wǎng)絡(luò)采用300Mbit/s的網(wǎng)絡(luò)作為連接樞紐，其中Hadoop框架的為3.0版本。

5.1 實(shí)驗(yàn)方法和結(jié)果

實(shí)驗(yàn)通過模擬云計(jì)算平臺環(huán)境下高并發(fā)的線程訪問，持續(xù)時(shí)間分別為2、4、8、16、24小時(shí)，依次統(tǒng)計(jì)該時(shí)間內(nèi)系統(tǒng)所發(fā)生的故障，進(jìn)而對相同的環(huán)境條件下使用改進(jìn)后的時(shí)間序列算法的云計(jì)算集群故障預(yù)測結(jié)果進(jìn)行比對，從實(shí)驗(yàn)結(jié)果可以看出，改進(jìn)后的故障預(yù)測系統(tǒng)能夠較為準(zhǔn)確地預(yù)測相關(guān)的故障，并且能夠?qū)崟r(shí)跟蹤故障的發(fā)展，從而能夠在可能發(fā)生故障之前有效地提醒相關(guān)管理員。

6 結(jié)語

本文提出的一種基于改進(jìn)的時(shí)間序列算法的云計(jì)算集群故障預(yù)測方法能夠有效地預(yù)測分布式云計(jì)算集群系統(tǒng)的故障發(fā)生并且通過實(shí)驗(yàn)證明了該方法的可行性。