国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于LightGBM 的在線磁盤故障預(yù)測模型

2022-07-11 01:17田烜瑜汪旭杰史恩澤陳思奇
電子技術(shù)與軟件工程 2022年7期
關(guān)鍵詞:磁盤特征選擇離線

田烜瑜 汪旭杰 史恩澤 陳思奇

(1.中國民航大學(xué)計(jì)算機(jī)學(xué)院 天津市 300300 2.中國民航大學(xué)安全科學(xué)與工程學(xué)院 天津市 300300)

為了在互聯(lián)網(wǎng)上傳遞、加速、展示、計(jì)算、存儲數(shù)據(jù)信息,數(shù)據(jù)中心應(yīng)運(yùn)而生,并在全球蓬勃發(fā)展,而磁盤故障的出現(xiàn)對數(shù)據(jù)中心的可靠性和可用性造成了很大的影響,嚴(yán)重降低了存儲系統(tǒng)的可靠性。對于這一問題,本文計(jì)劃基于LightGBM 算法設(shè)計(jì)在線磁盤故障預(yù)測模型,預(yù)測未來一周至兩周內(nèi)將出現(xiàn)故障的磁盤,從而提醒用戶提前備份危險(xiǎn)磁盤上的數(shù)據(jù),避免數(shù)據(jù)丟失。本文所提的故障預(yù)測模型具有較高的預(yù)測準(zhǔn)確率,并適用于大規(guī)模數(shù)據(jù)中心。

本文重點(diǎn)解決了下述三個(gè)問題:

(1)在線樣本標(biāo)記問題。在離線學(xué)習(xí)過程中,由于已經(jīng)充分了解到磁盤的狀態(tài)(是否發(fā)生故障),可以很容易的對樣本進(jìn)行標(biāo)記;而在線學(xué)習(xí)過程中,磁盤狀態(tài)(是否會故障)很難確定,無法對新生成的樣本進(jìn)行實(shí)時(shí)標(biāo)記。為此,我們提出一種自動的樣本標(biāo)記方法:首先將到來的磁盤樣本數(shù)據(jù)暫存,并設(shè)定暫存時(shí)間窗口為t。在t 時(shí)間內(nèi)如果有磁盤發(fā)生故障,則將之前暫存的該磁盤的樣本都標(biāo)記為負(fù)樣本,對于t 時(shí)間內(nèi)沒有發(fā)生故障的磁盤,將其暫存的樣本都標(biāo)記為正樣本,新標(biāo)記的數(shù)據(jù)用于模型更新。

(2)樣本不平衡問題。故障磁盤和正常磁盤之間存在著高度的不平衡,這是因?yàn)榇疟P故障是一個(gè)相對罕見的事件,故障磁盤只占樣本的很少一部分,而樣本不平衡會造成分類模型產(chǎn)生很嚴(yán)重的偏向性。對此本文采用改變樣本權(quán)重的方法來解決樣本不平衡問題,通過增大正樣本權(quán)重,從而間接降低負(fù)樣本權(quán)重。

(3)在線學(xué)習(xí)問題。具體而言,模型的在線學(xué)習(xí)就是增量學(xué)習(xí),增量學(xué)習(xí)指一個(gè)學(xué)習(xí)系統(tǒng)能不斷地從新樣本中學(xué)習(xí)新的知識,并能保存大部分以前已經(jīng)學(xué)習(xí)到的知識。本文在當(dāng)前決策樹的基礎(chǔ)上增加新的決策樹,而原來的決策樹保持不變,從而實(shí)現(xiàn)模型的增量更新。

1 相關(guān)工作

為了減少磁盤故障帶來的損失,降低維護(hù)成本。目前,傳統(tǒng)存儲系統(tǒng)通常采用RAID 技術(shù)(即獨(dú)立磁盤冗余陣列技術(shù))或副本機(jī)制來避免由于磁盤故障而導(dǎo)致的服務(wù)中斷。在發(fā)生設(shè)備故障時(shí),系統(tǒng)利用冗余數(shù)據(jù)重構(gòu)故障數(shù)據(jù),使用這種“被動容錯”機(jī)制保障系統(tǒng)和服務(wù)的可用性。然而隨著存儲系統(tǒng)規(guī)模的擴(kuò)大,磁盤故障頻率不斷增加,這種“被動容錯”機(jī)制無法很好地保障系統(tǒng)的可靠性。與之對比的是“主動容錯”機(jī)制:SMART(Self-Monitoring, Analysis and Reporting Technology)技術(shù)通過在磁盤硬件內(nèi)的檢測指令對磁盤的硬件(如磁頭、盤片、馬達(dá)、電路)的運(yùn)行情況進(jìn)行監(jiān)控、記錄并與廠商所設(shè)定的安全值進(jìn)行比較,若監(jiān)控到運(yùn)行情況將超出或已超出預(yù)設(shè)安全值的安全范圍,就通過主機(jī)的監(jiān)控硬件或軟件自動向用戶做出警告,并將危險(xiǎn)磁盤上的數(shù)據(jù)提前遷移到其他健康磁盤,以保障磁盤數(shù)據(jù)的安全。這種方法簡單易行,但是磁盤供應(yīng)商為了保證低誤報(bào)率,通常將閾值設(shè)置的比較嚴(yán)謹(jǐn),導(dǎo)致故障檢出率只有3%-10%,不能滿足系統(tǒng)可靠性的要求。

為了進(jìn)一步提高磁盤故障預(yù)測的精度,國內(nèi)外科研人員基于大量磁盤SMART 數(shù)據(jù)和故障磁盤數(shù)據(jù),采用統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)方法來訓(xùn)練磁盤故障預(yù)測模型。這些模型在故障磁盤預(yù)測方面表現(xiàn)出色,讓用戶可以對故障風(fēng)險(xiǎn)較大的磁盤進(jìn)行提前更換,從而提高了系統(tǒng)的可靠性。早期Hamerly 和Elkan運(yùn)用統(tǒng)計(jì)學(xué)中貝葉斯方法在來自昆騰公司的數(shù)據(jù)集上測試,得到 55%的故障檢測率(Failure Detection Rate,F(xiàn)DR)和0.82%的故障誤報(bào)率(False Alarm Rate,F(xiàn)AR)。Hughes等人提出兩個(gè)改進(jìn)的智能算法,他們利用秩和檢驗(yàn)對磁盤故障進(jìn)行預(yù)測。在來自兩種不同公司提供的3744 個(gè)磁盤(36 個(gè)故障)上進(jìn)行預(yù)測,結(jié)果表明他們的算法在0.5%誤報(bào)率的情況下,故障檢出率為60%。Zhu 和Wang等人探索了反向傳播(BP)神經(jīng)網(wǎng)絡(luò)模型,開發(fā)了一個(gè)改進(jìn)的支持向量機(jī)(SVM)模型,使用23395 個(gè)磁盤真實(shí)數(shù)據(jù)來驗(yàn)證模型,BP 神經(jīng)網(wǎng)絡(luò)模型在保持合理的低FAR 的同時(shí),故障檢出率明顯提高,高達(dá)95%。國防科技大學(xué)胡維探索了利用機(jī)器學(xué)習(xí)理論預(yù)測磁盤故障的新方法,進(jìn)一步提高預(yù)測的準(zhǔn)確性,降低誤報(bào)率,增強(qiáng)實(shí)用性。

隨著對磁盤故障預(yù)測關(guān)注度和投入力度的深入和提高,基于磁盤故障預(yù)測的研究方法由傳統(tǒng)的統(tǒng)計(jì)學(xué)習(xí)方法轉(zhuǎn)變?yōu)闄C(jī)器學(xué)習(xí)方法。但上述方法都是在離線模型的方式下進(jìn)行預(yù)測,雖然具有很好的預(yù)測性能,但是離線模型沒有考慮到SMART 屬性隨著時(shí)間的動態(tài)變化,且不易于拓展到大數(shù)據(jù)場景,模型易老化,同時(shí),由于離線模型對磁盤的預(yù)測與時(shí)間關(guān)系不夠密切,可能會造成一個(gè)磁盤還有很長的壽命,但是因?yàn)楸粯?biāo)記為故障磁盤而被替換,導(dǎo)致磁盤的利用率低,經(jīng)濟(jì)成本提高。本文基于LightGBM 算法對磁盤是否會發(fā)生故障進(jìn)行在線預(yù)測,為磁盤維護(hù)提供決策參考。

2 LightGBM模型分析

梯度提升決策樹(GBDT)是一種流行的機(jī)器學(xué)習(xí)算法,其主要思想是利用弱分類器迭代訓(xùn)練得到最優(yōu)模型。基于此算法有許多有效的實(shí)現(xiàn),如XGBoost 和pGBRT 等,這些工具雖然都是在GBDT的基礎(chǔ)上進(jìn)行優(yōu)化,但是當(dāng)特征維度高、數(shù)據(jù)規(guī)模大時(shí),它們的效率和可伸縮性仍然不能令人滿意。同時(shí),作為GBDT 的代表模型,XGBoost 具有較大的時(shí)間開銷,在遍歷樹中的每一個(gè)分割點(diǎn)的時(shí)候,都需要進(jìn)行分裂增益的計(jì)算,消耗的計(jì)算代價(jià)和時(shí)間代價(jià)都比較大。

為了解決這個(gè)問題,2017 年微軟發(fā)布了LightGBM 模型,提出兩種新的技術(shù)來解決以上問題:單邊梯度采樣(GOSS)和互斥特征捆綁(EFB)。GOSS 區(qū)分具有不同梯度的實(shí)例,保留具有較大梯度的實(shí)例并對較小梯度采用隨機(jī)采樣的方式來減少計(jì)算量,從而達(dá)到提升效率的目的。EFB 通過采用特征捆綁的方式減少特征維度,來提升計(jì)算效率。

同時(shí)LightGBM 模型為了減少分裂點(diǎn)的數(shù)量,采用了基于直方圖的算法,其基本思想如下:將連續(xù)的浮點(diǎn)特征值離散為k 個(gè)整數(shù)(即分桶bins),并根據(jù)特征所在的bin 對其進(jìn)行梯度累加和個(gè)數(shù)統(tǒng)計(jì);在遍歷數(shù)據(jù)時(shí),根據(jù)離散化的值索引尋找bin,累積數(shù)據(jù);遍歷一遍數(shù)據(jù)后,直方圖積累了一定的統(tǒng)計(jì)量,然后根據(jù)直方圖的離散值,遍歷尋找最優(yōu)的分割點(diǎn)。

在多個(gè)公共數(shù)據(jù)集上的實(shí)驗(yàn)表明,LightGBM 將傳統(tǒng)GBDT 模型的訓(xùn)練速度提升了20 多倍,同時(shí)保持預(yù)測精度不變。

3 特征工程和特征選擇

3.1 數(shù)據(jù)來源

本文所使用的數(shù)據(jù)來自于Backblaze 公司,包含了 2020年 1 月至 2021 年 12 月總共 8 個(gè)季度的磁盤運(yùn)行記錄。其中,2020 年1 月至2020 年12 月的數(shù)據(jù)用于離線模型的訓(xùn)練,2021 年1 月至2021 年6 月的數(shù)據(jù)用于在線模型的訓(xùn)練,2021 年7 月至2021 年12 月的數(shù)據(jù)用于模型的測試。上述數(shù)據(jù)集包含的信息有磁盤運(yùn)行時(shí)間、磁盤序列號、磁盤型號、磁盤容量、故障標(biāo)記和510 個(gè)SMART 屬性特征值,其中SMART 的原始特征值有255 個(gè),SMART 的標(biāo)準(zhǔn)特征值有255 個(gè)。由Backblaze 公司提供的磁盤年度故障表可知,ST12000NM0007 型號的磁盤數(shù)量總量和故障的磁盤數(shù)量最多,因此本文選擇ST12000NM0007 型號的磁盤數(shù)據(jù)作為本文的實(shí)驗(yàn)數(shù)據(jù)。表1 對本文所采用的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了說明。

表1:實(shí)驗(yàn)數(shù)據(jù)說明

3.2 數(shù)據(jù)處理

數(shù)據(jù)的預(yù)處理操作對于提高模型的預(yù)測性能至關(guān)重要,可以避免模型受到噪聲、缺失值和不一致數(shù)據(jù)的侵?jǐn)_。本文通過缺失值處理、數(shù)據(jù)提取和特征選擇操作,構(gòu)造出高質(zhì)量的訓(xùn)練數(shù)據(jù),提高了模型的預(yù)測性能。

3.2.1 缺失值處理

原始數(shù)據(jù)記錄的SMART 屬性共有510 個(gè),但其中大部分屬性的特征值為空值,示例如圖1 所示。這些空值數(shù)據(jù)對磁盤故障的預(yù)測沒有任何幫助,而且會增加磁盤故障預(yù)測的故障率和運(yùn)行效率,因此本文剔除了全部為空值的SMART屬性。剔除的SMART 屬性為smart_2、smart_6、smart_8、smart_11、smart_13—smart_186、smart_189、smart_191、smart_196、smart_201—smart_239、smart_243—smart_255,共計(jì)131 個(gè)SMART 屬性。另外,對于缺失值較少的屬性,本文采用0 填補(bǔ)其缺失值。

圖1:原始數(shù)據(jù)的SMART 特征屬性示例

3.2.2 數(shù)據(jù)提取

此時(shí)樣本數(shù)據(jù)還是分散的且存在一些混亂數(shù)據(jù),對磁盤預(yù)測的準(zhǔn)確率產(chǎn)生一定的負(fù)面影響。因此本文按照磁盤序列號提取數(shù)據(jù),將正常磁盤和故障磁盤分別存儲,同時(shí)將正常磁盤和故障磁盤中的混亂數(shù)據(jù)剔除。正常盤磁盤的混亂數(shù)據(jù)是指:最后一天的failure 值為0,而之前的樣本中存在failure 值為1 的數(shù)據(jù);故障磁盤的混亂數(shù)據(jù)是指:最后一天的failure值為1,而之前的樣本中也存在failure值為1的數(shù)據(jù)。圖2 為正常磁盤的混亂數(shù)據(jù)樣例,雖然磁盤ZCH059KN 當(dāng)前處于正常運(yùn)行的狀態(tài),但是其在前期出現(xiàn)過故障標(biāo)識(第五列的failure 值為1),所以將其從正常磁盤中剔除。

圖2:正常磁盤的混亂數(shù)據(jù)示例

3.2.3 特征選擇

在SMART 數(shù)據(jù)中,每一項(xiàng)都由兩種數(shù)值形式予以展現(xiàn),分別為normal value 和raw value。其中raw value 是該項(xiàng)記錄的原始值,normal value 是把原始值經(jīng)過標(biāo)準(zhǔn)的規(guī)整計(jì)算,得到的一組數(shù)值范圍為0 到255 的一個(gè)數(shù)值。因?yàn)樵贾悼梢愿舾械母兄酱疟P狀態(tài)的變化,所以本文在訓(xùn)練過程中更多地使用raw value。

目前,對于特征選擇方面的研究主要包括三類:基于特征子集評價(jià)策略的特征選擇算法、基于搜索策略的特征選擇算法、和基于不同監(jiān)督信息的特征選擇方法。本文采用基于特征子集評價(jià)策略的特征選擇算法中的嵌入式特征選擇方法,嵌入式特征選擇是將特征選擇過程與學(xué)習(xí)模型的訓(xùn)練過程聯(lián)系到一起,從訓(xùn)練結(jié)果中得到各個(gè)特征的權(quán)值系數(shù),根據(jù)系數(shù)選擇特征。LightGBM 算法采用兩種計(jì)算特征重要性的方法:“gain”,表示 使用這些特征分割的總增益;“frequency”,表示使用該特征的次數(shù)。

本文結(jié)合“gain”和“frequency”兩種方法來計(jì)算特征的重要性得分,同時(shí)參考特征的實(shí)際意義,進(jìn)行特征屬性的選擇。通過“gain”計(jì)算方法,權(quán)值系數(shù)排在前二十的特征屬性如圖3 所示,通過“frequency”計(jì)算方法,權(quán)值系數(shù)排在前二十的特征屬性如圖4 所示。結(jié)合兩種計(jì)算方法和特征的實(shí)際意義,本文最終選取了12 個(gè)特征屬性,如表2 所示。

圖3:importance_type='split'時(shí)權(quán)值系數(shù)前二十的特征

圖4:importance_type='gain'時(shí)權(quán)值系數(shù)前二十的特征

表2:選取的12 個(gè)特征

4 在線模型的構(gòu)建

實(shí)現(xiàn)在線磁盤故障預(yù)測模型需要在離線模型的基礎(chǔ)上進(jìn)行增量學(xué)習(xí),本文先通過已標(biāo)注的歷史數(shù)據(jù)集構(gòu)建出基礎(chǔ)模型,然后再對實(shí)時(shí)產(chǎn)生的數(shù)據(jù)樣本進(jìn)行在線標(biāo)注,最后利用新數(shù)據(jù)樣本增量更新基礎(chǔ)模型,實(shí)現(xiàn)磁盤故障的在線預(yù)測。

4.1 基礎(chǔ)模型構(gòu)建

4.1.1 數(shù)據(jù)選擇

本文選擇2020 年1 月-2020 年12 月四個(gè)季度的數(shù)據(jù)進(jìn)行離線模型訓(xùn)練,得到基礎(chǔ)模型。該訓(xùn)練數(shù)據(jù)集包含從正常運(yùn)行的健康磁盤數(shù)據(jù)中隨機(jī)抽取的連續(xù)七天的數(shù)據(jù)樣本(總共有258412 條數(shù)據(jù)樣本),和從故障盤數(shù)據(jù)的最后一天向前取的七天數(shù)據(jù)樣本(總共有2304 條數(shù)據(jù)樣本,其中兩條數(shù)據(jù)因異常而去除)。將故障盤的數(shù)據(jù)樣本的failure 值全部改為1,作為負(fù)樣本。

4.1.2 樣本不平衡處理

由于出現(xiàn)故障磁盤是一個(gè)小概率事件,因此故障磁盤數(shù)據(jù)與正常磁盤數(shù)據(jù)的訓(xùn)練樣本數(shù)量差距很大,如果不處理就進(jìn)行訓(xùn)練會嚴(yán)重影響模型精度,對故障磁盤的預(yù)測性能非常差。

處理樣本不平衡問題,可以采用保留比例小的樣本數(shù)據(jù)和減少比例大的樣本數(shù)據(jù)來平衡兩者的比例,但這種方法可能會丟失一些重要信息而導(dǎo)致欠采樣。因此本文采用改變權(quán)重的方法來處理樣本不平衡問題,把正樣本權(quán)重設(shè)置為:正樣本權(quán)重=負(fù)樣本數(shù)量/正樣本數(shù)量,從改變模型的目標(biāo)函數(shù)出發(fā),增大正樣本權(quán)重,從而間接降低負(fù)樣本權(quán)重,讓分類器更多的關(guān)注正樣本。通過該方法減少模型學(xué)習(xí)樣本比例的先驗(yàn)信息,以獲得能學(xué)習(xí)到辨別好壞本質(zhì)特征的模型。

4.1.3 參數(shù)優(yōu)化

訓(xùn)練模型過程中,除了應(yīng)用LightGBM 的重要參數(shù)外,本文還選取了LightGBM 中的colsample_bytree:特征的隨機(jī)取樣(來加速訓(xùn)練及處理過擬合);subsample:LightGBM將會在每次迭代中在不進(jìn)行重采樣的情況下隨機(jī)選擇部分?jǐn)?shù)據(jù)(來加速訓(xùn)練及處理過擬合);min_split_gain:執(zhí)行節(jié)點(diǎn)分裂的最小增益(防止樹過深,處理過擬合);min_child_samples:葉節(jié)點(diǎn)樣本的最小數(shù)據(jù)量(使葉子節(jié)點(diǎn)的數(shù)據(jù)分布相對穩(wěn)定,提高模型的泛化能力)。通過網(wǎng)格搜素和交叉驗(yàn)證的方法進(jìn)行參數(shù)調(diào)優(yōu),參數(shù)的設(shè)置如表3 所示。

表3:LightGBM 主要參數(shù)設(shè)置

4.2 訓(xùn)練樣本的在線標(biāo)注

4.2.1 數(shù)據(jù)選擇

在線模型的訓(xùn)練數(shù)據(jù)我們選擇的是2021 年上半年的數(shù)據(jù),為了模擬真實(shí)的在線過程,本文選擇七天為一個(gè)周期,將七天的數(shù)據(jù)聚合成為一個(gè)訓(xùn)練樣本,示例如圖5 所示。

圖5:訓(xùn)練樣本示例

4.2.2 在線樣本標(biāo)記

對于離線模型的樣本數(shù)據(jù),其磁盤狀態(tài)已經(jīng)確定,很容易進(jìn)行樣本標(biāo)記。而對于在線樣本數(shù)據(jù),由于其磁盤的狀態(tài)不確定,如果直接將樣本數(shù)據(jù)標(biāo)記為正常磁盤,那么若是磁盤在近期發(fā)生故障,這些標(biāo)記就會成為標(biāo)記噪音,同時(shí)也不能直接標(biāo)記為故障磁盤,因?yàn)橹挥挟?dāng)故障真實(shí)發(fā)生之后,其之前的樣本才能標(biāo)記為故障磁盤。因此,本文提出了一種新的在線樣本標(biāo)記方法,具體步驟如下:

(1)樣本數(shù)據(jù)A 到來,暫存;

(2)檢查A 中是否有故障磁盤,如果有則將相同序列號的故障磁盤的failure 值全部改為1;

(3)新的樣本數(shù)據(jù)B 到來,檢查其中是否有故障磁盤,如果有則將磁盤序列號傳給A;

(4)修改A 中對應(yīng)序列號的磁盤數(shù)據(jù),將其failure 值改為1;

(5)將樣本數(shù)據(jù)A 移除暫存隊(duì)列,用于模型更新,將樣本數(shù)據(jù)B 暫存并重復(fù)以上步驟。

4.2.3 更新模型

實(shí)現(xiàn)在線磁盤故障模型,即在離線模型的基礎(chǔ)上使用新的樣本來更新模型,以避免模型老化,實(shí)現(xiàn)在線故障預(yù)測。具體來說,就是在當(dāng)前迭代樹的基礎(chǔ)上增加新的決策樹,而原來的決策樹保持不變。通過對LightGBM 算法的分析研究,我們發(fā)現(xiàn)LightGBM 存在對外的Python API 接口,通過設(shè)置其參數(shù)init_model,可以繼續(xù)訓(xùn)練LightGBM 模型或Booster。本文在完成離線模型的訓(xùn)練后,將其存儲為gbm,更新模型時(shí)加載gbm,同時(shí)設(shè)置init_model=gbm,從而實(shí)現(xiàn)在線模型。

4.2.4 評價(jià)結(jié)果

磁盤故障預(yù)測實(shí)際是一個(gè)二分類問題,磁盤樣本的預(yù)測結(jié)果有兩種,正樣本(P)和負(fù)樣本(N),壞盤的樣本為P,好盤的樣本為N,對其預(yù)測結(jié)果可能是正確(T),也可能是錯誤(F)。因此,磁盤故障預(yù)測結(jié)果有四種:TP、FP、FN、TN。其中TP 是正確的正樣本預(yù)測,即把壞盤的樣本預(yù)測為壞盤。FP 是錯誤的正樣本,即把壞盤樣本預(yù)測為好盤。FN 是錯誤的負(fù)樣本,即把好盤樣本預(yù)測為壞盤。TN 是正確的負(fù)樣本,即把好盤樣本預(yù)測為好盤。磁盤故障預(yù)測的評價(jià)指標(biāo)是經(jīng)過以上四種結(jié)果計(jì)算出來的。

FDR 定義為故障檢出率,表示所有測試磁盤中壞盤被預(yù)測為壞盤的比例,公式如下:

FDR=TP/(TP+FN)

FAR 定義為故障誤報(bào)率,表示所有測試磁盤中好盤被預(yù)測為壞盤的比例,公式如下:

FAR=FP/(TN+FP)

經(jīng)計(jì)算離線模型的FDR 為85.59%,F(xiàn)AR 為1.33%。隨著樣本數(shù)據(jù)的增加在線模型的預(yù)測性能發(fā)生波動,如圖6 所示??傮w的FDR 維持在75%以上,且FAR 不超過5%,符合預(yù)測系統(tǒng)對性能測試的需求。

圖6:實(shí)驗(yàn)結(jié)果

5 結(jié)語

在如今信息化時(shí)代,社會的方方面面越來越依賴數(shù)據(jù),而磁盤作為數(shù)據(jù)的存儲器,提高其可靠性對于保障數(shù)據(jù)安全具有重大意義。本文提出的基于LightGBM 的在線磁盤故障預(yù)測模型,在保障誤報(bào)率較低的情況下,實(shí)現(xiàn)較高的故障檢出率,同時(shí)該模型可以根據(jù)新來的樣本數(shù)據(jù)進(jìn)行實(shí)時(shí)更新,適應(yīng)SMART 屬性隨時(shí)間的動態(tài)變化,擺脫模型老化問題。

在未來研究中,本文將考慮增大樣本的數(shù)量,同時(shí)選用不同磁盤生廠商的數(shù)據(jù)集,以提升模型的魯棒性。另一方面,由于時(shí)間限制,在模型參數(shù)調(diào)優(yōu)方面,本文選取的參數(shù)粒度較大,同時(shí)LightGBM 的參數(shù)眾多,本文只選取了其中一部分,未來可以選取更多參數(shù),使用更小的調(diào)參力度,以得到預(yù)測性能更好的模型。同時(shí),還可以考慮使用其他模型進(jìn)行在線學(xué)習(xí),進(jìn)一步提升預(yù)測模型性能和穩(wěn)定性。

猜你喜歡
磁盤特征選擇離線
異步電機(jī)離線參數(shù)辨識方法
呼吸閥離線檢驗(yàn)工藝與評定探討
淺談ATC離線基礎(chǔ)數(shù)據(jù)的準(zhǔn)備
解決Windows磁盤簽名沖突
修改磁盤屬性
離線富集-HPLC法同時(shí)測定氨咖黃敏膠囊中5種合成色素
磁盤組群組及iSCSI Target設(shè)置
Kmeans 應(yīng)用與特征選擇
創(chuàng)建VSAN群集
聯(lián)合互信息水下目標(biāo)特征選擇算法
扎赉特旗| 灵石县| 于田县| 平果县| 吉安市| 象州县| 平山县| 濉溪县| 富民县| 女性| 喀喇沁旗| 常熟市| 桂阳县| 长顺县| 石嘴山市| 女性| 新竹县| 天水市| 阿合奇县| 桓仁| 西乡县| 紫金县| 舞阳县| 浦江县| 中阳县| 西畴县| 广州市| 福州市| 牟定县| 徐州市| 上蔡县| 定西市| 禹城市| 乡城县| 沧州市| 道孚县| 镇坪县| 措美县| 江北区| 翁源县| 崇明县|