王勝杰 李煥云

摘要：傳統(tǒng)的數(shù)據(jù)壓縮方法在處理數(shù)據(jù)時負荷較大，響應(yīng)頻率較低，因此需要研究基于灰色GM模型進行數(shù)據(jù)壓縮處理。首先對壓縮數(shù)據(jù)接口模塊進行設(shè)計，并運用GM模型進行數(shù)據(jù)壓縮，最后對處理結(jié)果進行建模分析，由此完成數(shù)據(jù)壓縮處理。為驗證設(shè)計方法的有效性，進行對比實驗，證明設(shè)計方法相較于傳統(tǒng)方法具有更高的響應(yīng)頻率。

關(guān)鍵詞：數(shù)據(jù)壓縮;GM模型;響應(yīng)頻率

中圖分類號：TB114? ? ? 文獻標(biāo)識碼：A

文章編號：1009-3044（2021）36-0151-02

開放科學(xué)（資源服務(wù)）標(biāo)識碼（OSID）：

數(shù)據(jù)壓縮是指在不丟失有用信息的前提下，縮減數(shù)據(jù)量以減少存儲空間，提高其傳輸、存儲和處理效率，或按照一定的算法對數(shù)據(jù)進行重新組織，減少數(shù)據(jù)冗余和存儲空間的一種技術(shù)方法。數(shù)據(jù)壓縮包括有損壓縮和無損壓縮[1]。在計算機科學(xué)和信息論中，數(shù)據(jù)壓縮或者源編碼是按照特定的編碼機制用比未經(jīng)編碼少的數(shù)據(jù)位元（或者其他信息相關(guān)的單位）表示信息的過程。為提高數(shù)據(jù)壓縮響應(yīng)頻率，將GM模型應(yīng)用于數(shù)據(jù)壓縮處理中，并進行實驗分析，驗證設(shè)計方法的有效性。

1 基于灰色GM模型的數(shù)據(jù)處理

1.1 壓縮數(shù)據(jù)接口模塊設(shè)計

運用灰色GM模型對數(shù)據(jù)進行處理，實現(xiàn)對數(shù)據(jù)的壓縮以及異常檢測。對數(shù)據(jù)壓縮得到的結(jié)果進行異常分析，避免異常數(shù)據(jù)干擾采集數(shù)據(jù)系統(tǒng)運行，從而產(chǎn)生空值的情況。并根據(jù)數(shù)據(jù)異常的情況進行特征分類，調(diào)整異常數(shù)據(jù)的格式，對異常數(shù)據(jù)的值域區(qū)間進行計算。由于異常數(shù)據(jù)對矩陣壓縮的結(jié)果影響很大，因此，需要對壓縮數(shù)據(jù)接口模塊進行構(gòu)建，利用異常數(shù)據(jù)的值域區(qū)間重新調(diào)整數(shù)據(jù)異常值。首先針對接口模塊在數(shù)理統(tǒng)計中的殘差進行計算，提供有關(guān)接口模塊的重要信息，對數(shù)據(jù)信息所產(chǎn)生的殘差進行判斷，檢測處理數(shù)據(jù)接口模塊，重新規(guī)劃數(shù)據(jù)檢測處理規(guī)范[2]。對應(yīng)數(shù)據(jù)監(jiān)測的要求進行接口模塊的觀測，對比實際觀測值與原數(shù)據(jù)觀測結(jié)果樣本，采用平方預(yù)測誤差來實現(xiàn)數(shù)據(jù)的監(jiān)測，進行數(shù)據(jù)的異常檢測[3]。

為了在灰色GM模型中實現(xiàn)對實時數(shù)據(jù)的高效處理，整合數(shù)據(jù)計算優(yōu)勢模型，利用灰色GM模型對數(shù)據(jù)矩陣進行處理。利用灰色GM模型與借口模塊進行連接，并應(yīng)用機器學(xué)習(xí)算法處理數(shù)據(jù)。在出現(xiàn)復(fù)雜的數(shù)據(jù)整合情況時，在基于灰色GM模型的數(shù)據(jù)處理模式下，利用機器學(xué)習(xí)算法進行數(shù)據(jù)處理模塊的選擇。該接口利用了灰色GM模型的顯著優(yōu)勢，通過并行處理分析訓(xùn)練模塊，完成對數(shù)據(jù)的離線整合。并以離線分析作為應(yīng)用基礎(chǔ)，建立離線分析整合的應(yīng)用層。按需向借口模塊提供實時分析算法，保證借口模塊檢測的時效性。利用監(jiān)測數(shù)據(jù)在接口模塊中的應(yīng)用效果，隨時進行接口模塊連接。對數(shù)據(jù)分析的時延進行計算，在保證數(shù)據(jù)分析準(zhǔn)確的同時提升分析效率。處理離線分析數(shù)據(jù)實時檢測窗口，輸入分析接口模塊系統(tǒng)實時數(shù)據(jù)。降低異常數(shù)據(jù)矩陣維度，進行異常數(shù)據(jù)的檢測處理。利用訓(xùn)練模型處理小批量數(shù)據(jù)，并根據(jù)分析結(jié)果實現(xiàn)數(shù)據(jù)矩陣整合，得到壓縮數(shù)據(jù)接口模塊分析架構(gòu)，如圖1所示。

通過分析圖中接口模塊，針對壓縮數(shù)據(jù)接口模塊的實時流數(shù)據(jù)進行統(tǒng)計，利用感知系統(tǒng)處理分析模塊，通過分析數(shù)據(jù)處理模型整合壓縮數(shù)據(jù)。對分析模型的系統(tǒng)匹配度進行檢驗，并匹配最新的分析模型計算數(shù)據(jù)處理效果。根據(jù)最新數(shù)據(jù)集規(guī)劃離線學(xué)習(xí)模型，并將數(shù)據(jù)處理特征進行數(shù)據(jù)存儲，并基于此數(shù)據(jù)集進行數(shù)據(jù)壓縮。壓縮數(shù)據(jù)接口模塊處理得到的分析結(jié)果可以直接輸出到數(shù)據(jù)存儲層中。

1.2 基于灰色GM模型的數(shù)據(jù)壓縮

通過數(shù)據(jù)挖掘研究數(shù)據(jù)壓縮，對數(shù)據(jù)樣本進行處理，觀測分析數(shù)據(jù)序列，總結(jié)數(shù)據(jù)規(guī)律并將其應(yīng)用于觀測數(shù)據(jù)中，通過對數(shù)據(jù)序列進行維度處理，完成壓縮采集數(shù)據(jù)。在數(shù)據(jù)規(guī)律圖像處理中，通過變換處理場景采集數(shù)據(jù)變量，通過數(shù)據(jù)存儲負荷的增加進行數(shù)據(jù)分析。因此針對圖像以及多維度數(shù)據(jù)進行壓縮，通過主成分分析，對數(shù)據(jù)的規(guī)模進行降維，降低后續(xù)算法處理的復(fù)雜度，針對不同的需求，主成分分析也應(yīng)用了大量的改進算法[4]。對整體數(shù)據(jù)趨勢的維度進行整合，并從數(shù)據(jù)集合中選擇代表樣本，在新的數(shù)據(jù)空間中轉(zhuǎn)移數(shù)據(jù)集合，并通過維度性質(zhì)確定數(shù)據(jù)空間維度數(shù)據(jù)的下降趨勢。

分析樣本數(shù)據(jù)集的性質(zhì)，根據(jù)樣本集數(shù)據(jù)進行PCA算法存儲。將數(shù)據(jù)矩陣應(yīng)用于多維度數(shù)據(jù)集，對比一般情況分析矩陣排列規(guī)律。利用算法將數(shù)據(jù)矩陣轉(zhuǎn)化為多維度的數(shù)據(jù)集，記錄數(shù)據(jù)集中的矩陣集合，并針對每條記錄結(jié)果進行特征篩選，將數(shù)據(jù)向量對應(yīng)記錄結(jié)果，將每一個特征看作矩陣每一列集中的代表數(shù)據(jù)，對應(yīng)數(shù)據(jù)中的特征篩選代表數(shù)據(jù)集中的行列。據(jù)此，行程矩陣記錄的集合，公式如下：

[X=x11…x1k???xn1…xnk=X1，X2，X3，…Xk]? ? ? ? （1）

調(diào)整矩陣數(shù)據(jù)的投影，利用向量A和B的內(nèi)積，計算向量投影的具體長度。通過內(nèi)積確定向量的具體位置，對內(nèi)積上的向量坐標(biāo)進行計算，轉(zhuǎn)換數(shù)據(jù)坐標(biāo)，并將該坐標(biāo)向矩陣數(shù)列中擴展，對數(shù)據(jù)向量的集合進行矩陣處理，將矩陣與基矩陣相對應(yīng)。并做乘積處理，得到基矩陣與數(shù)據(jù)矩陣的乘積結(jié)果，以此達到轉(zhuǎn)換數(shù)據(jù)矩陣維度的目的，也使得數(shù)據(jù)矩陣維度降低。在保留相關(guān)性較弱維度的前提下，對數(shù)據(jù)矩陣進行轉(zhuǎn)換[5]。通過非相關(guān)矩陣維度特性，進行數(shù)據(jù)維度與基矩陣維度的對比，對高于基矩陣維度的數(shù)據(jù)矩陣，不能進行降維處理。對數(shù)據(jù)矩陣的形式進行處理，將基矩陣設(shè)定為：[a1，a2，a3，…]，重新組合元數(shù)據(jù)矩陣，轉(zhuǎn)化數(shù)據(jù)矩陣的排列類型，并根據(jù)線性組合調(diào)整數(shù)據(jù)矩陣序列。在保證數(shù)據(jù)方差不受轉(zhuǎn)化干擾的同時，利用基數(shù)據(jù)矩陣，對當(dāng)前特征數(shù)的均值h進行設(shè)定。將特征數(shù)列的均值帶入數(shù)據(jù)矩陣中，利用變量m計算矩陣數(shù)據(jù)，規(guī)避均值對矩陣計算結(jié)果的干擾。再對二維數(shù)據(jù)進行降維，轉(zhuǎn)換向量此原則顯然是不適用的，此時方差最大原則是適用的。對矩陣數(shù)據(jù)的區(qū)間進行拓展，計算數(shù)據(jù)矩陣方差的應(yīng)用區(qū)間，利用矩陣數(shù)據(jù)的相關(guān)性調(diào)轉(zhuǎn)數(shù)據(jù)矩陣向量，同時測量矩陣存儲信息的數(shù)據(jù)冗余度。在矩陣數(shù)據(jù)存儲信息過多時，通過轉(zhuǎn)化數(shù)據(jù)結(jié)果降低數(shù)據(jù)冗余度，以此保留矩陣數(shù)據(jù)中的信息豐富度。盡可能選擇不相關(guān)冗余矩陣，對數(shù)據(jù)向量進行調(diào)整，保證不同數(shù)據(jù)向量之間互不干擾。采用協(xié)方差計算數(shù)據(jù)矩陣變量的大小，分解方差矩陣中的特征值，針對原數(shù)據(jù)矩陣中的特征性質(zhì)，從P矩陣維度上進行數(shù)據(jù)降維。按照從大到小的順序?qū)ο蛄繂挝贿M行分析，通過前幾個矩陣向量進行數(shù)據(jù)選取，利用矩陣特點呈現(xiàn)出的非相關(guān)性，對數(shù)據(jù)降低維度所需要的數(shù)據(jù)進行采集。通過對矩陣中的p值求解，得到采集數(shù)據(jù)的壓縮降維維度，完成對采集數(shù)據(jù)的壓縮。

1.3 數(shù)據(jù)壓縮結(jié)果建模分析

考慮到建模分析，對分析模型X進行壓縮整理。假設(shè)數(shù)據(jù)均值為[μ]，則模型標(biāo)準(zhǔn)差為a。當(dāng)新數(shù)據(jù)到達時，依據(jù)新的數(shù)據(jù)需要對壓縮數(shù)據(jù)進行分析。通過監(jiān)測壓縮數(shù)據(jù)處理結(jié)果，得到壓縮數(shù)據(jù)集合[Y]：

[Y=y1，y2，…yk]? ? ? ? ? ? ? ? ? ? ? ? （2）

結(jié)合[X]、[Y]，基于灰色GM構(gòu)件灰微分方程：

[Yk+aZk=bXk]? ? ? ? ? ? ? ? ? ? ? ? ?（3）

其中

[k=1，2，...，n]，[Zk=0.5Yk+0.5Yk+1]? ? （4）

由此得出GM模型方程為：

[dYdt+aY=μX]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（5）

由此得出數(shù)據(jù)處理結(jié)果，通過數(shù)據(jù)匯聚節(jié)點對數(shù)據(jù)進行接收和上傳，完成數(shù)據(jù)壓縮以及數(shù)據(jù)處理通道的建立，至此完成對基于灰色GM模型的數(shù)據(jù)處理方法設(shè)計。

2 實驗分析

應(yīng)用對比試驗，比較基于灰色GM模型的數(shù)據(jù)壓縮方法與傳統(tǒng)方法1、傳統(tǒng)方法2的數(shù)據(jù)處理響應(yīng)次數(shù)，通過實驗分析驗證更優(yōu)的試驗方法。

2.1 實驗準(zhǔn)備

為了從協(xié)調(diào)器中讀取采集的數(shù)據(jù)，完成對串口的讀取。利用模塊串口擴展服務(wù)器傳輸通道，通過CH340模塊進行服務(wù)器協(xié)調(diào)，根據(jù)串口通信轉(zhuǎn)換USB，保證模塊串口傳輸速率的同時進行串口信息傳遞。通過服務(wù)器的Linux內(nèi)核驅(qū)動CH340模塊，在USB通信接口中植入?yún)f(xié)調(diào)器，分析模塊串口數(shù)據(jù)響應(yīng)頻率，利用協(xié)調(diào)器的特性對數(shù)據(jù)進行處理，篩選數(shù)據(jù)處理結(jié)果，選擇測試區(qū)間，并針對測試區(qū)間進行響應(yīng)頻率統(tǒng)計。利用硬件串口進行模塊的串口連接，對數(shù)據(jù)處理響應(yīng)次數(shù)進行計算，通過測量3組實驗的節(jié)點，統(tǒng)計數(shù)據(jù)處理響應(yīng)結(jié)果，以2s作為響應(yīng)頻率統(tǒng)計區(qū)間單位，實現(xiàn)數(shù)據(jù)處理響應(yīng)的頻率的對比。

2.2 對比數(shù)據(jù)處理響應(yīng)次數(shù)

測量傳統(tǒng)方法1、傳統(tǒng)方法2和基于灰色GM模型的數(shù)據(jù)處理方法處理數(shù)據(jù)的響應(yīng)次數(shù)，如圖2。

圖中p1為基于灰色GM模型的數(shù)據(jù)處理方法處理數(shù)據(jù)的響應(yīng)次數(shù)曲線，p2為傳統(tǒng)方法1處理數(shù)據(jù)的響應(yīng)次數(shù)曲線，p3為傳統(tǒng)方法2處理數(shù)據(jù)的響應(yīng)次數(shù)曲線。分析圖中信息可知，傳統(tǒng)方法1處理數(shù)據(jù)響應(yīng)次數(shù)最高為32次，數(shù)據(jù)處理響應(yīng)次數(shù)最低為8次。傳統(tǒng)方法2處理數(shù)據(jù)響應(yīng)次數(shù)最高為29次，數(shù)據(jù)處理響應(yīng)次數(shù)最低為8次。基于灰色GM模型的數(shù)據(jù)處理方法處理數(shù)據(jù)的響應(yīng)次數(shù)最高為35次，數(shù)據(jù)處理響應(yīng)次數(shù)最低為10次。因此，基于灰色GM模型的數(shù)據(jù)處理方法更佳。

3 結(jié)束語

基于灰色GM模型的數(shù)據(jù)壓縮方法，可以實現(xiàn)數(shù)據(jù)的精準(zhǔn)處理，能夠合理規(guī)避壓縮數(shù)據(jù)產(chǎn)生的數(shù)據(jù)處理誤差。未來應(yīng)當(dāng)對數(shù)據(jù)的壓縮以及異常檢測進行研究，在實現(xiàn)了主成分更新的基礎(chǔ)上，盡量避免對方差矩陣進行重復(fù)計算，通過降低資源能耗進行方法計算。在此基礎(chǔ)上可以進一步對方法實現(xiàn)改進，使得數(shù)據(jù)處理過程更加簡潔。

參考文獻：

[1] 劉永利，劉云鵬.實時數(shù)據(jù)處理系統(tǒng)自主閉環(huán)測試驗證技術(shù)研究[J].軟件工程，2021，24（3）：2-7.

[2] 潘璇，徐思涵，蔡祥睿，等.基于深度學(xué)習(xí)的數(shù)據(jù)庫自然語言接口綜述[J].計算機研究與發(fā)展，2021，58（9）：1925-1950.

[3] 王英.基于OECD個人數(shù)據(jù)分類的“通知——同意”原則的有效性困境與出路[J].現(xiàn)代情報，2021，41（3）：168-177.

[4] 解明陽，陳新軍.基于不同階數(shù)灰色系統(tǒng)模型的北太平洋柔魚資源豐度預(yù)測[J].上海海洋大學(xué)學(xué)報，2021，30（4）：755-762.

[5] 劉智祿，王慧麗.基于GM模型和BP神經(jīng)網(wǎng)絡(luò)的西安市房價分析與預(yù)測[J].西安石油大學(xué)學(xué)報（社會科學(xué)版），2019，28（5）：9-14.

【通聯(lián)編輯：張薇】