郭光福

摘 要 數(shù)據(jù)倉庫與大數(shù)據(jù)技術(shù)的融合應(yīng)用，對提高數(shù)據(jù)提取、采集、存儲、應(yīng)用水平等有積極作用。因此，針對不同業(yè)務(wù)的非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用問題，在對數(shù)據(jù)倉庫與大數(shù)據(jù)融合過程進行分析中，結(jié)合數(shù)據(jù)倉庫建設(shè)的理論思想，對大數(shù)據(jù)進行存儲、處理、加工與分析，并在大數(shù)據(jù)技術(shù)的視角下，對數(shù)據(jù)庫倉庫優(yōu)化進行調(diào)整，旨在實現(xiàn)大數(shù)據(jù)與數(shù)據(jù)倉庫的綜合應(yīng)用效果提升。

關(guān)鍵詞 數(shù)據(jù)倉庫 大數(shù)據(jù) 數(shù)據(jù)分析與整合

中圖分類號：TP311 文獻標識碼：A 文章編號：1007-0745（2021）11-0007-03

隨著數(shù)據(jù)庫技術(shù)的多元化發(fā)展，其在各行業(yè)、各領(lǐng)域都有廣泛的應(yīng)用，所以在業(yè)務(wù)管理系統(tǒng)中，針對數(shù)據(jù)倉庫與大數(shù)據(jù)之間的數(shù)據(jù)融合進行分析，對進一步提高數(shù)據(jù)倉庫的實際應(yīng)用效果有積極作用。在數(shù)據(jù)庫技術(shù)實現(xiàn)多樣化發(fā)展中，數(shù)據(jù)倉庫是通過現(xiàn)有的數(shù)據(jù)庫，對數(shù)據(jù)信息進行抽取、加工以及使用，并為管理工作的開展提供管理決策。在這一視角下，數(shù)據(jù)倉庫建設(shè)與發(fā)展應(yīng)用數(shù)據(jù)庫技術(shù)，對現(xiàn)有數(shù)據(jù)信息進行管理，滿足業(yè)務(wù)管理與控制的綜合發(fā)展需求。在利用數(shù)據(jù)庫技術(shù)的基礎(chǔ)上，可通過數(shù)據(jù)挖掘與信息處理的方式，實現(xiàn)數(shù)據(jù)管理與業(yè)務(wù)管理水平的綜合提升。

1 數(shù)據(jù)倉庫的概念

數(shù)據(jù)倉庫并不是單純的多數(shù)據(jù)庫集合，而是通過數(shù)據(jù)處理技術(shù)針對現(xiàn)有的數(shù)據(jù)庫，對數(shù)據(jù)信息進行提取、清洗、加工、處理以及使用，并為業(yè)務(wù)管理以及管理決策等提供依據(jù)。在實現(xiàn)數(shù)據(jù)信息處理的過程中，則需要通過大數(shù)據(jù)技術(shù)，對數(shù)據(jù)倉庫的數(shù)據(jù)進行分析與處理，按照數(shù)據(jù)特征進行分類與處理，從而提高數(shù)據(jù)信息的有效利用率。數(shù)據(jù)倉庫與數(shù)據(jù)技術(shù)具有聯(lián)系性，利用數(shù)據(jù)庫技術(shù)對數(shù)據(jù)信息進行處理，其中包含云數(shù)據(jù)處理、數(shù)據(jù)挖掘、AI技術(shù)應(yīng)用等，在數(shù)據(jù)信息處理與調(diào)整的基礎(chǔ)上，可實現(xiàn)數(shù)據(jù)處理水平提升[1]。大數(shù)據(jù)在實際應(yīng)用中，可以減少數(shù)據(jù)冗余，并消除數(shù)據(jù)壁壘，在數(shù)據(jù)挖掘以及智能處理技術(shù)的應(yīng)用下，對數(shù)據(jù)信息進行融合與處理，從而實現(xiàn)數(shù)據(jù)采集與挖掘。大數(shù)據(jù)在對數(shù)據(jù)處理與分析時，可以對大規(guī)模的、結(jié)構(gòu)復(fù)雜的數(shù)據(jù)信息進行處理，從而實現(xiàn)預(yù)測與決策分析水平的提升。從數(shù)據(jù)管理的角度進行分析，數(shù)據(jù)倉庫與大數(shù)據(jù)之間具有一定的關(guān)聯(lián)性，但是大數(shù)據(jù)對數(shù)據(jù)類型、數(shù)據(jù)處理等有積極作用，在數(shù)據(jù)處理與信息控制的基礎(chǔ)上，可實現(xiàn)數(shù)據(jù)倉庫的數(shù)據(jù)信息融合與控制。

對大數(shù)據(jù)的需求進行分析時，則是在數(shù)據(jù)分析與數(shù)據(jù)管理的基礎(chǔ)上，實現(xiàn)數(shù)據(jù)預(yù)測與決策水平提升。從大數(shù)據(jù)與數(shù)據(jù)倉庫融合的角度進行分析，大數(shù)據(jù)與數(shù)據(jù)倉庫之間比較相似，但是數(shù)據(jù)量、數(shù)據(jù)類型、處理速度、數(shù)據(jù)結(jié)構(gòu)準確性等方面存在一定的差異性，所以在利用數(shù)據(jù)倉庫技術(shù)的過程中，則是在預(yù)測大數(shù)據(jù)的基礎(chǔ)上，對數(shù)據(jù)倉庫的數(shù)據(jù)處理過程進行完善，從而滿足數(shù)據(jù)統(tǒng)計與數(shù)據(jù)分析的綜合需求[2]。

2 大數(shù)據(jù)技術(shù)及其困境

在對大數(shù)據(jù)技術(shù)的實際應(yīng)用進行分析中，則是在非結(jié)構(gòu)化數(shù)據(jù)庫以及數(shù)據(jù)信息處理過程等方面進行分析，在數(shù)據(jù)集合與數(shù)據(jù)挖掘處理的基礎(chǔ)上，可實現(xiàn)數(shù)據(jù)信息的綜合處理效果提升。但是，數(shù)據(jù)信息處理技術(shù)在實際應(yīng)用中，則需要對數(shù)據(jù)處理過程、數(shù)據(jù)處理參數(shù)等方面進行優(yōu)化，在實現(xiàn)數(shù)據(jù)集中處理與分析處理的基礎(chǔ)上，可滿足數(shù)據(jù)倉庫的數(shù)據(jù)處理與控制需求。但是，大數(shù)據(jù)技術(shù)在實際應(yīng)用中，仍然存在以下幾個難點。

1.從技術(shù)層面進行分析，大數(shù)據(jù)的研究與應(yīng)用仍然處在初級階段，缺少完善、有效的數(shù)據(jù)解決方案，對大數(shù)據(jù)信息處理以及數(shù)據(jù)挖掘處理等會產(chǎn)生直接的影響。在對大數(shù)據(jù)的實際應(yīng)用進行分析中，缺少體系化的模型，雖然開源的Hadoop可以實際應(yīng)用，但是在數(shù)據(jù)信息處理的過程中，數(shù)據(jù)處理技術(shù)的應(yīng)用水平不足，對數(shù)據(jù)應(yīng)用以及數(shù)據(jù)倉庫的數(shù)據(jù)挖掘等會產(chǎn)生直接的影響。在大數(shù)據(jù)信息處理與控制的過程中，則可以通過數(shù)據(jù)挖掘與信息處理的方式，實現(xiàn)數(shù)據(jù)挖掘與數(shù)據(jù)信息處理效果的綜合提升[3]。在建立完整化數(shù)據(jù)信息處理模型的基礎(chǔ)上，可通過數(shù)據(jù)處理以及信息評估的方式，實現(xiàn)大數(shù)據(jù)處理效果提升。

2.從大數(shù)據(jù)處理過程的角度進行分析，在大數(shù)據(jù)技術(shù)的實踐應(yīng)用中，大多是以Hadoop為框架，但是在實際應(yīng)用時，其仍然存在非結(jié)構(gòu)化數(shù)據(jù)，在數(shù)據(jù)處理與數(shù)據(jù)分析中，對數(shù)據(jù)倉庫的數(shù)據(jù)挖掘與信息挖掘會產(chǎn)生直接的影響。通過數(shù)據(jù)倉庫的應(yīng)用，在實現(xiàn)數(shù)據(jù)信息處理與控制的過程中，數(shù)據(jù)倉庫的處理過程仍然存在問題，對數(shù)據(jù)信息處理以及數(shù)據(jù)管理等會產(chǎn)生直接的影響，也會影響數(shù)據(jù)倉庫與大數(shù)據(jù)技術(shù)融合的實際應(yīng)用水平。而且，在對結(jié)構(gòu)數(shù)據(jù)進行優(yōu)化的過程中，仍然存在數(shù)據(jù)信息處理不到位的情況，影響大數(shù)據(jù)技術(shù)的實際應(yīng)用效果與應(yīng)用價值。

3.數(shù)據(jù)安全問題。在大數(shù)據(jù)技術(shù)多樣化應(yīng)用的過程中，面對數(shù)據(jù)安全問題，對數(shù)據(jù)信息處理過程以及數(shù)據(jù)冗余等會產(chǎn)生直接影響。在Hadoop、MPP數(shù)據(jù)庫、MySQL數(shù)據(jù)流處理中，仍然存在數(shù)據(jù)庫系統(tǒng)不完善的情況，對數(shù)據(jù)結(jié)構(gòu)的安全性以及數(shù)據(jù)處理過程等會產(chǎn)生直接的影響。因此，在數(shù)據(jù)信息處理與數(shù)據(jù)開元處理的基礎(chǔ)上，仍然需要對數(shù)據(jù)安全問題進行調(diào)整，從而實現(xiàn)大數(shù)據(jù)的數(shù)據(jù)安全控制水平提升[4]。

4.大數(shù)據(jù)應(yīng)用與開發(fā)不足。大數(shù)據(jù)的實際應(yīng)用與云計算過程相似，在對基礎(chǔ)數(shù)據(jù)建設(shè)體系進行完善與優(yōu)化的基礎(chǔ)上，仍然需要從數(shù)據(jù)處理、數(shù)據(jù)維護以及數(shù)據(jù)分析等方面進行優(yōu)化，在對數(shù)據(jù)處理過程進行優(yōu)化的基礎(chǔ)上，可通過數(shù)據(jù)倉庫的信息處理與數(shù)據(jù)控制，解決大數(shù)據(jù)的操作與數(shù)據(jù)處理的綜合問題。但是，在大數(shù)據(jù)處理的過程中，智能化、多元化的系統(tǒng)框架搭建，仍然存在數(shù)據(jù)倉庫的開發(fā)問題，而且基礎(chǔ)數(shù)據(jù)建設(shè)比較困難，后期的數(shù)據(jù)處理與資源維護等不足，對大數(shù)據(jù)技術(shù)的操作與控制等會產(chǎn)生直接的影響。

5.大數(shù)據(jù)對業(yè)務(wù)管理決策的影響仍需進一步研究。大數(shù)據(jù)技術(shù)在實際應(yīng)用中，對網(wǎng)絡(luò)中的海量數(shù)據(jù)進行挖掘，可以發(fā)現(xiàn)數(shù)據(jù)中隱含的價值，但是在獲取數(shù)據(jù)的過程中，仍然需要對每一個數(shù)據(jù)進行處理、加工以及分析，要對數(shù)據(jù)處理過程、數(shù)據(jù)分析準確性等方面進行探究，在數(shù)據(jù)分析與預(yù)測等方面仍有不足，對數(shù)據(jù)處理過程會產(chǎn)生直接的影響。在大數(shù)據(jù)信息處理與控制的過程中，數(shù)據(jù)存儲與數(shù)據(jù)提取等不足，會影響數(shù)據(jù)挖掘與信息處理綜合水平。大數(shù)據(jù)技術(shù)可以對數(shù)據(jù)倉庫中的數(shù)據(jù)信息進行統(tǒng)計與分析，但是在數(shù)據(jù)信息處理與數(shù)據(jù)應(yīng)用控制中，仍然存在數(shù)據(jù)挖掘與預(yù)測準確性不足等問題，對大數(shù)據(jù)應(yīng)用會產(chǎn)生直接的影響。

3 數(shù)據(jù)倉庫與大數(shù)據(jù)融合措施

3.1 數(shù)據(jù)倉庫體系架構(gòu)設(shè)計

為實現(xiàn)數(shù)據(jù)倉庫的架構(gòu)應(yīng)用水平提升，在業(yè)務(wù)數(shù)據(jù)處理與管理的過程中，需要在數(shù)據(jù)倉庫處理的基礎(chǔ)上，對數(shù)據(jù)信息處理過程、數(shù)據(jù)分析等方面進行優(yōu)化，可實現(xiàn)數(shù)據(jù)倉庫的數(shù)據(jù)處理水平提升[5]。在大數(shù)據(jù)技術(shù)需求分析的視角下，可通過數(shù)據(jù)管理與信息處理的方式，對數(shù)據(jù)倉庫的不同特征數(shù)據(jù)進行提取與處理，從而實現(xiàn)數(shù)據(jù)應(yīng)用效率的進一步提升。在加強對列式數(shù)據(jù)庫內(nèi)數(shù)據(jù)獲取與分析的過程中，則需要對數(shù)據(jù)處理以及數(shù)據(jù)挖掘等方面進行優(yōu)化，從而達到提高數(shù)據(jù)應(yīng)用效率的目的。在對數(shù)據(jù)應(yīng)用以及信息處理過程等方面進行分析時，則需要從業(yè)務(wù)數(shù)據(jù)源處理以及數(shù)據(jù)非關(guān)系型結(jié)構(gòu)等方面進行處理，在實現(xiàn)數(shù)據(jù)融合的基礎(chǔ)上，利用Hadoop對數(shù)據(jù)信息進行處理，從而實現(xiàn)數(shù)據(jù)倉庫的數(shù)據(jù)分析處理效果提升。

從行業(yè)應(yīng)用的角度進行分析，根據(jù)結(jié)構(gòu)化程度共同作用進行分析，則是在行業(yè)應(yīng)用、決策分析的視角下，對分布式處理以及數(shù)據(jù)安全等方面進行處理，在數(shù)據(jù)分布與信息整合的基礎(chǔ)上，可滿足數(shù)據(jù)分析與技術(shù)處理的綜合需求。大數(shù)據(jù)的架構(gòu)在應(yīng)用中，需要通過技術(shù)要素對行業(yè)數(shù)據(jù)、決策支持、分布式處理等方面進行優(yōu)化，通過數(shù)據(jù)信息處理與業(yè)務(wù)整合，可滿足數(shù)據(jù)倉庫的數(shù)據(jù)挖掘處理需求。大數(shù)據(jù)架構(gòu)在實際應(yīng)用中，則可以對不同特征的數(shù)據(jù)信息處理過程、數(shù)據(jù)倉庫的數(shù)據(jù)存儲等方面進行完善，在數(shù)據(jù)結(jié)構(gòu)化程度檢驗與分析的視角下，可滿足數(shù)據(jù)分析與開發(fā)的綜合需求。展示層是針對數(shù)據(jù)關(guān)系、請求響應(yīng)、數(shù)據(jù)處理等方面進行優(yōu)化，數(shù)據(jù)應(yīng)用中，則是通過預(yù)測性建模與模擬，對數(shù)據(jù)源進行分析與處理，滿足大數(shù)據(jù)挖掘與信息處理的綜合需求。在對數(shù)據(jù)流進行處理的過程中，則是在建立分布式處理關(guān)系的基礎(chǔ)上，對網(wǎng)絡(luò)自動抓取的業(yè)務(wù)數(shù)據(jù)處理，并實現(xiàn)數(shù)據(jù)挖掘與信息處理的綜合分析。

3.2 數(shù)據(jù)倉庫與大數(shù)據(jù)的融合

從大數(shù)據(jù)需求分析的角度進行分析，在實現(xiàn)數(shù)據(jù)融合與信息處理的過程中，則需要在數(shù)據(jù)倉庫的視角下，對業(yè)務(wù)數(shù)據(jù)關(guān)系以及數(shù)據(jù)處理過程等方面進行優(yōu)化，在建立數(shù)據(jù)倉庫的視角下，對數(shù)據(jù)提取過程、數(shù)據(jù)處理方式等方面進行優(yōu)化，滿足數(shù)據(jù)分析與處理的綜合需求。因此，數(shù)據(jù)倉庫與大數(shù)據(jù)在實現(xiàn)融合中，可實現(xiàn)數(shù)據(jù)的相互促進、補充與協(xié)作，將大數(shù)據(jù)技術(shù)下的數(shù)據(jù)倉庫處理過程結(jié)合在一起，并對非結(jié)構(gòu)化數(shù)據(jù)的采集、存儲與傳輸?shù)确矫孢M行優(yōu)化，從而實現(xiàn)數(shù)據(jù)信息的綜合處理效果提升。非結(jié)構(gòu)化數(shù)據(jù)信息的處理與控制，則是在數(shù)據(jù)倉庫分析與信息處理的視角下，對Hadoop技術(shù)與數(shù)據(jù)倉庫結(jié)合過程進行優(yōu)化，并對數(shù)據(jù)采集、ETL、存儲、處理、提取等方面進行綜合分析，在數(shù)據(jù)信息處理與優(yōu)化的基礎(chǔ)上，將數(shù)據(jù)信息傳輸?shù)綌?shù)據(jù)倉庫，從而實現(xiàn)數(shù)據(jù)處理與分析的目的。在建立數(shù)據(jù)倉庫的基礎(chǔ)上，可以在數(shù)據(jù)管理層通過數(shù)據(jù)倉庫與Hadoop的結(jié)合，對數(shù)據(jù)處理方式進行優(yōu)化，并通過數(shù)據(jù)分工來滿足數(shù)據(jù)處理與數(shù)據(jù)分析的綜合需求。利用數(shù)據(jù)倉庫對非結(jié)構(gòu)化數(shù)據(jù)進行處理，并對數(shù)據(jù)處理過程以及數(shù)據(jù)參數(shù)等方面進行調(diào)整，提高數(shù)據(jù)管理與信息處理的綜合水平[6]。

在創(chuàng)建BI層的基礎(chǔ)上，可對數(shù)據(jù)存儲的結(jié)構(gòu)化數(shù)據(jù)庫進行調(diào)整與優(yōu)化，在實現(xiàn)數(shù)據(jù)信息處理與數(shù)據(jù)分解后，對不同數(shù)據(jù)進行分析與處理，對實現(xiàn)數(shù)據(jù)信息處理與數(shù)據(jù)分析水平提升等有積極作用。從技術(shù)層面進行分析，數(shù)據(jù)倉庫與大數(shù)據(jù)技術(shù)在融合的視角下，其實際應(yīng)用中，則可以通過數(shù)據(jù)處理與數(shù)據(jù)分析等方式，對數(shù)據(jù)驅(qū)動過程以及數(shù)據(jù)信息處理方式等進行優(yōu)化，在實現(xiàn)數(shù)據(jù)調(diào)研與分析中，可從數(shù)據(jù)需求設(shè)計、ETL、數(shù)據(jù)建模、元數(shù)據(jù)管理等方面進行優(yōu)化，在突破數(shù)據(jù)倉庫與大數(shù)據(jù)融合的視角下，可為后續(xù)的數(shù)據(jù)應(yīng)用于數(shù)據(jù)分析處理等提供參考依據(jù)。數(shù)據(jù)倉庫與大數(shù)據(jù)的融合是在系統(tǒng)平臺優(yōu)化的基礎(chǔ)上，對數(shù)據(jù)管理過程、數(shù)據(jù)處理過程等方面進行優(yōu)化，從而提高數(shù)據(jù)分析與業(yè)務(wù)處理的綜合水平。

3.3 數(shù)據(jù)分析與數(shù)據(jù)整合

在創(chuàng)建BI層、數(shù)據(jù)管理以及源數(shù)據(jù)層的基礎(chǔ)上，對不同數(shù)據(jù)關(guān)系進行整合與處理，可實現(xiàn)數(shù)據(jù)倉庫技術(shù)的實際應(yīng)用效果提升。在實際應(yīng)用與處理的過程中，則需要在數(shù)據(jù)分析與業(yè)務(wù)處理的基礎(chǔ)上，對數(shù)據(jù)關(guān)系進行分析，在數(shù)據(jù)建模與處理的前提下，利用數(shù)據(jù)倉庫技術(shù)，對數(shù)據(jù)關(guān)系以及數(shù)據(jù)整合等方面進行調(diào)整，從而滿足數(shù)據(jù)倉庫建設(shè)與應(yīng)用的綜合發(fā)展需求。在數(shù)據(jù)倉庫的搭建與分析中，可利用數(shù)據(jù)傳輸機制，對數(shù)據(jù)關(guān)系、信息處理過程等方式，落實數(shù)據(jù)訪問服務(wù)。結(jié)構(gòu)化、半結(jié)構(gòu)以及非結(jié)構(gòu)化數(shù)據(jù)的處理分析，則可以在ETL處理以及Hadoop平臺，對不同數(shù)據(jù)關(guān)系進行調(diào)整與處理，在BI層實現(xiàn)數(shù)據(jù)分析與數(shù)據(jù)優(yōu)化。在數(shù)據(jù)信息處理與分析的過程中，則需要利用數(shù)據(jù)挖掘的方式，對數(shù)據(jù)關(guān)系進行處理，從而提高數(shù)據(jù)分析水平。

4 結(jié)語

數(shù)據(jù)倉庫與大數(shù)據(jù)的融合，則是在數(shù)據(jù)信息處理的基礎(chǔ)上，對數(shù)據(jù)庫技術(shù)的實際應(yīng)用進行分析，在優(yōu)化數(shù)據(jù)管理機制的前提下，可實現(xiàn)業(yè)務(wù)數(shù)據(jù)管理水平的進一步提升。數(shù)據(jù)倉庫與大數(shù)據(jù)技術(shù)的融合，則是在數(shù)據(jù)挖掘與信息處理的基礎(chǔ)上，對數(shù)據(jù)管理過程、業(yè)務(wù)處理方式等方面進行優(yōu)化，從而實現(xiàn)數(shù)據(jù)管理與數(shù)據(jù)信息處理效果提升。在大數(shù)據(jù)技術(shù)分析與業(yè)務(wù)處理的基礎(chǔ)上，可通過技術(shù)融合的方式，對技術(shù)方案以及數(shù)據(jù)倉庫等方面進行優(yōu)化，通過數(shù)據(jù)分析處理與數(shù)據(jù)信息處理，建立數(shù)據(jù)架構(gòu)，并建立數(shù)據(jù)倉庫與大數(shù)據(jù)技術(shù)融合方案，從而實現(xiàn)大數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)處理效果提升。

參考文獻：

[1] 劉強.試論數(shù)據(jù)倉庫與大數(shù)據(jù)融合[J].電腦知識與技術(shù)，2020，16（10）：7-9.

[2] 楊磊.大數(shù)據(jù)的發(fā)展及數(shù)據(jù)倉庫的融合應(yīng)用[J].數(shù)字技術(shù)與應(yīng)用，2019，37（06）：62，64.

[3] 李巖巖，潘文彬，汪新.數(shù)據(jù)融合技術(shù)在倉庫監(jiān)測系統(tǒng)中的應(yīng)用[J].蚌埠學(xué)院學(xué)報，2016，05（06）：5-8.

[4] 于鵑.數(shù)據(jù)倉庫與大數(shù)據(jù)融合的探討[J].電信科學(xué)，2015， 31（03）：166-170.

[5] 萬抒，馮中華，余文杰，裴華.針對攻擊鏈的安全大數(shù)據(jù)多維融合分析架構(gòu)和機制研究[J].通信技術(shù)，2021，54（08）： 1975-1980.

[6] 周靜，余浩然，米清奎，黃忠，龔偉.統(tǒng)計數(shù)據(jù)與大數(shù)據(jù)源的融合應(yīng)用[J].重慶師范大學(xué)學(xué)報（自然科學(xué)版），2021，38 （02）：77-83.