胡軍偉
摘 要:水利工程作為國民經(jīng)濟(jì)發(fā)展和生活區(qū)域保護(hù)的基礎(chǔ),對其質(zhì)量風(fēng)險管理的研究成為焦點。同時,云計算,物聯(lián)網(wǎng)等新興服務(wù)引發(fā)了數(shù)據(jù)類型和規(guī)模的巨大變革,昭示著大數(shù)據(jù)時代的到來。相比傳統(tǒng)的水利工程質(zhì)量風(fēng)險管理的研究,本文從大數(shù)據(jù)、云計算、工程質(zhì)量風(fēng)險管理三個方面進(jìn)行分析,旨在利用大數(shù)據(jù)和云計算的優(yōu)勢,在數(shù)據(jù)的視角下對水利工程質(zhì)量風(fēng)險進(jìn)行管理與預(yù)測,以達(dá)到“事先”識別風(fēng)險和規(guī)避風(fēng)險的目的。
關(guān)鍵詞:水利工程 風(fēng)險管理 大數(shù)據(jù) 云計算
1.引言
水利工程通過提供洪水防護(hù)和沿海保護(hù)促進(jìn)經(jīng)濟(jì)發(fā)展和生活區(qū)域的安定,并且通常與其他基礎(chǔ)設(shè)施融合,來改善我國水電資源分布不均勻的現(xiàn)狀,同時促進(jìn)農(nóng)業(yè)的發(fā)展。如果水利工程質(zhì)量不合規(guī)程、規(guī)范和質(zhì)量標(biāo)準(zhǔn),將會直接影響工程的使用甚至危及人名群眾的財產(chǎn)安全同時給國家?guī)砦:κ录?。傳統(tǒng)的水利工程質(zhì)量管理的缺陷在于質(zhì)量意識薄弱,對工程前期的勘測設(shè)計不合規(guī)范以及技術(shù)力量的薄弱。以上管理模式主要體現(xiàn)在“事中”或者“事后”的機(jī)理分析,對工程質(zhì)量風(fēng)險的預(yù)測與規(guī)避所提供的指導(dǎo)非常有限。同時,大數(shù)據(jù)時代的到來也促進(jìn)了水利數(shù)據(jù)中心的搭建,因此,通過數(shù)據(jù)挖掘技術(shù)從大數(shù)據(jù)中提取影響水利質(zhì)量風(fēng)險的影響因素之間的信息和知識,用于構(gòu)建預(yù)測風(fēng)險的模型來指導(dǎo)規(guī)避風(fēng)險將具有極大優(yōu)勢。
2.大數(shù)據(jù)的含義與特征
大數(shù)據(jù)(Big Data)從具有分布式和分散式控制的大容量異構(gòu),自治元開始,旨在探索數(shù)據(jù)之間復(fù)雜和不斷發(fā)展的關(guān)系。
大數(shù)據(jù)主要具有以下特征:第一,數(shù)據(jù)體量巨大。國際數(shù)據(jù)公司(IDC)計算出從2009年全球數(shù)據(jù)為0.8ZB(萬億GB),估計到2020年講增加到40ZB。實際上,由于高速廣域網(wǎng)接入的廣泛推出和下一代應(yīng)用的激增,大數(shù)據(jù)在過去5-8年間一直處于技術(shù)領(lǐng)域的最前沿,在金融,零售,智能傳感器網(wǎng)絡(luò)(物聯(lián)網(wǎng)) 和物理等不同領(lǐng)域正在經(jīng)歷類似的大量數(shù)據(jù)。這種大型數(shù)據(jù)集的出現(xiàn)具有顯著的存儲空間,更重要的是具有計算意義。
第二,處理速度快。數(shù)據(jù)以前所未有的速度生成,需要實時處理,例如 RFID標(biāo)簽與傳感器和智能電表的普遍應(yīng)用正在推動近乎實時處理數(shù)據(jù)的需求。
第三,數(shù)據(jù)種類繁多。格式從傳統(tǒng)數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)字?jǐn)?shù)據(jù)到非結(jié)構(gòu)化文本文檔,電子郵件,視頻,音頻,股票報價數(shù)據(jù)和金融交易,給數(shù)據(jù)的存儲分類帶來極大挑戰(zhàn)。
第四,可變性強(qiáng)。除了處理速度和數(shù)據(jù)種類的增加之外,數(shù)據(jù)流還可能隨著周期性峰值高度的變化而變化。例如,季節(jié)性和事件觸發(fā)的峰值數(shù)據(jù)負(fù)載可能難以管理。同樣非結(jié)構(gòu)化數(shù)據(jù)更是如此。
第五,復(fù)雜高。今天的數(shù)據(jù)來源比較廣泛,這使得難以跨系統(tǒng)鏈接,匹配,清理和轉(zhuǎn)換數(shù)據(jù)。但是,有必要連接和關(guān)聯(lián)關(guān)系、層次結(jié)構(gòu)和多個數(shù)據(jù)鏈接,否則數(shù)據(jù)可能會迅速失控。
這些特征使得從大數(shù)據(jù)中發(fā)現(xiàn)有用的知識成為極大的挑戰(zhàn)。因此,海量的數(shù)據(jù)處理離不開云計算(Cloud Computing)強(qiáng)大計算能力的支持。
3.云計算
云計算為大數(shù)據(jù)挑戰(zhàn)提供可擴(kuò)展且經(jīng)濟(jì)高效的解決方案;美國國家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)給出云計算定義:“按使用付費(fèi)模式,以實現(xiàn)方便,按需網(wǎng)絡(luò)訪問”,但在很大程度上不明確且廣泛濫用以表示“在線”的任何內(nèi)容。共享可配置計算資源池(例如,網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用程序和服務(wù)),可以用最少的管理工作或服務(wù)提供交互快速供應(yīng)和發(fā)布。
云計算的服務(wù)類型主要包含以下三種:第一,基礎(chǔ)設(shè)施服務(wù)(IaaS)。云計算提供商投入大量資本支出以投資監(jiān)理和維護(hù)高性能計算(HPC) 基礎(chǔ)架構(gòu)或者數(shù)據(jù)中心,然后按照“按需支付”為基礎(chǔ)向客戶提供這些基礎(chǔ)架構(gòu)或者數(shù)據(jù)中心,并提供相關(guān)的細(xì)粒度計算。此舉意味著用戶不會承擔(dān)構(gòu)建HPC環(huán)境的任何成本,特別是考慮到這種環(huán)境的使用通常是“突發(fā)性”,而基礎(chǔ)設(shè)施往往未充分利用;第二,軟件服務(wù)(SaaS)指的是通過因特網(wǎng)運(yùn)在遠(yuǎn)程云基礎(chǔ)架構(gòu)上運(yùn)行應(yīng)用程序的過程;第三,平臺服務(wù)(PaaS)允許用戶通過構(gòu)建已經(jīng)由云提供商開發(fā)的軟件庫或者開發(fā)平臺來構(gòu)建軟件應(yīng)用程序。
現(xiàn)代大數(shù)據(jù)技術(shù)已經(jīng)設(shè)計出解決方案來提供使用可擴(kuò)展且經(jīng)濟(jì)有效的技術(shù)處理和分析大規(guī)模并行化數(shù)據(jù)集。對比發(fā)現(xiàn),大數(shù)據(jù)集中于數(shù)據(jù)的采集、挖掘、分析和知識學(xué)習(xí),而云計算強(qiáng)調(diào)的是計算能力,也即是處理數(shù)據(jù)的能力。如果沒有大數(shù)據(jù),再強(qiáng)大的云計算也無用武之地;相應(yīng)地,如果沒有云計算,那么也很難挖掘數(shù)據(jù)的價值并利用數(shù)據(jù)。
4.大數(shù)據(jù)、云計算對水利工程質(zhì)量風(fēng)險管理的影響分析
傳統(tǒng)的水利工程質(zhì)量風(fēng)險管理模式大多數(shù)體現(xiàn)在“事中”,即是通過對在建的水利工程進(jìn)行質(zhì)量檢測或者對已經(jīng)出現(xiàn)的工程質(zhì)量進(jìn)行管理,以達(dá)到提高工程質(zhì)量的目的。而“事前”對水利工程質(zhì)量管理方法較少,如果能夠綜合各方面的信息,建立科學(xué)完善的綜合評價體系,對項目前期和潛在的質(zhì)量風(fēng)險進(jìn)行分析,提前采取獎勵風(fēng)險的措施, 達(dá)到規(guī)避風(fēng)險的目的。
水利工程質(zhì)量風(fēng)險管理因素是形成大數(shù)據(jù)的核心,而此數(shù)據(jù)依賴云計算的強(qiáng)大算力來挖掘其中的數(shù)據(jù)價值。大數(shù)據(jù)、云計算的視角下對水利工程質(zhì)量的風(fēng)險管理的內(nèi)容主要包括對數(shù)據(jù)源的和特征挖掘以及對工程質(zhì)量風(fēng)險管理框架的設(shè)計。大數(shù)據(jù)的分析處理可以利用云計算體系下的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、統(tǒng)計分析等技術(shù),關(guān)鍵要解決數(shù)據(jù)準(zhǔn)備和分析等過程中的海量數(shù)據(jù)計算問題。數(shù)據(jù)挖掘(Data Mining)指的是從巨量的、不完全的、模糊的、有噪聲的實際應(yīng)用數(shù)據(jù)中,提取隱藏在其中、人們事先未知但有潛在利用價值的信息和知識的過程,例如從影響工程質(zhì)量風(fēng)險的因素中提取關(guān)聯(lián)性。站在狹義的角度來看待大數(shù)據(jù)對水利工程質(zhì)量風(fēng)險的管理,主要體現(xiàn)在數(shù)據(jù)的結(jié)構(gòu)形式上[5]。從這個角度來講,大數(shù)據(jù)不僅包含結(jié)構(gòu)化數(shù)據(jù),更多指的是半結(jié)構(gòu)化的數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),表現(xiàn)為數(shù)據(jù)形式的多樣性和復(fù)雜性。
因為水利工程的質(zhì)量風(fēng)險因素多而復(fù)雜又具有不穩(wěn)定性,如果利用傳統(tǒng)的質(zhì)量風(fēng)險管理模式,并不足以發(fā)現(xiàn)內(nèi)在規(guī)律,因此需要利用數(shù)據(jù)挖掘技術(shù)(例如統(tǒng)計技術(shù),決策樹和神經(jīng)網(wǎng)路等)去挖掘數(shù)據(jù)間的關(guān)系,并預(yù)測風(fēng)險。
目前我國建筑工程質(zhì)量風(fēng)險識別的方式主要為:試驗數(shù)據(jù)或結(jié)果、核對表、專家調(diào)查法、問卷調(diào)查或者訪談、事件樹分析法和工作分解結(jié)構(gòu)。這些傳統(tǒng)的風(fēng)險識別方法大多數(shù)從風(fēng)險的形成出發(fā),依賴于人為判斷,往往不能有效反應(yīng)實際的情況。如今,云計算超強(qiáng)的計算能力以及普及,使得大數(shù)據(jù)分析技術(shù)逐漸應(yīng)用于水利工程質(zhì)量風(fēng)險的管理。而管理體系的構(gòu)建是一項復(fù)雜的工程,主要包括以下三個階段:一是以質(zhì)量風(fēng)險管理的需求為目標(biāo)來構(gòu)建用于水利工程質(zhì)量的初始風(fēng)險清單,例如技術(shù)風(fēng)險的設(shè)計,施工和其他方面,以及非技術(shù)方面的自然與環(huán)境,經(jīng)濟(jì),政治法律,合同,人員和材料設(shè)備等;二是根據(jù)水利工程質(zhì)量初始風(fēng)險清單中的風(fēng)險收集相關(guān)數(shù)據(jù),例如技術(shù)風(fēng)險里的設(shè)計內(nèi)容、設(shè)計缺陷、錯誤和遺漏等,非技術(shù)風(fēng)險里的自然環(huán)境方面,比如洪水,火災(zāi),臺風(fēng)或者地震等均可以數(shù)據(jù)的形式收集;三是利用數(shù)據(jù)挖掘方法,如關(guān)聯(lián),分類,決策樹,神經(jīng)網(wǎng)絡(luò)等方法對所采集的數(shù)據(jù)進(jìn)行分析,根據(jù)質(zhì)量風(fēng)險清單對項目質(zhì)量風(fēng)險進(jìn)行分析與預(yù)測,同時根據(jù)工程質(zhì)量問題的實際數(shù)據(jù)對初始的質(zhì)量風(fēng)險清單進(jìn)行優(yōu)化更新。
5.結(jié)語
本文從大數(shù)據(jù)、云計算的角度出發(fā),針對水利工程質(zhì)量風(fēng)險管理的問題進(jìn)行分析。與傳統(tǒng)的工程質(zhì)量風(fēng)險管理模式相比,大數(shù)據(jù)、云計算角度下的工程質(zhì)量風(fēng)險管理模式更具有客觀性,并且能夠提供預(yù)測風(fēng)險及規(guī)避風(fēng)險的能力。此外,在云計算強(qiáng)大算力的支撐下,本文所提出的工程質(zhì)量風(fēng)險管理模式更具有準(zhǔn)確性和高效性。
參考文獻(xiàn):
[1]鄭國棟,張照全.淺談水利工程質(zhì)量管理[J].科學(xué)技術(shù)創(chuàng)新,2011 (6):246-246.
[2]Gantz,John,and David Reinsel."The digital universe in 2020:Big data,bigger digital shadows,and biggest growth in the far east. " IDC iView: IDC Analyze the future 2007.2012(2012): 1-16.
[3]秦榮生. "大數(shù)據(jù),云計算技術(shù)對審計的影響研究[J]. "審計研究6.5(2014).
[4]莫榮強(qiáng),艾萍,吳禮福,et al.一種支持大數(shù)據(jù)的水利數(shù)據(jù)中心基礎(chǔ)框架[J].水利信息化, 2013(3): 16-20.
[5]李梅杰.大數(shù)據(jù)視角下水利工程質(zhì)量風(fēng)險管理[J].城市建設(shè)理論研究(電子版),2018,No.252(06): 187-188.