王櫻潼

中圖分類號：F253.3 文獻標識：A 文章編號：1674-1145（2019）6-147-02

摘 要 大數(shù)據(jù)在當今時代背景下占據(jù)著主導性的地位，若大數(shù)據(jù)由于數(shù)據(jù)質(zhì)量不夠精準而導致最終決策錯誤將帶來毀滅性的后果，本文將分析大數(shù)據(jù)以及數(shù)據(jù)質(zhì)量的基本特征，基本特點以及在容易出現(xiàn)問題的方面以大數(shù)據(jù)為根本對數(shù)據(jù)質(zhì)量進行驗證研究。并對大數(shù)據(jù)以及數(shù)據(jù)質(zhì)量會出現(xiàn)問題的方面一一列舉出來并提出解決方案。

關鍵詞 大數(shù)據(jù) 數(shù)據(jù)質(zhì)量 特點 性質(zhì) 問題 原因

一、大數(shù)據(jù)與數(shù)據(jù)質(zhì)量

“大數(shù)據(jù)”是必要新處置模式才氣具備更強的決議計劃力、洞察發(fā)明力和流程優(yōu)化本領來順應海量、高增長率和多樣化的信息資產(chǎn)。——研究機構Gartner

一種規(guī)模大在獲得、存儲、辦理、闡發(fā)方面大大超越了傳統(tǒng)數(shù)據(jù)庫軟件東西本領規(guī)模的數(shù)據(jù)調(diào)集。——麥肯錫全球研究所

而且，它從發(fā)生便具備海量的數(shù)據(jù)范圍、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和代價密度低四大特色和5V特色（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低代價密度）、Veracity（真實性）。“大數(shù)據(jù)”中的“大”并不僅僅代表著數(shù)據(jù)量之大，也代表了其潛在的數(shù)據(jù)價值之大。根據(jù)研究顯示，更多增強企業(yè)生產(chǎn)能力和競爭能力的機會以及巨大的潛在商業(yè)價值均來自于有效地管理、使用大數(shù)據(jù)。例如在制造領域，大數(shù)據(jù)被嵌入在產(chǎn)品中的傳感器所傳輸，可以為企業(yè)開發(fā)新型的售后服務項目，以及為開發(fā)下一代新產(chǎn)品提供了數(shù)據(jù)基礎。又如在醫(yī)療領域，患者的臨床和行為數(shù)據(jù)往往是最能體現(xiàn)患者需求的數(shù)據(jù)，對此數(shù)據(jù)進行有效的分析，可以更深入地了解患者的病癥并對其病癥做出更準確的判斷，給予更舒適的護理計劃。

而大數(shù)據(jù)的潛在價值又是怎樣做才能被挖掘出來呢？隨著云時代的到來，大數(shù)據(jù)與云計算逐漸形成一種密不可分的關系，大數(shù)據(jù)作為企業(yè)決策的基礎不能只有單純的數(shù)據(jù)量，更有配合適當?shù)姆治瞿Ｐ鸵约跋鄳募夹g手段，對大量數(shù)據(jù)進行有效的深加工深處理，才可挖掘出大數(shù)據(jù)的潛在價值。往往潛在價值中的信息更容易幫助企業(yè)作出相關決策發(fā)揮大數(shù)據(jù)的真正效用。

作為大數(shù)據(jù)必然用有著龐大的數(shù)據(jù)量，而如此龐大的數(shù)據(jù)量自然無法用單臺的計算機進行處理，只能采用分布式架構，對海量數(shù)據(jù)進行分布式數(shù)據(jù)挖掘，這是它所擁有的獨一無二的特色。但若是沒有云計算的分布式處理、分布式數(shù)據(jù)庫和云存儲、虛擬化技術，它也無法發(fā)揮它原本的作用更無法為企業(yè)帶來優(yōu)勢。

以云時代為背景，大數(shù)據(jù)的快速發(fā)展很有可能成為新一輪的技術革命。隨著互聯(lián)網(wǎng)的快速普及，信息技術逐漸和人類生活相互融合，導致全球的數(shù)據(jù)呈現(xiàn)爆發(fā)增長，海量聚焦的一面。而數(shù)據(jù)作為本世紀最珍貴的財產(chǎn)，并不比石油遜色半分。在信息化發(fā)展到目前這一階段，大數(shù)據(jù)對經(jīng)濟發(fā)展、社會秩序、國家治理、人民生活都有著不同程度的影響。在當前這個局勢下，數(shù)據(jù)就等于主動權，世界各國都把推進經(jīng)濟數(shù)字化作為實現(xiàn)創(chuàng)新發(fā)展的重要動能，在技術研發(fā)、數(shù)據(jù)共享、安全保護等方面進行前瞻性布局。

“數(shù)據(jù)質(zhì)量：數(shù)據(jù)對其在操作、決策支持和規(guī)劃中扮演角色的適應程度?！薄S基百科

數(shù)據(jù)質(zhì)量作為信息系統(tǒng)的主要組成部分，它的質(zhì)量問題是影響信息系統(tǒng)運行的關鍵因素，信息系統(tǒng)扶植的成敗也取決于數(shù)據(jù)質(zhì)量的黑白。根據(jù)“垃圾進，垃圾出（garbage in，garbage out）”這一原理，若是想讓信息系統(tǒng)的建設取得預期效果，達到理想的目標，就應保證有良好的數(shù)據(jù)質(zhì)量，能夠準確反映客觀事實，對信息系統(tǒng)所提供的數(shù)據(jù)具有可信度，可靠度和真實度。如果是據(jù)質(zhì)量達不到標準值，不管數(shù)據(jù)分析的工具如何先進，模型如何合理，算法如何優(yōu)良，都達不到預期目標。在充滿著“垃圾”的環(huán)境里得到的也都是沒有意義的垃圾信息，對后續(xù)將要做出的政策的制定和實行都有著毀滅性影響。而高質(zhì)量的數(shù)據(jù)來源于數(shù)據(jù)收集，因此，信息系統(tǒng)數(shù)據(jù)質(zhì)量的管理便顯得尤為重要。成立一個有用的數(shù)據(jù)質(zhì)量管理體系是進步數(shù)據(jù)質(zhì)量的一個體例，可以使數(shù)據(jù)質(zhì)量獲得有用的進步，使“垃圾”數(shù)據(jù)盡量多的削減，使挖掘出的數(shù)據(jù)信息盡量多的到達精準，進而使政策的擬定和實施更可以或許到達目標。使“垃圾”數(shù)據(jù)盡可能多的減少，使挖掘出的數(shù)據(jù)信息盡可能多的達到精準，進而使政策的制定和實行更能夠達到目的。

按照數(shù)據(jù)質(zhì)量問題估算查詢拜訪表現(xiàn)：數(shù)據(jù)毛病每一年對美國工業(yè)界造成的經(jīng)濟損失信占GDP的6%。在醫(yī)療事故中因數(shù)據(jù)統(tǒng)計而出現(xiàn)的決策性失誤導致了近98000名患者喪失生命，在金融企業(yè)中因數(shù)據(jù)質(zhì)量問題導致的信用卡欺詐失察在2008年即造成48億美元的損失。由此可見，數(shù)據(jù)質(zhì)量對大數(shù)據(jù)產(chǎn)生毀滅性的影響進而影響進一步所做出的判斷與決策，更使決策在實施時出現(xiàn)偏差導致無法挽回的后果。

二、出現(xiàn)問題的原因以及發(fā)展趨勢下的解決方案

（一）出現(xiàn)問題的原因

1.由于大數(shù)據(jù)的規(guī)模較大且環(huán)節(jié)較多，在獲取、存儲、傳輸和計算的過程中容易出現(xiàn)很多錯誤，而又因為數(shù)據(jù)量的龐大是我們無法采用人工錯誤檢測與修復或簡單的程序匹配處理，所以，大數(shù)據(jù)容易出現(xiàn)不精準這一問題。

2.由于大數(shù)據(jù)的高速性，整個過程更容易產(chǎn)生不一致數(shù)據(jù)，并且由于目前經(jīng)濟以及國內(nèi)形勢發(fā)展迅速，市場龐大，廠商眾多，直接產(chǎn)生的數(shù)據(jù)便有很多遺漏、出錯以及有偏差等數(shù)據(jù)的產(chǎn)生也為整個人工錯誤檢測與修復帶來了巨大的困難。

3.在數(shù)據(jù)搜集時，大數(shù)據(jù)的多樣性來歷也致使了數(shù)據(jù)質(zhì)量的誤差。來源于眾多地區(qū)、結構均不相同、數(shù)據(jù)量大且都不統(tǒng)一的數(shù)據(jù)源之間存在著沖突、不一致和相互矛盾的現(xiàn)象。隨著時代的進步，生活節(jié)奏的加快，生產(chǎn)源頭也不斷增加，產(chǎn)生數(shù)據(jù)的來源便多不勝數(shù)，系統(tǒng)的更新升級以及應用技術的更新加快也間接的導致了相同的或是不同的數(shù)據(jù)源之間都有可能存在著沖突以及不一致的現(xiàn)象，而數(shù)據(jù)的整理以及集成都由很多組的人員來操作，這也加大了數(shù)據(jù)質(zhì)量的誤差以及出錯率。

（二）發(fā)展趨勢下的解決方案

在當前數(shù)據(jù)資源化的背景下企業(yè)必須要依靠大數(shù)據(jù)提前制定大數(shù)據(jù)營銷戰(zhàn)略方案，對市場有足夠的敏銳度，與云計算的深度結合、科學理論的變革以及數(shù)據(jù)科學的建立都將被大數(shù)據(jù)進一步影響，也是大數(shù)據(jù)走到今天所帶來的影響與達到的效果。而近幾年，數(shù)據(jù)大量泄露，安全措施已出現(xiàn)問題，客戶以及企業(yè)本身的信息得不到保障導致很多企業(yè)由于數(shù)據(jù)的泄露而被迫倒閉?？山鼛啄辏瑪?shù)據(jù)管理成為核心競爭力，直接對財務表現(xiàn)產(chǎn)生巨大影響。數(shù)據(jù)管理在近幾年逐步成為企業(yè)焦點競爭力，企業(yè)數(shù)據(jù)的辦理焦點逐步由戰(zhàn)略性計劃、應用數(shù)據(jù)資產(chǎn)和持續(xù)發(fā)展的空間所構成，而數(shù)據(jù)質(zhì)量則是讓企業(yè)持續(xù)發(fā)展的主要指標，數(shù)據(jù)質(zhì)量不達標將致使企業(yè)焦點競爭力弱化，管理焦點逐步散漫，終究使企業(yè)破產(chǎn)。企業(yè)數(shù)據(jù)的管理核心逐漸由戰(zhàn)略性規(guī)劃、運用數(shù)據(jù)資產(chǎn)以及持續(xù)發(fā)展的空間所組成，而數(shù)據(jù)質(zhì)量則是讓企業(yè)持續(xù)發(fā)展的重要指標，數(shù)據(jù)質(zhì)量不達標將導致企業(yè)核心競爭力弱化，管理核心逐漸渙散，最終使企業(yè)破產(chǎn)。在當下這個環(huán)境背景下，可以從完整性，一致性，準確性和及時性四個方面來評估數(shù)據(jù)質(zhì)量，通過量化指標我們可以了解到當前的數(shù)據(jù)質(zhì)量，以及采取修正措施后的修正程度。而對于海量的數(shù)據(jù)，質(zhì)量指標無法通過人工來獲取，我們需要有一個對應的流程以及精確的步驟，并將每一步會出現(xiàn)的差錯幾率降到最小，在保證數(shù)據(jù)完整，一致的前提下確定精準及時的數(shù)據(jù)來分析并構成大數(shù)據(jù)，得出大數(shù)據(jù)中隱含的信息，為企業(yè)助力。

三、利用大數(shù)據(jù)驗證數(shù)據(jù)質(zhì)量

大數(shù)據(jù)經(jīng)過一系列的程序會看出隱藏在數(shù)據(jù)中的信息，若是數(shù)據(jù)質(zhì)量不夠高或是過程不夠精準都會對最終結果產(chǎn)生不可估量的影響。而用大數(shù)據(jù)最后得出的結論或是決策來驗證數(shù)據(jù)質(zhì)量是再適合不過的了。

首先，若數(shù)據(jù)質(zhì)量出現(xiàn)問題，那么最后的決策便會出現(xiàn)偏差，在實施的時候更是會導致無法挽回的后果。而在實施之前先用結果對數(shù)據(jù)質(zhì)量進行驗證便會減少出問題的幾率，也會減少出現(xiàn)無法挽回的后果的幾率，在當今時代，大數(shù)據(jù)作為企業(yè)的核心，更是不能出半點差錯，而數(shù)據(jù)質(zhì)量則對大數(shù)據(jù)有著至關重要的作用。

其次，每個企業(yè)都有著自己固定的數(shù)據(jù)源但是從不同的數(shù)據(jù)源中傳出的數(shù)據(jù)有可能會產(chǎn)生不一致以及對沖。所以有可能本公司的大數(shù)據(jù)結論與國家政府的大數(shù)據(jù)結論出現(xiàn)不一致的現(xiàn)象。所以應先根據(jù)得出的決策進行驗證研究，在確保數(shù)據(jù)質(zhì)量的前提下，將垃圾數(shù)據(jù)篩除，重新建立大數(shù)據(jù)，重新得出結論以及決策。

最后，由大數(shù)據(jù)來反驗證數(shù)據(jù)質(zhì)量可以說是驗證數(shù)據(jù)質(zhì)量最精準的方式了，在大數(shù)據(jù)的慧眼下，數(shù)據(jù)質(zhì)量的一切小毛病都將無處遁形，為了更精準的數(shù)據(jù)質(zhì)量，為了更準確的做出決策，為了使決策更完好的實施，用大數(shù)據(jù)對數(shù)據(jù)質(zhì)量進行驗證研究是必不可少的，在當今環(huán)境下，大數(shù)據(jù)的比拼逐漸激烈化，只有掌握最精準的數(shù)據(jù)，才能做出最精確的決策，才能在當今時代立穩(wěn)腳跟，否則，被淘汰、被落下甚至于倒閉推出都不是沒可能的。

四、結語

根據(jù)上文所述，數(shù)據(jù)質(zhì)量對大數(shù)據(jù)來說至關重要，良好的數(shù)據(jù)質(zhì)量可以使企業(yè)更上一層樓，而“垃圾”數(shù)據(jù)則將會影響大數(shù)據(jù)的隱含信息并對最終得出的結論產(chǎn)生不可估量的影響，帶來無法挽回的后果。所以，我們應盡快解決數(shù)據(jù)質(zhì)量的問題，使數(shù)據(jù)質(zhì)量有一定的保障，利用大數(shù)據(jù)對數(shù)據(jù)質(zhì)量進行驗證是最能體現(xiàn)數(shù)據(jù)質(zhì)量的方法，決策經(jīng)過驗證后便會更加完善得體，實施時也會減少出現(xiàn)意外的概率。

參考文獻：

[1]張翠紅，劉毅.財務管理[M].西南財經(jīng)大學出版社，2017（7）.

[2]李建中，王宏志.數(shù)據(jù)質(zhì)量：大數(shù)據(jù)的新側(cè)面[N].科技日報.