數(shù)據(jù)質(zhì)量是數(shù)據(jù)治理的核心內(nèi)容，提高數(shù)據(jù)質(zhì)量也是數(shù)據(jù)治理的核心目標。數(shù)據(jù)作為生產(chǎn)要素是數(shù)字經(jīng)濟的基礎(chǔ)，高質(zhì)量的數(shù)據(jù)是數(shù)據(jù)價值的保障。對數(shù)據(jù)質(zhì)量的管理是數(shù)據(jù)全生命周期的管理，需要一把手的參與和承諾，并有相應(yīng)的數(shù)字化企業(yè)文化的建立和一系列工具及制度的保障。

經(jīng)常有人問，數(shù)據(jù)重要還是算法重要？回答應(yīng)該是肯定的：二者都重要;但如果只能選擇一個的話，那么數(shù)據(jù)更重要。因為如果數(shù)據(jù)是低質(zhì)量的甚至是錯誤的，再好的算法所得出的結(jié)論也只能是不準確甚至是錯誤的。所謂的“垃圾進，垃圾出”（Garbage in，Garbage out）講的就是這個道理。按照國際數(shù)據(jù)管理協(xié)會（DAMA）的數(shù)據(jù)管理知識體系（DBMOK2），提高數(shù)據(jù)的質(zhì)量是數(shù)據(jù)治理的核心內(nèi)容。數(shù)據(jù)作為數(shù)字經(jīng)濟的基礎(chǔ)，高質(zhì)量的數(shù)據(jù)也是數(shù)字經(jīng)濟的必然要求。

數(shù)據(jù)質(zhì)量的定義

“數(shù)據(jù)質(zhì)量”（Data Quality，簡稱DQ）一詞有多重意思，既指高質(zhì)量數(shù)據(jù)的相關(guān)特征，也指用于衡量或提高數(shù)據(jù)質(zhì)量的過程。按照DAMA的說法，“數(shù)據(jù)質(zhì)量如能達到數(shù)據(jù)使用者的期望和需求，也就是說，如果數(shù)據(jù)滿足數(shù)據(jù)使用者應(yīng)用需求的目的，就是高質(zhì)量的;反之，如果不滿足數(shù)據(jù)使用者應(yīng)用需求的目的，就是低質(zhì)量的。因此，數(shù)據(jù)質(zhì)量取決于上下文和數(shù)據(jù)使用者的需求”。

國際標準化組織（ISO） 8000國際數(shù)據(jù)質(zhì)量標準也提出了一些關(guān)于數(shù)據(jù)質(zhì)量的標準。這一標準的建立是為了使復雜數(shù)據(jù)能夠以與應(yīng)用無關(guān)的形式進行交換。在標準的介紹中，ISO指出：“為了能夠以及時和經(jīng)濟高效的方式創(chuàng)建、收集、儲存、維護、轉(zhuǎn)移、處理和呈現(xiàn)數(shù)據(jù)以支持業(yè)務(wù)流程，既需要了解決定其數(shù)據(jù)質(zhì)量的特征，也需要具有能夠?qū)?shù)據(jù)質(zhì)量進行測量、管理和報告的能力。”

ISO 8000的目的是幫助組織定義什么是符合質(zhì)量要求的數(shù)據(jù)，什么是不符合質(zhì)量要求的數(shù)據(jù)，使它們能夠使用標準去約束符合質(zhì)量要求的數(shù)據(jù)，并檢核它們是否已經(jīng)收到了符合同一質(zhì)量標準的數(shù)據(jù)。當遵循標準時，就可以通過計算機程序確認數(shù)據(jù)是否已經(jīng)滿足需求。

數(shù)據(jù)質(zhì)量管理的內(nèi)容

數(shù)據(jù)質(zhì)量管理的內(nèi)容包括很多，各個專業(yè)機構(gòu)對它的定義也不一樣。DAMA認為，數(shù)據(jù)質(zhì)量管理的內(nèi)容至少應(yīng)該包括：一是定義什么是高質(zhì)量的數(shù)據(jù)，且定義應(yīng)該和業(yè)務(wù)目標緊密聯(lián)系。二是定義數(shù)據(jù)質(zhì)量策略，比如如何來評估和提高數(shù)據(jù)的質(zhì)量。三是確定關(guān)鍵數(shù)據(jù)和業(yè)務(wù)規(guī)則，任何一個組織都會有大量的數(shù)據(jù)，數(shù)據(jù)質(zhì)量的管理應(yīng)該從對業(yè)務(wù)最關(guān)鍵的數(shù)據(jù)入手，并制定相應(yīng)的業(yè)務(wù)規(guī)則。四是執(zhí)行初始數(shù)據(jù)質(zhì)量評估，在開展數(shù)據(jù)質(zhì)量工作之前，應(yīng)該做一次初始評估，以了解目前的狀況。五是確定數(shù)據(jù)質(zhì)量管理的內(nèi)容，并按照優(yōu)先級別來排序各項工作。這樣可以在較短的時間內(nèi)看到部分的效果。六是定義數(shù)據(jù)質(zhì)量改進的目標。這些目標應(yīng)該和業(yè)務(wù)一致，并需要能夠量化。七是開發(fā)和部署數(shù)據(jù)質(zhì)量的具體工作，數(shù)據(jù)質(zhì)量的管理不只是一個項目，更是一個貫穿整個數(shù)據(jù)生命周期的過程，同時也需要和業(yè)務(wù)保持一致。

數(shù)據(jù)質(zhì)量是數(shù)據(jù)治理的核心內(nèi)容

數(shù)據(jù)治理包括許多方面的內(nèi)容，比如數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)標準、數(shù)據(jù)架構(gòu)、數(shù)據(jù)安全、數(shù)據(jù)建模、數(shù)據(jù)應(yīng)用等。而數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)治理的核心內(nèi)容。

同時，提高數(shù)據(jù)的質(zhì)量也是數(shù)據(jù)治理的核心目標之一。因為數(shù)據(jù)治理當中的很多方面都與數(shù)據(jù)的質(zhì)量問題息息相關(guān)。例如，數(shù)據(jù)戰(zhàn)略的建立是為了提高數(shù)據(jù)的整體可用性，并實現(xiàn)和增大數(shù)據(jù)的價值。數(shù)據(jù)標準的建立是為了提高數(shù)據(jù)的交互和可操作性，這本身就是數(shù)據(jù)質(zhì)量高低的衡量標準之一。數(shù)據(jù)建模也是為了保證數(shù)據(jù)的標準化和可用性，從而提高數(shù)據(jù)的質(zhì)量。而數(shù)據(jù)的應(yīng)用更有賴于高質(zhì)量的數(shù)據(jù)。

有效的數(shù)據(jù)管理涉及一系列復雜的、相互關(guān)聯(lián)的過程，它使組織能夠利用它們的數(shù)據(jù)來實現(xiàn)其戰(zhàn)略目標。數(shù)據(jù)管理能力包括為各類應(yīng)用設(shè)計數(shù)據(jù)、安全存儲、訪問和共享數(shù)據(jù)、從數(shù)據(jù)中獲得知識，以及滿足業(yè)務(wù)需求的能力等。但實現(xiàn)數(shù)據(jù)價值的前提是，數(shù)據(jù)本身是可靠和可信的。換句話說，數(shù)據(jù)應(yīng)是高質(zhì)量的。因為高質(zhì)量的數(shù)據(jù)可以提高數(shù)據(jù)的價值和被應(yīng)用的可能，降低由于低質(zhì)量數(shù)據(jù)而導致的相關(guān)風險和成本，提高組織效率和生產(chǎn)力，保護和提高組織的聲譽。

與此相反，使用劣質(zhì)的數(shù)據(jù)則會給組織帶來各種風險和損失，比如損害組織的聲譽，因不滿足監(jiān)管要求而導致的罰款、收入損失、客戶流失和媒體曝光等。例如，如果“客戶電話號碼”字段的數(shù)據(jù)不完整，我們將無法通過電話聯(lián)系這些客戶，這將失去潛在的銷售機會。所以需要建立一個流程來提高數(shù)據(jù)的完整性，直到比如至少有98%的客戶有可用的電話號碼為止。當然，高質(zhì)量的數(shù)據(jù)本身并不是目的，它只是組織成功并為業(yè)務(wù)服務(wù)的一種手段。

評估數(shù)據(jù)質(zhì)量的維度

數(shù)據(jù)質(zhì)量的維度是數(shù)據(jù)的某個可測量的特性。術(shù)語“維度”可以類比于測量物理對象的維度，例如長度、寬度、高度等。數(shù)據(jù)質(zhì)量維度提供了定義數(shù)據(jù)質(zhì)量要求的一系列指數(shù)。我們可以通過這些維度來定義和評估數(shù)據(jù)的質(zhì)量。

業(yè)界有很多專家對數(shù)據(jù)質(zhì)量維度進行了深度研究。這里介紹三位最具影響力的人物，他們深入研究了如何擁有高質(zhì)量數(shù)據(jù)，以及如何測量數(shù)據(jù)的質(zhì)量。Strong-Wang框架（1996）側(cè)重于數(shù)據(jù)使用者對數(shù)據(jù)的看法，它描述了數(shù)據(jù)質(zhì)量的四個大類及15個指標，包括數(shù)據(jù)的內(nèi)在質(zhì)量、語境質(zhì)量、表達質(zhì)量和訪問質(zhì)量等。托馬斯·瑞德曼（Thomas Redman）在《信息時代的數(shù)據(jù)質(zhì)量》（Data Quality for the Information Age，1996年）中，制定了一套基于數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)質(zhì)量維度，共有20多個維度。拉里·英格利什（Larry English）在《改善數(shù)據(jù)倉庫和業(yè)務(wù)信息質(zhì)量》（Improving Data Warehouse and Business Information Quality，1999年）中，提出了一套綜合指標。他把數(shù)據(jù)質(zhì)量分為兩大類別：內(nèi)在特征和實用特征。內(nèi)在特征與數(shù)據(jù)使用無關(guān)，實用特征是動態(tài)的，與數(shù)據(jù)表示相關(guān)，其質(zhì)量價值可隨數(shù)據(jù)的使用而改變。

2013年，DAMA英國分會發(fā)布了一份白皮書，描述了數(shù)據(jù)質(zhì)量的6個核心維度。這些維度是：完整性——存儲數(shù)據(jù)量與潛在數(shù)據(jù)量的百分比;唯一性——在滿足對象識別的基礎(chǔ)上不應(yīng)多次記錄實體實例（事物）;及時性——數(shù)據(jù)到達的時間點;有效性——數(shù)據(jù)符合其定義的語法、格式、類型、范圍等;準確性——數(shù)據(jù)正確描述“真實世界”對象或事件的程度;一致性——比較事物多種表述與定義的差異。

DAMA英國分會的白皮書還描述了其他對質(zhì)量有影響的特性，其中包括：可用性（Usability）——數(shù)據(jù)是否可理解、簡單、相關(guān)、可訪問、可維護且達到正確的精度水平;時間問題（Timing Issues）（除上述時效性外）——是否能對業(yè)務(wù)的變更請求作出及時的響應(yīng);靈活性（Flexibility）——數(shù)據(jù)是否具有可比性，是否與其他數(shù)據(jù)有很好的兼容性，是否具備可用的分組和分類，是否能被重用以及是否易于操作;置信度（Confidence）——數(shù)據(jù)治理、數(shù)據(jù)保護和數(shù)據(jù)安全等管控是否到位，數(shù)據(jù)的可信性如何，它是否是經(jīng)驗證的或是可驗證的。價值（Value）——數(shù)據(jù)是否有良好的成本/收益案例，它是否得到了最佳應(yīng)用，是否危及人們的安全、隱私或企業(yè)的法律責任，以及它是否支持或無助于建立企業(yè)形象、企業(yè)信息。

綜上所述，雖然不存在唯一的、一致認可的數(shù)據(jù)質(zhì)量維度標準，但它們均包含了一些常規(guī)的想法，即維度基本都包括了一些可以客觀衡量（完整性、有效性、格式一致性），而且依賴于語境或主觀解釋（可用性、可靠性、聲譽）的特征。無論使用什么名稱，維度都涉及是否有足夠的數(shù)據(jù)（完整性），數(shù)據(jù)是否正確（準確度、有效性），數(shù)據(jù)是否符合要求（一致性、連貫性、唯一性），數(shù)據(jù)是否為最新（及時性）以及數(shù)據(jù)的可訪問性、可用性和安全性。

導致數(shù)據(jù)質(zhì)量低下的原因分析

從數(shù)據(jù)的規(guī)劃和產(chǎn)生到最后的歸檔或者消除，數(shù)據(jù)質(zhì)量問題可能在數(shù)據(jù)生命周期的任何時間點出現(xiàn)。數(shù)據(jù)輸入、數(shù)據(jù)處理、系統(tǒng)設(shè)計以及自動化流程中的手動干預等問題都有可能導致低質(zhì)量的數(shù)據(jù)。

總體而言，導致數(shù)據(jù)質(zhì)量低下的原因是多重的。其中包括：一是領(lǐng)導不重視、數(shù)字化的企業(yè)文化建立不到位。許多人認為大多數(shù)數(shù)據(jù)質(zhì)量問題是由數(shù)據(jù)輸入錯誤引起的。但實際上，業(yè)務(wù)和技術(shù)流程中的差距或執(zhí)行不當所導致的數(shù)據(jù)質(zhì)量問題遠比輸入帶來的問題更多。許多數(shù)據(jù)質(zhì)量問題是由于缺乏對高質(zhì)量數(shù)據(jù)的組織承諾造成的，而缺乏組織承諾本身就是在治理和管理的形式上缺乏領(lǐng)導力。缺乏這種領(lǐng)導力和數(shù)字化企業(yè)文化是導致低質(zhì)量數(shù)據(jù)最重要的原因。二是數(shù)據(jù)輸入過程引起的問題。機采的數(shù)據(jù)往往問題較小，但也會有問題。比如設(shè)計不當?shù)臄?shù)據(jù)輸入接口。如果該類接口沒有編輯或控件來防止不正確的數(shù)據(jù)，則數(shù)據(jù)處理人可能會采取快捷方式處理數(shù)據(jù)，例如跳過非強制字段和不更新有默認值的字段等。而由人工手工輸入的數(shù)據(jù)問題會更多，比如在疲勞、不盡責等情況下都有可能輸入不正確的或者不完整的數(shù)據(jù)。三是數(shù)據(jù)處理功能引起的問題。數(shù)據(jù)處理的過程也會導致數(shù)據(jù)的質(zhì)量問題。比如，過時的業(yè)務(wù)規(guī)則：隨著時間的推移，業(yè)務(wù)規(guī)則會發(fā)生變化，如果沒能對業(yè)務(wù)規(guī)則進行審查和更新，這些過時的業(yè)務(wù)規(guī)則就有可能帶來數(shù)據(jù)錯誤。變更的數(shù)據(jù)結(jié)構(gòu)：源系統(tǒng)可以在不通知下游消費者（包括人和系統(tǒng)）或沒有足夠時間讓下游消費者響應(yīng)變更的情況下變更結(jié)構(gòu)，這可能導致無效的值或阻止數(shù)據(jù)傳送和加載，或者導致無法立即檢測到的更細微的改變。ETL（獲取、變換、加載）的邏輯錯誤：ETL過程中，數(shù)據(jù)的映射、參數(shù)的選擇、內(nèi)容的缺損等都會導致數(shù)據(jù)的質(zhì)量問題。四是系統(tǒng)設(shè)計引起的問題。數(shù)據(jù)輸入的界面或者系統(tǒng)設(shè)計的缺陷會導致低質(zhì)量的數(shù)據(jù)。比如缺乏數(shù)據(jù)驗證，則可能會出現(xiàn)數(shù)據(jù)完整性和準確性的問題;處理數(shù)據(jù)的規(guī)則不準確，就有可能出現(xiàn)計算錯誤、數(shù)據(jù)被鏈接或分配到不匹配的字段、鍵或者關(guān)系等;在沒有統(tǒng)一數(shù)據(jù)字典的情況下，多個系統(tǒng)可能采用不同的日期格式或時間，當不同源系統(tǒng)之間數(shù)據(jù)同步時，這反過來會導致數(shù)據(jù)不匹配和數(shù)據(jù)丟失;主數(shù)據(jù)和元數(shù)據(jù)管理不到位，缺乏數(shù)據(jù)標準和數(shù)據(jù)血緣關(guān)系，也會導致數(shù)據(jù)的混亂。五是解決問題而引起的問題。補丁是為了解決某些具體問題而產(chǎn)生的，如果沒有足夠的測試，就像未經(jīng)測試的代碼一樣，這些補丁很有可能會引發(fā)新的問題，并產(chǎn)生更高的風險。六是相關(guān)技術(shù)還沒有完全成熟。數(shù)據(jù)質(zhì)量的高低也反應(yīng)在數(shù)據(jù)是否能夠被共享應(yīng)用，以及非結(jié)構(gòu)化數(shù)據(jù)是否被充分利用。鑒于各國對數(shù)據(jù)隱私的重視和保護，數(shù)據(jù)共享遇到了許多限制，以前相關(guān)技術(shù)并不能完全滿足“數(shù)據(jù)可用不可見，用途可控可計量”的要求。這使得數(shù)據(jù)的共享一直是個技術(shù)難題。最近隨著數(shù)據(jù)隱私計算的推出和應(yīng)用，這方面應(yīng)該有很大的提高。但非結(jié)構(gòu)化數(shù)據(jù)的質(zhì)量問題現(xiàn)在還沒有一個比較好的解決方法。

如何提高數(shù)據(jù)的質(zhì)量

筆者認為，數(shù)據(jù)質(zhì)量的管理應(yīng)遵循以下原則：一是重要性（Criticality），數(shù)據(jù)質(zhì)量應(yīng)關(guān)注對企業(yè)及客戶最重要的數(shù)據(jù)。改進的優(yōu)先順序應(yīng)基于數(shù)據(jù)的重要性以及低質(zhì)量數(shù)據(jù)可能帶來的風險水平來判定。二是生命周期管理（Lifecycle Management），數(shù)據(jù)質(zhì)量管理應(yīng)覆蓋從創(chuàng)建或采購直至處置的整個數(shù)據(jù)全生命周期，包括其在系統(tǒng)內(nèi)部和系統(tǒng)之間流轉(zhuǎn)時的數(shù)據(jù)管理。換言之，數(shù)據(jù)鏈中的每個環(huán)節(jié)都應(yīng)確保數(shù)據(jù)具有高質(zhì)量的輸出。三是預防（Prevention），數(shù)據(jù)質(zhì)量管理的重點應(yīng)放在預防數(shù)據(jù)錯誤和降低數(shù)據(jù)可用性等情形;不應(yīng)放在簡單地糾正記錄上。四是根本原因補救（Root Cause Remediation），提高數(shù)據(jù)質(zhì)量不僅是糾正錯誤，由于數(shù)據(jù)質(zhì)量問題通常與流程或系統(tǒng)設(shè)計有關(guān)，所以提高數(shù)據(jù)質(zhì)量通常需要對流程和相關(guān)系統(tǒng)進行改進，而不僅僅是從表象來理解和解決。五是制度和企業(yè)文化（Governance），數(shù)據(jù)治理活動必須支持高質(zhì)量數(shù)據(jù)的開發(fā)，數(shù)據(jù)質(zhì)量規(guī)劃活動必須支持和維持接受治理的數(shù)據(jù)環(huán)境。六是標準驅(qū)動（Standards—Driven），數(shù)據(jù)生命周期中的所有利益相關(guān)者都會有數(shù)據(jù)質(zhì)量的要求，在可能的情況下，對于可量化的數(shù)據(jù)質(zhì)量需求應(yīng)該以可測量的標準和期望的形式來定義。七是客觀測量和透明度（Objective Measurement and Transparency），數(shù)據(jù)質(zhì)量需要得到客觀、一致的測量。測量和測量方法應(yīng)該與利益相關(guān)者一同討論與分享，因為他們是質(zhì)量的裁決者。八是嵌入業(yè)務(wù)流程（Embedded in Business Processes），業(yè)務(wù)流程所有者對通過其流程生成的數(shù)據(jù)質(zhì)量負責。他們必須在其流程中實施數(shù)據(jù)質(zhì)量標準。九是系統(tǒng)執(zhí)行（Systematically Enforced），系統(tǒng)所有者必須系統(tǒng)地執(zhí)行數(shù)據(jù)質(zhì)量要求。十是與服務(wù)級別相關(guān)（Connected to Service Levels），即數(shù)據(jù)質(zhì)量報告和問題管理應(yīng)納入服務(wù)級別協(xié)議（SLA）。

高質(zhì)量的數(shù)據(jù)是數(shù)字經(jīng)濟的必然要求

數(shù)據(jù)是數(shù)字經(jīng)濟的基礎(chǔ)。沒有高質(zhì)量的數(shù)據(jù)不但無法為數(shù)字經(jīng)濟提供服務(wù)，反而還會帶來各種風險和損失。高質(zhì)量的數(shù)據(jù)是數(shù)據(jù)經(jīng)濟的必然要求。按照美國智庫Experian在2019年做的一份調(diào)研，美國企業(yè)中平均有29%的數(shù)據(jù)有這樣或那樣的質(zhì)量問題，而且問題數(shù)據(jù)的數(shù)量高居不下，嚴重影響了企業(yè)的數(shù)字化進程。

數(shù)字經(jīng)濟的發(fā)展需要高質(zhì)量的數(shù)據(jù)作為支撐。第一，高質(zhì)量的數(shù)據(jù)對數(shù)字經(jīng)濟現(xiàn)有業(yè)務(wù)的量化支持。這當中包括提高生產(chǎn)率、降低成本、規(guī)避可能的各種風險、提升組織的聲譽等。第二，高質(zhì)量的數(shù)據(jù)對數(shù)字經(jīng)濟創(chuàng)新業(yè)務(wù)的量化支持。這當中包括引進新的業(yè)務(wù)流程、新的產(chǎn)品和服務(wù)，甚至于新的商業(yè)模型。

不過，沒有一個組織擁有完美的業(yè)務(wù)流程、技術(shù)流程或數(shù)據(jù)管理實踐，因此所有組織都會遇到與數(shù)據(jù)質(zhì)量相關(guān)的問題。但相比那些不開展數(shù)據(jù)質(zhì)量管理的組織，實施正式數(shù)據(jù)質(zhì)量管理的組織碰到的問題會更少。真正的數(shù)據(jù)質(zhì)量管理類似于其他產(chǎn)品的持續(xù)質(zhì)量管理。它包括在整個生命周期制定標準，在數(shù)據(jù)創(chuàng)建、轉(zhuǎn)換和存儲過程中完善質(zhì)量，以及根據(jù)一定的標準來管理數(shù)據(jù)。同時數(shù)據(jù)質(zhì)量還取決于所有與數(shù)據(jù)交互的人，而不僅僅是數(shù)據(jù)管理專業(yè)人員。與數(shù)據(jù)治理和整體數(shù)據(jù)管理一樣，數(shù)據(jù)質(zhì)量管理不是一個一次性項目，而是一個有規(guī)劃的持續(xù)性的工作。它包括項目的維護工作，以及對溝通和培訓的承諾。最重要的是，數(shù)據(jù)質(zhì)量改進計劃的長期成功取決于一個組織文化的改變及質(zhì)量觀念的建立。

結(jié)語

數(shù)據(jù)質(zhì)量是數(shù)據(jù)治理的核心內(nèi)容，提高數(shù)據(jù)質(zhì)量也是數(shù)據(jù)治理的核心目標。數(shù)據(jù)作為生產(chǎn)要素是數(shù)字經(jīng)濟的基礎(chǔ)，高質(zhì)量的數(shù)據(jù)是數(shù)據(jù)價值的保障。對數(shù)據(jù)質(zhì)量的管理是數(shù)據(jù)全生命周期的管理，需要一把手的參與和承諾，并有相應(yīng)的數(shù)字化企業(yè)文化的建立和一系列工具及制度的保障。

（汪廣盛為國際數(shù)據(jù)管理協(xié)會中國主席。本文編輯/秦婷）