數據質量管理遵循源頭治理、閉環管理的原則。
源頭治理方面,主要是指在新建業務或 IT 系統過程中, 明確數據標準或質量規則,采用“壹數壹源”原則,與數據生產方和數據使用方確認,常見於對於數據時效性 要求不高或核心業務增量數據等場景。
閉環管理方面,主要是指形成覆蓋數據質量需求、問題發現、問題檢查、 問題整改的良性閉環,對數據采集、流轉、加工、使用全流程進行質量校驗管控,持續根據業 務部門數據質量需求優化質量管理方案、調整質量規則庫,構建數據質量和管理過程的度量指標體系,不斷改 進數據質量管理策略。
數據質量管理原則主要包括以下五個方面:1. 遵從企業管理、業務模式,抓住數據質量問題重點、難點;2. 全面、細致,先易後難,逐步推進;3. 壹次性、壹勞永逸為原則的歷史數據清洗策略;4. 選擇最適合的歷史數據清洗工具等;5. 數據質量監測日常化。
在大數據早期,做數據治理最主要的目的,就是為了提升數據質量,讓報表、分析、應用更加準確。到今天,雖然數據治理的範疇擴大了很多,我們開始講數據資產管理、知識圖譜、自動化的數據治理等等概念,但是提升數據的質量,依然是數據治理最重要的目標之壹。
因為數據要能發揮其價值,關鍵在於其數據的質量的高低,高質量的數據是壹切數據應用的基礎。在數據質量不高的環境下,做數據分析可謂問題重重,數據質量問題已經嚴重影響了組織業務的正常運營。
通過科學的數據質量管理,持續地提升數據質量,已經成為組織內刻不容緩的優先任務。