大數據時代還需要數據治理嗎？

數據平台發展過程中隨處可見的數據問題

大數據不是憑空而來，1981年第一個數據倉庫誕生，到現在已經有了近40年的歷史，相對數據倉庫來說我還是個年輕人。而國內企業數據平台的建設大概從90年代末就開始了，從第一代架構出現到現在已經經歷了近20年的時間。

在這20年的時間裡，國內數據平台實施者可以說是受盡折磨，數據項目一直不受待見，是出了名的臟活累活。

可以說，忽視數據治理給數據平台建設帶來了不少問題。隨處可見的數據不統一，難以提升的數據質量，難以完成的數據模型梳理等源源不斷的基礎性數據問題，限制了數據平台發展，導致數據應用不能在商業上快速展示效果。

舉一個典型商業智能應用的例子，管理駕駛艙可能很多朋友都聽說過，很多企業建設了管理駕駛艙，但是建設完之後往往成為擺設，只有當領導需要看的時候，大家才去拚命改數據。

為什麼數據平台的建設遇到這麼多「坎」，而且難以真正發揮其商業價值？其實核心問題還是數據本身不統一，數據內容準確度不高。

數據治理逐漸受到各行業認識

最早意識到數據治理重要性的行業銀行是金融行業。由於對數據的強依賴，金融業一直非常重視數據平台的建設，經過幾代數據平台的驗證，發現數據治理是平台建設的主要限制因素，而且隨著投資和建設的投入增加，對數據治理的重要性的認識也越來越深刻。

人民銀行與銀監會也非常重視數據治理，從08年開始，在全國銀行業推行統一的數據標準，控制行業的數據質量。工行、建行、國開等大型銀行，對數據治理都非常重視。08年前，我們與國開一起開始了數據治理的建設，下圖展示的就是國開銀行針對數據全生命周期的數據管控。

如今各行業都開始了大數據平台的建設，希望利用大數據的能力，來實現數字化轉型。大數據平台的建設本質上還是數據的建設，傳統數據平台碰到的所有問題大數據平台都有可能碰到，由於數據量級的變化，大數據平台必然還會產生新的問題。

目前大數據平台的突出問題主要體現在以下四方面：

數據不可知：用戶不知道大數據平台中有哪些數據，也不知道這些數據和業務的關係是什麼，雖然意識到了大數據的重要性，但平台中有沒有能解決自己所面臨業務問題的關鍵數據？該到哪裡尋找這些數據？

數據不可控：數據不可控是從傳統數據平台開始就一直存在的問題，在大數據時代表現得更為明顯。沒有統一的數據標準導致數據難以集成和統一，沒有質量控制導致海量數據因質量過低而難以被利用，沒有能有效管理整個大數據平台的管理流程。

數據不可取：用戶即使知道自己業務所需要的是哪些數據，也不能便捷自助地拿到數據，相反，獲取數據需要很長的開發過程，導致業務分析的需求難以被快速滿足，而在大數據時代，業務追求的是針對某個業務問題的快速分析，這樣漫長的需求響應時間是難以滿足業務需求的。

數據不可聯：大數據時代，企業擁有著海量數據，但企業數據知識之間的關聯還比較弱，沒有把數據和知識體系關聯起來，企業員工難以做到數據與知識之間的快速轉換，不能對數據進行自助的的探索和挖掘，數據的深層價值難以體現。

通過分析以上四類問題，我們發現傳統數據平檯面臨的問題，在大數據時代不僅沒有消失，還不斷湧現出新的問題，傳統的數據治理需要提升能力，來解決大數據平台建設過程中的這些問題。

在傳統數據平台階段，數據治理的目標主要是做管控，為數據部門建立一個的治理工作環境，包括標準、質量等。在大數據平台階段，用戶對數據的需求持續增長，用戶範圍從數據部門擴展到全企業，數據治理不能再只是面向數據部門了，需要成為面向全企業用戶的工作環境，需要以全企業用戶為中心，從給用戶提供服務的角度，管理好數據的同時為用戶提供自助獲得大數據的能力，幫助企業完成數字化轉型。