數說行業 | 大數據時代下數據質量的挑戰

當今社會，數據量正在呈現爆炸式增長，數據表現形式千變萬化，我們已經進入了大數據時代。雲計算、三網融合、物聯網、移動互聯網的出現，更催生了大量數據的產生。

大數據是雲計算技術的延伸，更是社會進步和發展的必然結果，大數據時代的到來引領了未來IT技術發展的戰略走向。在信息和網路技術飛速發展的今天，越來越多的企業業務及社會活動實現了數字化，特別是隨著數據生成的自動化及數據生成速度的加快，數據量也隨之快速增長。同時，隨著存儲設備、內存、處理器等電腦元件成本的穩定下降，使得之前較昂貴的大規模數據存儲和處理變得十分經濟，也使得大數據的存在成為可能。

移動互聯網、三網融合、Web 2.0 技術和電子商務技術的飛速發展，也促進了大數據時代的產生和發展。

數據無所不在，充斥於社會中的每一個部門、每一個經濟體、每一個組織、每一個 IT 技術的使用者，數據的海量生產、共享和應用已經成為必然。之所以被稱為大數據，是因為它具有傳統數據所不具備的獨特特點。

• 首先，數據量龐大。數據量大是大數據的首要特點之一，大數據時代的數據量是以PB、EB、ZB 為存儲單位的。社會與企業被龐大的數據量所包圍，這也正是大數據時代下企業的重大變化之一，即用數據來表示企業的各種業務活動。

• 第二，數據增長、變化速度快。這既是大數據時代的特點，同時也是企業處理大數據所面臨的難題與挑戰。大數據環境下，數據產生、存儲和變化的速率十分驚人。然而，數據量飛速增長的同時，對數據處理速度也提出了更高的要求。

• 第三，數據的多樣性。多樣性也是大數據的重要特點之一。大數據以多種多樣的形式湧現，如來自於感測器的各種類型數據、行動電話的 GPS 定位數據、社交網路中的語音、圖像、視頻、日誌文件等等，並且隨著大數據時代的發展，新的數據來源與數據形式也會不斷出現。

大數據並不僅僅指其數據量之大，更代表著其潛在的數據價值之大。大數據是企業決策的基礎，但是單純的數據量的積累不會對企業產生任何益處，只有建立適當的分析模型，並運用相應的技術手段，對大量的數據進行有效地深加工，發現隱含在大量數據中的信息並加以利用，進而指導企業做出相關決策，才能將大數據的真正效用發揮到極致。

高質量的數據是大數據發揮效能的前提和基礎，強大、高端的數據分析

技術是大數據發揮效能的重要手段。對大數據進行有效分析的前提是必須要保證數據的質量，專業的數據分析工具只有在高質量的大數據環境中才能提取出隱含的、準確的、有用的信息，企業基於這些高質量分析結果所做出的各項決策才不至於偏離正常軌道；否則，即使數據分析工具再先進，在充滿「垃圾」的大數據環境中也只能提取出毫無意義的「垃圾」信息。因此數據質量在大數據環境下顯得尤其重要。

在大數據時代下，企業要想保證大數據的高質量卻並非易事，很小的、容易被忽視的數據質量問題在大數據環境下會被不斷放大，甚至引發不可恢復的數據質量災難。因此，如何保證大數據的數據質量，以及如何有效地挖掘隱藏在大數據中的信息，正在成為企業日益關心的問題。