企辦IT:大數據技術面臨的三個重要技術問題

大

術語廣泛地出現也使得人們漸漸明白了它的重要性。大數據漸漸向人們展現了它為學術、工業和政府帶來的巨大機遇。

大數據

面臨的三個重要技術問題，我們一起來看看。當今，大數據的到來，已經成為現實生活中無法逃避的挑戰。每當我們要做出決策的時候，大數據就無處不在。大數據術語廣泛地出現也使得人們漸漸明白了它的重要性。大數據漸漸向人們展現了它為學術、工業和政府帶來的巨大機遇。與此同時，大數據也向參與的各方提出了巨大的挑戰，

君要說的是大數據技術面臨的三個重要問題：

大數據中，結構化數據只佔 15%左右，其餘的 85%都是非結構化的數據，它們大量存在於社交網路、

和

等領域。另一方面，也許有 90%的數據來自開源數據，其餘的被存儲在資料庫中。大數據的不確定性表現在高維、多變和強隨機性等方面。股票交易數據流是不確定性大數據的一個典型例子。

大數據刺激了大量研究問題。非結構化和半結構化數據的個體表現、一般性特徵和基本原理尚不清晰，這些都需要通過包括數學、

、社會學、計算機科學和管理科學在內的多學科交叉來研究和討論。給定一種半結構化或非結構化數據，比如圖像，如何把它轉化成多維數據表、面向對象的數據模型或者直接基於圖像的數據模型？值得注意的是，大數據每一種表示形式都僅呈現數據本身的側面表現，並非全貌。

如果把通過數據挖掘提取 「粗糙知識」 的過程稱為 「一次挖掘」 過程，那麼將粗糙知識與被量化後主觀知識，包括具體的經驗、常識、本能、情境知識和用戶偏好，相結合而產生「智能知識」過程就叫做「二次挖掘」。從「一次挖掘」到「二次挖掘」類似事物「量」到「質」 的飛躍。

由於大數據所具有的半結構化和非結構化特點，基於大數據的數據挖掘所產生的結構化的 「粗糙知識」(潛在模式)也伴有一些新的特徵。這些結構化的粗糙知識可以被主觀知識加工處理並轉化，生成半結構化和非結構化的智能知識。尋求 「智能知識」 反映了大數據研究的核心價值。

二、如何探索大數據複雜性、不確定性特徵描述的刻畫方法及大數據的系統建模

這一問題的突破是實現大數據知識發現的前提和關鍵。從長遠角度來看，依照大數據的個體複雜性和隨機性所帶來的挑戰將促使大數據數學結構的形成，從而導致大數據統一理論的完備。從短期而言，學術界鼓勵發展一種一般性的結構化數據和半結構化、非結構化數據之間的轉化原則，以支持大數據的交叉工業應用。管理科學，尤其是基於最優化的理論將在發展大數據知識發現的一般性方法和規律性中發揮重要的作用。

大數據的複雜形式導致許多對 「粗糙知識」 的度量和評估相關的研究問題。已知的最優化、數據包絡分析、期望理論、管理科學中的效用理論可以被應用到研究如何將主觀知識融合到數據挖掘產生的粗糙知識的 「二次挖掘」 過程中。這裡人機交互將起到至關重要的作用。

三、數據異構性與決策異構性的關係對大數據知識發現與管理決策的影響

由於大數據本身的複雜性，這一問題無疑是一個重要的科研課題，對傳統的數據挖掘理論和技術提出了新的挑戰。在大數據環境下，管理決策面臨著兩個 「異構性」 問題：「數據異構性」 和 「決策異構性」。傳統的管理決定模式取決於對業務知識的學習和日益積累的實踐經驗，而管理決策又是以數據分析為基礎的。

大數據已經改變了傳統的管理決策結構的模式。研究大數據對管理決策結構的影響會成為一個公開的科研問題。除此之外，決策結構的變化要求人們去探討如何為支持更高層次的決策而去做 「二次挖掘」。無論大數據帶來了哪種數據異構性，大數據中的 「粗糙知識」 仍可被看作 「一次挖掘」 的範疇。通過尋找 「二次挖掘」 產生的 「智能知識」 來作為數據異構性和決策異構性之間的橋樑是十分必要的。探索大數據環境下決策結構是如何被改變的，相當於研究如何將決策者的主觀知識參與到決策的過程中。

大數據是一種具有隱藏法則的人造自然，尋找大數據的科學模式將帶來對研究大數據之美的一般性方法的探究，儘管這樣的探索十分困難，但是如果我們找到了將非結構化、半結構化數據轉化成結構化數據的方法，已知的數據挖掘方法將成為大數據挖掘的工具。

如需要大數據服務的企業可以點擊

平台，

的

服務包括

和

，專業的分析技術、可靠的數據來源，讓您的企業更加智慧。