張禮立：大數據湖與信息挖掘

信息科技

大數據

大數據湖與信息挖掘

文／張禮立

導讀

傳統商業智能（BI）體系可以對結構化數據進行不同層次、不同類型的分析，但卻不能處理非結構化數據。大數據由於其數據包含了結構化與非結構化，所以在利用大數據分析會帶來一些新的問題。因此，我們需要重新思考如何使用商業智能——如何攝取、存儲及分析數據。

公司競爭優勢的關鍵來源在於企業利用數據、發揮數據全部價值的能力。所以數據的管理、治理、分析以及安全保護將發展成一個新的關鍵業務部門。儘管單獨感測器捕捉的信息也存在一定的價值，但企業若能在長時間內收集不同產品中成百上千個感測器的信息，那麼它們將能夠透過這些信息辨認出一定的運行規律，從而獲得極為重要的產品信息。

以汽車為例，汽車上有不同位置的感測器，包括引擎溫度、節氣門的位置、燃油消耗等。那麼將這些信息綜合到一起，企業就能發現引擎的運轉信息是如何影響整車性能的。如果可以將這些信息與故障關聯到一起，那也極具價值。有時侯即便公司無法判斷故障的根源，也可以根據長期積累的運行規律進行修理。例如，通過測量溫度和震動的感測器，公司就能提前幾天甚至幾周就能夠發現即將損壞的軸承。

大數據分析為企業帶來一系列新的技術工具，能夠幫助企業掌握這些規律。也同樣帶給企業一系列的挑戰，智能互聯產品本身產生的數據以及相關的內外部數據往往都是非結構化的。這些數據的格式可謂是五花八門，包括感測器數據、地理位置、溫度、交易以及保修記錄等。

傳統的數據匯總和分析工具，比如電子表格或者資料庫工具都沒有能力管理格式如此繁雜的數據。大數據的出現要求全新的數據管理方法。各個組織如今需要對結構化和非結構化數據進行近實時分析。傳統的商業智能方法要求建立企業數據倉庫和數據集市，因而難以為繼。出路指向了商業大數據湖。商業大數據湖是一個數據存儲庫，當數據進來時，能夠在低成本商用存儲器中存儲和處理大量原格式的結構化、半結構化和非結構化數據。

「數據湖」這一解決方案正日趨流行，它可以將各種不同的數據流以原始的格式儲存起來。而在數據湖中，人們可以用一系列的新型數據分析工具對這些數據進行挖掘。這些工具主要分為四種類型：描述型、診斷型、預測型和對症型。商業大數據湖使用戶有能力進行基於業務的商情分析，此外還可呈現全球業務的企業視圖。元數據信息得以保留，從而實現可追溯性，記錄及未來數據精化需求。

為了能夠更好地理解和應用智能互聯產品產生數據，有一些企業開始部署名為「數字化映射」的新型工具。數字化映射最初由美國國防部高級研究計劃局開創，實際上它是物理產品的三維虛擬現實的數字化複製。物理產品持續運行，其狀態和運行環境也在不斷地變化，產品的數字化映射也伴隨著數據的流入相應地反映實際產品的變化。

作為實際產品的數字化身，公司可以通過它掌握千里之外的產品狀態和環境條件。數字化映射還能提供新的產品洞見，幫助企業更好地設計、製造、運行和維護產品。

「

張禮立簡介

管理學博士，信息化工作老兵。

2016信息產業年度經濟人物，2016年IT治理與管理年度踐行人物。