大數據實踐之路探討之一：導致大數據項目失敗的三大關鍵因素

說到大數據，有一個網上流傳已久的段子：

這個段子雖然是調侃，但是的確極其準確的反應了機構大數據之路的現狀和尷尬處境：現在的大環境是上至相關領導，下至基層員工都知道大數據的重要性。但是落實到實施，很多機構、企業都面臨相同的困境：自己大數據發展的方法論和落地支點到底在哪裡?他山之石如何攻己之玉?我的大數據之路在何方?這些都是困擾機構大數據項目的難題。

帶著這些問題，筆者分析了現今市場上一些典型的行業和企業案例(覆蓋互聯網、政府、金融、通信、電子商務和大型企業)和自己過去十幾年服務過的總計近百家機構和企業的大數據發展之路，試圖找出其成敗的關鍵因素。最終筆者發現，機構大數據之路的關鍵點可以如下圖所示，即業務能力(3個基礎支點)、技術能力(3個難點)和整合能力：

一個機構或企業要做好自己的大數據應用，業務層面首先要做好各個業務系統和業務數據平台的建設和規劃，在此基礎上做好合適自己的數據運營支撐體系。大多數機構和企業從八十年代開始信息化，其中互聯網、電子商務、金融、通信行業發展比較充分，業務系統和業務數據平台建設整體規劃相對比較完善;而政府和大型企業等方面的發展狀況則參差不齊。

在技術層面，大數據項目有別於傳統IT項目，要求具備一定的搜索、商業智能和人工智慧等技術在業務系統中運用的能力。這三項技術對技術人員專業性的要求比較高(和普通的根據業務需求編程完全不同，必須有專業的know how，否則會走很多彎路付出巨大代價，甚至決定項目的成敗)。在相關人才缺乏的市場環境下，由於眾多VC支撐的新興互聯網公司高薪瘋搶和囤積相關人才，使得在傳統IT意識下運營操作的機構大數據項目一將難求，舉步維艱。技術人才變成了機構客戶難以逾越的門檻。

在業務和技術能力的基礎上，機構大數據應用若要起飛還需要從管理、組織機構和企業文化的角度建立起自己的運營支撐體系，讓相關項目能夠在機構內進入一個良性循環的路徑。

由此可見，要落實好大數據應用，機構必或企業須做好發生綜合性轉變的思想準備。這種轉變是一個系統工程而不是傳統意義上的IT項目，更不是簡單的技術演算法工作。以下詳細說明上述三個關鍵點。

業務體系的建設和運營能力是大數據應用的基礎

機構要做好自己的大數據應用，業務系統和業務數據建設是基礎。金融和電信行業的機構前些年都建設了自己的數據平台(例如數據倉庫，MDM等相關項目)，情況相對比較良好。其他機構客戶這方面差異比較大，這取決於機構自身過去的IT投入和發展狀況。但是傳統的信息化和IT建設在業務系統建設中比較強調業務流和數據管理，往往會忽略了站在整個機構角度的數據鏈完整性設計;而機構業務數據鏈體系是否具有完備，是機構大數據應用引擎啟動的奠基石，非常之重要!機構客戶啟動大數據項目必須從數據鏈的角度拷問已有的業務和數據體系。

筆者建議，正在策劃和推進大數據項目的機構一定要對自身業務系統發展狀態、業務數據平台建設狀態和數據運營能力有一個清晰的認知，並根據自身的狀況設置可實現的「一個億」小目標。

技術能力是大數據應用的核心支撐

做好機構大數據應用的技術關鍵點到達是什麼?微軟大數據研究中心的一位專家有這樣的觀點：「hadoop, spark, HBase 等技術都是實現手段和IT構架元素，大數據關鍵技術60%是搜索，40%是商業智能和人工智慧。。。」。根據多年服務於不同行業客戶的實踐，我很認同這個說法。當然這裡的搜索不是一般人理解的類似百度這樣的搜索， 有一個專業的詞叫做「企業搜索」- Enterprise Search。

【筆者註：百度等搜索我通常願意稱之為互聯網搜索——也就是搜索技術針對互聯網網頁內容和百度等公司業務模式的一個業務應用(或者行業應用)。搜索技術本身也不限於很多人理解的全文搜索，分類、推薦、數據抓取、挖掘均屬於搜索技術範疇。大家有興趣我們可以在後續文章中探討。】

搜索為什麼這麼重要?根據Gartner等機構的長期研究，一個機構內部數據構成如下圖所示，20%結構化， 80%非結構化。資料庫技術是對20%的結構化數據管理、挖掘和交互的理想技術。但是資料庫技術運用到佔80%的非結構化數據上，其效率和能力將隨數據量的增長而呈指數性下降。企業搜索技術正好完美補充了資料庫技術的這個空缺。而在大數據的世界里，結構化信息和非結構化信息是同等重要的，由此可以看出搜索的重要性不言而喻了。

除了搜索外，商業智能也是機構大數據項目技術能力的另一個重要因素。在電信和金融領域，商業智能已經有比較廣泛的應用，但是主流都是基於結構化數據的解決方案。大數據時代的到來要求老的商業智能必須拓展底層數據的覆蓋範圍至非結構化數據部分，從而也帶來了新的挑戰。

人工智慧、特別是機器學習在數據層面可以很好的支撐和提升數據挖掘、分類和信息關聯;在業務層面，則可以更智能的滿足管理運營、營銷和戰略決策需求，也是大數據體系落實到具體業務系統必須面對和掌握的技術關鍵。

儘管搜索、商業智能和人工智慧這三項技術是機構大數據業務的三個重點和難點，且在起步階段門檻較高，但值得慶幸的是，除了搜索，商業智能和人工智慧在很多初期大數據項目中並不是必須品;另外這三個領域都已發展很多年，市場上也有很多商業和開源的解決方案產品可以選擇，理論和演算法上也有很多研究成果可以借用。用戶在明確和清晰化自己的大數據規劃之後，這些難點是可以在有限成本投入的情況下逾越和突破的。

別讓整合能力成為大數據系統工程的短板

是否有了業務能力的儲備，解決好關鍵技術落地問題，機構大數據項目就坦途一片了呢?前面我們已經談到機構大數據項目是一個系統工程。其原因是我們發現大數據業務做得好的機構，其大數據推進過程中涉及的面不僅包括業務、數據、運營和技術，還包括管理、組織結構、機構工作文化和團隊建設問題。這其實是對一個機構的綜合整合能力的考驗!

這裡我想通過分析兩個案例來說明我的觀察和觀點：

案例一：某知名電商，通過多年的自身投入和併購累計了大量的經驗和人才，其大數據已可有效支撐電子商務的很多關鍵業務，如精準營銷(SEO, SEM, DSP投放)、會員營銷、聯盟營銷、站內搜索和商品管理等，但是運行起來依舊存在很多問題。筆者經過調研發現，公司管理層面存在大數據團隊建設重疊(內部就總監級別帶領的大數據團隊就有三個，而這三個團隊的總監並無密切合作);IT落地未能閉合核心數據鏈(公司投資數百萬在國際知名軟體廠家產品基礎上搭建的相關產品推薦也存在嚴重實施缺陷);電商核心業務KPI所需的職責界定和人員投入反倒顯得很不充分。筆者在這個案例里發現的很多問題涉及的是企業文化、管理、運營相關的組織結構和團隊建設問題，和前面兩部分討論的業務體系能力和技術能力並無太大關係。現在看來該電商高額的投入由於自身整合能力的問題並未及時獲得應有的產出，在電商戰場上最終喪失了很多機會。

案例二：這是一個有點黑色幽默的成功案例：某新興媒體公司化重金從某傳統互聯網公司挖了兩個關鍵人物，搭建自己的技術和運營體系。系統上線后，各種原因，不盡人意。矛盾焦點聚焦在這兩個技術運營大牛身上。CEO在平衡了各方意見后狠心裁掉了這兩個高薪大牛。在大牛離職後幾個月時間裡，在沒有主要更新升級的情況下，目標業務數據開始越來越好：大牛們搭建大數據解決方案效果開始凸顯!CEO方知自己過於急躁，錯失良將。大數據這條路雖然充滿魅力，但有時候需要的是多一點的耐心和契合實際的期望值!

涉及到管理、組織結構調整和機構文化團隊建設的機構整合能力，是促成機構大數據項目起飛的重要因素。其需要的不光是大數據團隊的努力，相關管理團隊的正確認知和支持也是大數據項目成敗的重要因素。

結束語

大數據雖然像青少年的「sex life」，充滿魅力和迷惑挑戰，但也是機構和企業必須面對和經歷的歷程。大數據之路對機構和企業來說是一種需要集體信念支撐的選擇。筆者認為機構無論自身業務、技術和整合能力現階段如何，只要能真正根據自身發展階段，制定適合自己的相對長期大數據發展策略，設定現實可實現的「小目標」，小步快跑，進入大數據業務發展的正向軌道，則一定能夠到達勝利的彼岸， 迎來屬於自己的大數據春天。