從大數據中「提煉」出商業見解，企業還有很多工作要做

編者按：隨著互聯網的普及化以及物聯網的快速發展，人們產生的數據也越來越多。早幾年前，馬雲就突出了當前是「DT」時代的說法。但數據的多並不代表著就是好事，只有被利用起來的數據才是好事。有人將數據稱為是「新石油」，這個比喻是非常恰當的。因為石油本身沒有任何價值，它必須被提煉成汽油或塑料才有價值。同樣地，我們都被大量的數據淹沒了，但為了獲得真正的價值，這些數據必須被提煉成商業見解。文章發表在ZDNet，由36氪編譯。

我們生活在一個越來越依賴數據的社會，信息正變得和金錢一樣。例如，許多消費者使用谷歌、Facebook、亞馬遜、微軟和蘋果等互聯網巨頭提供的免費服務。作為服務的回報，這些公司可以追蹤他們的在線行為，並進行商業化變現。

當前，這種交易的最大的問題之一就是開放性，人們的個人信息（有時是無意的）會泄露給為他們提供網路服務的企業。近期在大西洋兩岸的投票都表明，有些數據管理機構能夠利用大量的用戶數據（包括人口統計數據、消費者行為和互聯網中的活動），來對廣告、新聞報道和服務進行微觀定位，以完成特定的目的。

顯然，數據閘門現在正在向各種規模和類型的企業開放。通過及時的分析，能夠給企業帶來很多的競爭優勢。雖然說目前大部分企業都把目光偏向到客戶行為上，但數據可以在產品或服務供應鏈的多個環節中獲得，而且有多種形式——傳統的（結構化的）、臨時的（非結構化的）、實時的、物聯網——或者是M2M（譯者註：M2M全稱Machine to Machine,是指數據從一台終端傳送到另一台終端,也就是機器與機器的對話）生成的，等等。

成功利用大數據的公司可以節約成本，並提高運營效率，從數據驅動的創新中獲得豐厚的回報。同時，大數據也可以幫助企業實現數字化轉型，讓它們能夠在面對任何顛覆性的創業公司時保持競爭力。

然而，有用的商業見解不會自動從各種各樣的信息中浮現出來。企業必須識別、組織和分析可操作的數據，並將數據分析的結果與業務相關部分結合起來。這需要規劃、預算以及合適的工具和專業知識等支持。

數據量到底有多少？

人們會定期估算每年全球產生的數據量，以及以何種形式產生數據。早在2014年IDC和EMC發布的報告中，2013年的數據量有4.4 ZB，即4.4萬億GB，並預測2020年這一數字將增長至44 ZB，每兩年翻一番。根據IDC和Seagate的數據，估計2025年的數據量為163 ZB，比2016年的16.1 ZB增加10倍。

IDC 和Seagate報告還預測，全球範圍內的大部分數據來源將從消費者轉向企業，後者產生的數據在2025年將佔到整體的60%。根據這份報告，推動這種轉變的趨勢包括：數據從作為商業背景到決策關鍵的轉變；嵌入式系統和物聯網的發展；改變現狀的認知/人工智慧系統的發展；移動和實時數據的產生；以及安全正在逐漸成為一個關鍵的基礎等等。

所有這些數據都需要一個「家」，要麼是永久的，要麼是暫時的，這就解釋了Seagate這樣的存儲公司是怎麼掙錢的。

在發布這份報告的聲明中，Seagate首席執行官Steve Luczo表示：

雖然我們可以從研究報告中看出大數據時代已經到來，但數據的價值並不是『已知的』，而是『未知的』，我們嚴重低估了這一潛力。真正令人興奮的是分析『新業務、新思維和新生態系統，從機器人和機器到機器學習等行業』，以及它們帶給我們社會和經濟的影響。數據能夠給今天和未來的企業家帶來巨大的價值，我們的全球商業領袖將在未來幾十年裡探索這些機會。」

都有哪些數據？

當然，並不是所有數據都能夠用於分析。例如，在2025年的數據時代報告中，IDC估計到2025年，全球數據中大約20％的數據對我們的日常生活至關重要，其中10%的數據將會是「超級關鍵」的。

該報告指出：「超級關鍵數據的出現，迫使企業必須開發和部署數據採集、分析和基礎設施；保證數據存儲的可靠性、可用性以及更安全的系統；並進行新的業務實踐，甚至制定新的政策與規定，來減輕、轉移和削弱潛在的負債風險。」

人工智慧和機器學習將越來越多地參與到大數據分析中，這進一步限制了可用的數據量。在報告中，IDC估計，到2025年底，全球數據中被標記的只有15％，所以才適合人工智慧/機器學習分析。

大數據趨勢和預測

每年，各種技術領域的專家都會對當前的趨勢進行總結，並對未來12個月做出預測。大數據也不例外，我們整理了多個專家在2017年做出的預測，並對這些預測進行了分類。以下是一些分析結果：

數據主要來自：Acodez，Big Data Made Simple，Datafloq，Datameer，Enterra解決方案，Gartner，惠普，IBM，Infogix，MapR，甲骨文，Ovum，Pentaho，Quantzig，RTInsights，Sysmech，Tableau軟體

對於大數據行業觀察者來說，2017年最有影響力的領域是人工智慧、機器學習、自動化和認知系統。例如，分析公司Ovum認為，「機器學習是一個巨大的顛覆者」、「嵌入式機器學習的分析應用正成為常態」。

如果企業要避免被數據淹沒，提高自動化水平幾乎是不可避免的——或者，正如Enterra Systems所言：「隨著數據量的增加，人工智慧將變得越來越重要。」

另外一個重要的話題是「數據驅動的商業決策」的出現。甲骨文簡潔地指出，「應用，而不僅僅是分析，推動了大數據的進程」，而Gartner預測「數據和分析將推動現代商業運營，而不僅僅是反映他們的業績」。

此外，在2017年的預測中被廣泛關注的還涉及信息、數據科學與數據工程、大數據擴散與治理以及基於雲的分析與集成數據服務。

一些調查報告

自2012年以來，管理諮詢公司NewVantage Partners（NVP）一直在調查財富1000強企業的大數據部署情況，並於2017年4月發布了第五份報告（調查對象是這些公司的管理者）。

NVP的大數據調查顯示，80.7%的受訪者認為他們的大數據投資是成功的，有48.4%的受訪者表示「結果是可以測量的」。後者被細分為「極致成功」（顛覆性/創新/變革型，21%）和「非常成功」（進化型，27.4%）。

正在進行的各種大數據相關項目中，排名第一的是「通過運營來降低成本，提高效益」，佔比72.6%。68.7%的受訪者認為這是一個「為創新和顛覆創造新的途徑」。

儘管有很多公司都啟動了相關項目，並取得了不小的成果。但根據NewVantage Partners的報告。在《財富》1000強的企業中，似乎仍難以建立數據驅動的企業文化:69.4%的公司已經開始採取行動，但只有27.9%的公司表示有效果。

在為什麼難以建立一個數據驅動的企業文化問題中，NVP的調查發現，「組織協調不足」的比例在42.6%左右，排在「缺乏中層管理人員接受和理解」（41%）和「商業阻力或缺乏理解」（41%）之前。

上面的圖表顯示，難以建立一個數據驅動的企業文化的阻礙是業務部門，而不是IT部門。因為數據整理、技術理解和數據分析方法等問題基本上沒有多少應答者提及（小於30%）。

首席數據官（CDO），是企業具有數據驅動型的文化，或正在實現這一目標的關鍵指標。調查顯示，財富1000強的企業近年來在這方面取得了進步。

雖然說，擁有CDO的公司的數量已經從2012年的12%提升到了2016年的60%。但是大多數（56%）受訪者認為他們目前的角色是「防禦性」的——主要是對監管和合規要求做出反應。

展望未來，受訪者認為CDO應該變得更具「攻擊性」——帶頭推動創新，打造數據文化，並將數據管理轉變為企業資產。

這大概就是為什麼大多數人（53.4%）認為，CDO應該向首席執行官（35.6%）或首席運營官（17.8%）彙報，而不是首席信息官（15.6%）。

NVP的調查還詢問了受訪者，除了大數據之外，還有什麼會在未來10年裡對自己的企業產生影響。人工智慧和機器學習的排名靠前，這一點也不奇怪——無論是單選還是多選。

從歐洲的角度來看，我們研究了荷蘭數據諮詢公司GoDataDriven的大數據調查，調查對象來自2016年荷蘭的大數據博覽會參會人員。共有315人，包括168名高管和147名經理。

當被問及成功推進大數據為企業的主要驅動力有哪些因素時，71.4%的受訪者表示是「清晰的願景」，其次是「管理層的支持」（51.2%）和「系統支持和流程支持」（40.1%）。

與上面的NewVantage調查一樣，當涉及到大數據戰略推進的阻礙時，「業務」因素似乎比「IT」問題更突出。

當然，這並不是說IT問題不重要。當被問及建立大型數據基礎設施的挑戰時，排名靠前的兩種回答涉及數據質量和數據可用性：

一旦有了足夠多的高質量數據時，在企業以數據為驅動力的流程建立好之後，受訪者將「大數據知識和數據科學的訓練」列為最大的挑戰，佔比47.4%。

與NewVantage Partners一樣，GoDataDriven也向受訪者詢問了人工智慧的情況。儘管目前只有14.3%的人實際運用了深度學習和人工智慧，但52%的人要麼正在開發，要麼計劃在三年內運用深度學習和人工智慧。

人工智慧肯定是在公司的議程上，但顯然是在早期階段：在這一領域中，只有五分之一（21.5%）的受訪者表示沒有計劃。專家怎麼看？

為了解大數據的運行狀況，我們採訪了Sumit Nijhawan。他是提供數據治理解決方案企業Infogix的首席執行官和總裁，他們對2017年數據趨勢進行了前瞻性分析，以下是採訪中的一些關鍵觀點。

「幾乎所有的客戶都有一個大數據計劃，許多項目都進行了大量的投資。但他們所取得的進步，他們從投資中獲得的價值，往往無法達到預期效果。」Nijhawan一開始就這樣說道。

他補充說：「我們正在與客戶合作的一些事情，我們認為是可以帶來變革的。主要是數據治理、數據準備、自助服務和更小的數據湖（譯者註：數據湖泊是包含下面兩個特徵的信息系統：a.可以保存大數據的并行系統；b.能夠在數據不移動的情況下進行計算的系統）部署的結合。」

問：所以你會說，從大數據中獲取商業洞察的主要瓶頸是「發現公司所擁有的有價值數據，並使其可供分析」？

「是的，大部分的關注點都是提供存儲環境——Hadoop，並讓每個人都能將任何數據轉儲到其中。」這裡要注意兩件事情：首先，向Hadoop存儲數據的目標是什麼？其次，即使數據存在，但是無法管理，無法搜索，也無法挖掘，而且也沒有辦法使用數據去吸引消費者，來幫助企業獲得價值。它非常依賴於技術，仍然需要技術人員來處理它。這並不是從這些投資中獲取價值的最佳方式。」

問：這是否意味著「業務」與科技之間存在脫節——組織需要培養「數據文化」，讓業務部門知道如何正確地分析數據，併產生商業洞察力？

「我們當然需要以數據驅動的企業文化。這並不是IT人員不想分享的東西。只是他們有這些工具，他們覺得自己做得很好，但他們並不知道分析數據最終的目標是什麼。這就是為什麼需要業務驅動了，否則很難實現任何有意義的事情。」

問：在許多組織中是否存在缺失的一環——首席數據官（CDO），誰能將業務部門連接到IT部門？

「這絕對是一個缺失的環節，但我不會說這只是一個人的問題。剛剛提到的「數據文化」指的是人、流程和技術，以及數據本身。這實際上是一個關於端到端的流程：這是如何從數據中獲取所需數據的方式，也是如何處理數據的方式，更是如何交付數據的方式。這個端對端流程需要由業務負責人來發起，當然也可以是CDO。如今，首席數據官這個職位的問題在於，在許多企業中，它幾乎都是一種官僚主義的立場：該CDO據稱具有影響力，但最終卻成為了供應商用來推銷技術的人，而不是那些為了實現商業目標而在那裡工作的人。」

問：當你與客戶交談時，目前哪些數據相關的技能最火？一些分析人士發現，企業對數據科學家的需求有所減弱。

「我認為需求正在減弱，但這並不是因為數據科學家的數量太多了。而是因為現有的數據科學家無法實現企業想要的價值。因此，問題就變成了：如果企業沒有獲得價值，那麼招募更多的數據科學家有什麼意義？為什麼企業的運營人員、數據分析師不能更好的處理這些數據呢？

老實說，他們可以做到，因為數據科學家所解決的80%的問題都可以通過20%的演算法來解決——而且這些演算法都以易於使用的方式公開了，數據分析師和業務分析師可以將這些數據整合到運營和業務流程中。我認為這種情況正在發生，結果是對數據科學家的需求減少了。」

問：我們經常聽到「自助式」分析，讓更少的專家參與進來。你認為這個技術發展到什麼程度了呢？

「我們對客戶的做法是，我們首先會看到他們的數據湖項目在什麼地方，然後告訴他們：也許你不需要花幾個月和數百萬美元來使用這些整合的開源技術。我們將為你提供一個完全自助服務的端到端設備，設備中所有東西都集成了，你所要做的就是使用這些數據來進行決策。你可以解僱你的業務人員，數據科學家，無論誰。這在市場上獲得了很大的吸引力。

問：每個人都在談論機器學習和人工智慧，你認為它將會在大數據領域發揮作用嗎？

「它已經存在了一段時間了，但是現在有很多關於它的新聞。就像我之前說過的那樣，80%的問題可以通過20%的機器學習演算法解決，比如切分、推薦、分類、回歸和預測。我們關注的一個領域是大數據的質量，傳統的數據質量一直都是關於精確匹配規則和重複規則等方面。現在數據量很高，人們向數據湖存儲更多的數據，他們並不知道確切的規則是什麼。相反，我們正在使用機器學習演算法，比如切分和分類來尋找異常值。這就是機器學習已經增加了很多價值的地方——但同樣的，你不需要非常成熟的數據科學家來做這件事。」

問：最後，你是否認為，隨著自助工具的出現以及非專家、甚至「公民數據科學家」的參與，大數據領域正在進行民主化？

「我認為這是會發生的。這是對『大數據』的投資能夠持續、價值實現的唯一方式——沒有其他選擇。在IT和供應商領域，有足夠多的人來推動這個問題，並找到能夠實現這一目標的方法，可能還有三到五年的時間。在這期間，人們可能不會過多談論「大數據」。相反，他們會談論以自助服務方式交付的大數據的分析結果。」

前景

關於數據的各個方面還有很多，未來也會有更多的數據，但如果要經常把大數據轉化為有價值的商業見解，企業還有很多工作要做。數據驅動型企業文化的建立以及數據科學家和工程師的增多（無論是從外部招募還是在內部培訓），都將有助於推動這一過程，至少在短期內是如此。

正如天文學家Clifford Stoll所說：「數據不等於信息，信息不等於知識，知識不等於理解，理解不等於智慧。」

因此，數據科學家和工程師將需要從大量不同種類的數據中提取信息和知識，數據驅動的文化將確保提出正確的問題，從而讓理解——甚至是智慧——到達企業的相關部門。

展望未來，自動化水平越來越高——尤其是在數據準備領域，以及自助服務分析工具的普及，將使專家之外的運營人員輕鬆獲得從數據中得出的見解。

這只是ZDNet發布的從數據中提煉商業見解報告的一部分，如果你對報告有興趣，請點擊這裡下載報告。