大數據技術十大核心原理

數據即價值是目前計算機領域極其推崇的觀念。數據無論多少都被歸結為大數據，數據分析越來越熱門，資本也對貼有大數據標籤的公司趨之若鶩。如同流動的數字貨幣一樣被一再的評估、追崇。數據能告訴我們，每一個客戶的消費傾向，他們想要什麼，喜歡什麼，每個人的需求有哪些區別，哪些又可以被集合到一起來進行分類。

大數據時代，計算模式也發生了轉變，從「流程」核心轉變為「數據」核心。Hadoop體系的分散式計算框架已經是「數據」為核心的範式。非結構化數據及分析需求，將改變IT系統的升級方式：從簡單增量到架構變化。大數據下的新思維——計算模式的轉變。

科學進步越來越多地由數據來推動，海量數據給數據分析既帶來了機遇，也構成了新的挑戰。大數據往往是利用眾多技術和方法，綜合源自多個渠道、不同時間的信息而獲得的。為了應對大數據帶來的挑戰，我們需要新的統計思路和計算方法。

大數據真正有意思的是數據變得在線了，這個恰恰是互聯網的特點。非互聯網時期的產品，功能一定是它的價值，今天互聯網的產品，數據一定是它的價值。

數據能告訴我們，每一個客戶的消費傾向，他們想要什麼，喜歡什麼，每個人的需求有哪些區別，哪些又可以被集合到一起來進行分類。大數據是數據數量上的增加，以至於我們能夠實現從量變到質變的過程。

需要全部數據樣本而不是抽樣，你不知道的事情比你知道的事情更重要，但如果現在數據足夠多，它會讓人能夠看得見、摸得著規律。

數據這麼大、這麼多，所以人們覺得有足夠的能力把握未來，對不確定狀態的一種判斷，從而做出自己的決定。這些東西我們聽起來都是非常原始的，但是實際上背後的思維方式，和我們今天所講的大數據是非常像的。

  

關注效率而不是精確度，大數據標誌著人類在尋求量化和認識世界的道路上前進了一大步，過去不可計量、存儲、分析和共享的很多東西都被數據化了，擁有大量的數據和更多不那麼精確的數據為我們理解世界打開了一扇新的大門。大數據能提高生產效率和銷售效率，原因是大數據能夠讓我們知道市場的需要，人的消費需要。大數據讓企業的決策更科學，由關注精確度轉變為關注效率的提高，大數據分析能提高企業的效率。

競爭是企業的動力，而效率是企業的生命，效率低與效率高是衡量企來成敗的關鍵。一般來講，投入與產出比是效率，追求高效率也就是追求高價值。手工、機器、自動機器、智能機器之間效率是不同的，智能機器效率更高，已能代替人的思維勞動。智能機器核心是大數據制動，而大數據制動的速度更快。在快速變化的市場，快速預測、快速決策、快速創新、快速定製、快速生產、快速上市成為企業行動的準則，也就是說，速度就是價值，效率就是價值，而這一切離不開大數據思維。

關注相關性而不是因果關係，社會需要放棄它對因果關係的渴求，而僅需關注相關關係，也就是說只需要知道是什麼，而不需要知道為什麼。這就推翻了自古以來的慣例，而我們做決定和理解現實的最基本方式也將受到挑戰。

在這個不確定的時代裡面，等我們去找到準確的因果關係，再去辦事的時候，這個事情早已經不值得辦了。所以「大數據」時代的思維有點像回歸了工業社會的這種機械思維——機械思維就是說按那個按鈕，一定會出現相應的結果，是這樣狀態。而農業社會往前推，不需要找到中間非常緊密的、明確的因果關係，而只需要找到相關關係，只需要找到跡象就可以了。社會因此放棄了尋找因果關係的傳統偏好，開始挖掘相關關係的好處。

非法在屋內打隔斷的建築物著火的可能性比其他建築物高很多。紐約市每年接到2.5萬宗有關房屋住得過於擁擠的投訴，但市裡只有200名處理投訴的巡視員，市長辦公室一個分析專家小組覺得大數據可以幫助解決這一需求與資源的落差。該小組建立了一個市內全部90萬座建築物的資料庫，並在其中加入市裡19個部門所收集到的數據：欠稅扣押記錄、水電使用異常、繳費拖欠、服務切斷、救護車使用、當地犯罪率、鼠患投訴，諸如此類。

接下來，他們將這一資料庫與過去5年中按嚴重程度排列的建築物著火記錄進行比較，希望找出相關性。果然，建築物類型和建造年份是與火災相關的因素。不過，一個沒怎麼預料到的結果是，獲得外磚牆施工許可的建築物與較低的嚴重火災發生率之間存在相關性。利用所有這些數據，該小組建立了一個可以幫助他們確定哪些住房擁擠投訴需要緊急處理的系統。他們所記錄的建築物的各種特徵數據都不是導致火災的原因，但這些數據與火災隱患的增加或降低存在相關性。這種知識被證明是極具價值的：過去房屋巡視員出現場時簽發房屋騰空令的比例只有13%，在採用新辦法之後，這個比例上升到了70%——效率大大提高了。

全世界的商界人士都在高呼大數據時代來臨的優勢：一家超市如何從一個17歲女孩的購物清單中，發現了她已懷孕的事實；或者將啤酒與尿不濕放在一起銷售，神奇地提高了雙方的銷售額。大數據透露出來的信息有時確實會起顛覆。比如，騰訊一項針對社交網路的統計顯示，愛看家庭劇的男人是女性的兩倍還多；最關心金價的是大媽，但緊隨其後的卻是90后。而在過去一年，支付寶中無線支付比例排名前十的竟然全部在青海、西藏和內蒙古地區。

預測原理：從不能預測轉變為可以預測

 

大數據的核心就是預測，大數據能夠預測體現在很多方面。大數據不是要教機器像人一樣思考，相反，它是把數學演算法運用到海量的數據上來預測事情發生的可能性。正因為在大數據規律面前，每個人的行為都跟別人一樣，沒有本質變化，所以商家會比消費者更了消費者的行為。

此外，隨著系統接收到的數據越來越多，通過記錄找到的最好的預測與模式，可以對系統進行改進。它通常被視為人工智慧的一部分，或者更確切地說，被視為一種機器學習。真正的革命並不在於分析數據的機器，而在於數據本身和我們如何運用數據。一旦把統計學和現在大規模的數據融合在一起，將會顛覆很多我們原來的思維。所以現在能夠變成數據的東西越來越多，計算和處理數據的能力越來越強，所以大家突然發現這個東西很有意思。所以，大數據能幹啥？能幹很多很有意思的事情。

互聯網、移動互聯網和雲計算機保證了大數據實時預測的可能性，也為企業和用戶提供了實時預測的信息，相關性預測的信息，讓企業和用戶搶佔先機。由於大數據的全樣本性，人和人都是一樣的，所以雲計算機軟體預測的效率和準確性大大提高，有這種跡象，就有這種結果。

互聯網和大數據的發展，是一個從人找信息，到信息找人的過程。先是人找信息，人找人，信息找信息，現在是信息找人的這樣一個時代。信息找人的時代，就是說一方面我們回到了一種最初的，廣播模式是信息找人，我們聽收音機，我們看電視，它是信息推給我們的，但是有一個缺陷，不知道我們是誰，後來互聯網反其道而行，提供搜索引擎技術,讓我知道如何找到我所需要的信息，所以搜索引擎是一個很關鍵的技術。

大數據還改變了信息優勢。按照循證醫學，現在治病的第一件事情不是去研究病理學，而是拿過去的數據去研究，相同情況下是如何治療的。這導致專家和普通人之間的信息優勢沒有了。原來我相信醫生，因為醫生知道的多，但現在我可以到谷歌上查一下，知道自己得了什麼病。

谷歌有一個機器翻譯的團隊，最開始的時候翻譯之後的文字根本看不懂，但是現在60%的內容都能讀得懂。谷歌機器翻譯團隊裡頭有一個笑話，說從團隊每離開一個語言學家，翻譯質量就會提高。越是專家越搞不明白，但打破常規讓數據說話，得到真理的速度反而更快。

  

機器懂人原理：由人懂機器轉變為機器更懂人

 

不是讓人更懂機器，而是讓機器更懂人，或者說是能夠在使用者很笨的情況下，仍然可以使用機器。甚至不是讓人懂環境，而是讓我們的環境來懂我們，環境來適應人，某種程度上自然環境不能這樣講，但是在數字化環境中已經是這樣的一個趨勢，就是我們所在的生活世界，越來越趨向於它更適應於我們，更懂我們。哪個企業能夠真正做到讓機器更懂人，讓環境更懂人，讓我們隨身攜帶的整個的生活世界更懂得我們的話，那他一定是具有競爭力的了，而「大數據」技術能夠助我們一臂之力。

大數據技術的其中一個核心目標是要從體量巨大、結構繁多的數據中挖掘出隱蔽在背後的規律，從而使數據發揮最大化的價值。由計算機代替人去挖掘信息，獲取知識。從各種各樣的數據（包括結構化、半結構化和非結構化數據）中快速獲取有價值信息的能力，就是大數據技術。大數據機器分析中，半監督學習、集成學習、概率模型等技術尤為重要。

電子商務智能原理：大數據改變了電子商務模式，讓電子商務更智能

商務智能，在今天大數據時代它獲得的重新的定義。例如：傳統企業進入互聯網，在掌握了「大數據」技術應用途徑之後，會發現有一種豁然開朗的感覺，就像在黑屋子裡面找東西，找不著，突然碰到了一個開關，發現那麼費力的找東西，原來很容易找得到。大數據思維，事實上它不是一個全稱的判斷，只是對我們所處的時代某一個緯度的描述。

大數據時代不是說我們這個時代除了大數據什麼都沒有，哪怕是在互聯網和IT領域，它也不是一切，只是說在我們的時代特徵裡面加上這麼一道很明顯的光，從而導致我們對以前的生存狀態，以及我們個人的生活狀態的一個差異化的一種表達。

當然，同樣的技術也可以運用到疾病診斷、推薦治療措施，甚至是識別潛在犯罪分子上。或者說，在你還不知道的情況下，體檢公司、醫院提醒你趕緊去做檢查，可能會得某些病，商家比你更了解你自己，以及你這樣的人在某種情況下會出現的可能變化。就像互聯網通過給計算機添加通信功能而改變了世界，大數據也將改變我們生活中最重要的方面，因為它為我們的生活創造了前所未有的可量化的維度。

  

定製產品原理：由企業生產產品轉變為由客戶定製產品

 

下一波的改革是大規模定製，為大量客戶定製產品和服務，成本低、又兼具個性化。比如消費者希望他買的車有紅色、綠色，廠商有能力滿足要求，但價格又不至於像手工製作那般讓人無法承擔。因此，在廠家可以負擔得起大規模定製帶去的高成本的前提下，要真正做到個性化產品和服務，就必須對客戶需求有很好的了解，這背後就需要依靠大數據技術。

在互聯網大數據的時代，商家最後很可能可以針對每一個顧客進行精準的價格歧視。我們現在很多的行為都是比較粗放的，航空公司會給我們里程卡，根據飛行公里數來累計里程，但其實不同顧客所飛行的不同里程對航空公司的利潤貢獻是不一樣的。所以有一天某位顧客可能會收到一封信，「恭喜先生，您已經被我們選為幸運顧客，我們提前把您升級到白金卡。」這說明這個顧客對航空公司的貢獻已經夠多了。有一天銀行說「恭喜您，您的額度又被提高了，」就說明錢花得已經太多了。

正因為在大數據規律面前，每個人的行為都跟別人一樣，沒有本質變化。所以商家會比消費者更了消費者的行為。也許你正在想，工作了一年很辛苦，要不要去哪裡度假？打開e-Mail，就有航空公司、旅行社的郵件。

企業產品直接銷售給用戶，省去了中間商流通環節，使產品的價格可以以出廠價銷售，讓銷費者獲得了好處，網上產品便宜成為用戶的信念，網購市場形成了。要讓用戶成為你的產品冬粉，就必須了解用戶需要，定製產品成為用戶的心愿，也就成為企業發展的新方向。