關於大數據，你應該知道的75個專業術語

近日，Ramesh Dontha 在 DataConomy 上連發兩篇文章，扼要而全面地介紹了關於大數據的 75 個核心術語，這不僅是大數據初學者的很好的入門資料，對於高階從業人員也可以起到查缺補漏的作用。本文分為上篇(25 個術語)和下篇(50 個術語)。機器之心對文章進行了編譯，原文鏈接請見文末。

上篇(25 個術語)

如果你剛接觸大數據，你可能會覺得這個領域很難以理解，無從下手。不過，你可以從下面這份包含了 25 個大數據術語的清單入手，那麼我們開始吧。

演算法(Algorithm) ：演算法可以理解成一種數學公式或用於進行數據分析的統計學過程。那麼，「演算法」又是何以與大數據扯上關係的呢?要知道，儘管演算法這個詞是一個統稱，但是在這個流行大數據分析的時代，演算法也經常被提及且變得越發流行。

分析(Analytics) ：讓我們試想一個很可能發生的情況，你的信用卡公司給你發了封記錄著你全年卡內資金轉賬情況的郵件，如果這個時候你拿著這張單子，開始認真研究你在食品、衣物、娛樂等方面消費情況的百分比會怎樣?你正在進行分析工作，你在從你原始的數據(這些數據可以幫助你為來年自己的消費情況作出決定)中挖掘有用的信息。那麼，如果你以類似的方法在推特和臉書上對整個城市人們發的帖子進行處理會如何呢?在這種情況下，我們就可以稱之為大數據分析。所謂大數據分析，就是對大量數據進行推理並從中道出有用的信息。以下有三種不同類型的分析方法，現在我們來對它們分別進行梳理。

描述性分析法(Descriptive Analytics) ：如果你只說出自己去年信用卡消費情況為：食品方面 25%、衣物方面 35%、娛樂方面 20%、剩下 20% 為雜項開支，那麼這種分析方法被稱為描述性分析法。當然，你也可以找出更多細節。

預測性分析法(Predictive Analytics) ：如果你對過去 5 年信用卡消費的歷史進行了分析，發現每年的消費情況基本上呈現一個連續變化的趨勢，那麼在這種情況下你就可以高概率預測出：來年的消費狀態應該和以往是類似的。這不是說我們在預測未來，而是應該理解為，我們在「用概率預測」可能發生什麼事情。在大數據的預測分析中，數據科學家可能會使用先進的技術，如機器學習，和先進的統計學處理方法(這部分後面我們會談到)來預測天氣情況、經濟變化等等。

規範性分析(Prescriptive Analytics) ：這裡我們還是用信用卡轉賬的例子來理解。假如你想找出自己的哪類消費(如食品、娛樂、衣物等等)可以對整體消費產生巨大影響，那麼基於預測性分析(Predictive Analytics)的規範性分析法通過引入「動態指標(action)」(如減少食品或衣物或娛樂)以及對由此產生的結果進行分析來規定一個可以降低你整體開銷的最佳消費項。你可以將它延伸到大數據領域，並想象一個負責人是如何通過觀察他面前多種動態指標的影響，進而作出所謂由「數據驅動」的決策的。

批處理(Batch processing) ：儘管批量數據處理從大型機(mainframe)時代就已經存在了，但是在處理大量數據的大數據時代面前，批處理獲得了更重要的意義。批量數據處理是一種處理大量數據(如在一段時間內收集到的一堆交易數據)的有效方法。分散式計算(Hadoop)，後面會討論，就是一種專門處理批量數據的方法。

Cassandra 是一個很流行的開源數據管理系統，由 Apache Software Foundation 開發並運營。Apache 掌握了很多大數據處理技術，Cassandra 就是他們專門設計用於在分散式伺服器之間處理大量數據的系統。

雲計算(Cloud computing) ：雖然雲計算這個詞現在已經家喻戶曉，這裡大可不必贅述，但是為了全篇內容完整性的考慮，筆者還是在這裡加入了雲計算詞條。本質上講，軟體或數據在遠程伺服器上進行處理，並且這些資源可以在網路上任何地方被訪問，那麼它就可被稱為雲計算。

集群計算(Cluster computing) ：這是一個來描述使用多個伺服器豐富資源的一個集群(cluster)的計算的形象化術語。更技術層面的理解是，在集群處理的語境下，我們可能會討論節點(node)、集群管理層(cluster management layer)、負載平衡(load balancing)和并行處理(parallel processing)等等。

暗數據(Dark data) ：這是一個生造詞，在筆者看來，它是用來嚇唬人，讓高級管理聽上去晦澀難懂的。基本而言，所謂暗數據指的是，那些公司積累和處理的實際上完全用不到的所有數據，從這個意義上來說我們稱它們為「暗」的數據，它們有可能根本不會被分析。這些數據可以是社交網路中的信息，電話中心的記錄，會議記錄等等。很多估計認為所有公司的數據中有 60% 到 90% 不等可能是暗數據，但實際上沒人知道。

數據湖(Data lake) ：當筆者第一次聽到這個詞時，真的以為這是個愚人節笑話。但是它真的是一個術語。所以一個數據湖(data lake)即一個以大量原始格式保存了公司級別的數據知識庫。這裡我們介紹一下數據倉庫(Data warehouse)。數據倉庫是一個與這裡提到的數據湖類似的概念，但不同的是，它保存的是經過清理和並且其它資源整合后的結構化數據。數據倉庫經常被用於通用數據(但不一定如此)。一般認為，一個數據湖可以讓人更方便地接觸到那些你真正需要的數據，此外，你也可以更方便地處理、有效地使用它們。

數據挖掘(Data mining) ：數據挖掘關乎如下過程，從一大群數據中以複雜的模式識別技巧找出有意義的模式，並且得到相關洞見。它與前文所述的「分析」息息相關，在數據挖掘中，你將會先對數據進行挖掘，然後對這些得到的結果進行分析。為了得到有意義的模式(pattern)，數據挖掘人員會使用到統計學(一種經典的舊方法)、機器學習演算法和人工智慧。

數據科學家 ：數據科學家是時下非常性感的一門行業。它指那些可以通過提取原始數據(這就是我們前面所謂的數據湖)進而理解、處理並得出洞見的這樣一批人。部分數據科學家必備的技能可以說只有超人才有：分析能力、統計學、計算機科學、創造力、講故事能力以及理解商業背景的能力。難怪這幫人工資很高。

分散式文件系統(Distributed File System) ：大數據數量太大，不能存儲在一個單獨的系統中，分散式文件系統是一個能夠把大量數據存儲在多個存儲設備上的文件系統，它能夠減少存儲大量數據的成本和複雜度。

ETL ：ETL 代表提取、轉換和載入。它指的是這一個過程：「提取」原始數據，通過清洗/豐富的手段，把數據「轉換」為「適合使用」的形式，並且將其「載入」到合適的庫中供系統使用。即使 ETL 源自數據倉庫，但是這個過程在獲取數據的時候也在被使用，例如，在大數據系統中從外部源獲得數據。

Hadoop ：當人們思考大數據的時候，他們會立即想到 Hadoop。Hadoop 是一個開源軟體架構(logo 是一頭可愛的大象)，它由 Hadoop 分散式文件系統(HDFS)構成，它允許使用分散式硬體對大數據進行存儲、抽象和分析。如果你真的想讓某人對這個東西印象深刻，你可以跟他說 YARN(Yet Another Resource Scheduler)，顧名思義，就是另一個資源調度器。我確實被提出這些名字的人深深震撼了。提出 Hadoop 的 Apache 基金會，還負責 Pig、Hive 以及 Spark(這都是一些軟體的名字)。你沒有被這些名字驚艷到嗎?

內存計算(In-memory computing) ：通常認為，任何不涉及到 I/O 訪問的計算都會更快一些。內存計算就是這樣的技術，它把所有的工作數據集都移動到集群的集體內存中，避免了在計算過程中向磁碟寫入中間結果。Apache Spark 就是一個內存計算的系統，它相對 Mapreduce 這類 I/O 綁定的系統具有很大的優勢。

物聯網(IoT) ：最新的流行語就是物聯網(IoT)。IoT 是嵌入式對象中(如感測器、可穿戴設備、車、冰箱等等)的計算設備通過英特網的互聯，它們能夠收發數據。物聯網生成了海量的數據，帶來了很多大數據分析的機遇。

機器學習(Machine Learning) ：機器學習是基於喂入的數據去設計能夠學習、調整和提升的系統的一種方法。使用設定的預測和統計演算法，它們持續地逼近「正確的」行為和想法，隨著更多的數據被輸入到系統，它們能夠進一步提升。

MapReduce： MapReduce 可能有點難以理解，我試著解釋一下吧。MapReduceMapReduce 是一個編程模型，最好的理解就是要注意到 Map 和 Reduce 是兩個不同的過程。在 MapReduce 中，程序模型首先將大數據集分割成一些小塊(這些小塊拿技術術語來講叫做「元組」，但是我描述的時候會盡量避免晦澀的技術術語)，然後這些小塊會被分發給不同位置上的不同計算機(也就是說之前描述過的集群)，這在 Map 過程是必須的。然後模型會收集每個計算結果，並且將它們「reduce」成一個部分。MapReduce 的數據處理模型和 Hadoop 分散式文件系統是分不開的。

非關係型資料庫(NoSQL) ：這個詞聽起來幾乎就是「SQL，結構化查詢語言」的反義詞，SQL 是傳統的關係型數據管理系統(RDBMS)必需的，但是 NOSQL 實際上指的是「不止 SQL」。NoSQL 實際上指的是那些被設計來處理沒有結構(或者沒有「schema」，綱要)的大量數據的資料庫管理系統。NoSQL 適合大數據系統，因為大規模的非結構化資料庫需要 NoSQL 的這種靈活性和分散式優先的特點。

R 語言 ：這還有人能給一個編程語言起一個更加糟糕的名字嗎?R 語言就是這樣的語言。不過，R 語言是一個在統計工作中工作得很好的語言。如果你不知道 R 語言，別說你是數據科學家。因為 R 語言是數據科學中最流行的編程語言之一。

Spark(Apache Spark) :Apache Spark 是一個快速的內存數據處理引擎，它能夠有效地執行那些需要迭代訪問資料庫的流處理、機器學習以及 SQL 負載。Spark 通常會比我們前面討論過的 MapReduce 快好多。

流處理(Stream processing) :流處理被設計來用於持續地進行流數據的處理。與流分析技術(指的是能夠持續地計算數值和統計分析的能力)結合起來，流處理方法特別能夠針對大規模數據的實時處理。

結構化 vs 非結構化數據(Structured v Unstructured Data) ：這是大數據中的對比之一。結構化數據基本上是那些能夠被放在關係型資料庫中的任何數據，以這種方式組織的數據可以與其他數據通過表格來關聯。非結構化數據是指任何不能夠被放在關係型資料庫中的數據，例如郵件信息、社交媒體上的狀態，以及人類語音等等。

下篇(50 個術語)

這篇文章是上篇文章的延續，由於上篇反響熱烈，我決定多介紹 50 個相關術語。下面來對上篇文章涵蓋的術語做個簡短的回顧：演算法，分析，描述性分析，預處理分析，預測分析，批處理，Cassandra(一個大規模分散式數據存儲系統)，雲計算，集群計算，暗數據，數據湖，數據挖掘，數據科學家，分散式文件系統，ETL，Hadoop(一個開發和運行處理大規模數據的軟體平台)，內存計算，物聯網，機器學習，Mapreduce(hadoop 的核心組件之一)，NoSQL(非關係型的資料庫)，R，Spark(計算引擎)，流處理，結構化 vs 非結構化數據。

我們接下來繼續了解另外 50 個大數據術語。

Apache 軟體基金會(ASF) 提供了許多大數據的開源項目，目前有 350 多個。解釋完這些項目需要耗費大量時間，所以我只挑選解釋了一些流行術語。

Apache Kafka ：命名於捷克作家卡夫卡，用於構建實時數據管道和流媒體應用。它如此流行的原因在於能夠以容錯的方式存儲、管理和處理數據流，據說還非常「快速」。鑒於社交網路環境大量涉及數據流的處理，卡夫卡目前非常受歡迎。

Apache Mahout ：Mahout 提供了一個用於機器學習和數據挖掘的預製演算法庫，也可用作創建更多演算法的環境。換句話說，機器學習極客的最佳環境。

Apache Oozie ：在任何編程環境中，你都需要一些工作流系統通過預定義的方式和定義的依賴關係，安排和運行工作。 Oozie 為 pig、MapReduce 以及 Hive 等語言編寫的大數據工作所提供正是這個。

Apache Drill, Apache Impala, Apache Spark SQL ： 這三個開源項目都提供快速和互動式的 SQL，如與 Apache Hadoop 數據的交互。如果你已經知道 SQL 並處理以大數據格式存儲的數據(即 HBase 或 HDFS)，這些功能將非常有用。抱歉，這裡說的有點奇怪。

Apache Hive ：知道 SQL 嗎?如果知道那你就很好上手 Hive 了。Hive 有助於使用 SQL 讀取、寫入和管理駐留在分散式存儲中的大型數據集。

Apache Pig ：Pig 是在大型分散式數據集上創建、查詢、執行常式的平台。所使用的腳本語言叫做 Pig Latin(我絕對不是瞎說，相信我)。據說 Pig 很容易理解和學習。但是我很懷疑有多少是可以學習的?

Apache Sqoop ：一個用於將數據從 Hadoop 轉移到非 Hadoop 數據存儲(如數據倉庫和關係資料庫)的工具。

Apache Storm ：一個免費開源的實時分散式計算系統。它使得使用 Hadoop 進行批處理的同時可以更容易地處理非結構化數據。

人工智慧(AI)： 為什麼 AI 出現在這裡?你可能會問，這不是一個單獨的領域嗎?所有這些技術發展趨勢緊密相連，所以我們最好靜下心來繼續學習，對吧?AI 以軟硬體結合的方式開發智能機器和軟體，這種硬體和軟體的結合能夠感知環境並在需要時採取必要的行動，不斷從這些行動中學習。是不是聽起來很像機器學習?跟我一起「困惑」吧。

行為分析(Behavioral Analytics) ：你有沒有想過谷歌是如何為你需要的產品/服務提供廣告的?行為分析側重於理解消費者和應用程序所做的事情，以及如何與為什麼它們以某種方式起作用。這涉及了解我們的上網模式，社交媒體互動行為，以及我們的網上購物活動(購物車等)，連接這些無關的數據點，並試圖預測結果。舉一個例子，在我找到一家酒店並清空購物車后，我收到了度假村假期線路的電話。我還要說多點嗎?

Brontobytes： 1 後面 27 個零，這是未來數字世界存儲單位的大小。而我們在這裡，來談談 Terabyte、Petabyte、Exabyte、Zetabyte、Yottabyte 和 Brontobyte。你一定要讀這篇文章才能深入了解這些術語。

商業智能(Business Intelligence) ：我將重用 Gartner 對 BI 的定義，因為它解釋的很好。商業智能是一個總稱，包括應用程序、基礎設施、工具以及最佳實踐，它可以訪問和分析信息，從而改善和優化決策及績效。

生物測定學(Biometrics) ：這是一項 James Bondish 技術與分析技術相結合的通過人體的一種或多種物理特徵來識別人的技術，如面部識別，虹膜識別，指紋識別等。

點擊流分析(Clickstream analytics) ：用於分析用戶在網路上瀏覽時的在線點擊數據。有沒有想過即使在切換網站時，為什麼某些谷歌廣告還是陰魂不散?因為谷歌大佬知道你在點擊什麼。

聚類分析(Cluster Analysis) 是一個試圖識別數據結構的探索性分析，也稱為分割分析或分類分析。更具體地說，它試圖確定案例的同質組(homogenous groups)，即觀察、參與者、受訪者。如果分組以前未知，則使用聚類分析來識別案例組。因為它是探索性的，確實對依賴變數和獨立變數進行了區分。SPSS 提供的不同的聚類分析方法可以處理二進位、標稱、序數和規模(區間或比率)數據。

比較分析(Comparative Analytics) ：因為大數據的關鍵就在於分析，所以本文中我將深入講解分析的意義。顧名思義，比較分析是使用諸如模式分析、過濾和決策樹分析等統計技術來比較多個進程、數據集或其他對象。我知道它涉及的技術越來越少，但是我仍無法完全避免使用術語。比較分析可用於醫療保健領域，通過比較大量的醫療記錄、文件、圖像等，給出更有效和更準確的醫療診斷。

關聯分析(Connection Analytics) ：你一定看到了像圖表一樣的蜘蛛網將人與主題連接起來，從而確定特定主題的影響者。關聯分析分析可以幫助發現人們、產品、網路之中的系統，甚至是數據與多個網路結合之間的相關連接和影響。

數據分析師(Data Analyst) ：數據分析師是一個非常重要和受歡迎的工作，除了準備報告之外，它還負責收集、編輯和分析數據。我會寫一篇更詳細的關於數據分析師的文章。

數據清洗(Data Cleansing) ：顧名思義，數據清洗涉及到檢測並更正或者刪除資料庫中不準確的數據或記錄，然後記住「臟數據」。藉助於自動化或者人工工具和演算法，數據分析師能夠更正並進一步豐富數據，以提高數據質量。請記住，臟數據會導致錯誤的分析和糟糕的決策。

數據即服務(DaaS) ：我們有軟體即服務(SaaS), 平台即服務(PaaS)，現在我們又有 DaaS，它的意思是：數據即服務。通過給用戶提供按需訪問的雲端數據，DaaS 提供商能夠幫助我們快速地得到高質量的數據。

數據虛擬化(Data virtualization) ：這是一種數據管理方法，它允許某個應用在不知道技術細節(如數據存放在何處，以什麼格式)的情況下能夠抽取並操作數據。例如，社交網路利用這個方法來存儲我們的照片。

臟數據(Dirty Data) ：既然大數據這麼吸引人，那麼人們也開始給數據加上其他的形容詞來形成新的術語，例如黑數據(dark data)、臟數據(dirty data)、小數據(small data)，以及現在的智能數據(smart data)。臟數據就是不幹凈的數據，換言之，就是不準確的、重複的以及不一致的數據。顯然，你不會想著和臟數據攪在一起。所以，儘快地修正它。

模糊邏輯(Fuzzy logic) ：我們有多少次對一件事情是確定的，例如 100% 正確?很稀少!我們的大腦將數據聚合成部分的事實，這些事實進一步被抽象為某種能夠決定我們決策的閾值。模糊邏輯是一種這樣的計算方式，與像布爾代數等等中的「0」和「1」相反，它旨在通過漸漸消除部分事實來模仿人腦。

遊戲化(Gamification) ：在一個典型的遊戲中，你會有一個類似於分數一樣的元素與別人競爭，並且還有明確的遊戲規則。大數據中的遊戲化就是使用這些概念來收集、分析數據或者激發玩家。

圖資料庫(Graph Databases) ：圖數據使用節點和邊這樣的概念來代表人和業務以及他們之間的關係，以挖掘社交媒體中的數據。是否曾經驚嘆過亞馬遜在你買一件產品的時候告訴你的關於別人在買什麼的信息?對，這就是圖資料庫。

Hadoop 用戶體驗(Hadoop User Experience /Hue) ：Hue 是一個能夠讓使用 Apache Hadoop 變得更加容易的開源介面。它是一款基於 web 的應用;它有一款分散式文件系統的文件瀏覽器;它有用於 MapReduce 的任務設計;它有能夠調度工作流的框架 Oozie;它有一個 shell、一個 Impala、一個 Hive UI 以及一組 Hadoop API。

高性能分析應用(HANA) ：這是 SAP 公司為大數據傳輸和分析設計的一個軟硬體內存平台。

HBase : 一個分散式的面向列的資料庫。它使用 HDFS 作為其底層存儲，既支持利用 MapReduce 進行的批量計算，也支持利用事物交互的批量計算。

負載均衡(Load balancing) ：為了實現最佳的結果和對系統的利用，將負載分發給多個計算機或者伺服器。

元數據(Metadata) ：元數據就是能夠描述其他數據的數據。元數據總結了數據的基本信息，這使得查找和使用特定的數據實例變得更加容易。例如，作者、數據的創建日期、修改日期以及大小，這幾項是基本的文檔元數據。除了文檔文件之外，元數據還被用於圖像、視頻、電子表格和網頁。

MongoDB ：MongoDB 是一個面向文本數據模型的跨平台開源資料庫，而不是傳統的基於表格的關係資料庫。這種資料庫結構的主要設計目的是讓結構化數據和非結構化數據在特定類型應用的整合更快、更容易。

Mashup ：幸運的是，這個術語和我們在日常生活中使用的「mashup」一詞有著相近的含義，就是混搭的意思。實質上，mashup 是一個將不同的數據集合併到一個單獨應用中的方法(例如：將房地產數據與地理位置數據、人口數據結合起來)。這確實能夠讓可視化變得很酷。

多維資料庫(Multi-Dimensional Databases) ：這是一個為了數據在線分析處理(OLAP)和數據倉庫優化而來的資料庫。如果你不知道數據倉庫是什麼，我可以解釋一下，數據倉庫不是別的什麼東西，它只是對多個數據源的數據做了集中存儲。

多值資料庫(MultiValue Databases) ：多值資料庫是一種非關係型資料庫，它能夠直接理解三維數據，這對直接操作 HTML 和 XML 字元串是很好的。

自然語言處理(Natural Language Processing) ：自然語言處理是被設計來讓計算機更加準確地理解人類日常語言的軟體演算法，能夠讓人類更加自然、更加有效地和計算機交互。

神經網路(Neural Network) ：根據這個描述(http://neuralnetworksanddeeplearning.com/)，神經網路是一個受生物學啟發的非常漂亮的編程範式，它能夠讓計算機從觀察到的數據中學習。已經好久沒有一個人會說一個編程範式很漂亮了。實際上，神經網路就是受現實生活中腦生物學啟發的模型....... 與神經網路緊密關聯的一個術語就是深度學習。深度學習是神經網路中一系列學習技術的集合。

模式識別(Pattern Recognition) ：當演算法需要在大規模數據集或者在不同的數據集上確定回歸或者規律的時候，就出現了模式識別。它與機器學習和數據挖掘緊密相連，甚至被認為是后兩者的代名詞。這種可見性可以幫助研究者發現一些深刻的規律或者得到一些可能被認為很荒謬的結論。

射頻識別(Radio Frequency Identification/RFID) ：射頻識別是一類使用非接觸性無線射頻電磁場來傳輸數據的感測器。隨著物聯網的發展，RFID 標籤能夠被嵌入到任何可能的「東西裡面」，這能夠生成很多需要被分析的數據。歡迎來到數據世界。

軟體即服務(SaaS) ：軟體即服務讓服務提供商把應用託管在互聯網上。SaaS 提供商在雲端提供服務。

半結構化數據(Semi-structured data) ：半結構化數據指的是那些沒有以傳統的方法進行格式化的數據，例如那些與傳統資料庫相關的數據域或者常用的數據模型。半結構化數據也不是完全原始的數據或者完全非結構化的數據，它可能會包含一些數據表、標籤或者其他的結構元素。半結構化數據的例子有圖、表、XML 文檔以及電子郵件。半結構化數據在萬維網上十分流行，在面向對象資料庫中經常能夠被找到。

情感分析(Sentiment Analysis) ：情感分析涉及到了對消費者在社交媒體、顧客代表電話訪談和調查中存在的多種類型的交互和文檔中所表達的情感、情緒和意見的捕捉、追蹤和分析。文本分析和自然語言處理是情感分析過程中的典型技術。情感分析的目標就是要辨別或評價針對一個公司、產品、服務、人或者時間所持有的態度或者情感。

空間分析(Spatial analysis) ：空間分析指的是對空間數據作出分析，以識別或者理解分佈在幾何空間中的數據的模式和規律，這類數據有幾何數據和拓撲數據。

流處理(Stream processing) ：流處理被設計用來對「流數據」進行實時的「連續」查詢和處理。為了對大量的流數據以很快的速度持續地進行實時的數值計算和統計分析，社交網路上的流數據對流處理的需求很明確。

智能數據(Smart Data) 是經過一些演算法處理之後有用並且可操作的數據。

Terabyte ：這是一個相對大的數字數據單位，1TB 等於 1000GB。據估計，10TB 能夠容納美國國會圖書館的所有印刷品，而 1TB 則能夠容納整個百科全書 Encyclopedia Brittanica。

可視化(Visualization) ：有了合理的可視化之後，原始數據就能夠使用了。當然這裡的可視化並不止簡單的圖表。而是能夠包含數據的很多變數的同時還具有可讀性和可理解性的複雜圖表。

Yottabytes ：接近 1000 Zettabytes，或者 2500 萬億張 DVD。現在所有的數字存儲大概是 1 Yottabyte，而且這個數字每 18 個月會翻一番。

Zettabytes ：接近 1000 Exabytes，或者 10 億 Terabytes。