每周一本書之《Druid實時大數據分析原理與實踐》

隨著社交通信、數字廣告、電子商務、網路遊戲等商業模式的發展，越來越多的互聯網企業誕生。他們都享受了大數據基礎技術的紅利，從初始就具備比較強大的數據收集、分析和處理能力，並且可以用在業務優化上。

很顯然，因為行業的多樣性，業務場景變得越來越複雜，對數據處理的要求已經不僅是體量大和速度快，還要數據結構靈活、編程介面強大、系統可擴展、原子化操作、高效備份、讀性能加速或者寫性能加速等。在這個技術普及的時代，不僅互聯網行業有越來越多的技術人員和數據人員開始參與到大數據工作中，而且很多傳統軟體從業者也慢慢受到吸引，雙方互相借鑒，進一步擴大了大數據技術的能力和影響。可以看到，傳統的資料庫、操作系統、編程語言等技術思想被引入來解決各種複雜的需求。因此而誕生的包括NoSQL、SQL on Hadoop、ElasticSearch這樣的新事物，逐漸把我們推進到一個全新的時代。

而Druid 作為一款開源的實時大數據分析軟體，最近幾年快速風靡全球互聯網公司，特別是對於海量數據和實時性要求高的場景，包括廣告數據分析、用戶行為分析、數據統計分析、運維監控分析等，在騰訊、阿里、優酷、小米等公司都有大量成功應用的案例。

今天小編為大家推薦的《Druid實時大數據分析原理與實踐》就是旨在幫助技術人員更好地深入理解Druid 技術、大數據分析技術選型、Druid 的安裝和使用、高級特性的使用，也包括一些源代碼的解析，以及一些常見問題的快速回答。

Druid是一個支持在大型數據集上進行實時查詢而設計的開源數據分析和存儲系統，提供了低成本、高性能、高可靠性的解決方案，整個系統支持水平擴展，管理方便。實際上，Druid的很多設計思想來源於Google的秘密分析武器PowerDrill，在功能上，和Apache開源的Drill也有幾分相似。Druid被設計成支持PB級別的數據量，現實中有數百TB級別的數據應用實例，每天處理數十億流式事件。Druid之所以保持高效，有這樣幾個原因：一是數據進行了有效的聚合或預計算；二是數據結構的優化，應用了Bitmap的壓縮演算法；三是可擴展的高可用架構，靈活支持部署的擴展；四是社區的力量，Druid開發和用戶社區保持活躍，不斷推動Druid的完善和改進。

Druid成功應用於眾多互聯網和非互聯網公司中，特別是用戶行為分析、個性化推薦的數據分析、物聯網的實時數據分析、互聯網廣告交易分析等領域。國內的主流廣告技術公司，都曾嘗試或開始採用Druid支持實時數據分析。傳統技術公司如Cisco, SK Telecom，也都在使用Druid進行用戶行為分析等項目。Druid幫助這些業務場景實現了高效數據存儲和流式數據分析。

另外，Druid項目中也有不少元素，其創始人之一為工程師楊仿今，其他核心開發工程師也包括阿里的賓莉金、谷歌的郭秉坤等。楊仿今曾多次來到進行Druid的技術交流。Druid項目初期，不少廣告技術公司參與了Druid的技術評估。目前該技術也廣泛應用於互聯網公司中，例如騰訊、阿里、小米、優酷土豆、藍海訊通等。

本書的目的就是介紹Druid，讓讀者能夠深入了解Druid的架構設計、使用管理，也介紹了一些高級特性和核心源碼的導讀。

本書從內容上共分為11個章節，分別是：

第1章:介紹Druid的初級概念；

第2章:對行業中不同的數據分析軟體進行介紹和對比，包括一些時序資料庫；

第3章:Druid的設計理念和架構介紹；

第4章:Druid的安裝和配置；

第5章:Druid的數據攝入；

第6章:查詢詳解；

第7章:介紹Druid的一些高級特性，包括正在積極完善的一些功能；

第8章:核心代碼的導讀和分析；

第9章:集群管理中的安全和監控；

第10章:介紹幾個公司的Druid最佳實踐；

第11章:Druid的生態介紹和展望。

附錄A:簡要回答了一些常見的問題；

附錄B:列出了各個服務模塊的參數含義和建議值，方便系統管理。

適讀人群

適合大數據分析的從業人員、IT 人員、互聯網從業者閱讀。

作者介紹

歐陽辰，小米商業產品部研發總監，負責廣告架構和數據分析平台，擅長數據挖掘，大數據分析和廣告搜索架構。之

劉麒贇，現任Testin雲測公司技術總監，全面負責領導團隊完成數據分析產品的研發。作為資深數據技術專家，曾為多個著名開源項目（Hadoop／Sqoop／Oozie／Druid）貢獻源代碼，在互聯網大數據分析、機器學習和統計學應用等方面擁有豐富的實戰經驗和相關專利。

張海雷，資深工程師。目前在優酷土豆廣告技術團隊負責Druid集群的維護。活躍在Druid用戶組，Druid、Redis和Storm的開源項目代碼貢獻者。

高振源，熱愛技術，愛智求真的後台開發和數據工程師。先後負責過廣告DSP產品、QQ公眾號精準投放平台、數據分析產品等研發工作。目前在騰訊SNG企業產品部，負責企點產品的數據平台工作。

許哲，騰訊後台開發高級工程師，先後參與了公司企業產品消息服務後台、QQ公眾號後台、QQ公眾號精準投放平台等研發，目前在騰訊SNG企業產品部，負責騰訊企點的後台和數據平台開發工作。