search
尋找貓咪~QQ 地點 桃園市桃園區 Taoyuan , Taoyuan

Hive vs HBase -不同技術可以更好地協同工作 [GOOGLE 翻譯的備份] – jashliao部落格

Hive vs HBase -不同技術可以更好地協同工作 [GOOGLE 翻譯的備份] 


資料來源: https://www.dezyre.com/article/hive-vs-hbase-different-technologies-that-work-better-together/322


HBase和Hive是兩種基於hadoop的大數據技術,可用於不同的目的。例如,當您登錄Facebook時,您會看到多個內容,例如您的朋友列表,新聞Feed,朋友建議,喜歡您的狀態的人等。在Facebook上有17.9億月活躍用戶,並且以閃電般的速度加載個人資料頁面你能想到像Hadoop或Hive或HBase這樣的大數據技術在後端做這一切嗎?所有這些技術協同工作,為所有Facebook用戶提供了絕佳的體驗。大數據系統的複雜性要求每種技術都需要與另一種技術結合使用。


Apache Hive

    Hive是一個基於hadoop的SQL引擎,專為精通SQL的人設計,通過類似查詢的SQL運行mapreduce作業。Hive允許開發人員在hadoop集群內部或外部的各種文件格式和物理存儲機制上強加邏輯關係模式。SQL查詢作為Hadoop MapReduce作業針對這些模式運行。由於具有有限的寫入功能和交互性,Hive用於執行批量轉換和大型分析查詢。


何時使用Hive

    RDBMS專業人員喜歡apache hive,因為他們可以簡單地將HDFS文件映射到Hive表並查詢數據。甚至可以映射HBase表,也可以使用Hive對該數據進行操作。Apache Hive應該用於數據倉庫需求,並且當程序員不想編寫複雜的mapreduce代碼時。但是,使用apache配置單元可以解決所有問題。對於需要復雜和細粒度處理的大數據應用程序,Hadoop MapReduce是最佳選擇。



HBase – NoSQL Hadoop數據庫
    Apache Hadoop不提供隨機訪問功能,這就是Hadoop數據庫HBase拯救的時候。HBase具有高可擴展性(使用現成的區域服務器進行水平擴展),高可用性,一致性和低延遲NoSQL數據庫。憑藉靈活的數據模型,成本效益和無分片(自動分片),HBase可與稀疏數據配合使用。在為您的應用程序選擇HBase之前,請先詢問以下問題 –

    ▲你有足夠的硬件嗎?
    ▲您的應用程序是否需要RDBMS不提供的其他功能?
    ▲你有足夠的數據嗎?


何時使用HBase

    Apache Hadoop不是用於實時分析的完美大數據框架,這是可以使用HBase的時候,即用於實時查詢數據。如果應用程序需要隨機讀取或隨機寫入操作或兩者兼而有之,HBase是理想的大數據解決方案。如果應用程序需要實時訪問某些數據,那麼它可以存儲在NoSQL數據庫中。HBase有自己的一套精彩的API,可用於提取或推送數據。HBase還可以與Hadoop MapReduce完美集成,用於批量操作,如分析,索引等。使用HBase的最佳方法是使Hadoop成為靜態數據的存儲庫,HBase將數據存儲用於實時更改的數據經過一番處理。

當 – 時應使用HBase

    ▲有大量的數據。
    ▲ACID屬性不是強制性的,只是必需的。
    ▲數據模型模式很稀疏。

    ▲當您的應用程序需要優雅地擴展時。


Hive vs. HBase – Hive和HBase之間的差異

    ▲Hive是查詢引擎,而HBase是特別是非結構化數據的數據存儲。
    ▲Apache Hive主要用於批處理,即OLAP,但HBase廣泛用於事務處理,其中查詢的響應時間不是高度交互的,即OLTP。
    ▲與Hive不同,HBase中的操作在數據庫上實時運行,而不是轉換為mapreduce作業。
    ▲HBase是實時查詢,Hive是分析查詢。


Hive和HBase -Better Together

    Hive有一些高延遲的限制,HBase沒有分析功能,將兩種技術集成在一起是最佳解決方案。通常,處理大數據的人都會考慮這個問題 – “如何使用來自Hive的HBase?使用hive和HBase一起工作的效果如何?使用它們的最佳方法是什麼?
    通常,HBase和Hive在同一個Hadoop集群中一起使用。Hive可以用作ETL工具,用於批量插入HBase或執行將HBase表中存在的數據與HDFS文件或外部數據存儲中存在的數據連接的查詢。
    可以在HBase表上編寫HiveQL查詢,以便HBase可以充分利用Hive的語法和解析器,查詢執行引擎,查詢計劃器等.Apache Hive有一個額外的庫用於與HBase交互,其中Hive和Hive之間的中間層HBase已實施。從Hive查詢訪問HBase時,需要實現一個名為HBaseStorageHandler的主接口。應用程序還可以通過輸入和輸出格式直接與HBase表交互,但處理程序易於實現,並且適用於大多數用例。Hive和HBase之間的接口仍處於成熟階段,但潛力巨大。將hive與HBase集成的唯一問題是HBase的稀疏和非類型模式之間的阻抗不匹配,而不是Hive的密集和類型模式。



熱門推薦

本文由 jashliaoeuwordpress 提供 原文連結

寵物協尋 相信 終究能找到回家的路
寫了7763篇文章,獲得2次喜歡
留言回覆
回覆
精彩推薦