search
尋找貓咪~QQ 地點 桃園市桃園區 Taoyuan , Taoyuan

大數據和區塊鏈之異同|上篇

大數據和區塊鏈技術之同

兩者之間有個共同的關鍵詞:分散式,代表了一種從技術權威壟斷到去中心化的轉變。

分散式存儲:HDFS vs. 區塊

大數據,需要應對海量化和快增長的存儲,這要求底層硬體架構和文件系統在性價比上要大大高於傳統技術,能夠彈性擴張存儲容量。谷歌的GFS和Hadoop的HDFS奠定了大數據存儲技術的基礎。另外,大數據對存儲技術提出的另一個挑戰是多種數據格式的適應能力,因此現在大數據底層的存儲層不只是HDFS,還有HBase和Kudu等存儲架構。

區塊鏈,是比特幣的底層技術架構,它在本質上是一種去中心化的分散式賬本。區塊鏈技術作為一種持續增長的、按序整理成區塊的鏈式數據結構,通過網路中多個節點共同參與數據的計算和記錄,並且互相驗證其信息的有效性。從這一點來說,區塊鏈技術也是一種特定的資料庫技術。由於去中心化資料庫在安全、便捷方面的特性,很多業內人士看好其發展,認為它是對現有互聯網技術的升級與補充。

分散式計算:MapReduce vs. 共識機制

大數據的分析挖掘是數據密集型計算,需要巨大的分散式計算能力。節點管理、任務調度、容錯和高可靠性是關鍵技術。Google和Hadoop的MapReduce是這種分散式計算技術的代表,通過添加伺服器節點可線性擴展系統的總處理能力(Scale Out),在成本和可擴展性上都有巨大的優勢。現在,除了批計算,大數據還包括了流計算、圖計算、實時計算、交互查詢等計算框架。

區塊鏈的共識機制,就是所有分散式節之間怎麼達成共識,通過演算法來生成和更新數據,去認定一個記錄的有效性,這既是認定的手段,也是防止篡改的手段。區塊鏈主要包括四種不同的共識機制,適用於不同的應用場景,在效率和安全性之間取得平衡。以比特幣為例,採用的是「工作量證明」(Proof Of Work,簡稱POW),只有在控制了全網超過51%的記賬節點的情況下,才有可能偽造出一條不存在的記錄。

IT技術發展的分分合合

和人類社會一樣,IT技術發展的也呈現出「合久必分,分久必合」,即集中與分佈的螺旋式上升。

計算機誕生初期,僅能實現一對一的使用,是集中化的。為了使得一台大型機能夠同時為多個客戶提供服務,IBM公司引入了虛擬化的設計思想,使得多個客戶在同時使用同一台大型機時,就好像將其分割成了多個小型化的虛擬主機,是時分復用的集中式計算。

進入小型機和PC時代,回歸了一對一的使用,不過設備已經分散到了千家萬戶。進入互聯網時代,C/S模型的客戶端和伺服器是分散式計算,只不過伺服器之間還是分散的。

進入雲計算時代,計算能力又被統一管控起來,在客戶端和伺服器的分散式計算基礎之上,伺服器之間也開始了分散式協同工作。因為協同,所以也可以認為它們在整體上是一種集中式的計算服務。

進入大數據時代,雲計算成為大數據基礎設施,也使得大數據的核心思想和雲計算一脈相承。MapReduce將任務分解進行分散式計算,然後將結果合併從而實現了信息的整合分析。

區塊鏈則是純粹意義上的分散式系統。

是什麼力量造成了集中與分佈的此消彼長?

讓我們從歷史中試著尋找答案。

商業需要集中,希望通過產品實現更好的控制和更高的利潤。但隨著產品集中度的不斷上升,系統會越來越複雜,實現的難度越來越大,溝通、交流和管理的成本也越來越高,最終變得不經濟。

社會需要分工,讓專業的人做專業的事,塗爾乾的《社會分工論》談到,「分工使社會像有機體一樣,每個成員都為社會整體服務,同時又不能脫離整體,分工就像社會的紐帶,故謂之『有機團結』。」

分散式技術的誕生,正是基於這種思想。產品功能被分解並分佈到不同的節點上去完成,節點之間通過網路實現溝通。分散式系統中的一些節點或因為商業上的成功,重新成為「集中化」的節點,但隨著時代的改變,它們終將會進入新一輪的分散式周期。如此往複。

集中和分佈不是光譜的兩端,任何偉大的產品,都是商業和技術的「有機團結」。

作者:亞信數據,方亮,關注我們,閱讀下篇精彩內容。

關注財資一家(微信號:TreasuryChina),在線訂閱《財資|財富風尚》雜誌,獲取更多公司金融、資金管理、現金管理、支付結算、企業理財、風險管理、資產管理、企業財富管理等方面的原創乾貨。



熱門推薦

本文由 yidianzixun 提供 原文連結

寵物協尋 相信 終究能找到回家的路
寫了7763篇文章,獲得2次喜歡
留言回覆
回覆
精彩推薦