Facebook加入
LINE加入
2021/12/25
部分技術內容來自AWS知乎
版權歸原作者，如有侵權，煩請聯繫後台刪除。
1、光纖、快遞和重卡：一場速度的較量高速寬頻已經非常快，不差錢的亞馬遜買帶寬不就行了，造卡車運數據幹嘛用？
抱著精明的企業家一定不會做賠本生意的想法，筆者收集的了一些數據，也做了一些測算。發現，這個世界真的有太多我們意想不到的東西。
背景介紹：在拉斯維加斯re：invent年度技術大會上， 亞馬遜雲計算（以下稱AWS）將一輛45英尺長的卡車開到了舞台上。這是一輛專門為EB級數據傳輸而定製的AWS SnowMobile數據傳輸車。
首先是數據。還記得買第一個4GB優盤時那個高興勁兒，覺得它能裝下整個世界。直到後來才發現，人家某公司一張圖片就16GB，我這U盤，能裝四分之一……那麼，現在數據量究竟有多大？簡單來說，就是你想象不到的那麼大！
在進入信息時代后，人類每天瀏覽的數據量不斷增加，從人聯網到物聯網，數據呈指數級上升，進而產生的數據量空前龐大。據統計，每位互聯網用戶日平均流量約1.5GB，而在物聯網時代，一輛無人駕駛汽車每天產生4TB的數據量，一家智能製造工廠每天將產生1PB的數據量，而一家雲視頻供應商每日數量可達750PB。
如果你還沒有概念，筆者可以跟大家打個比方：1EB=1，024PB=1，048，576TB=1，073，741，824GB≈2.5 億張 DVD≈ 1萬億冊 400 頁厚的書……
科普TIME：1EB=1，024PB=1，048，576TB=1，073，741，824GB。即，10億GB=1EB；7億5千萬GB=750PB。
除了數據量之龐大超出想象外，第二個沒想到的是：現在的網速太慢了，我們還在互聯網初期…
21世紀的光纖能否打敗20世紀的卡車？
雖然如今移動網路從2G過渡到4G，家庭網路從幾兆發展到幾十兆甚至百兆，企業專線網速甚至會更快，但是在PB和EB級數據面前，光纖還是「龜速」。
跟大家講一個真實的故事。有一天，一個大學同學讓我給她傳外教薩沙的資料。因為有很多視頻，所以兩年的資料將近100GB，我們用網路傳輸了不少於5次，都沒有成功，後來我借了一塊移動硬碟，腿兒著給她送了過去……沒錯，相比光纖，還是跑步來的靠譜。
而接下來的測算，將告訴我們，相比腿兒著來，快遞小哥更專業，相比快遞小哥， 亞馬遜造卡車運數據還真是個聰明的選擇。2、PK光纖？快遞小哥笑了
結果：如果在100M帶寬的網速下，當數據超過一定的大小時，通過網路傳輸往往不如直接快遞硬碟來的方便。例如，當你數據大於35GB的時候，在北京市內通過快遞的則較快速，如果大於100G的數據，那麼只要是在國內，快遞都要比網路傳輸的要快。
快遞小哥，你贏了
論證：以北京聯通為例，百兆光纖家庭用戶由於受到上行速率限制，100兆光纖下行速率100Mbps，上行速率4Mbps。即點對點理論傳輸數值為0.5m/s，如果加上線路上的一些損耗，平均0.4m/s的傳輸速度差不多。以一塊1TB的普通硬碟為例，一塊硬碟相當於1024M×1024G=1048576M數據。如果一塊硬碟通過網路傳輸那麼就需要2621440秒，換算成分鐘則為43690分鐘≈728小時≈30.3天的時間。
聯通家庭寬頻上行限制（圖片來自聯通官網）
30.3天的時間才能夠傳送一塊普通硬碟的內容，這還是在網路保持通暢，不發生任何意外的情況下。
如果你是在北京市裡，即使你是從南三環到北五環，相信一天的時間，快遞小哥們也能夠將這塊裝有1TB數據的硬碟放在你的面前。而如果採用網路傳輸一天（24小時）也大約只能夠傳輸33.75GB左右的數據。即使你不在北京市裡，哪怕在遙遠的廣州，如今的快遞行業運輸的非常快，兩天或三天的時間也是足夠了。
速度對比
從上表中我們可以看到規律，隨著傳輸的數據越來越大，通過網路傳輸的時間越來越多，而快遞運輸的時間則甚至沒有增加。如此，我們可以推測出一個結論：越大的數據越應該脫離網路進行物理搬運。所以，是不是當遇到1EB的數據傳輸，重卡應該會超越快遞？3、用卡車運數據 我們是認真的
結論：前面的論證說明，當數據達到TB級時，快遞運輸明顯優於網路傳輸；但是考慮到暴力快遞等因素，快遞運輸硬碟存在一些安全隱患。尤其在面對EB量級的數據時，造輛卡車運數據，真心不是開玩笑。也就是說，在當前的技術下，1EB的數據通過網路傳輸需要27年才能完成，而十輛45英尺長（約14米）的重卡集裝箱，每輛100PB裝滿需要12天，1EB數據可以在6個月內完成傳輸。
論證：不同於家庭網路，大量級的數據往往出現在企業之中，體現在物與物的鏈接中。所以我們參考10Gbps網速的專網來進行測算，10Gbps專網的理論傳輸數值約為1.25GBps。1EB≈1,073,741,824GB，所以傳輸1EB數據的時間約為：1,073,741,824GB/1.25GBps≈858,993,459秒≈14,316,557分≈238,609小時≈9,942天≈27年。
1EB的數據在企業專網中，需要27年才能完成傳輸，這也是在網路保持通暢，不發生任何意外的情況下。
AWS Snowmobile
為了解決這個問題，AWS提出了一種開掛的方法：網速不夠，卡車來湊！當然這不是普通的卡車，為了確保數據安全性AWS研發了一種45英尺長的集裝箱重卡AWS Snowmobile完成數據傳輸。
據了解，AWS Snowmobile是一種用於將海量數據移動到AWS中的EB級數據傳輸服務。一個45英尺長、9.6英尺高、8英尺寬海運集裝箱，由一台半掛卡車牽引，一次可以傳輸高達100PB的數據。Snowmobile可以將海量數據輕鬆移動到雲中，可以實現視頻庫、圖片存儲庫，甚至整個數據中心的遷移。
AWS re:Invent 2016，把卡車開上舞台
另外，為了保證數據安全，AWS不但使用了256位加密的密鑰（密鑰由AWS密鑰管理服務管理），提供溫控和防水技術，還為Snowmobile配備了專業安保人員和安全車輛組成的專業護送車隊，並配備全天候視頻監控、警報監控和GPS追蹤。防護等級絲毫不遜於任何其他押運模式，果然，在信息時代，數據才是未來石油。
我們現在可以得出結論，GB級數據可以考慮通過網路傳輸，TB級數據需要快遞運輸，而如果你有PB或者EB級數據，那還是選擇集裝箱重卡吧！畢竟，有時候太複雜的東西，反而需要用最簡單的方法來解決才最有效。
但可能有人提出質疑：我們常見的社交數據、視頻數據都是有「保質期」的，一般過了三個月後，復用率很低，所以企業都會直接做冷處理。那麼，PB、EB級數據傳輸，真的有必要嗎？
答案是肯定的。而且亞馬遜這個45英尺的大卡車，在今年6月就已經完成了一次100PB的數據傳輸實戰。
DigitalGlobe公司磁帶庫
這家公司叫做DigitalGlobe，從2001年發射第一顆衛星QuickBird起，DigitalGlobe就負責24*7*365的收集地球的圖像，隨著新的衛星不斷加入和圖像解析度的不斷提升，DigitalGlobe手機的圖片所佔用的存儲空間越來越大。例如WorldView-3衛星收集的一張圖像可能就達到30GB。在十幾年的積累后，如今這家公司的數據存儲量已經高達100PB，同時還在以每年10PB的速度不斷增長。
毫無疑問，這些數據對科學研究有著重要價值，也是人文、歷史、科學、生物、工業等學科的資料和依據。但是我們都知道，數據的存儲與維護的費用十分高昂，隨著雲計算技術不斷成熟，這家公司開始將數據搬到了公有雲上，而此時，PB級的數據傳輸問題就成為了瓶頸：數據需要在能夠快速調取的情況下（熱狀態下）實現快速遷移。
Snowmobile數據傳輸
於是，亞馬遜將一台Snowmobile停在了DigitalGlobe科羅拉多州威斯敏斯特的總部，連接上一台交換機和多條40Gb/s速率的網路，以1 Tb/s的速率傳輸數據，實現高速數據交換能力，在這種環境下，每輛Snowmobile的數據傳輸需要12.13天。終於，DigitalGlobe在今年第一季度成功遷移了5400萬個文件。
對此，DigitalGlobe公司基礎設施與運營副總裁Jay Littlepage評價說：「利用Snowmobile強大的數據傳輸能力，我們得以越來越快地將影像歸檔導入至AWS端，這使得我們的客戶及合作夥伴能夠快速獲取海量數據集……Snowmobile已經成為真正的遊戲規則改變者！」
如此看來，100PB的文件傳輸已經有了成功案例，而且Snowmobile的實際應用者還說「這次數據傳輸已經使出洪荒之力了，我很滿意！」
5、敗北：光纖趕不上數據增長速度
進入信息時代，我們常說「數據量呈指數級增長」，此言非虛。根據最新的研究顯示，到2022年，全球攝像頭總量將達到44萬億部。在五年之內，一部智能手機可以運行13個攝像頭，能夠拍攝360度3D視頻，創建複雜的增強現實圖像……在這些改變的背後，無論是數據數量，還是單個數據的大小都將暴增。
速度對比
過去一部MP4電影幾百MB，如今一部4K電影需要幾百GB，那未來是不是一部全息電影需要幾百TB的空間？
也就是說，儘管帶寬級別在不斷增加，但是，數據量級也在同步增加，光纖追不上數據增長的速度，用光纖來點對點傳輸PB或EB級的數據無異於愚公移山，未來物理搬運數據還會是必須。
限時乾貨下載
Step 1：添加微信公眾號「數據玩家「fbigdata」」
Step 2：回復【2】免費獲取完整數據分析資料「包括SPSS\SAS\SQL\EXCEL\Project!」
熱門推薦
留言回覆
