Zi 字媒體

這是在科多大數據學習的第一天，課程安排了這些內容：1，認識什麼是大數據2，大數據有什麼應用場景3，大數據解決了什麼問題一、什麼是大數據 ？大數據是指大小超出傳統資料庫軟體工具，抓取、存儲、管理和分析能力的數據群，大數據一般在10TB左右，多用戶將多個數據集成在一起，形成PB級的數據量，同時。這些數據來自多個數據源，並以實時、迭代的方式來實現大量化、多樣式、快速化、價值化(4V)是大數據主要特徵。白話一點：就是基於傳統資料庫存儲 達到 超大數據集過後，如果想基於這些數據做分析或者抽取 要麼很慢要麼做不出來 ！數據從何而來？根據場景來理解：2005年我們的手機大部分都是 MOTO和 諾基亞，他們的系統呢是 塞拜，勉強叫做智能機吧，那時候的數據流量 每個月能有30M，基本滿足，2015年的今天 每月流量3G 勉強夠用，為什麼？網頁能夠展示的內容越來越多，能夠收集的數據也越來越多。收集渠道：收集、PC、平板收集數據：出行，消費等各式各樣的數據數據能做什麼？數據收集越來越簡單，數據也不在昂貴，昂貴的在於我有大量的數據能做什麼呢？根據大量不相干的數據，我們可以抽取其中有細微關聯有價值的東西。這就是昂貴的。在往上走？更昂貴的是 能夠基於海量數據能夠更快的計算有價值的東西（大數據實時計算）二、大數據有什麼應用場景從不同的行業來進行分析1，金融：銀行在線業務只提供前幾年（各銀行不等）的數據查詢，其他查詢可以走數據中心，數據倉庫中進行抽取，隨著ETL的工作越來越大，傳統的數據倉庫壓力也越來越大。於是現在都在往大數據方面發展，但是他能提供什麼？基於海量數據（全量，全年）的實時在線業務查詢，不止前幾年，前幾十年的數據都可以在大數據平台及時的查詢到。基於海量數據的快速ETL作業，與傳統資料庫相比，大數據ETL作業從一台機器處理，變為了多台機器一起處理，效率提高，負載均衡2，互聯網電商：例如亞馬遜，口號：訂單未下，包裹先行！（我亂編的）我們通常購物如果看到自己喜歡的會多看幾眼，或者收藏，或者關注，或者降價通知，基於我們的這些行為 ，亞馬遜可以基於片區用戶的訂閱或者收藏行為判定，如果這個產品能夠在片區的熱度比較高？我是否可以先把產品從異地倉庫轉移到本地區最近的客戶呢？3，還是金融：（別管我的排版，我第一次）辦理信用卡？ 傳統辦理信用卡呢，會採集客戶本人的交易信息，客戶信息，信用信息等裁定你的額度。那大數據有什麼可以介入的地方呢？想象一下你在銀行信息中可以唯一標識你本人的是什麼？（ID CARD身份證）互聯網例如微博實名制過後呢也拿到了你的身份證OK，問題來了，他們有關聯了，我們能做什麼？基於平時你發送的微博，例如：我今天又去法國巴厘島，又買了GUCCI,CHANNEL ，好，可以你的額度加5000，但是你的微博如果是：剛發工資又月光了，信用卡都還不完了。好，銀行降低風險，額度-5000。（此場景為老師胡謅）當然，生活中你不可能經常發GUCCI的...畢竟最主要的額度依據為信用紀錄，微博只是輔助工具。3，大數據解決了什麼問題?思考：數據必然需要什麼？回答：存儲存儲方式現在使用最多的方式為：集中存儲（簡單理解為：所有資料放在一台電腦上面）優勢：快，資源集中劣勢：電腦壞掉？全盤。。。當然，大數據並不是採用的這種方式，他採用的是分散式的存儲分散式存儲： （白話一點）一份數據放三台伺服器，就算崩潰一台還有兩台提供服務，崩潰兩台，還有一台在服務（你問我全崩潰？我建議你請客吃飯，提提人品.....）下圖：一個DATANODE 為一台機器，大家看一個顏色分別在舞台機器中存在多少個一個顏色你可以看作上圖中的一個集中存儲優勢：容災，數據冗餘備份劣勢：也不算吧，訪問速度相比集中稍慢我是無敵分割線還沒分完大數據解決的第二個問題：有了數據，我們就需要對他進行？分析？那麼對應的就是1，集中處理2，分散式處理集中處理，如果你的數據集越大，處理複雜度高，那麼你的電腦配置就需要非常高？比如銀行數據量較大，動不動就小機，大機（反正就是非常貴的電腦，小公司基本GG），如果數據量真的超大呢？分析時間長，而且佔用資源多那分散式處理呢？大數據分散式處理，基於廉價的PC（小公司很開心，我也可以大數據了）構建分散式處理，意思呢，以前一台電腦處理，現在，我一大批電腦來處理。古人誠不欺我：三個臭皮匠頂一個.....簡單點：我不小心做了一大鍋飯，發現一個人吃，要吃幾天要加快吃，要麼我是大胃王（高配置），要麼我不停吃（長期佔用資源）現在我請朋友一起來吃，各吃各的，最終目的是吃完這飯.......（分散式）敬請關注