大數據培訓的第一天

這是在科多大數據學習的第一天，課程安排了這些內容：

1，認識什麼是大數據

2，大數據有什麼應用場景

3，大數據解決了什麼問題

一、什麼是大數據 ？

大數據

是指大小超出傳統資料庫軟體工具，抓取、存儲、管理和分析能力的數據群，大數據一般在10TB左右，多用戶將多個數據集成在一起，形成PB級的數據量，同時。這些數據來自多個數據源，並以實時、迭代的方式來實現大量化、多樣式、快速化、價值化(4V)是大數據主要特徵。

白話一點：就是基於傳統資料庫存儲 達到 超大數據集過後，如果想基於這些數據做分析或者抽取 要麼很慢要麼做不出來 ！

數據從何而來？

根據場景來理解：2005年我們的手機大部分都是 MOTO和 諾基亞，他們的系統呢是 塞拜，勉強叫做智能機吧，那時候的數據流量 每個月能有30M，基本滿足，2015年的今天 每月流量3G 勉強夠用，為什麼？

網頁能夠展示的內容越來越多，能夠收集的數據也越來越多。

收集渠道：收集、PC、平板

收集數據：出行，消費等各式各樣的數據

數據能做什麼？

數據收集越來越簡單，數據也不在昂貴，昂貴的在於我有大量的數據能做什麼呢？

根據大量不相干的數據，我們可以抽取其中有細微關聯有價值的東西。這就是昂貴的。在往上走？更昂貴的是 能夠基於海量數據能夠更快的計算有價值的東西（大數據實時計算）

二、大數據有什麼應用場景

從不同的行業來進行分析

1，金融：銀行在線業務只提供前幾年（各銀行不等）的數據查詢，其他查詢可以走數據中心，數據倉庫中進行抽取，隨著ETL的工作越來越大，傳統的數據倉庫壓力也越來越大。於是現在都在往大數據方面發展，但是他能提供什麼？

基於海量數據（全量，全年）的實時在線業務查詢，不止前幾年，前幾十年的數據都可以在大數據平台及時的查詢到。

基於海量數據的快速ETL作業，與傳統資料庫相比，大數據ETL作業從一台機器處理，變為了多台機器一起處理，效率提高，負載均衡

2，互聯網電商：例如亞馬遜，口號：訂單未下，包裹先行！（我亂編的）

我們通常購物如果看到自己喜歡的會多看幾眼，或者收藏，或者關注，或者降價通知，基於我們的這些行為 ，亞馬遜可以基於片區用戶的訂閱或者收藏行為判定，如果這個產品能夠在片區的熱度比較高？我是否可以先把產品從異地倉庫轉移到本地區最近的客戶呢？

3，還是金融：（別管我的排版，我第一次）

辦理信用卡？ 傳統辦理信用卡呢，會採集客戶本人的交易信息，客戶信息，信用信息等裁定你的額度。那大數據有什麼可以介入的地方呢？想象一下你在銀行信息中可以唯一標識你本人的是什麼？（ID CARD身份證）互聯網例如微博實名制過後呢也拿到了你的身份證

OK，問題來了，他們有關聯了，我們能做什麼？

基於平時你發送的微博，例如：我今天又去法國巴厘島，又買了GUCCI,CHANNEL ，好，可以你的額度加5000，但是你的微博如果是：剛發工資又月光了，信用卡都還不完了。好，銀行降低風險，額度-5000。

（此場景為老師胡謅）當然，生活中你不可能經常發GUCCI的...畢竟最主要的額度依據為信用紀錄，微博只是輔助工具。

3，大數據解決了什麼問題?

思考：數據必然需要什麼？

回答：存儲

存儲方式現在使用最多的方式為：集中存儲（簡單理解為：所有資料放在一台電腦上面）

優勢：快，資源集中

劣勢：電腦壞掉？全盤。。。

當然，大數據並不是採用的這種方式，他採用的是分散式的存儲

分散式存儲： （白話一點）一份數據放三台伺服器，就算崩潰一台還有兩台提供服務，崩潰兩台，還有一台在服務（你問我全崩潰？我建議你請客吃飯，提提人品.....）

下圖：一個DATANODE 為一台機器，大家看一個顏色分別在舞台機器中存在多少個

一個顏色你可以看作上圖中的一個集中存儲

優勢：容災，數據冗餘備份

劣勢：也不算吧，訪問速度相比集中稍慢

我是無敵分割線還沒分完

大數據解決的第二個問題：

有了數據，我們就需要對他進行？分析？

那麼對應的就是

1，集中處理

2，分散式處理

集中處理，如果你的數據集越大，處理複雜度高，那麼你的電腦配置就需要非常高？

比如銀行數據量較大，動不動就小機，大機（反正就是非常貴的電腦，小公司基本GG），如果數據量真的超大呢？分析時間長，而且佔用資源多

那分散式處理呢？

大數據分散式處理，基於廉價的PC（小公司很開心，我也可以大數據了）構建分散式處理，意思呢，以前一台電腦處理，現在，我一大批電腦來處理。

古人誠不欺我：三個臭皮匠頂一個.....

簡單點：

我不小心做了一大鍋飯，發現一個人吃，要吃幾天

要加快吃，要麼我是大胃王（高配置），要麼我不停吃（長期佔用資源）

現在我請朋友一起來吃，各吃各的，最終目的是吃完這飯.......（分散式）

敬請關注