大數據分析所用數據的來源

大數據的數據有多種來源，包括公司或機構的內部來源和外部來源。數據來源可分為五大類。

1) 交易數據。包括 POS 機數據、信用卡刷卡數據、電子商務數據、互聯網點擊數據、「企業資源規劃」(ERP)系統數據、銷售系統數據、客戶關係管理 (CRM) 系統數據、公司的生產數據、庫存數據、訂單數據、供應鏈數據等。

2) 移動通信數據。能夠上網的智能手機等移動設備越來越普遍。移動通信設備記錄的數據量和數據的立體完整度，常常優於各家互聯網公司掌握的數據。移動設備上的軟體能夠追蹤和溝通無數事件，從運用軟體儲存的交易數據 (如搜索產品的記錄事件) 到個人信息資料或狀態報告事件 (如地點變更即報告一個新的地理編碼) 等。

3) 人為數據。人為數據包括電子郵件、文檔、圖片、音頻、視頻，以及通過微信、博客、推特、維基、臉書、Linkedin 等社交媒體產生的數據流。這些數據大多數為非結構性數據，需要用文本分析功能進行分析。

4) 機器和感測器數據。來自感應器、量表和其他設施的數據、定位/ GPS 系統數據等。這包括功能設備會創建或生成的數據，例如智能溫度控制器、智能電錶、工廠機器和連接互聯網的家用電器的數據。來自新興的物聯網(IoT) 的數據是機器和感測器所產生的數據的例子之一。來自物聯網的數據可以用於構建分析模型，連續監測預測性行為 (如當感測器值表示有問題時進行識別)，提供規定的指令 (如警示技術人員在真正出問題之前檢查設備)等。

5) 互聯網上的 「開放數據」來源，如政府機構，非營利組織和企業免費提供的數據。

儘管上面列出了大量的數據源，但要滿足具體企業或機構的具體需要，也常常有困難。這種情況在更加突出。因為政府公開的數據非常有限。比如，即使號稱為三大數據平台的北京、上海、貴州的政府數據網，公布的數據都非常少，非常粗略，很難被視為大數據。而非政府機構和民間企業，更不會輕易對外公布數據。此外單是獲得數據還不夠，還需要獲得有關資料的很多細節，如對資料的說明，資料的背景，以及其他能幫助分析員理解數據的信息。如果沒有這些細節，對數據的正確解讀就可能有困難，數據就失去價值。而政府提供的很多數據常常缺乏這些細節。

因此，大數據分析的數據來源及其細節信息常常需要數據分析員的創新發現。即使對信息最開放的美國也是如此。以美國著名的娛樂城市拉斯維加斯的公司為例。儘管該市的政府已有非常詳細的遊客統計數據、遊客調查數據，以及各研究部門的分析數據，但企業要深入了解具體遊客的消費行為，仍需要採取各種創新的手段來收集數據。以前面提到的哈樂斯公司為例，為儘可能地了解遊客(公司的主要顧客)，他們採用的創新方法包括: 通過提供各種積分，獎勵和優惠鼓勵遊客成為公司的會員。成為會員需要填寫會員申請，提供比較詳細的各種個人資料，包括: 姓名、電話號碼、出生年月、家庭住址等。一旦有了遊客的這些數據，只要遊客使用會員卡消費，公司就能夠獲得遊客的 「可辨識個人行為資料」 (Personally Identi-fiable Information)。什麼遊客在什麼時間什麼地方消費了什麼，消費了多久都詳細記錄在案，這樣公司就可以針對具體的個人提供營銷和服務。即使這樣，公司收集的數據仍有缺陷: 公司難以收集不願意成為會員的遊客的行為數據。針對這些遊客，哈樂斯公司採取的創新方法是讓遊客免費使用 WiFi，但前提是每天使用都需要申請，在酒店房間里使用和房間外使用要分別申請。由於遊客入住酒店時公司已掌握了遊客的姓名、年齡、性別、國別等資料，接下來遊客只要使用 WiFi，公司就知道什麼遊客什麼時間在房間里，什麼時間離開房間，離開房間后光顧了酒店的什麼餐館、劇院、商店等 (通過手機定位系統)。

如果大數據分析涉及一個地區或城市的人口的情況，收集資料就需要了解獲得的數據與有關總體的關係，以了解獲得的數據有多大代表性，佔總體數據的比重有多大，等等。比如，一個機構有能力收集大量的微信數據，但這並不一定能代表了解一個地方整體居民的情況，因為使用微信的人再多，也只是所有的人裡面的一部分，而不是「所有的人」。同樣的，互聯網公司掌握的網民的數據再大，這些數據也只是一部分習慣上網的民眾的數據，不一定能代表另一些沒有上網習慣的人群的情況。因此，獲得的任何大數據如果沒有考慮樣本的代表性，要根據這些數據做宏觀決策就可能出現偏差。

大數據的數據收集，需要避免如下錯誤: 不加區別地收集數字信息，而沒有收集模擬資料和自然人領域的資料; 缺乏分析模型來將注意力集中在重要信息上，發現缺口。沒有使所有大數據都有地理空間特徵; 沒有一個全面的分析框架，使所有語言的所有信息都在超大規模 (Ex-oscale) 環境下工作。

國內一站式大數據分析平台ETHINK現在可免費試用，http://www.ethinkai.com 官網有海量demo演示，還可以加入產品群213750619 申請免費體驗！