大數據技術課程的教與學

教育部已經將數據科學與大數據技術確定為新的大學部專業，越來越多的高校計劃開設該專業，規劃所需要的設備、教師和自己的特色，培養不僅懂理論而且具有相當實踐動手能力的綜合型學生，以適應社會對大數據分析人才的需求。除此之外，計算機科學技術、電子類、信息管理類等現有專業也在逐步調整原有的教學計劃和教學內容，增加一些必要的大數據相關課程，讓學生能了解大數據相關技術，增加學生就業的競爭力。

《互聯網大數據處理技術與應用》是國內第一本系統講述互聯網大數據處理技術的教材和專業參考書，由復旦大學計算機科學技術學院曾劍平副教授在十多年教學科研積累的基礎上編寫而成，得到了教育部和阿里雲計算有限公司的聯合支持，復旦大學大數據學院院長范劍青教授對該書有很好的評價，可以作為各個相關專業開設大數據相關課程的教材。

數據科學與大數據技術是一個實踐性很強的專業，作為實踐能力培養的基礎--數據，在教學中就顯得非常重要。雖然目前很多領域都在開展大數據應用，並形成了現在的交通大數據、金融大數據、醫療大數據、政務大數據等等，這些大數據聽起來很好，但是由於涉及到數據安全和隱私問題，數據的開放性並不高，需要與相關企業深度合作才能獲取。這種數據的封閉特徵對於大都數高校開展大數據教學來說，並不是一個很合適的選擇。

互聯網大數據是開放的，突破了數據封閉帶來的種種固有缺欠，破解了大數據教學研究中沒有合適大數據的尷尬局面。每個人都可以通過各種類型的網路爬蟲或網路探針從互聯網應用中採集原始數據，更重要的是，「互聯網+」已經是國家戰略，將來與各個行業的結合會越來越緊密，互聯網大數據的價值就會越來越突出。互聯網大數據擁有可得性好、類型豐富、數據量巨大、動態性高、價值體現廣泛等典型的大數據特徵，以互聯網大數據作為大數據教學和實驗設計的基礎是非常明智的選擇。

2. 本書的內容安排

書中全面介紹了互聯網大數據處理的主要理論和技術。全書共分為四大部分：概述、互聯網大數據的獲取、大數據的處理與分析技術、綜合應用。在第一部分「概述」中首先對信息時代的技術變遷進行了回顧和歸納，指出了人類進入大數據時代的必然性及其基本特徵，然後分析了互聯網大數據的特點，接著對互聯網大數據的相關技術進行了歸納和分析，最後指出了互聯網大數據技術的未來發展。第二部分是「互聯網大數據的獲取」，包括原始數據的獲取和數據提取技術，對網路爬蟲的內核技術、主題爬蟲技術、動態WEB 頁面獲取技術、微博信息內容獲取、DeepWeb 數據獲取、反爬蟲技術、反反爬蟲技術、Web 頁面內容提取等技術進行了介紹，全面介紹了大數據採集的各種技術手段。在第三部分「大數據的結構化處理與分析技術」中，全面介紹了內容的結構化處理技術、大數據語義分析技術、大數據分析的模型與演算法、大數據隱私保護、大數據技術平台，內容涵蓋了互聯網大數據處理與分析的主要方面。第四部分是關於互聯網大數據技術的綜合應用，以個性化新聞推薦為應用背景，運用阿里雲大數據技術平台將本書介紹的一些關鍵技術、模型和平台貫穿在一起。

3. 本書的特色

本書作為一本產學兼顧的教材，具有如下特色：

(1) 針對互聯網大數據，從大數據的獲取到可視化展示與發布的整個過程，幫助學生建立完整的知識體系。側重於非結構化數據處理與分析，由於傳統的結構化數據分析技術相對比較成熟，因此這種安排將有助於讀者接觸到更多的大數據核心關鍵技術。

(2) 除了一些比較基礎性的知識外，在各個章節還融入了作者在教學和科研中所積累的一些值得深入探討的問題和觀點，具有一定的啟發性。

(3) 理論與實踐相結合，各個章節包含有技術原理介紹，也包含實現技術、開源架構等方面的敘述，使得讀者能從中掌握技術應用及實現方法。

(4) 注重產學結合，基於阿里雲及其大數據平台，構建了綜合應用實例，有效地集成運用了本書的一些關鍵技術，幫助讀者深入理解大數據處理技術。

該書以互聯網大數據為背景，綜合了《數據挖掘》《文本挖掘》等現有課程的重要知識點，特別適合大數據技術的綜合性教學，可以作為學習大數據的先導基礎課程或選修課程。

建議在講授完計算機網路或網路程序設計之後開設。課時可以是32課時，或48課時，以48課時為例，各個章節的課時分配建議如下：

概述 （3課時）

Web頁面數據獲取 （9課時）

互聯網大數據提取技術（3課時）

信息內容的結構化處理技術 （6課時）

大數據語義分析技術（6課時）

大數據分析的模型與演算法（9課時）

互聯網大數據隱私保護（3課時）

大數據技術平台（3課時）

互聯網大數據技術的綜合應用（6課時，含上機實驗）