李沐：來一起動手學深度學習吧

編者按：如果你不想看所有的來龍去脈，核心思想是將門會聯合亞馬遜AI主任科學家李沐博士在北京時間9月9日(周六)上午10點啟動一檔從零開始入門深度學習的在線直播課程。

這檔課程由李沐博士主講，不僅介紹深度學習模型，而且提供簡單易懂的代碼實現。不是通過幻燈片來講解，而是通過解讀代碼，實際動手調參數和跑實驗來學習。

我們會通過鬥魚直播平台在每周六的上午10點和大家見面。先試講兩期，看看大家的反饋如何。

以下是李沐博士的心裡話：

兩年前我們開始了MXNet這個項目，有一件事情一直困擾我們：每當MXNet發布新特性的時候，總會收到「做啥新東西，趕緊去更新文檔」的留言。我們曾一度都很費解，文檔明明很多啊，比我們以前所有做的項目都好。而且你看隔壁家輪子，都沒文檔，大家照樣也不是用的很嗨。

後來有一天，Zack問了這樣一個問題：假設回到你剛開始學機器學習的時候，那麼你需要什麼樣的文檔？

我是從大二開始接觸機器學習的。當時候並沒有太多很好資料，抱著晦澀的翻譯版《The Elements of Statistical Learning》讀了大半年仍是懵懵懂懂。後來08年的時候又啃了好幾個月《Pattern Recognition AndMachine Learning》，被貝葉斯那一套繞得雲里霧裡。10年去港科大的時候James問我，你最熟悉的模型是哪個？使勁想了想，竟然答不出來。

雖然在我認識的人里，好些人能夠讀一篇論文或者聽一個報告后就能問出很好的問題，然後就基本弄懂了。但我在這個上笨很多。讀過的論文就像喝過的水，第二天就不記得了。一定是需要靜下心來，從頭到尾實現一篇，跑上幾個數據，調些參數，才能心安的覺得懂了。例如在港科大的兩年讀了很多論文，但現在反過來看，仍然記得可能就是那兩個老老實實動手實現過寫過論文的模型了。即使後來在機器學習這個方向又走了五年，學習任何新東西仍然是要靠動手。

幾年前，我開始學習深度學習，在MXNet這個項目里也幫助和目睹了很多小夥伴上手深度學習。我發現也有很多小夥伴跟我一樣，動手去實現、去調參、去跑實驗才是會真正的成為專家（或者合格的煉丹師）。

雖然深度學習崛起前的年代，不寫代碼不跑實驗可以做出很好的理論工作。但在深度學習領域，動手能力才是核心競爭力。例如就算我熟知卷積的三種寫法、Relu的十個變種，理解BatchNorm為什麼能加速收斂，對ImageNet歷屆冠軍的錯誤率隨手拈來，能滔滔不絕說上幾小時神經網路幾度沉浮的恩怨史，但調不出參數，一切都是枉然。發論文被問你為啥跟state-of-the-art差老遠，做產品被噴你這精度還不如我的便宜100倍的線性模型。

在過去一年我在AWS工作中，很大一部分是在幫助Amazon內部團隊和雲上的用戶來了解深度學習，並將其應用到他們的產品中。在今年夏威夷的CVPR上，遇到很多老朋友，例如地平線的凱哥，今日頭條的李磊，第四範式的文淵和雨強，也認識了很多新朋友，例如Momenta旭東和商湯俊傑。我說MXNet有了新Gluon前端，可以一次性解決產品和研究的需求。大家紛紛表示，好啊好啊，來我們這裡講講吧。而且特彆強調說，我們這裡新人很多，最好能講講入門知識。

所以很自然的會想，我們能不能幫助更多人。於是我們想開設一些系列課程，從深度學習入門到最新最前沿的演算法，從0開始通過互動式的代碼來講解每個演算法和概念。希望通過這個讓大家既能了解演算法的細節，又能調得出參數。既贏得了競賽，又做的出產品。

為此我們做了（正在做）這四件事情：

• Eric和Sheng開發了MXNet的新前端Gluon，詳細可以參見Eric的這篇介紹>>。這個前端帶來跟Python更一致的便利的編程環境，不管是debug還是在交互上，都比TensorFlow之類通過計算圖編程的框架更適合學習深度學習。

• Zack, Alex, Aston和很多小夥伴一起寫了一系列的notebook來講解各個模型。Zack從一個外行（他是專業音樂人）和老師（CMU計算機教授）的角度，從0開始講解和實現各個演算法。

• 我們同時將notebook翻譯成中文，而且做了很多改進（我個人認為中文版質量更高），並建立中文社區discuss.gluon.ai方便大家來討論和學習。

• 我們聯合將門在鬥魚上直播一系列課程，深入講解各個教程。

在我們準備這個的時候，Andrew Ng也開設了深度學習課程。從課程單上看非常好，講得特別細。而且Andrew講東西一向特別清楚，所以這個課程必然是精品。但我們做的跟Andrew的主要有幾個區別：

• 我們不僅介紹深度學習模型，而且提供簡單易懂的代碼實現。我們不是通過幻燈片來講解，而是通過解讀代碼，實際動手調參數和跑實驗來學習。

• 我們使用中文。不管是教材，直播，還是論壇。（雖然在美國呆了5，6年了，事實上我仍然對一邊聽懂各式口音的英文一邊理解內容很費力。）

• Andrew課目前免費版只能看視頻，而我們不僅僅直播教學，而且提供練習題，提供大家交流的論壇，並鼓勵大家在github上參與到課程的改進中來。希望能與大家有更近距離的交互。

從大出發點上我們跟Andrew一致，希望能夠幫助小夥伴們快速的掌握深度學習。這一次技術上的創新可能會持續輻射技術圈數年，希望小夥伴們能更快更好的參與到這一次熱潮來。

我們會聯合將門先講兩期，每次大概兩個小時。之後收集大家的反饋看看接下來哪種形式是最有效的。

關於李沐

李沐是亞馬遜AI主任科學家。之前他曾任創業公司Marianas Labs的CTO，和百度深度學習研究院的主任研發架構師。他在卡內基梅隆計算機系獲得了博士學位，他的研究關注分散式系統和機器學習演算法。他在數個領域發表過論文，包括理論（FOCS），機器學習（ICML，NIPS），應用（CVPR，KDD），和操作系統（OSDI）。

參與方式

除了鬥魚直播之外，我們還會專門建一個微信的交流群，方便大家實時的交流和提問。這個群雖然還會需要大家填寫個人信息進行報名，但是在入群的資質審核上會寬鬆很多。

將門創投

讓創新獲得認可！

[email protected]