乾貨 | 機器學習需要哪些數學基礎？

過去的幾個月中，有幾人聯繫我，訴說他們對嘗試進入數據科學的世界，以及用機器學習的技術去探索統計規律並構建無可挑剔的數據驅動型產品的熱忱。然而，我發現一些人實際上缺乏必要的數學直覺和知識框架去得到有用的結果。這便是我決定寫這篇博文的主要原因。最近湧現出了很多易於使用的機器學習和深度學習的軟體包，例如 scikit-learn, Weka, Tensorflow 等等。機器學習理論是統計學、概率學、計算機科學以及演算法的交叉領域，是通過從數據中的迭代學習去發現能夠被用來構建智能應用的隱藏知識。儘管機器學習和深度學習有著無限可能，然而為了更好地掌握演算法的內部工作機理和得到較好的結果，對大多數這些技術有一個透徹的數學理解是必要的。

邏輯回歸和神經網路的代價函數的計算方法

為什麼要重視數學？

機器學習中的數學是重要的，有很多原因，下面我將強調其中的一些：

1. 選擇正確的演算法，包括考慮到精度、訓練時間、模型複雜度、參數的數量和特徵數量。

2. 選擇參數的設置和驗證策略。

3. 通過理解偏差和方差之間的 tradeoff 來識別欠擬合與過擬合。

4. 估計正確的置信區間和不確定度。

你需要什麼水平的數學？

當你嘗試著去理解一個像機器學習（ML）一樣的交叉學科的時候，主要問題是理解這些技術所需要的數學知識的量以及必要的水平。這個問題的答案是多維的，也會因個人的水平和興趣而不同。關於機器學習的數學公式和理論進步正在研究之中，而且一些研究者正在研究更加先進的技術。下面我會說明我所認為的要成為一個機器學習科學家/工程師所需要的最低的數學水平以及每個數學概念的重要性。

1. 線性代數：我的一個同事 Skyler Speakman 最近說過，「線性代數是 21 世紀的數學」，我完全贊同他的說法。在機器學習領域，線性代數無處不在。主成分分析（PCA）、奇異值分解（SVD）、矩陣的特徵分解、LU 分解、QR 分解、對稱矩陣、正交化和正交歸一化、矩陣運算、投影、特徵值和特徵向量、向量空間和范數（Norms），這些都是理解機器學習中所使用的優化方法所需要的。令人驚奇的是現在有很多關於線性代數的在線資源。我一直說，由於大量的資源在互聯網是可以獲取的，因而傳統的教室正在消失。我最喜歡的線性代數課程是由 MIT Courseware 提供的（Gilbert Strang 教授的講授的課程）：

2. 概率論和統計學：機器學習和統計學並不是迥然不同的領域。事實上，最近就有人將機器學習定義為「在機器上做統計」。機器學習需要的一些概率和統計理論分別是：組合、概率規則和公理、貝葉斯定理、隨機變數、方差和期望、條件和聯合分佈、標準分佈（伯努利、二項式、多項式、均勻和高斯）、時刻生成函數（Moment Generating Functions）、最大似然估計（MLE）、先驗和后驗、最大后驗估計（MAP）和抽樣方法。

3. 多元微積分：一些必要的主題包括微分和積分、偏微分、向量值函數、方向梯度、海森、雅可比、拉普拉斯、拉格朗日分佈。

4. 演算法和複雜優化：這對理解我們的機器學習演算法的計算效率和可擴展性以及利用我們的數據集中稀疏性很重要。需要的知識有數據結構（二叉樹、散列、堆、棧等）、動態規劃、隨機和子線性演算法、圖論、梯度/隨機下降和原始對偶方法。

5. 其他：這包括以上四個主要領域沒有涵蓋的數學主題。它們是實數和複數分析（集合和序列、拓撲學、度量空間、單值連續函數、極限）、資訊理論（熵和信息增益）、函數空間和流形學習。

一些用於學習機器學習所需的數學主題的 MOOC 和材料是（鏈接經過壓縮）：

可汗學院的線性代數、概率與統計、多元微積分和優化

布朗大學 Philip Klein 的「編程矩陣：計算機科學應用中的線性代數（Coding the Matrix: Linear Algebra through Computer Science Applications）」：

得克薩斯大學的 Robert van de Geijn 在 edX 上的 Linear Algebra – Foundations to Frontiers：

戴維森學院 Tim Chartier 的新課程 Applications of Linear Algebra；第一部分：，第二部分：

Joseph Blitzstein 的 Harvard Stat 110 lectures：

Larry Wasserman 的書《All of statistics: A Concise Course in Statistical Inference》，下載：

斯坦福大學的 Boyd 和 Vandenberghe 的關於凸優化的課程：

這篇博文的主要目的是給出一些善意的關於數學在機器學中的重要性的建議，一些一些必需的數學主題以及掌握這些主題的一些有用的資源。然而，一些機器學習的痴迷者是數學新手，可能會發現這篇博客令人傷心（認真地說，我不是故意的）。對於初學者而言，你並不需要很多的數學知識就能夠開始機器學習的研究。基本的吸納覺條件是這篇博文所描述的數據分析，你可以在掌握更多的技術和演算法的過程中學習數學。

「在家上學」被叫停 看看國外的家庭教師是啥樣的

溫州大學甌江學院鼓勵學生創新創業 「多元化學習成果」可替代畢業論文

媽媽的 5 句「狠話」，竟讓不聽話的孩子愛上學習

文化對語言影響大 英語學習者易犯的10個錯誤

雲南紮實開展農村黨員冬春訓培訓工作 培訓農村黨員群眾202萬人次

書法藝考受寵：1600餘人搶45個名額 大國小試開書法課

高三女孩學習壓力大上火車離家出走 民警幫找回

2018考研英語-英語二寫作乾貨（二）

加拿大小留學生親述：自由意味著要主動學習

kun放棄聯考計劃：閱讀理解難以逾越