從貝葉斯角度，看深度學習的屬性和改進方法

選自arXiv.org

機器之心編譯

參與：蔣思源、吳攀

深度學習是一種高效的非線性高維數據處理方法，它可以更自然地解釋為一種工程或演算法，而本論文希望從貝葉斯的角度將深度學習看作是一種廣義線性模型的堆疊而提供一些新的研究視角和應用方向。論文首先論文首先從將單變數半仿射函數疊加構建高維映射的方法解釋深度學習，然後從深度概率模型、貝葉斯預測器到演算法問題進一步探討其特性。機器之心對本論文的部分內容進行了編譯介紹，更多詳情請參閱原論文。

論文地址：https://arxiv.org/abs/1706.00473

深度學習是一種為非線性高維數據進行降維和預測的機器學習方法。而從貝葉斯概率視角描述深度學習會產生很多優勢，即具體從統計的解釋和屬性，從對優化和超參數調整更有效的演算法，以及預測性能的解釋這幾個方面進一步闡述。同時，傳統的高維統計技術：主成分分析法（PCA）、偏最小二乘法（PLS）、降秩回歸（RRR）、投影尋蹤回歸（PPR）等方法將在淺層學習器（shallow learner）那一部分展示。這些傳統降維方法的深度學習形式可以利用多層數據降維而令性能達到一個較大提升。隨機梯度下降（SGD）通過訓練、優化和 Dropout（DO）能選擇模型和變數。貝葉斯正則化（Bayesian regularization）是尋找最優網路和提供最優偏差-方差權衡框架以實現良好樣本性能的核心。我們還討論了高維中構建良好的貝葉斯預測因子。為了證明我們的方法，我們對 Airbnb 首次國際預訂的樣本進行了分析。最後，我們討論了該研究未來的方向。

1 引言

深度學習（DL）是一種使用分層隱含變數的機器學習方法。深度學習可以看作為一個概率模型，其中條件均值指定為廣義線性模型的堆疊（sGLM）。

深度學習是一個非線性高維數據降維的方案，其理論基礎來源於 Kolmogorov 將多元反應曲面（multivariate response surfaces）表徵為單變數半仿射函數的疊加。深度學習自然上更是一種演算法而不是概率模型，因此我們希望通過提供一個深度學習範式的貝葉斯視角來促進一些方面的理解與研究，如更快的隨機演算法、優化的調參方法和可解釋性模型等方面。

從經驗上來說，深度學習的改進主要來自三個部分：

• 新的激活函數，比如使用 ReLU 替代歷來使用的 Sigmoid 函數

• 架構的深度和採用 dropout 作為變數選擇技術

• 常規訓練和評價模型的計算效率由於圖形處理單元（GPU）和張量處理單元（TPU）的使用而大大加速

1.1 深度學習

機器學習在給定一個高維輸入 X 的情況下訓練一個得到輸出 Y 的預測器。因此，一個學習器就是一種輸入和輸出之間的映射。其中輸出 Y = F (X)，而輸入空間 X 是一種高維空間，即我們可以表示為：

輸出 Y 可以為回歸問題中的連續值或分類問題中的離散值，當然也可以是兩者混合。例如在分類問題中，我們需要學習一個映射 F : X → Y，其中 Y ∈ {1,...,K} 指向不同的類別。因此預測器就可以定義為：

為了構建一個多元函數 F (X)，我們需要一步步構建模塊。首先我們令 f1 到 fl 為單變數激活函數，所以一個半仿射（semi-affine）激活規則就由下方程給出：

給定 L 層，疊加（複合）預測就可以定義為：

因此，給定一定層級數量 L，我們的深度預測器就成為了複合映射：

簡而言之，一個高維映射 F 可以通過單變數半仿射函數的疊加來建模。類似於經典的基礎分解（basis decomposition），該深度方法使用單變數激活函數分解高維輸入矩陣 X。為了選擇隱藏單元（也稱神經元）的數量 Nl，在每一層我們都會使用 dropout。偏置向量是必不可少的，例如我們使用不帶常數項的 b 的函數 f (x) = sin(x) 甚至都不能逼近擬合像 cos(x) 那樣的函數，而一個偏置項（即 sin(x + π/2) = cos(x)）就很容易解決這樣的問題。

現在定義 Z (l) 指代第 l 層神經網路，所以輸入向量 X 就可以表示為 Z(0)。最終的輸出是 Y，其可以是數值型（numeric）或分類型（categorical）。因此，深度預測規則就可以表達為：

其中，圖 1 展示了深度神經網路常用的架構，即前饋網路、自編碼器、卷積網路、循環網路、長短期記憶和神經圖靈機。一旦系統訓練得出了一個高階非零權重矩陣，其中就暗含了一個神經網路結構。

圖 1：深度學習最常見的建模架構

現在定義負對數似然 L 為：

正則項 λφ(W, b) 可以從概率上解釋為參數的負對數先驗分佈：

深度預測器是經正則化的最大后驗估計（MAP）量，其中

2.1 對於模型和變數選擇的 Dropout

Dropout 是一種模型選擇技術，其旨在避免在訓練過程中出現過擬合現象，Dropout 的基本做法是在給定概率 p 的情況下隨機移除輸入數據 X 的維度。因此，探討一下其如何影響潛在損失函數和最優化問題是有啟發性的。

2.2 淺層學習器

幾乎所有的淺層數據降維技術都可以視為由低維輔助變數 Z 和合成函數指定的預測規則所組成：

因此該高維數據降維問題就是尋找 Z 變數並正確地估計層級函數 (f1 , f 2 )。在這些層級中，我們希望不忽視預測輸出 Y 的信息情況下發現低維 Z-結構。

2.3 堆疊的自編碼器

。

3 尋找好的貝葉斯預測器

。

圖 2：樹型核函數和隨機森林核函數

圖 3：50 維度的球體（50-dimensional ball）和蒙特卡羅抽樣結果的二維圖像

圖 4：Y ∼ U(Bp) 的邊緣分佈直方圖，其中 p 為不同的維度數量。

圖 5：由帶有 ReLU 激活函數的三個神經元所定義的超平面。

圖 6：由樹型架構（頂行）和深度學習架構（底行）對三個不同數據集做所得的空間劃分結果

4 演算法問題

4.1 隨機梯度下降

其中 Ek ⊂ {1,...,T } 且 |Ek | 是 Ek 中元素的數量。

當 |Ek | > 1 時，該演算法被稱為 batch SGD 或就是 SGD。一般而言，子集 E 是通過在 {1,...,T } 中循環選取的連續元素，Ek+1 = [Ek mod T ]+1。方向 gk 是使用一個鏈式規則（即反向傳播）計算的，提供了 ∇f (W k· , b k ) 的一個無偏置的估計量。具體來說，我們有：

在每次迭代，SGD 會更新解

4.2 學習淺層預測器

傳統的因子模型（factor model）才用 K 個隱藏因子 {F1 , F2 ,..., Fk } 的線性組合：

其中因子 Fk 和權重 Bik 能通過及解以下方程而得出：

其中 l 等於 1 或 2，即可用 L1 范數或 L2 范數。現在我們最小化重構誤差（即精度）並加上正則化罰項以控制其他樣本預測的方差-偏差均衡。現有很多演算法可以高效地解決這類問題，比如說如果採用 L2 范數和高效的激活函數就能將模型表徵為神經網路模型。

5 應用：預測 Airbnb 預訂

為了闡釋這種深度學習範式，我們使用了一個由 Airbnb 提供給 Kaggle 比賽的數據集來進行我們的實驗分析。實驗目標是構建一個預測模型，使之能夠預測一個新用戶將會在哪個國家進行他或她的首次預訂。

圖 11：深度學習模型的預測準確度。(a) 給出了當僅使用預測的目的地時的預測準確度；(b) 給出了當預測國家是被預測列表中的前兩位時，正確預測所佔的正確比例；(c) 給出了當預測國家是被預測列表中的前三位時，正確預測所佔的正確比例

圖 12：由 XGBoost 模型識別出的 15 個最重要的特徵

6 討論

深度學習可被視為高維非線性數據降維方案。而基於深度學習的貝葉斯概率模型是一種疊加的廣義線性模型（GLM）。因此，其成功地闡明了使用 SGD 訓練深度架構，但同時 SGD 又是一種一階梯度方法，所以尋找到的后驗模式仍然是很高維度的空間。通過採用預測性的方法（其中正則化起到了很大的作用），深度學習取得了成功。

下面展示了許多貝葉斯深度學習以後可能會應用的領域：

• 通過將深度學習概率性地看作有 GLM 疊加的模型，我們打開了許多統計模型的思路，包括指數簇模型（exponential family model）和異方差誤差（heteroscedastic errors）等。

• 貝葉斯層級模型和深度學習有很多相似的優勢。貝葉斯層級模型包括額外的隨機層，因此也提供額外的可解釋性和靈活性。

• 另一個途徑是組合近端演算法（combining proximal algorithms）和 MCMC。

• 通過鏈式法則（即反向傳播演算法）可以很容易獲得梯度信息，如今有很好的隨機方法擬合現存的神經網路，如 MCMC、HMC、近端方法和 ADMM，它們都能大大減少深度學習的訓練時間。

• 超參數調節

• 相比於傳統貝葉斯非參數方法，在貝葉斯非參數方法中使用超平面應該產生良好的預測器。

• 深度學習在計算機軟體有很好的應用，其可以用於貝葉斯計算（純 MCMC 模型計算太慢）。

• 用於調整超參數和最優化有更好的貝葉斯演算法。Langevin diffusion MCMC 、proximal MCMC 和哈密頓蒙特卡羅方法（HMC）可像 Hessian 信息那樣用導數表示。

我們不會搜索整個價值矩陣而希望得到均方誤差，但我們可以對這些參數進一步添加正則項罰項，並將其整合到演算法中。MCMC 方法在過去 30 年中有很大的發展，在給定高性能計算下，我們現在可以在大數據集上實現高維后驗推斷，貝葉斯推斷現在也有同樣的優勢。此外，我們認為深度學習模型在很多應用場景下有很大的潛力。例如在金融中，深度學習是一種非線性因子模型，每一層捕捉不同的時間尺度效應（time scale effects），時空數據（spatio-temporal data）也可以視為在空間—時間上的圖像，深度學習就提供了一種用於恢復非線性複雜關係的模式匹配技術。

本文為機器之心編譯，轉載請聯繫本公眾號獲得授權。

加入機器之心（全職記者/實習生）：[email protected]

投稿或尋求報道：[email protected]

廣告&商務合作：[email protected]