Facebook加入
LINE加入
2021/12/25
雞友們，有福了。小雞接下來將為您帶來深度學習數學基礎系列課程，本文是第二講。
適合人群：0-3歲的機器學習工程師
課表：
深度學習數學：講座1- 簡介及深度網路的普遍性
深度學習數學：講座2 - 深度分離
深度學習數學：講座4 - PAC學習與深層網路
深度學習數學：講座5 - 隨機稀疏網路等
深度學習數學：講座6 - 簡單分層模型
定理(Rossman,Servedio, Tan): 存在可以用深度d的由AND，OR和NOT門構成的線性公式來計算的函數，使得任何深度為d-1 的電路在輸入為
時可以以的大小去擬合函數f。問題：我們可以對deepnets給出一個類似的結論么？
上次我們討論了下如下的分離結果。
－在被支撐，並且可以通過寬度為poly(d)的三層網路來表現。的兩層網路支撐的函數f，滿足
今天討論一個更簡潔的方法2或3分離結果，這個能產生更強的結果。
Danielly』s模型：
Danielly』s模型構造如下。從Sd-1選擇統一的x和x』（例，根據Haar測度）使得f(x, x』)=g(x, x』)。輸入（x，x』），深度l層的網路有以下形式：
L = 2, wσ(W1x + W2x』+ b1) + b2;
L = 3, wσ(W2σ (W1x + W2x』+ b1) + b2) + b3;
現在我們證明如下定理。
定理：若函數是L－Lipschitz，那麼存在一個三層的F可以代表f，F寬度為O(d2L/ϵ)，權重被限制在O(1+L)並且||f – F||∞<=ϵ.
這闡明了「3的魔力」。直觀地，我們可以看見二次方程比線性方程更強的力量。至少對於以下這一具體方面。
我們可以使用以下具有一般性的深度為1的網路的輔助定理開始。
定理：如果f在[-R, R]區間內對於任意ϵ>0是符合L-Lipschitz條件的，那麼可以選擇
對f做如下近似：|| f(x) – f(0) –αiσ(γi - βi)||∞<=ϵ, m <=
d
定理證明：重新分區間隔，注意利普希茨條件指出圖像沒有與直線偏離很多。
如下的章節將會給出定理的證明，並且可以給出一個更低的界。
上界
我們開始展示了函數可以被深度為3的網路很好地近似：
這說明2層網路可以很好的近似<x, x』>。我們也可以計算σ(<x, x』>)來作為一個與前面幾層的線性組合。這與定理的相結合可以給出我們期望的結論2.。
下界
我們也想展示一個可以很好近似方程的深度2的網路寬度會很大。我們通過思考下面的問題來分析：
問：什麼是<x, x』>的分佈？
近似：旋轉不變性指出：
D(<x, x』>) = D』(<x,r>) = D(<x, e1>) = D(x1)
注意著對於確定的x』，和隨機的x那麼這個結論也是正確的。
均勻分佈的隨機向量的獨立元<x, ek>在時可以近似高斯分佈。一個在統一的隨機向量在x接近高斯d——>的個體組成。當然，
是t-statistic分佈（在會逼近向高斯分佈）。如果其中一個向量x, x』是固定的，也有同樣的結論。因此，如果g = ψ(<v,x>,<v^',x'>)，那麼
並且若，那麼
這裡d(m*m)表示Haar測度。
這裡有
，
現在定義
，
以下事實是解決問題的關鍵：
也就相當於
做形式變換有：
更低下界的想法：
現在我們討論下怎樣得到想要的更低的下界。
擴展並且選擇「雜訊敏感」f是。例，有很多更高的傅立葉等級的雜訊。 其他的證明還需要假設對於一個較大的n有（儘管hn是一個Lip函數，但是我們可以找到一個在更高等級上有很多權重的函數）。我們想要或bj在時足夠大。否則，存在一個j使得。注意到如果hn和接近，那麼我們需要至少有一個j在這個j上有。
現在我們計算<gj,f>，觀察得到
因此，
所以m足夠大或者足夠大。注意，沒有以下兩點那麼我們得到的近似就是不好的：-寬度或
-最大權重開放性問題： 1大的權重就可以解決近似問題嗎？2不用Haar測度，這個近似可以直接在Gaussian空間被計算嗎？我們失去了旋轉不變數,但奇怪的是是我們用接近高斯測度的測度不能直接在高斯空間里證明它。
Kane-Williams模型
閥值門定義如下：
定理：存在函數可以被計算如下：-但是要求由2層電路輸入時，保證至少的門在.5+上準確計算基本的單元閥值是我們假定一個在上的均勻分佈。
Meta-問題：我們可以利用模型(例，之前的結論)之間的約簡來得到一個二元問題的更好的分離嗎？
不完全回答：由複雜性理論，比poly(n)更好是不可能的。
問：我們可以用之前的結論代替新的激活嗎？
證：首先定義函數
是一個Mux函數生成。然後
這裡是這段字元串的奇偶校驗位。
要求1:M可以被深度2用的門計算。
要求2:奇偶性可以被閥值門計算。
要求2的證明：令
現在我們向更低的界做進一步了解。
定理：對於除了的所有Boolean函數，沒有大小小於的深度2 的網路可以在輸入比多時擬合函數f。
定理的簡單證明：閥值函數的數量小於，但是函數的總量是。就是說一般沒有那麼多閥值函數。並且，對於多數在的Boolean函數f，一個2層的大小的網路不能很好近似f。
會到定理的證嗎上，這個想法是生成一個隨機函數，允許我們引用多數函數不能很好的近似f這個定理。這裡有結論：
隨機得到一個x
對每個模塊ai，除了一個坐標隨機外，固定所有坐標
生成一個k個變數的隨機函數
問：一個通過隨機給定所有位的2層的網路是什麼樣的？
直觀回答：一旦足夠的位固定好了，多數門會變成常數然後死掉。然後我們留下一個更小的不能很好近似f的網路。
主要定理：一個隨機邏輯限制門可以在至少為概率下給出一個常函數。因此，仍然存在的門的數量是，這個數量不足以表示一個隨機函數。
PAC學習
我們要用PAC學習的定義來結束這門課。我們有一個Xn空間並且想研究函數
。令C為這些函數的類。定義： C是對於所有，所有Xn上的分佈D為PAC可學習的類。存在一個演算法A使得給定樣本：有大於的概率，A返回一個函數使得並且A在里運行。這裡，是一個全局參數，是概率誤差。重磅 ‖ 一篇文章暢行自動駕駛，全維度資源合集
乾貨 ‖ 入門數據科學的65個免費資源
加入「AI從業者社群」請備註個人信息，添加小雞微信 liulailiuwang
熱門推薦
留言回覆
