什麼是機器學習做不到的呢？

當輸入有小幅擾動時，深度學習方法會失效。例如當顏色改變之後，圖像識別就可能會崩潰。

基於梯度優化的學習是非常慢的（除了慢，對於非凸的問題，梯度下降演算法還可能陷入局部極值） 。需要許多許多步梯度下降才能捕獲模式。高維預測十分困難。

深度學習方法難以處理約束條件。和線性規劃不同，它不能找到滿足約束條件的解。

複雜模型的訓練是十分不穩定的。神經網路圖靈機(Neural turing machines)和 生成式對抗網路常常訓練失敗，它們非常依賴初始的隨機值。

和圖模型不同，深度神經網路和現實世界難以對應。不能提取因果結構。例如，對於影響因素檢測問題。給出議員投票數據集，要檢測關鍵影響因素。在深度神經網路中很難清晰表達。

深度學習進行未知實體的推理是十分困難的。比如有一段擊球手的視頻，投手在畫面外。

在深度神經網路技術的世界里，我們尚不清楚怎樣推斷投手的存在。

在線訓練深度神經網路是很難的（參閱上文訓練很慢的部分）。所以很難動態響應。

一般情況下，智能行為都是離線訓練的。

11

人們常常提到深度網路的可解釋性。我不認為這個問題像人們說的那樣嚴重。但是，人類難以察覺深度網路學到的內容。我們憑什麼保證偏見和種族主義的東西沒有被學習到呢？看看那些講 word2vec模型中的種族主義的文章吧。

深度神經網路在解決邏輯問題上遇到困難。3SAT 求解器功能十分強大，但是很難嵌入到深度網路中。

在處理尺度範圍較大的特徵時，深度神經網路的表現很差。和穩定的隨機森林不同， 深度神經網路需要進行大量的特徵調整。

超參數搜索也很可怕。工程師不但要進行繁重的計算，還需要大量的手工調整結構。

這絕不是一份詳盡的清單。所有這些都是值得思考(和進一步研究)的問題。

還有一個重要的問題：這些問題是深度網路固有的，還是工程上需要克服的挑戰？

講真，這很難說。有一些問題似乎可以解決。更多的硬體設備可以使自動超參數搜索變得可行。

一些前期結構可以進行自動歸一化（auto-normalize），處理大尺度範圍數據，所以特徵處理也可以提升。

但是，邏輯、約束、隱含層和審查方面的問題可能更為嚴重。

不過，我很希望被打臉。深度學習工程師們都才華橫溢，富有想象力。

此外，摩爾定律目前對GPU的表現依然有效。（但是能持續多久呢？TPUs 和定製硬體能拯救我們嗎？）

所以，我對於這些挑戰還是相對樂觀的。儘管如此，我懷疑深度網路對廣義的智能來說是不夠的。

不過這可能是我個人的偏見。專業的工程師在預測方面往往很糟糕。埋頭苦幹太長時間了，以至於只見樹木，不見森林。

我並不想把這篇推文寫進論文里。我還不知道是否會有潛在的主題。

最後，探索和分析就留給有眼光的讀者們，當作一個練習吧！