3C科技 娛樂遊戲 美食旅遊 時尚美妝 親子育兒 生活休閒 金融理財 健康運動 寰宇綜合

Zi 字媒體

2017-07-25T20:27:27+00:00
加入好友
1當輸入有小幅擾動時,深度學習方法會失效。例如當顏色改變之後,圖像識別就可能會崩潰。2基於梯度優化的學習是非常慢的(除了慢,對於非凸的問題,梯度下降演算法還可能陷入局部極值) 。需要許多許多步梯度下降才能捕獲模式。高維預測十分困難。3深度學習方法難以處理約束條件。和線性規劃不同,它不能找到滿足約束條件的解。4複雜模型的訓練是十分不穩定的。神經網路圖靈機(Neural turing machines)和 生成式對抗網路常常訓練失敗,它們非常依賴初始的隨機值。5和圖模型不同,深度神經網路和現實世界難以對應。不能提取因果結構。例如,對於影響因素檢測問題。給出議員投票數據集,要檢測關鍵影響因素。在深度神經網路中很難清晰表達。6強化學習方法很難伺候。模型表現十分依賴調參技巧。但是這個問題只在特定條件下出現。7深度學習進行未知實體的推理是十分困難的。比如有一段擊球手的視頻,投手在畫面外。8在深度神經網路技術的世界里,我們尚不清楚怎樣推斷投手的存在。9在線訓練深度神經網路是很難的(參閱上文訓練很慢的部分)。所以很難動態響應。10一般情況下,智能行為都是離線訓練的。11人們常常提到深度網路的可解釋性。我不認為這個問題像人們說的那樣嚴重。但是,人類難以察覺深度網路學到的內容。我們憑什麼保證偏見和種族主義的東西沒有被學習到呢?看看那些講 word2vec模型中的種族主義的文章吧。12深度神經網路在解決邏輯問題上遇到困難。3SAT 求解器功能十分強大,但是很難嵌入到深度網路中。13在處理尺度範圍較大的特徵時,深度神經網路的表現很差。和穩定的隨機森林不同, 深度神經網路需要進行大量的特徵調整。14超參數搜索也很可怕。工程師不但要進行繁重的計算,還需要大量的手工調整結構。這絕不是一份詳盡的清單。所有這些都是值得思考(和進一步研究)的問題。還有一個重要的問題:這些問題是深度網路固有的,還是工程上需要克服的挑戰?講真,這很難說。有一些問題似乎可以解決。更多的硬體設備可以使自動超參數搜索變得可行。一些前期結構可以進行自動歸一化(auto-normalize),處理大尺度範圍數據,所以特徵處理也可以提升。但是,邏輯、約束、隱含層和審查方面的問題可能更為嚴重。不過,我很希望被打臉。深度學習工程師們都才華橫溢,富有想象力。此外,摩爾定律目前對GPU的表現依然有效。(但是能持續多久呢?TPUs 和定製硬體能拯救我們嗎?)所以,我對於這些挑戰還是相對樂觀的。儘管如此,我懷疑深度網路對廣義的智能來說是不夠的。不過這可能是我個人的偏見。專業的工程師在預測方面往往很糟糕。埋頭苦幹太長時間了,以至於只見樹木,不見森林。我並不想把這篇推文寫進論文里。我還不知道是否會有潛在的主題。最後,探索和分析就留給有眼光的讀者們,當作一個練習吧!

本文由yidianzixun提供 原文連結

寫了 5860316篇文章,獲得 23313次喜歡
精彩推薦