深度神經網路（DNN）是否模擬了人類大腦皮層結構？

• 本文來源於網路

• 本文由數據之王（ID：shujuzhiwang）編輯整理，版權歸原作者Harold Yue所有

• 數據之王（ID：shujuzhiwang）由大中華大數據協會運營，如有邀約合作，首頁回複合作需求，我們將及時回復

我是生物大學部，認知神經科學研究所在讀，課餘時間比較喜歡編程和機器學習，正在自學，了解的稍微多一些。我試著從我的角度來說下我看到的深度學習和神經科學的聯繫。

深度學習和神經科學這兩個學科現在都很大，我的經歷尚淺，如果大家發現哪裡說得不太對，歡迎提出指正，謝謝！

那我們就自底往上說。

在深度學習領域，神經元是最底層的單元，如果用感知機的模型， wx + b, 加上一個激活函數構成了全部，輸入和輸出都是數字，研究的比較清楚，別的不說，在參數已知的情況下，有了輸入可以計算輸出，有了輸出可以計算輸入。

但在神經科學領域，神經元並不是最底層的單位，舉例來說，有人在做神經元膜離子通道相關的工作。一個神經元的輸入，可以分為三部分，從其他神經元來的電信號輸入，化學信號輸入，還有編碼在細胞內的信號（興奮，抑制類型，這裡可以類比為 激活函數？），輸出也是三個，電輸出，化學輸出，改變自身狀態（LTP 長時程增強, LTD長時程抑制）。

我們是否足夠了解神經元？ 我個人十分懷疑這一點，前幾天還看到一個關於神經元的進展，大意是神經元不僅能對單一信號產生反應，還能對一定一定間隔的信號產生反應。 神經元的底層編碼能力其實更強。我們神經科學發展了這麼久，可能真的連神經元都沒真正的搞清楚。

在這另外說一句，深度神經網路裡面，大部分節點都是等同的，但是在人類神經網路裡面，並不是這樣。不同的腦區，甚至腦區內部，神經元的形態都可以有很大的差異，如V1內部的六層就是基於神經元形態的區分。從這個角度，人類神經系統要更複雜一些。我個人並不否認每一種神經元可以用不同初始化參數的節點來代替，但是目前來說，複雜度還是要比深度神經網路要高。

再說編碼方式，神經科學裡面的神經元是會產生0-1 的動作電位，通過動作電位的頻率來編碼相應的信號（腦子裡面的大部分是這樣，外周會有其他形式的），而人工神經網路？大部分我們聽到的，看到的應該都不是這種方式編碼的，但是脈衝神經網路這個東西確實也有，（今天去ASSC 開會的時候看到了一個很有趣的工作，以後有空再寫。）

神經網路的結構

目前的深度神經網路主要是三種結構，DNN（全連接的），CNN（卷積）， RNN（循環）。還有一些很奇怪的， 比如說Attention 的？不好意思，文章還沒看，不敢亂說……

放點圖：

DNN:

出處： AlexNet

RNN：

出處： Understanding LSTM Networks

神經科學裡面的網路結構，此處以V1 為例：

Adaptation and Neuronal Network in Visual Cortex

和大家想的不同，視覺區分了V1，V2，V3，V4，V5（MT），上面還有FFA， 和一些掌管更高級功能的腦區。在這裡面每一個小的視皮層裡面，並不是純由神經元互相連接構成的，仍然存在不同的層級結構。這裡去google 找了一張圖，不用管具體的文章，主要說明的是V1 的精細結構和連接關係。V1 的主要功能是識別點和不同角度的線段（Hubel 和W 在上世紀50年代在貓上的工作），但是其實不止如此，V1 還對顏色有一定的感知。

如果在這個層面作比較，我自己的理解是，人類神經網路是 DNN+ CNN + RNN 再加上脈衝作為編碼方式。層內更像DNN， 層間和CNN 很類似，在時間上展開就是RNN。

好，我們繼續。

深度神經網路的訓練方式主要是 反向傳播，從輸出層一直反向傳播到第一層，每一層不斷修正出現的錯誤。但是大腦裡面並沒有類似反向傳播機制，最簡單的解釋，神經元信號傳遞具有方向性，並沒機會把信號返回上一層。舉個例子，我要拿起手邊的杯子，視覺發現向右偏移了一點，那我會自然而然的移動整個手臂向左一點，然後試著去重新抓住杯子。好像沒人是讓手指，手，最後是手臂朝杯子移動，甚至多次才能最後成功吧。在此引用下一篇文章裡面的圖。

來源文章： Towards Biologically Plausible Error Signal Transmission in Neural Networks

我們的大腦，更像最後 DFA 的原理。出錯了，把誤差送到一個更靠近輸入的地方，然後重新訓練。

提到記憶的話，這裡主要說的是LSTM， LSTM 的記憶儲存在每個節點的權重裡面，同時有專門的 遺忘門 控制遺忘速率。這些都是以數字的形式存儲的。在神經系統裡面，記憶的存儲是由一些腦區的突觸的形成和消失來存儲的。其實他們有一個比較共通的地方在於，他們在訓練過程中都是漸變的。得益於反向傳播機制和 神經系統的生物性，他們在訓練過程中和在不斷的學習過程中都只能以一個相對慢的速度發生改變，從學習速率角度來講，他們是比較相似的。

然後我們來說遺忘。遺忘在LSTM 裡面是通過門來控制的，在神經系統裡面，我覺得是和STDP相關的，它的基礎是 Hebb 假說， Fire Together， Wire Together， 同步放電的神經元傾向於建立一個更強的連接。STDP 拓展了這一點，考慮了兩神經元放電的先後順序帶來的影響。

來源：

Synaptic Modification by Correlated Activity: Hebb's Postulate Revisited

簡單來說，如果突觸前神經元放電先於突觸后神經元（神經元信號傳導具有方向性，從突觸前到突觸后），這個突觸會進入一個LTP 長時程增強狀態，會對來自突觸前的信號有更強的反應。反之，如果突觸前神經元放電後於突觸后，則會進入一個長時程抑制的狀態（說明他倆並沒有接收到相同來源的信號，信號不相關），一段時間的反應更弱。

深度神經網路裡面門的權重也是 反向傳播訓練出來的，也有漸變的這個性質，當對於快速變化的刺激，有一定的滯后。從這個角度來說，人類神經系統要更靈活一些，可以在很短的時間內完成狀態的切換。

覺得想說的大概就是這些，因為我自己做的研究是 視覺注意，更多在人身上做，所以對於中間的環路級別的研究，並不是特別的熟悉。再往上，談到人類大腦皮層的工作，個人覺得做的十分的有限，對於大部分腦區，我們並不知道他們是怎麼工作的，只是能把不同的腦區和不同的功能對應起來（還不一定準）。在這個角度上談他們的異同是不太負責的，容易被打臉。

接下來我會試著邀請幾個朋友來說下環路這個級別的事情，然後會找其他同行幫我挑錯和補充。很多東西都是按照記憶寫的，一些東西不一定準確。

正如在提綱裡面提到的。 對的答案往往類似，而錯誤的答案各有不同。地球上這麼多高等的生命都有類似的底層網路結構，而其中的一種還發展出了這麼偉大的文明，神經網路這個結構，至少已經被我們自己證明是一種有效的形式。但是是不是智能這個形式的全局最優解？我個人持懷疑態度。

神經網路是一個有效的結構，所以大家用這個結構做出一些很好的結果，我一定都不吃驚。但是如果談模擬的話，就是儘力要往這個方向靠。這點上，我個人並不是十分看好這種方式。我們向蝙蝠學慣用聲音定位，發展的聲吶無論是距離還是效果都遠超蝙蝠。我們能超過蝙蝠的原因，第一是我們的技術有拓展性，底層原理共通的情況下，解決工程和機械問題，我們可以不那麼輕鬆但是也做到了探測幾千米，甚至幾十公里。第二個原因就是我們需要而蝙蝠不需要，他們天天在山洞裡面睡覺。哪用得著探測幾十公里的距離，探到了也吃不著。

其實人類大腦也很類似，大腦是一個進化的產物。是由環境不斷塑造而成的，人為什麼沒進化出計算機一樣的計算能力，因為不需要。但是其實反過來也有一定的共通的地方，大腦裡面的一些東西，我們也不需要，我們千百年來忍飢挨餓進化出的 對於脂肪攝入的需求，在兒童時期對於糖類攝取的需求。這麼說的話，我們對於大腦，同樣去其糟粕，取其精華不是更好嗎？

我上面提到的是一個理想的情況，我們對大腦已經了解的比較透徹的，知道該去掉哪，留下哪。。但是現在，可能還要走一段模擬的路子。

大概就是這個觀點。 總結一下，就是， 深度神經網路和大腦皮層有共通的地方，但是並不能算是模擬。只是大家都找到了解題的同一個思路而已。

數據之王

（ID：shujuzhiwang）

——貢獻數據智慧，釋放全球數據價值

公眾號運營：大中華大數據協會