CICC科普欄目｜Nature：能自主學習的人工突觸，為無監督學習開闢新的路徑

選自Nature

機器之心編譯

參與：蔣思源、劉曉坤

本文經「機器人之心」授權轉載

禁止二次轉載

近日，Nature 發表了一個研究團隊開發的一種能自主學習的人工突觸，它能提高人工神經網路的學習速度。該研究表明記憶就是神經元間相連接突觸的強度分佈所表示，而學習可以通過突觸的重新配置（即可塑性）而實現。這種能自主學習的人工突觸有助於無監督學習的進一步發展。機器之心對該研究進行了簡要介紹，詳細的研究論文請查看 Nature 上的論文。

模擬大腦

人工智慧的發展和進步很大程度上歸咎於人類大腦模擬技術的支持。在信息技術領域中，這樣的 AI 系統被稱作神經網路。包含於神經網路中的演算法可以進行訓練，以模仿大腦識別語言和圖像的模式。然而，運行一個人工神經網路是非常費時費力的。

來自 National Center for Scientific Research (CNRS)（the University of Bordeaux in Paris-Sud）和 Evry 的研究員開發了一種能直接嵌於晶元上的人工突觸，稱為憶阻器（memristor）。這項發明為有快速和節能需求的智能系統的開發鋪平了道路，並且憶阻器可以自主學習。

在人類大腦中，突觸負責在神經細胞之間建立連接。連接強度的強化和學習是由突觸的激活而得到提升的。憶阻器以相似的方式工作，通過在兩個電極之間包裹一層薄薄的鐵電質（可以自發極化）製作而成。在電壓脈衝的作用下，憶阻器的電阻將發生改變，正如神經細胞的工作方式。當電阻較小的時候，突觸連接更強，反之亦然。憶阻器的學習能力正是源於其電阻可調的性質。

更強大的 AI

在過去幾年內，AI 系統得到了令人矚目的發展。通過學習演算法建立的神經網路現在已經能執行過去的人工系統所無法勝任的任務。比如，現在的智能系統可以創作音樂，玩遊戲並打敗人類玩家，或者幫你納稅。有些智能系統甚至可以識別自殺傾向，或者判斷行為的合法性。

這些成就都多虧了 AI 的學習能力，唯一的限制就是學習數據過程中大量的時間和能源的消耗，如果能克服這一點，將成為 AI 進一步發展的跳板。在憶阻器的助力下，學習效率將大大提高，以後的研究工作將延伸到憶阻器上，特別是研究優化函數的方法。作為出發點，研究員成功的建立了一個物理模型以幫助理解憶阻器的工作模式。他們的工作已經發表在 Nature Communications 上。

很快，我們將擁有能媲美我們大腦的學習能力的 AI 系統，或許，它們還能做的更好。

以下是該研究的概要：

在大腦中，學習是通過突觸重新配置神經元間的連接強度（突觸的可塑性）而實現的。在稱之為憶阻器的固態突觸中，電導率可以通過電壓脈衝進行精確的調整，並且根據稱為 spike-timing-dependent plasticity（STDP）的生物學習規則進行演化。未來神經形態架構將包含數十億這樣的納米突觸，這就需要對可塑性的物理機制有一個清晰明確的認識。我們的論文報告基於鐵電質隧道結點（ferroelectric tunnel junctions），並且我們的研究表明 STDP 能從非均勻極化轉換（inhomogeneous polarization switching）中得到處理。通過組合的掃描探針成像、電傳輸和原子尺度的分子動力學（molecular dynamics），我們展示了電導變化能通過成核主導（nucleation-dominated）的域逆轉進行建模。基於這種物理模型，我們的模擬展示了鐵電質納米突觸（ferroelectric nanosynapses）陣列能自主地學習並預測識別模式，這為脈衝神經網路的無監督學習開闢了一條新路徑。

簡介

皮質信息可以從突觸之間的可變連接強度從一個神經元流到另一個神經元。突觸強度的總體分佈為神經網路提供了記憶，而學習可以通過突觸的重新配置（即可塑性）而實現。現已提出了幾種調節突觸強度演化的機制。特別有潛力的是 spike-timing-dependent plasticity（STDP）生物學習規則，它的突觸強度會根據來自近鄰神經元的時間和因果的電信號而發生改變（如圖 1a 中的草圖）。如同在生物系統中觀察的那樣，STDP 能在沒有任何外部控制突觸強度或任何需要處理信息的先驗知識下實現學習。這令 STDP 可以成為自主無監督學習的基礎，因此用人工神經網路實現 STDP 將成為實現自適應電子架構的重要里程碑。

圖 1：基於 FTJs 的人工突觸。

在上圖中，(a) 為通過突觸連接前神經元和后神經元的示意圖。突觸的傳輸可以通過神經元脈衝的因果關係（Δt）而調製。(b) 為鐵電質憶阻器的示意圖，其中 BiFeO3（BFO）的鐵電質隧道勢壘（ferroelectric tunnel barrier）夾在 (Ca,Ce)MnO3 (CCMO) 的底電極和 Pt/Co. YAO 的頂部亞微細粒柱之間。(c) 鐵電質憶阻器的單脈衝 hysteresis loop 展示了清晰的電壓閥值。(d)STDP 在鐵電質憶阻器中的度量。

實驗結果

圖 2：由成核限制（nucleation-limited）的鐵電質域轉換主導的憶阻器。

圖 3：通過鐵電質突觸預測 STDP 學習。

討論

我們現在利用這個物理模型在基於鐵電質突觸的脈衝神經網路中模擬無監督學習。這些模擬將作為測試平台以研究 STDP 信號波形對網路識別圖像模式能力的影響（水平線，對角線和垂直線的條形分別代表 A，B 和 C，如圖 Fig.4a 所示）。模擬網路由一個按 9x5 橫樑（crossbar）排列的鐵電質憶阻器陣列構成（Fig.4a）。9 個脈衝輸入神經元中的每一個都編碼了含噪圖像的一個像素，其中包含了三種模式之一以進行識別。輸出神經元將流經每一列的憶阻器的輸入信號積分，然後在達到閾值的時候激活。Figure 4b 展示了隨著圖像展示的數量的增加，網路的識別率也隨著提高，低噪圖像的識別率達到了 100%，而高噪圖像的識別率也幾乎達到了 80%。Figure 4b 也展示了每一行中 9 個憶阻器中的電導率的變化情況，通過彩色的 3x3 像素圖表示。在網路學習的時候，第 1，2 和 4 行的電導率圖像最後都彙集為三個輸入模式之一，而第 3，5 行的憶阻器電導率仍然保持隨機。經過學習之後，正如 Figure 4c 所說明的，其中的 3 個輸出神經元（在這個例子中是第 1，2，4 個）彙集於三個輸入模式的每一個，並在相關輸入出現的時候激活。我們的研究揭示了，成功的無監督學習相當依賴於訓練前和訓練后的神經元脈衝的確切的信號波形。Figure 4d 展示了，根據之前所示的例子，在經過精心調控訓練后神經元脈振幅在 0.82 到 0.98V 之間后，識別率達到了 100%。然而，當訓練后神經元脈衝波形僅僅稍微低於或者高於那個範圍的時候，識別率迅速下降。我們的模擬強調了對憶阻器的動力學的精確知識的了解的重要性，然後才能據此建立精確的物理模型基礎。

圖 4：通過鐵電質突觸的無監督學習

我們已經確定 STDP 能從鐵電質憶阻器本質上的非均勻極化轉換中獲得利用。結合時間依賴的傳輸測量，鐵電疇成像和高效的哈密頓原子 MD 模擬，我們展示了鐵電質的轉換可以潛在的電阻變化可以通過成熟的成核限制模型來描述。通過這種物理模型，我們可以可靠地預測具有不同神經輸入的鐵電質突觸的電導率變化。這些結果為在未來腦啟發計算中實現數十億的可預測人工突觸（如深度神經網路）鋪平了道路。

如何加入學會

註冊學會會員：

個人會員：

（c2_china），回復「個人會員」獲取入會申請表，按要求填寫申請表即可，如有問題，可在公眾號內進行留言。通過學會審核後方可在線進行支付寶繳納會費。

單位會員：

（c2_china），回復「單位會員」獲取入會申請表，按要求填寫申請表即可，如有問題，可在公眾號內進行留言。通過學會審核後方可繳納會費。

學會近期活動

1.2017首屆全國兵棋推演大賽總決賽

2017年9月25日

長按下方學會二維碼，關注學會微信

感謝關注