【專著】神經網路徹底改變 NLP 面貌，但遠非終極解決方案

新智元編譯

新智元為COO和執行總編提供最高超百萬的年薪激勵；為骨幹員工提供最完整的培訓體系、高於業界平均水平的工資和獎金。加盟新智元，與人工智慧業界領袖攜手改變世界。

簡歷投遞：j[email protected] 13552313024

【新智元導讀】Bar-Ilan University 計算機科學系的高級講師 Yoav Goldberg 在他的專著《 NLP 的神經網路方法》中，不僅比較全面細緻地介紹了神經網路模型在自然語言處理中的應用情況，並且在詳盡梳理之後，明確指出：神經網路方法的引入已經成為 NLP 的變革力量，徹底改變了包括機器翻譯在內的多項自然語言處理任務的面貌，但神經網路不是自然語言理解和生成的終極解決方案。雖然比前一代基於統計學的 NLP 技術提高了很多，然而核心問題仍然存在：語言是零散且模糊的，我們對其工作原理的理解並不夠，而沒有人類的指導，神經網路自身無法學習語言中所有的細微之處。

作為以色列 Bar-Ilan University 計算機科學系的高級講師，Yoav Goldberg 已經專註於 NLP 領域 10 多年了。最近他正式出版了他 309 頁的綜述專著《 NLP 的神經網路方法》 。我們為您摘譯了這本專著開頭的「內容簡介」和全書結尾「面對的挑戰」兩部分。最後附上了全書的目錄，供您參考。

專著關鍵詞：

自然語言處理，機器學習，有監督學習，深度學習，神經網路，詞嵌入，循環神經網路，序列到序列模型

神經網路是機器學習模型中一個強大的家族。本書聚焦神經網路模型在自然語言數據上的應用。前半部分（第一部分和第二部分）涵蓋了有監督機器學習和前饋神經網路的基礎知識，使用機器學習處理語言數據的基礎知識，以及基於向量而非符號的表示的使用，同時也包括了計算圖提取，它允許輕鬆定義和訓練任意神經網路，並且是當下神經網路軟體庫設計的基礎。

本書的後半部分（第三部分和第四部分）介紹了更多的專門的神經網路架構，包括 1D 卷積神經網路、循環神經網路、條件生成模型和注意力模型。這些架構和技術是機器翻譯、句法分析和其他許多應用程序背後最先進演算法的推動力。最後，我們還討論了樹形網路、結構化預測和多任務學習的前景。

神經網路方法的引入已經成為 NLP 的變革力量。它促成了從帶有重特徵工程（特別是補償和特徵組工程）的線性模型到進行特徵組學習的多層感知器的轉移（如本書第一部分所述），到像卷積神經網路這樣可以識別可泛化 ngrams 和 gappy-ngrams 的架構的轉移（如第13 章所述），到像 RNN 和雙向 RNN 這樣可以識別任意長度序列中微妙模式和規律的架構的轉移（第14-16 章），以及到可以表示樹的遞歸神經網路的轉移（第18 章）。它們還帶來了基於分佈相似性的將詞編碼為向量的方法——這對於半監督學習非常有效（第 10-11 章），以及非馬爾可夫語言建模的方法——它為柔性條件語言生成模型鋪平了道路（第 17 章），並徹底改變了機器翻譯。神經方法也為多任務學習提供了許多機會（第20章）。更重要的是，預神經（pre-neural）結構預測技術可以很容易地適應於基於神經網路的特徵提取器和預測器（第 19 章）。

總體來說，這一領域進展迅速，很難預測未來會發生什麼。但在我看來，至少有一件事是很清楚的——神經網路不是自然語言理解和生成的終極解決方案。雖然比前一代基於統計學的 NLP 技術提高了很多，但核心問題仍然存在：語言是零散且模糊的，我們對其工作原理的理解並不夠，而沒有人類的指導，神經網路自身無法學習語言中所有的細微之處。

本書導言中提到的難題在神經技術中同樣一直存在，而第 6 章中提到的對語言概念和來源的熟悉度，也始終和設計良好的語言處理系統一樣重要。引入神經網路技術后，許多自然語言任務的實際表現——即使只是面對指代模糊和邊界模糊這樣低水平且似乎簡單的問題——也遠遠稱不上完美。設計一個針對這樣低水平語言理解任務的學習系統，和引入神經 NLP 方法之前一樣，仍然是一個重要的研究挑戰。

另一個重要挑戰是學習特徵的不透明，以及架構和學習演算法背後缺乏嚴謹的理論支撐。研究神經網路表徵的可解釋性，以及更好地了解各種架構的學習能力和訓練過程，對進一步的發展至關重要。

在撰寫本書時，神經網路本質上仍然是有監督學習方法，並且需要相對大量的標記訓練數據。雖然使用預先訓練的詞嵌入為半監督學習提供了便利的平台，但我們仍處於有效利用未標記數據、減少對註釋樣本依賴的初級階段。請記住，人類通常可以從為數不多的例子中歸納出模式，而神經網路一般需要至少數百個標記樣本，才有可能表現良好，即使在最簡單的語言任務中也是如此。尋找有效的方式來利用少量的標籤數據以及大量未註釋的數據，並且做到跨領域的泛化，可能會導致該領域的另一次轉變。

最後，本書也簡單地談到了，語言並不是孤立的現象。當人們學習、理解和產生語言時，他們以參考現實世界的方式做到這一點，而話語往往基於現實世界的實體或經驗。在環境中學習語言，比如輔以圖像、視頻、機器人移動控制等方式，或是整合成為智能體的一部分，和真實世界互動並完成實際目標，這可能是另一個比較有前景的研究前沿。

新智元招聘

新智元日前宣布，獲6家頂級機構總額達數千萬元的PreA輪融資，藍馳創投領投，紅杉資本基金、高瓴智成、藍湖資本 、藍象資本跟投。本輪融資將用於新智元團隊規模擴充並增加新產品服務線，目標打造 To B 的人工智慧全產業鏈服務平台。

職位：總編

職位年薪：30 - 100 萬（工資+獎金）

工作地點：北京-海淀區

所屬部門：編輯部

彙報對象：CEO

下屬人數：9 人

年齡要求：25 歲至 40 歲

性別要求：不限

工作年限：5 年

語言：英語 + 普通話

學歷要求：碩士以上

職位描述：

• 熱愛人工智慧和媒體事業；

• 深入把握國內外 AI 市場競爭格局、技術發展趨勢和用戶需求；

• 具有 5 年以上媒體采編經驗，在業內有一定影響力及人脈；

• 英文閱讀寫作及溝通能力優異；

• 很強的抗壓能力和自驅力，能在競爭激烈的環境下激勵團隊；

• 具有創業精神及團隊精神，有恆心肯吃苦；

• 理工科背景優先，有知名企業或知名媒體機構工作經驗者優先。

全權負責包括微信公眾號在內的各平台內容策劃、生產與運營，對內容質量、閱讀體驗、數據增長負責。具體負責完成對微信公眾號內容定位和規劃，策劃執行重點選題，建立和維護供稿作者資源；監控公眾號各項數據指標變動，並以此為基礎改進提升內容質量，增加核心受眾群體。管理編輯團隊，與其他部門經理協作溝通，配合公司整體業務。

應聘郵箱：[email protected]

新智元歡迎有志之士前來面試，更多招聘崗位請點擊閱讀原文查看。