Zi 字媒體

1 新智元編譯 編輯：劉小芹【新智元導讀】斯坦福大學CS224n（全稱：深度學習與自然語言處理）是自然語言處理領域很受歡迎的課程，由 Chris Manning 和 Richard Socher 主講。本課程所有教學視頻和課程材料同樣在網上開放可得，新智元帶來每課內容簡介。全部課程視頻（英文字幕）：所有課程資料、PPT等：課程描述講師和助教團隊自然語言處理（NLP）是信息時代最重要的技術之一，理解複雜的人類話語也是人工智慧的重要任務。NLP的應用無處不在，因為人們的日常生活大部分都需要語言交流，例如網頁搜索、廣告、電子郵件、客戶服務、語言翻譯，電台廣播等。為NLP的應用賦能的有大量廣泛的底層任務和機器學習模型。最近，深度學習的方法在許多NLP任務中獲得了非常好的性能。這些模型通常可以通過單個端到端的模型進行訓練，並且不需要傳統的任務特定的特徵工程。在今年春季的NLP課程中，我們將學習實現，訓練，調試，可視化和創建自己的神經網路模型。這門課程為深入學習NLP應用的前沿研究提供了深入的探索。課程最後的項目將涉及訓練複雜的循環神經網路並將其應用於大型NLP問題。在模型方面，我們將涵蓋詞向量表示，基於窗口的神經網路，循環神經網路，長短期記憶模型，遞歸神經網路，卷積神經網路以及一些涉及 memory component 的非常新的模型。通過講座和編程任務，學生將學會令神經網路在實際問題上工作的必要工程技巧。先修要求熟悉 Python 編程語言大學微積分，線性代數（例如MATH 19或41，MATH 51）基本概率和統計知識（例如 CS109 或其他統計課程）CS229（機器學習）的同等知識推薦掌握自然語言處理的相關知識（CS224N 或 CS224U）凸優化卷積神經網路知識（CS231n）內容簡介第1講：自然語言處理與深度學習第1講介紹了自然語言處理（NLP）的概念和當前的NLP研究面臨的問題，然後介紹將詞表示為數字向量的概念，以及設計詞向量的流行方法。關鍵詞：自然語言處理、詞向量、奇異值分解、skip-gram模型、 連續詞袋模型（Continuous Bag-Of-Words，CBOW）、負採樣、 Hierarchical Softmax、Word2Vec第2講：詞向量表示：word2vec第2講繼續討論詞向量的概念，以及流行的設計詞向量的方法。第3講 | GloVe：用於辭彙表示的全局向量第3講介紹了用於訓練詞向量的 GloVe 模型。本講接著通過觀察如何評估詞向量（又稱詞嵌入）來拓展對它的理解。作為評估技術的一種，接著我們討論了詞的類比問題（word analogies），以及如何利用類比來調整詞嵌入。然後我們討論了訓練模型的權重/參數，以及外部任務的詞向量。最後，我們鼓勵用人工神經網路作為自然語言處理任務的一類模型。關鍵詞：GloVe、內部和外部評估、超參數對類比評估任務的影響、人類判斷與詞向量距離的相關性、使用上下文處理歧義、窗口分類第4講：詞窗口分類和神經網路第4講介紹了單層和多層神經網路，以及如何它們進行分類任務。關鍵詞：神經網路、前向計算、反向傳播、神經元單元、最大邊界損失、梯度檢查、Xavier參數初始化、學習率、Adagrad第5講：反向傳播與項目建議第5講討論了如何使用反向傳播這一分散式梯度下降技術來訓練神經網路。第6講：依存分析第6講討論依存分析，這是給定一個輸入句子S，分析其句法依存結構的任務。依存分析器的輸出是一個依存關係樹，其中輸入句子的辭彙與依存關係類型相關聯。關鍵詞：依存分析第7講：TensorFlow簡介第7講介紹了TensorFlow。TensorFlow是一個開源軟體庫，用於使用數據流圖（data flow graphs）進行數值計算。它最初由谷歌大腦團隊開發，用於進行機器學習和深度神經網路研究。關鍵詞：TensorFlow第8講：循環神經網路和語言模型第8講介紹傳統語言模型、RNN，以及RNN語言模型。本講還回顧了一些重要的訓練問題和技巧，用於其他序列任務的RNN，以及雙向RNN（bidirectional RNNs）和deep RNNs。第9講：機器翻譯、LSTM和GRU第9講回顧了前部分課程的重要概念，機器翻譯的概念，以及用RNN模型處理機器翻譯。關鍵詞：語言模型、RNN、雙向RNN、deep RNN、GRU、LSTM第10講：神經機器翻譯和注意力模型第10講介紹了翻譯、機器翻譯和神經機器翻譯，重點介紹谷歌的新 NMT模型，以及基於注意力的序列模型和序列模型解碼器。第11講：門控循環單元和NMT第11講介紹了GRAT / LSTM之類的門控循環單元，然後介紹機器翻譯的評估，處理大量辭彙輸出，以及 sub-word 模型和 character-based 模型。關鍵詞：Seq2Seq、注意力機制、神經機器翻譯，語音處理第12講：語音處理的端到端模型第12講介紹傳統語音識別系統和端到端模型，包括CTC模型（ Connectionist Temporal Classification）和LAS（Listen Attend and Spell），這是一種用於語音識別的序列到序列模型。第13講：卷積神經網路第13講提供了Azure和GPU的一個小教程，然後介紹「Character-Aware Neural Language Models」。本講還提到CNN的一些變體，以及比較了 BoV、RNN、CNN這些句子模型。第14講：樹遞歸神經網路和parsing分析第14講介紹了語義合成性（compositionality）和結構預測，利用一個簡單的樹RNN：parsing。重點介紹「對話生成的深度強化學習」。關鍵詞：RNN、遞歸神經網路、MV-RNN、RNTN第15講：指代消解（Coreference Resolution）第15講通過一個實例來介紹什麼是指代（coreference），涉及的研究是「Summarizing Source Code」，這一研究介紹了指代消解和神經網路指代消解。第16講：用於問題回答的動態神經網路第16講介紹了「是否所有NLP任務都可以被視為問答問題」這一問題。關鍵詞：指代消解、動態神經網路第17講：NLP中的重要問題和NLP的架構第17講介紹了高效樹遞歸模型SPINN和SNLI，重點介紹「Learning to compose neural networks for QA」這一研究。第18講：NLP中深度學習的局限性第18講討論了NLP中深度學習的局限，提供了一些presentations。