乾貨分享|基於事件的金融市場預測研究

1 前言

金融市場的預測研究可以追溯到 1937 年前後約翰 • 梅納德 • 凱恩斯（ John Maynard Keynes）[1]在研究不確定性問題時提出的選美理論，即在金融市場投資問題上，不要去買自己認為能夠賺錢的金融品種，而是要買大家普遍認為能夠賺錢的品種，哪怕那個品種根本不值錢，也就是說投機行為就是建立在對大眾心理的猜測上。基於事件的預測則是從較為客觀的事實角度出發進行預測。新聞媒體中報道的一些事件會對人們的決策產生影響，而人們的決策又會影響到他們的交易行為，這種交易行為最終會導致金融市場的波動。例如： Facebook 公司 2014 年第三季度業績超出預期水平，股價數小時內大漲 10%。重要事件都會導致股票市場的劇烈震動，如果能夠及時準確地獲取這些重要事件勢必會對金融市場波動的預測起到重要幫助作用。

2 相關工作

1965 年尤金 • 法瑪（ Eugene F. Fama）提出了有效市場假說（ Efficient Market Hypothesis）[2]，他認為金融產品的價格可以充分反映出關於該資產可獲得的所有信息，即「信息有效」，而每個人都一定程度上可以獲得這些相關信息。這一假說可以作為基於事件抽取的股市預測的理論基礎，因為企業發生的事件是與其最相關的信息，而且也是大眾普遍可以獲取到的信息。金融市場的預測研究可以分成兩個不同的研究方向，一是時間序列交易數據驅動的金融市場預測，二是文本驅動的金融市場預測。

時間序列交易數據是最早用於建立預測模型的一類數據，主要包括股票歷史價格數據、歷史交易量數據、歷史漲跌數據等。傳統的金融市場預測研究中，金融領域學者多從計量經濟學的角度出發進行時間序列分析，進而預測市場的波動情況。近年來，隨著計算機領域學者尤其是自然語言處理領域學者對該研究課題持續地關注，更加豐富的信息被挖掘和利用。新聞報道以及社會媒體中的文本內容被證明會直接或間接地影響金融市場波動。文本驅動的金融市場預測主要是挖掘新聞報道和社會媒體中報道的客觀事實以及大眾的情感波動。前人的很多研究工作表明金融領域新聞會一定程度上影響股票價格的波動。大衛 • 卡特勒（ David M Cutler, 1988）[3]是最早研究新聞報道文本與股票價格之間關係的學者之一，自此以後自然語言處理技術逐漸被引入到金融市場預測中來。而早期被應用在文本表示的技術主要是基於詞袋模型（ Bag-of-words）。但是，舒馬赫（ Schumaker）和陳（ Chen）[4]，以及謝（ Xie）[5] 等人在後續的研究中指出，基於詞袋模型的文本表示方法並不是最優方案。舒馬赫（Schumaker）和陳（ chen）嘗試抽取文本中的命名實體和名詞短語來擴展詞袋模型。謝（ Xie）等人提出基於語義框架挖掘出更加豐富的文本特徵。

另外一方面，除了從文本中挖掘客觀事實外，有些學者還嘗試對文本內容進行情感分析。博倫（ Bollen）[6]等人是較早利用社會媒體上大眾的情緒波動來預測股市波動的學者。另外， Si 等人[7]通過對文本內容表現出來的積極情感和消極情感對股市波動進行預測。基於情感分析的金融市場預測主要是從主觀情感角度出發進行預測，而基於事件的金融市場預測則是從客觀事實角度出發進行預測，二者可以相結合，優勢互補，取得更加精準的預測結果。

3 基於事件的股票預測

以往工作存在一個共性的問題，沒有捕捉到文本中的結構化信息，而這一信息對於股票漲跌預測非常重要。例如，「甲骨文公司訴訟蘋果公司侵權」，如果用詞袋模型進行表示，則可以這樣表示「甲骨文」，「訴訟」，「蘋果」，「侵權」，……。由於沒有結構化信息，因此，我們不清楚是甲骨文公司訴訟谷歌公司，還是谷歌公司訴訟甲骨文公司，因此，也就很難判斷出哪個公司的股價會上漲，哪個公司的股價會下跌。我們提出利用結構化的事件去預測股票漲跌，上面的例子，如果用結構化的事件來表示，這可以表示成這樣 (施事：「甲骨文」 ), (行為，「訴訟」 ), (受事：「谷歌」 )。由此，我們就能夠清晰地知道是甲骨文公司訴訟谷歌公司，因此，谷歌公司的股價有可能受影響而下跌，而甲骨文公司有可能會上漲。

3.1 事件表示學習

由於傳統的 One-hot 高維特徵表示方式會使得事件特徵異常稀疏，從而不利於後續的研究和應用，因此，我們提出了三種全新的事件表示方式。第一種離散模型是基於語義詞典對事件元素，進行泛化，進而緩解事件的稀疏性。第二種連續向量空間模型則為每一個事件學習一個低維、稠密、實數值的向量進行表示，從而使得相似的事件具有相似的向量表示，在向量空間中相鄰。第三種模型在連續向量空間模型的基礎上引入外部知識，進一步增強了事件向量的表示能力。

3.1.1 基於離散模型的事件表示學習方法

由於歷史上發生的事件大多數都很難以再次發生，因此會導致事件具有嚴重的稀疏性，離散模型的目標是對同一事件的不同表達進行歸一和泛化。例如，「微軟以 72 億美元價格吞併諾基亞移動手機業務」和「微軟出資 72 億美元收購諾基亞移動手機業務」表達的是同一事件。為了完成這一目的，我們[8]利用兩個廣泛應用的語義詞典 WordNet 和 VerbNet 對事件元素進行泛化。具體而言，泛化過程包含兩個步驟。首先，本文從 WordNet 中找到事件的施事者和受事者中名詞的上位詞將其泛化。例如，本文利用「微軟」的上位詞是「IT 公司」將其替換掉。隨後，本文找到事件元素中的動詞，並用 VerbNet 中該動詞所屬類別的名詞替換掉改動詞，從而對其進行泛化。例如，「增加」在 VerbNet 中所屬的動詞類別名稱為 multiply。下面給出一個事件泛化的完整例子，給定句子「Instant view: Private sector adds 114,000 jobs in July.」，可以抽取出事件（ Private sector, adds, 114,000 jobs）將其泛化后的結果是（ sector, multiply class, 114,000 job）。類似方法也曾被 Radinsky[126] 提出用來做因果事件預測任務上。

3.1.2 基於連續向量空間模型的事件表示學習方法

離散模型方法簡單且有效，但是也存在著兩個重要的局限性：其一，WordNet， VerbNet 等語義詞典詞覆蓋有限，很多詞難以在語義詞典中找到相應記錄。其二，對於詞語的泛化具體到哪一級不明確，對於不同應用可能會有不同要求，很難統一。此外，即使對事件進行了泛化還是無法解決One-hot 的特徵表示帶來的維度災難（ curse of dimensionality）問題。由此帶來的特徵稀疏問題，會導致後續的應用難以取得較好結果。並且超高維度的特徵空間也會消耗大量的實驗時間和空間存儲，增加了計算成本。

基於以上的分析，我們[9]設計了一個全新的張量神經網路來學習事件的結構化向量表示，事件的每一個元素及其所扮演的角色都會被顯式地建模學習。如圖4-5所示，兩個張量和被分別用來建模學習施事者與事件詞P以及受事者與事件詞P之間的關係。 和則被用來分別生成兩個事件角色相關的向量和。第三個張量則被用來將和進行最後的語義合成並生成事件最終的向量。

Figure 1: 基於張量神經網路的事件表示學習

3.2 融入背景知識的事件表示學習方法

事件的向量表示能夠學習到事件中包含的語義信息，緩解離散事件的稀疏性，但是也存在一定的局限性。一方面，對於句法或語義上相似的事件，如果它們不包含相似的詞向量，那麼事件的向量表示可能無法捕獲它們時間的相似關係；另一方面，如果兩個事件包含相似的詞向量，例如「 Steve Jobs quits Apple」和「 John leaves Starbucks」，可能具有相似的向量表示即使它們毫無關聯。其中一個重要原因是，在訓練事件表示時缺少背景知識。如果我們知道「 Steve Jobs」是「 Apple」的 CEO，而「 John」可能是「 Starbucks」的一位顧客，那麼模型就能學到完全不同的向量表示。

基於以上分析，我們[10]提出了一種融入外部知識的事件表示學習方法。如圖 2所示，對於事件三元組,其中是施事者，是事件詞，是受事者。在學習事件向量表示的同時，我們還利用Neural Tensor Network建模實體和的屬性和類別信息。以為例，表示在知識庫中的一個元組，表示與實體的關係（relation）。

Figure 2: 融入背景知識的事件表示學習模型框架

3.3 預測模型

我們將股市漲跌預測看成二元分類問題，即判斷股價未來走勢是上漲，還是下跌。具體而言，預測模型的輸入是上一節中抽取到的具有結構化信息的事件，輸出是預測當天股市的收盤價相對於開盤價是上漲還是下跌。

3.3.1 基於深度神經網路模型的股市漲跌預測方法

在股市預測任務上，大多數前人工作均採用線性分類器。直觀上來講，現實世界中發生的事件與股票漲跌之間的關係應該是複雜的隱含的非線性關係。因此我們提出了基於深度神經網路的預測模型。其結構如圖 3所示，所有的隱含層均使用sigmoid激活函數。並且是輸入層的神經元。是文本文檔， 將映射到維的向量空間當中。文本文檔以及從中抽取到的結構化事件特徵通過上節介紹的事件抽取方法中得到的。神經網路的訓練演算法採用的是經典的反向傳播方法。

Figure 3: 深度神經網路預測模型

3.3.2 基於卷積神經網路模型的股市漲跌預測方法

值得注意的是對於歷史事件而言，儘管其影響力有所衰減，但還是對股價的波動有一定的影響作用。然而，前人工作很少會定量分析長期歷史事件對股市波動的影響，尤其少見將長期事件和短期事件結合起來預測股市波動的工作。為了填補這一空白，我們將長期歷史事件看成是一個事件序列，利用卷積神經網路（ convolutional neural network， CNN）將輸入的事件序列進行語義合成，然而利用網路中的 Pooling 層抽取出信息含量最豐富的事件作為特徵，網路中的隱含層用來學習股市波動和事件之間的複雜關係。

模型的輸入是連續的事件向量序列，事件按照報道時間先後順序排列。每一天的事件序列作為一個單獨的輸入單元(U)。模型的輸出是一個二元分類，其中輸出的類別+1代表預測當天股市的收盤價相對於開盤價是上漲，類別-1代表預測當天股市的收盤價相對於開盤價是下跌。如圖4所示，對於長期事件（左側）和中期事件（中間）將使用卷積操作，最相鄰的個事件進行語義合成。這一過程可以看成是基於滑動窗口進行特徵抽取和語義合成，以一個窗口為基本單元捕捉輸入事件的局部特徵信息。對於股市預測任務，需要將全部的局部特徵信息進行整合，進而對股市波動情況進行一個全局的預測。因此，本文在卷積層上再設置一個max pooling層用以抽取局部特徵信息中最有代表性的特徵並進行合成，最終生成全局特徵。值得注意的是，卷積操作僅在長期事件和中期事件序列上進行，而每一個短期事件則直接作為一個輸入單元輸入到預測模型當中，因此，本模型在設計時加強了短期事件在全部輸入事件當中所佔的比重。

Figure 4: 基於卷積神經網路的預測模型

4 總結

本文將結構化事件三元組應用到股票漲跌預測任務中來，提出了基於離散模型，基於張量神經網路以及融入外部知識三種事件表示方法，有效克服了傳統bag-of-words 方法中的事件稀疏和語義組合的問題。在此特徵基礎上，我們進一步提出基於卷積神經網路和深度神經網路構建預測模型。作為社會計算、自然語言處理與金融學等多學科交叉的一個重要研究方向，目前的研究才剛剛起步，還有很多值得深入開展的工作。

註：本文部分內容節選自《基於社會媒體的預測技術》, 劉挺，丁效，趙森棟，段俊文，計算機學會通訊 2015 年第 3 期專題。

作者：哈工大SCIR博士生 段俊文

References

[1] John Maynard Keynes. The general theory of employment. The quarterly journal of economics,pages 209–223, 1937.

[2] Eugene F Fama. The behavior of stock-market prices. The journal of Business, 38(1):34–105,1965.

[3] David M Cutler, James M Poterba, and Lawrence H Summers. What moves stock prices?,1988.

[4] Robert P Schumaker and Hsinchun Chen. Textual analysis of stock market prediction using breaking financial news: The azfin text system. ACM Transactions on Information Systems(TOIS), 27(2):12, 2009.

[5] Boyi Xie, Rebecca J Passonneau, Leon Wu, and Germán G Creamer. Semantic frames to predict stock price movement. In Proceedings of the 51st annual meeting of the association for computational linguistics, pages 873–883, 2013.

[6] Johan Bollen, Huina Mao, and Xiaojun Zeng. Twitter mood predicts the stock market. Journal of Computational Science, 2(1):1–8, 2011.

[7] Jianfeng Si, Arjun Mukherjee, Bing Liu, Qing Li, Huayi Li, and Xiaotie Deng. Exploiting topic based twitter sentiment for stock prediction. ACL (2), 2013:24–29, 2013.

[8] Xiao Ding, Yue Zhang, Ting Liu, and Junwen Duan. Using structured events to predict stock price movement: An empirical investigation. In EMNLP, pages 1415–1425, 2014.

[9] Xiao Ding, Yue Zhang, Ting Liu, and Junwen Duan. Deep learning for event-driven stock prediction. In International Conference on Artificial Intelligence, 2015.

[10] Xiao Ding, Yue Zhang, Ting Liu, and Junwen Duan. Knowledge-driven event embedding for stock prediction.

關於大賽

大數據與人工智慧技術應用於各垂直領域已成為趨勢，病理切片識別和智能投顧更是成為最熱的應用領域。在此背景下，2017大數據人工智慧創新創業大賽（www.datadreams.org）推出BOT大賽系列賽之病理切片識別AI挑戰賽和BOT大賽系列賽之智能投顧技術挑戰賽，20萬現金大獎、千萬創投獎池、海量珍貴數據集，面向全球招募AI英雄，向病理診斷和智能投顧發起挑戰！

尋找AI技術硬實力，

開啟輔助胃癌診療新征程;

用AI技術重新定義智能投顧，

搶佔未來市場風口！

如果你也想加入這場科技革命，

登錄官網馬上報名www.datadreams.org

另外，悄悄告訴你BOT大賽數據集均已對外開放，你不去看看么？

面向全球火熱招募中