演講實錄丨芮勇：PC^3的ABCD

本文根據速記進行整理

PC^3 的ABCD

芮勇

聯想集團首席技術官、高級副總裁

芮勇：謝謝少平。剛才李院士高瞻遠矚，從無人車到腦認知到圖靈測試，我就講幾個具體的人工智慧的重要的方向。

這個題目剛才少平也說PC3次方的ABCD，有點講方程式的意思，但是我向大家保證，沒有一個方程式。這什麼意思呢，PC的3次方，PC到底是什麼意思。如果我們回顧一下IT產業發展的40多年，可能有好幾個PC，第一個在80年代，我們問任何一個人，首先想到的PC就是Personal Computer，個人計算機，當時80年代為什麼會出個人計算機呢，首先它是一個更好的個人計算器，算的更快。其次可能是一個更好的個人打字機，當時打字機打錯一個字非常痛苦，要重新打。80年代出現了PC，個人計算機。到了05年以後，你問什麼是PC，更多人會說的是個人計算Personal Computing，不僅僅限於人計算機，其實你周圍有很多的設備，比如有手機，比如說有汽車，汽車裡也是一個個人計算設備，這個時候的PC不僅僅是個人計算機了，更多的是個人計算Personal Computing。更有意思的是，過去幾年，我覺得第三個PC出現了，叫做Personalized Computing個性化的計算，個性化的計算和之前的幾個PC很不一樣，它也有不同的設備，個人電腦和手機也是連到互聯網上，有雲，很重要的一點是，這個時候是powered by AI，是由人工智慧驅動的。這些設備，這些服務，其實它是在觀察用戶，觀察它的主人，學習它的用戶，學習它的主人，千人千面，所以它提供的服務是很個性化的。並且服務和之前兩個PC階段很不一樣，不是由用戶發出的我需要某一個服務，有的時候計算機的助手會觀察到，你可能是需要這個服務，我主動給你推送一個服務，這是最重要的一個。

這個PC的第三次方，個性化計算最核心的技術，就是我們今天談的人工智慧。說到人工智慧，其實有很多學派，我相信在座的朋友們很清楚，基本上有五個大的學派，包括符號學派，有決策樹，專家系統。連接學派，今天上午都提到，深度學習，人工神經元網路，連接時代，這是從仿生學的角度發展的。有貝葉斯學派，做語音識別的都知道，HMM, GMM等等；有類推學派，最著名的代表就是十幾年以前很熱的，像今天深度學習一樣熱的，叫SVM，還有進化學派，這一派最近發展不是太好，另外幾個都是一直在往前發展。這就是人工智慧的幾大學派。

上個月，在NATURE有一個書評，其實20年以前的5月份，就是深藍打敗卡斯帕羅夫，就是1997年的5月。卡斯帕羅夫寫了一本書，叫deep thinking。Deepmind的Founder寫了一個書評，發表在上個月的nature上，大家可以去看看，非常有意思的書評。這是當時的場景。Deepblue是1.4噸，32個并行處理器，但是它運算能力甚至不如現在的普通PC。這就是過去二十年產業界發生的非常非常大的變化。人工智慧不僅僅是在國際象棋上戰勝了人類，我們知道去年春天的時候，AlphaGo人機大戰，在圍棋上也戰勝了人類，圍棋其實是人類發明的最複雜的遊戲，我們一直希望人類能多堅持幾年，不讓人工智慧把我們打敗。但是已經被打敗了，即使它比國際象棋要複雜很多很多倍。下一周會在烏鎮上演柯潔和 AlphaGo，其中有一場，應該是人類去群毆AlphaGo，好幾個人一起打機器，看看最後結果怎麼樣，其實沒有什麼懸念。除了圍棋，還有很多別的，比如德州撲克等等，特別是在有確定規則情況下，開放規則情況下人類還是很強大的。有詳細規則的單一任務，人工智慧還是非常強大的......

如果把人工智慧做好的話，我總結了四個字母，把人工智慧要做好，需要四個字母，ABCD。第一個就是A，演算法，演算法非常重要，B先跳過去，C就是計算力，D就是需要Data。回來再說B，因為我來自工業界，演算法再厲害，再多的數據，有再好的模型，無論如何它是一個工具，我們怎麼把人工智慧的工具，把機器學習的工具和具體行業相結合，B就是一個具體的行業。我們要做智慧醫療，智慧城市，還是做某一件和垂直行業相結合的事情，這才是最重要的，這個時候人工智慧才能落地，我和大家彙報和分享一下我對ABCD的一些粗淺想法。

把ABCD如果放在一個車上有這麼幾個部分，A是演算法，相當於車的引擎，驅動車往前行駛，非常重要。B就是一個行業，就像車的方向盤一樣，我們到底往哪個垂直行業走，很多垂直行業可以做，很多傳統行業可以做，很多新興行業可以做，但是和哪一個行業結合，怎麼去落地。C就是算力，承載整個車。D，就是我們車裡的油，就是我們的數據驅動，這就是車的ABCD。

先聊一下A，剛才說了五大學派，最早從1930年就開始了，之後每一個學派都有往前發展，從邏輯回歸，大家非常熟，到1958年的Perceptron人工神經網路建立了，一直到90年代初的Kernel Trick，把SVM推到一個非常高的高度。再往下面，做語音的都用HMM，專家系統在八十年代末九十年代初曇花一現，看看今後還有沒有希望再重新起來。深度學習在06年前後，從神經網路到深度學習有一個大的跨越，也是今天打敗人類機器演算法中的傑出的代表，這是演算法。我們也想聊一下，從當年80年代人工神經網路到深度學習，有哪些大的的變化，我結合個人的經歷，我最早接觸人工神經網路是ANN，我還寫過幾篇文章，在80年代末90年代初。為什麼那時候沒有起來，那時候我在清華讀研究所，大概90年91年，編了不少的演算法，但是那時候沒有起來。很多原因，一會結合我的ABCD和大家分享。首先這個演算法本身當時不是很成熟，然後你做偏導的時候，到第二次的時候噪音非常大，當時演算法不太成熟。一直進化到06年的時候，深度學習出來了，有很多不一樣的地方，80年代末90年代初，就一層，一層隱含層，你當時自己要決定feature是什麼，還有很多很多別的原因。過去十來年，很多深度學習的東西，像auto encoding，在80年代末的時候，怎麼初始化人工神經網路非常重要，初始化錯了就不行了。到最後，還有drop outs發展出來，它對overfitting非常有好處。前幾年Residual network是把長期的很多層的學習記憶和跳過去的學習記憶相結合。一直到2014年的生成對抗網路，怎麼生成非常逼真的數據，到近幾年發生的Binary Network。我們今天可以在雲上計算，可以在很強大的HPC上計算，如果用人工智慧在手機或者IOT的小設備上做，怎麼樣把Model簡化等等是一個方向，經過這二十多年的發展，確實有很多新方向出來，這是我講的A這部分。人工智慧做好，當然A是非常重要的，就像當年大家覺得SVM一統天下的時候，深度學習出來，又是上了一個新的台階，不是一個線性的發展過程，而是一個台階一個台階的，所以演算法是非常重要的。

當然計算力也非常重要。再回到90年91年在清華讀研究所的具體項目，這都是真實的。當時做的是華東四省電網的最優調度，其中有一項是要求第二天四個省總電力負荷的預估，到底要發多少電，因為有水電站，有火電廠，能用水電的時候盡量用水電，水電無法滿足我們需求的時候就用火電。當時也是寫了人工神經網路，當時算力已經用了一台486的機器，當時已經是非常強大的，但是其實那個機器算力很小，甚至比我們現在一個手機還差很多。當時也不敢train很多很多次，只有一個隱含層，因為如果train時間長了，跑一年都跑不完。再看今天，今天的運算力完全不同，我們有不同的運算的底層架構，最通用的是GPU，也有用CPU控制參數同步，還有FPGA，在很多地方可以加速，更厲害的地方是在嵌入式的時候有一個非常大的前景。ASIC，大家也都在做，，暫時羽翼還沒有豐滿。這些就是目前主流的計算。更重要的一點，不管下面的硬體設備怎麼樣，上面的計算框架是什麼？最早有并行處理的MapReduce，對這種Computation heavy的任務是很管的，但是對heavy data driven就沒有那麼管用，之後出現了Iterative MapReduce，這是其中的一個框架。它的優點是容錯性比較高，問題是通訊和同步性不是很靈活，那怎麼辦，我們發明出來一個新的東西，新的學習就是今天在的Parameter Server。Parameter server在各個worker之間是鬆散的，有一個參數可以調，讓它完全同步，但這個時候如果每個worker運算有快有慢可能出現問題，也可以讓它完全的非同步，有很多參數可以調。所以Parameter server提供一種非常靈活方式，使得我們在深度學習的大規模并行處理的時候有一個非常好的框架，右下角就是李沐做的，怎麼把多少時間用於計算，多少時間用於通訊的最佳折中，這是可以進行調節的，這是第二個框架。第三個框架是什麼呢，為什麼會出現第三個框架呢？大家發現深度學習是可以并行處理，但是結構變得越來越不好，有時候是非規則的結構，非規則結構用Parameter server就不太好。這就用flow base 框架，這幾年像谷歌做的tensor flow，它是一個更靈活的方式。其實這三個框架各有優點缺點，它們應用的場景也不完全一樣，也不是說哪一個就一定取代另外一個，更有可能它們可能會長期並存，各自演化，這是整個并行的框架上有這麼幾個大的分類。我們從它并行的範式上看也有幾個大的方式，我們認為問題規模很大，我們要并行處理，大家最容易想到一點，我們先把數據并行處理，這個大家很容易就能想到，模型是一個，把數據分成幾批分佈的來做，這是數據的并行。除了這個之外的，我們也可以把數據是同一批，把模型分在不同的地方在worker上運行，讓模型來并行。這幾年也出現了一個Hybrid混合型，數據和模型都可以并行，據我所知谷歌最近做的Translation，主要是採取這種方式，先把數據分開，模型在每個worker上分層算，既有數據并行也有模型并行，這是計算力。剛才說了A是演算法，非常重要，它會有階梯式的變化。C，運算力，變得越來越強，并行處理的方式越來越不一樣。

說到D，D是油，今天做的很多人工智慧的方面都是數據驅動，就像車裡的油一樣，當然新能源車裡就像電一樣。回到當時寫的華東四省電力負荷，計算力是486，演算法是一個隱含層的人工神經網路，數據呢，我當時是很自豪的搞了幾個月的數據來訓練我的模型，今天再看數據量來其實看非常小。今天經常是幾百萬的參數，幾個月的數據根本無法處理。所以二十幾年以前，確實我們演算法也不強，算力也不強，數據量太小。今天我們是什麼樣呢，今天是一個數據爆發的時代。有人做過統計，全球現在所有的數據，90%的數據是過去兩年生出來的，它是一個幾何基數的增長。1.7個MB，全球每一個人，一秒鐘產生這個數，這是一個讓人無法想象的速度。到2020年全球會有500億台設備都連在一起，這數據量非常非常大。數據還有什麼價值，今天我們有很多的數據，但是不幸的是，我們是坐在金礦上啃窩頭，因為我們只利用了0.5%的數據，很多數據沒有用到。《Fortune財富》這個雜誌做了一個全球的分析，針對財富排名前1000的企業做的一個分析。如果平均每提升10%的數據可獲取性，其實這些公司每年就可以多獲得6500萬美元的純利。在醫療產業也是一樣，如果能更好的集成和利用大數據，節省3億美元的開支，很多數據在那，怎麼變成我們的知識，變成對我們的工作和生活更有意義的事情，這是非常重要的。

今天當時是比30年以前、我寫的第一個人工神經網路的程序的時候，數據量大了很多。注意其實光大還不夠，數據還有一個很重要的，特別是深度學習的網路，很重要的一點是說，它的distribution分佈最好哪都有一點。如果整個的訓練空間是大會場，所有的數據，我們有非常非常多的數據，但所有的數據都在那個角，沒有用。我們還是需要它分佈到整個空間。最近2014年一個新的結果，生成對抗網站是一個很有意思的工作，這個工作呢，Yann LeCun他個人認為是20年的深度學習領域最酷的想法。為什麼是最酷的想法？生成對抗網路是兩個網路，左邊是生成器，右邊是區分器，這兩個網路像是在對抗。輸入給生成器這個網路的是white noise白雜訊，我們希望其輸出的是一個很逼真的圖像。右邊的網路，輸入的是真實的圖像，還有生成的圖像。右邊的區分器希望輸入如果是真實圖像我認為你是1，如果是生成的圖像認為是0，這樣能區分開來。很有意思，這兩個網路，一邊對抗，一邊相互學習。到最後，左邊的網路拚命想騙右邊的網路，右邊的網路拚命想把生成的東西區分開來，希望真實的數據出來是1、生成出來是0。左邊的網路，如果生成一個假的圖像，紀如說計算機生成的圖像，讓你沒有辦法區分，把所有的預估值都轉到0.5，你分不出來我是真的還是假的。右邊的例子，打黃框的是真實的數據，沒有打黃框的是對抗網路生成的數據，已經非常逼近真實數據了。有什麼好處？我們在訓練這些網路的時候，數據量不夠的時候，我們有辦法生陳一些很逼近於真實的數據，這是數據方面講的D。

最後一下，我們再回到B，就是行業。剛才提到了，機器學習演算法，各種人工智慧演算法也好都很重要，但是它其實是工具，我們怎麼把這些工具和我們的具體的業務相結合，這個才能使人工智慧真正的給我們整個社會帶來一個新的發展。如果回憶一下過去三四十年整個IT產業的發展，有好幾次浪潮。我們可以說有一次浪潮叫做搜索引擎，它本身其實是一種服務，既是一個浪潮也是一個服務。另外一個浪潮是線上的電子商務，它本身是浪潮也是服務，，還有這種social network社交網路，不管是國外的Facebook，還是的微信，它本身是一個浪潮，是對整個IT產業的浪潮，但是它本身也是一個服務。今天人工智慧這個浪潮來的時候，它本身其實不是一個服務，它會和所有行業相結合，你要找到你合適的行業，用人工智慧的工具把你這個行業升級。很多的例子，這是之前我在微軟的團隊，給前東家做個廣告。當時想春暖花開了，到北京的香山和西山散散步，經常有這樣的需求，我看到這片樹那顆花的時候想知道這到底叫什麼名字，從哪裡來的，喜歡陰還是喜歡陽，種植需要多澆水還是少澆水？如果有這麼一個APP隨時一拍就告訴我就是很好的事情。當然這件事情需要兩個方面的專家一起做，需要人工智慧這些懂演算法的專家去做，同時也需要中科院植物所的專家，你分辨植物的時候很多種方式，上面拍，下午拍？是拍一朵花還是一片花？是拍花還是包括葉子包括莖，等等。這個例子是想說，其實人工智慧就是一個工具，你要把它垂直行業落地才能發揮它的效果，這是第一。第二個行業，我相信在座除了人工智慧領域的朋友，肯定有一些做銷售的CEO、Founder，每天早晨這些CEO們和銷售負責人起來很頭疼的事情，「我今天早晨起來了，今天20個客戶我拜訪哪一個？對賣出我公司的產品和服務是最有把握的？」這件事很多大公司和初創企業都在做，就是維護客戶關係的CRM。之前這件事是很難做，每天早上醒來，到底去拜訪哪一位客戶？」，如果我們把它的歷史數據，把social network社交網路上的一些信息輸入給深度學習，其實也可以去訓練出這麼一個深度學習的網路，讓它重新幫我排序，排序以後這時候就知道了，原來張先生過去在我們公司買了好幾台伺服器，公司最近情況不錯，要開一個新公司，這人辦事利索，我最該拜訪的就是張先生，這是人工智慧深度學習在客戶關係維護上的案例。

再回到最後一張PPT，今天講了很多東西，肯定大家也是有的清楚，有的不太清楚，但是沒有關係，記這張圖很好了，這張車的車圖反映出的人工智慧在科研領域和工業界的垂直行業相結合，取得成功的關鍵問題：演算法是引擎，具體的行業是方向盤，運算力是車輪，數據就是它的油。也非常希望和在座的朋友們，我們一起跳上這輛駛向未來之車，在人工智慧的高速公路上加速前進，謝謝。