阿里「NASA」首個重磅武器亮相：機器學習平台PAI2.0

阿里「NASA」計劃發布了首個重磅武器。

3月29日，阿里雲在雲棲大會深圳峰會上正式發布機器學習平台PAI2.0。

相比1.0版本，PAI2.0有多項重大更新，除增加了100餘種演算法外，更重要的是對主流深度學習框架TensorFlow、Caffe和MXNet的全面兼容。

"NASA"計劃

3月初，阿里巴巴董事局主席馬雲宣布啟動內部代號為「NASA」的計劃，將面向未來 20 年組建強大的獨立研發部門，建立新的機制體制，為服務 20 億人的新經濟體儲備核心科技。

同時，馬雲還動員阿里巴巴全球兩萬多名工程師投身「NASA」計劃。

在技術大會上，機器學習、晶元、IoT、操作系統、生物識別被明確提及，智能化的產業基礎和應用被放在了突出位置。

國內首個機器學習平台PAI2.0

兩年前，阿里雲對外發布國內首個機器學習平台PAI。此次版本的重大升級，標誌著阿里雲在構建AI核心技術能力上又進一步。據悉，阿里「NASA」計劃將為PAI平台使用者提供強大的技術後盾。

此次PAI2.0的重大升級主要包括以下方面：

1、全面擁抱開源

PAI2.0編程介面完全兼容深度學習框架：Tensorflow、Caffe以及MXNet，用戶只需要將自己本地編寫的代碼文件上傳至雲端就可以執行。

Tensorflow、Caffe和MXNet是目前全球主流的深度學習開源框架。Tensorflow開源演算法和模型最豐富；Caffe是經典的圖形領域框架，使用簡單；MXNet分散式性能優異。

對於底層計算資源，PAI2.0提供了強大的雲端異構計算資源，包含CPU、GPU、FPGA。在GPU方面，PAI2.0可以靈活實現多卡調度。

藉助這些框架以及強大的計算資源，用戶能非常方便地就可以將計算任務下發到對應的分散式計算機群上，實現深度學習模型訓練與預測。

2、更豐富的演算法庫

PAI2.0提供100餘種演算法組件，涵蓋了分類、回歸、聚類等常用場景，還針對主流的演算法應用場景，提供了偏向業務的演算法，包含文本分析、關係分析、推薦3種類別。

「演算法全部脫胎於阿里巴巴集團內部的業務實踐，所有演算法都經歷過PB級數據和複雜業務場景的錘鍊，具備成熟穩定的特點」，阿里雲首席科學家周靖人說。

3、支持更大規模的數據訓練

PAI2.0 新增了參數伺服器（Parameter Server）架構的演算法。不僅能進行數據并行，同時還可將模型分片，把大的模型分為多個子集，每個參數伺服器只存一個子集，全部的參數伺服器聚合在一起拼湊成一個完整的模型。

其創新點還在於失敗重試的功能。

在分散式系統上，成百上千個節點協同工作時，經常會出現一個或幾個節點掛掉的情況，如果沒有失敗重試機制，任務就會有一定的幾率失敗，需要重新提交任務到集群調度。PS演算法支持千億特徵、萬億模型和萬億樣本直至PB級的數據訓練，適合於電商、廣告等數據規模巨大的推薦場景。

PAI2.0的初心和願景

阿里雲首席科學家周靖人說，在過去的一年時間裡我們協助客戶落地了多項重大的人工智慧應用。但人工智慧要想真正成為成為普惠科技，需要一款更加通用的生產工具。PAI2.0正是為此而生。

人工智慧綜合了多門學科的技術，對人才要求極其高，除了懂統計學中各種複雜的機器學習演算法，還要懂實現邏輯以及分散式架構理論。

PAI可以大幅的降低人工智慧的門檻以及開發成本。

從操作界面來看，PAI沒有繁瑣的公式和複雜的代碼邏輯，用戶看到的是各種分門別類被封裝好的演算法組件。每一個實驗步驟都提供可視化的監控頁面。

在深度學習黑箱透明化方面，PAI也同時集成了各種可視化工具。

PAI的基礎設施和計算框架建立在阿里雲飛天計算平台之上，通過雲的模式大幅降低了計算成本，支持MR、SQL、MPI、PS、GRAPH等多種分散式計算框架，對於底層的CPU和GPU計算機群可以靈活調用。

PAI2.0的應用

兩年時間裡，PAI在阿里巴巴內部已經被廣泛使用。

以淘寶搜索為例，搜索結果會基於商品和用戶的特徵進行排序。通過使用參數伺服器，淘寶可以把百億個特徵的模型，分散到數十個乃至於上百個參數伺服器上，打破了規模的瓶頸。

在阿里雲的客戶當中，廣東省氣象局對PAI的使用最具代表性。

他們使用PAI對臨近預報(0-3小時內)的降雨量進行建模預測。通過拖拽操作就完成了數據清洗、特徵工程，非線性機器學習演算法訓練以及結果評估的工作。

PAI還被應用在各種前沿科技領域。華大基因聯合阿里雲科學家，正使用PAI對肺腺癌患者基因進行分析，試圖尋找到導致肺腺癌病發的關鍵基因突變。